基于激光雷达的三维目标检测和分类任务是自主动驾驶领域（AD）的关键。激光雷达传感器可以提供周围环境的三维点云数据。然而，三维点云的实时检测需要强大的算法来实现。本文提出了一种基于点云和图像的三维目标检测方法，该方法由三部分组成：
（1）激光雷达与相机的外参标定和图像矫正。
（2） 基于YOLO的检测与点云提取；
（3）基于K均值的点云分割与基于深度图像物体检测实验。
在我们的研究中，相机获取的图像数据可以通过YOLO算法进行实时二维目标检测，然后将检测到的图像上的包围盒进行变换，该变换的功能是映射到Lidar的点云数据进行三维目标检测。通过比较三维点云传来的二维坐标是否在物体边界框内，可以在GPU中实现高速的三维物体识别功能。在点云上进行k-means聚类，提高了聚类的精度和精度。该检测方法的速度比PointNet快。
CVPR2017提出的PointNet是一篇具有里程碑意义文章，标志着点云处理进入了一个新的阶段。原因是在PointNet之前，我们没有办法直接处理点云。因为点云是三维且无序的，并且他们不平滑。此外，需要适用于图像神经网络算法也对点云来说是不适用的。因此，研究人员提出了多种方法，如将点云转换成图像（MVCNN），将点云划分为体素，然后将点云划分为节点并按顺序排序。因此，点云在深度学习技术上的发展可以PointNet来划分““pre-PointNet era”发展到“ “post-PointNet era ”。在PointNet、PointCNN、SO-Net等相继问世后，基于点云的深度学习的方法才开始不断改善。
图1显示了所提出系统的概述。这项研究基本上分为六个部分。第一部分主要是相机的校准和测试设备的结构设计。第二部分是将未标定的失真的图像转换为未失真的图像。第三部分是带有2D图像的YOLOv3对象识别。在实验中，我们主要使用YOLOv1 tiny和YOLOv3方法，使用keras再现YOLO。第四部分是点云的提取。我们使用rosbag存储数据，并使用RVIZ进行点云可视化。第五部分是k-means的无监督聚类，用于优化基础实验的检测结果并提高3D物体识别的检测精度。
本文的研究结论如下：
1.采用的方法是将三维点云直接转换为二维图像数据，从二维Boundingbox的识别到三维点云的渲染。由于采用了YOLO算法，实时性很强，并且采用了无监督聚类。很多噪音都会被消除。这样可以提高识别率。
2.主要是想找到一种快速、准确地判断某一方向上是否有物体和物体的方法。这将有助于无人驾驶领域的成功，让汽车获得更多的信息做出更多的判断。
3.最后的实验结果，在使用两个1080Ti GPU的情况下，基本保证了没有聚类的实验每帧消耗0.19秒，k均值聚类后5个线程消耗0.192秒。快速识别过程保证了无人驾驶环境的实时检测。如果采用并行、分布式计算等技术，识别速度会更快。
