刘伟

东软睿驰汽车技术（沈阳）有限公司

智能驾驶业务线高级研究员

以下是刘伟的演讲实录：

先感谢邓老师邀请东软，让我们展示一下在自动驾驶方面前期的研究基础，以及现在对自动驾驶产业化的探索。首先简单介绍一下公司的业务，我们讲的没有那么学术，比较偏应用一点。

东软睿驰母公司是东软集团，是中国第一个上市的软件公司，在全球拥有2千多名员工，中国8个区域总部，10个软件研发基地，16个软件开发与技术支持中心，60多个城市建立营销与服务网络，全球包括美国、日本、瑞士、芬兰、罗马尼亚、德国、迪拜、秘鲁多有分公司。业务涉及到汽车电子，医疗IT，交通，基本上各个领域都有，但是主要两个大的方向就是汽车电子和医疗IT，因为东软是做汽车电子起家的，之前和一些国际的供应商提供电子的软件，现在走上前线，提供汽车电子的产品。东软汽车电子业务有25年面向全球汽车电子研发经验，在汽车软件全球TOP30的汽车品牌中80都有东软软件硬性，业务覆盖欧洲、日本、美国拥有4000多名员工。拥有多维客户，25家车厂，16家Tier1合作伙伴，11家内容提供商。中国最大的车联网整体端到端解决方案提供商，获得了CMMILI和软件开发的认证。东软集团在汽车领域有一个BigCar业务途径，利用东软集团整体能力，创造以汽车为中心的整体平台业务，提供人、车、社会的整体解决方案，涉及到金融领域，包括汽车银行保险，还有车联网，云，通讯和客户管理方面，以及车辆的运营，用车，养车的系统，我们现在提供EV解决方案，包括和英特尔合作的自动驾驶坐舱的C4平台。

东软睿驰是东软集团在2015年底整合了电池、EV、CLOUD，ADAS领域，致力于在新能源，智能网联汽车领域，曾经一家拥有卓越技术的创新新型企业，向全球市场优质的产品。核心优势就是专利，有100多项，有一些通过ISO26262标准，16949标准，也是ADAS国际标准委员会成员，ITS无标准委员会副主任委员，技术方面，有国际领先的智能识别技术，国内唯一一家运用电力线载波技术的供应商。

下面介绍一下ADAS业务线在图象处理和自动驾驶领域的业务。东软有25年汽车电子行业经验，18年多的图像处理的技术积累。2004年开始，连续12年专注于辅助驾驶核心技术的研发与产品化，拥有120名以上的核心技术研发人员，覆盖视频分析、嵌入式高性能计算，传感器融合等辅助驾驶系统相关领域。智能视觉相关国内外专利60多项，也是标委会的成员。愿景是为人类的交通安全与便捷做出贡献，让更多的人享受我们提供的安全、便捷的产品及服务。我们提供多类对象检测识别技术，多传感器融合技术，基于多核的高性能计算技术，多学科知识融合技术。

基于视觉的驾驶场景理解相关技术，在自动驾驶领域，我们需要解决哪些问题，周边有什么环境，我们自己的车在哪里，我们的目的是什么，这块目前提到的视觉解决方案，主要面向的是周围有什么的问题，因为摄像头装在车上，感知的范围有限，所以主要是局部环境的理解，就是解决周边有什么的问题。有一些配置，包括摄像头、激光雷达，广播雷达，超声，V2X，Map Data。基于视觉能解决什么问题，首先是车外的摄像头，可以识别道路的环境，交通参与者，交通指示。彻内的感知，可以感知驾驶员身份，视线，手势，以及注意力。车外环境的感知，包括几类，一方面是交通参与者，道路信息，还有道路上的指示信息，交通参与者包括行人，摩托车，自行车，车辆，动物，路面信息，包括车道线，路面标识，车位标识，指示信息，交通标志，信号灯，指示牌，东软在这方面都进行了一些技术的探索，简单介绍一些案例。这是交通参与者方面对车辆的检测，食品显示的是车辆检测的结果，这是不同场景下的，国内国外的数据产生的。这个是对向来车的检测，这边是行人、自行车、摩托车的检测。这是使用夜视的成像做的行人识别和车辆识别。因为我们是做图像的，只要是获取了图像，有这个样本，可能就不考虑成像的问题，我们就是拿到图像，对图像做一些处理，然后做识别。这是测向摄像头对盲区识别的情况，这是对不同类型姿态，包括正面的车辆，侧面的车辆，以及各种姿态的行人检测的结果。这是对不同的限行，不同的场景下，包括隧道、夜晚、有曲率的车道线检测的结果。这是对路面指示标志检测的结果，这个是道路上的斑马线，这是车位，这是一些交通标志。这个过程中大家可以看到，刚才我们也讨论了，视觉比好比波雷达和激光雷达好在哪里，人也是通过视觉接受信息，视觉通过像素给到的环境信息是十分丰富的，如何从这些图像中提取我们感兴趣的信息，就是我们做图像处理要解决的问题，目前我们能解决的就是刚才提到的，但是未来通过这个图像，我们可能能解决更多的问题，图像就给我们带来了无限的可能性，因为图像的来源有很多，我们可以有夜视的，雨雾天气也有校正的现象，所以这是一个相互的过程，目前的领域我们认为通过图像可以得到的信息，应该比毫米波雷达和激光雷达略微丰富一些，会有一些交集，但是也有它特有的地方。这块是刚才看到的交通标志的识别，限速牌的识别，包括不同国家的，这是日本的德国指示牌，这是信号灯。

针对无自动驾驶L3，还是涉及到驾驶员的接管，它需要对车内驾驶员做一些监控，除了提到车外的撤职，对车内驾驶员状态的识别和工作状态也做了一些工作，包括驾驶员状态的监控，手势的识别，视线的跟踪，这块可以检测到驾驶员的姿势，朝向，状态，这是检测面部的关键点，判断驾驶员的状态，这是驾驶员视线的估计。

前面讲了一些应用，通过图像识别做了一些基础性的研究，能够识别车内车外的环境，怎么把这些技术应用到实际的车辆中，这里会涉及到一些集成的关键技术，包括深度学习，包括嵌入式高性能计算的探索。深度学习有几个方向，首先我们用它对我们现在传统的机器学习做验证，另外深度学习可以对更复杂的场景理解，比如现在的自动驾驶空间的探索。深度学习要建立一个数据极，这是像素水平的标记，还有图像特征的标记，主要的研究领域，一方面是应用领域，一方面是自由空间探索，这是传统的车道识别，通用物体识别，在目标检测里面它会有一些特殊的地方，比如它能够处理一些比较特殊的场景，比较复杂的，包括一些特殊车辆，多视角，包括前视，后视，测视，以及路面小物体的识别。性能计算方面，和嵌入式高性能计算会有一些交叉，通过对深度学习算法的深入研究，对这些算法进行优化，让它适应嵌入式的平台，能够在产品中集成应用。深度学习它大概是这样一个过程，首先就是数据极的采集，通过深度学习，图像的工具，对数据极的特征进行集成，标记完以后有人工教研的过程，形成GT数据集，就可以对传统的图像处理的算法验证，通过不断的迭代，让GT数据集不断变大，准确率不断提升，形成我们研发和应用的数据库，提升图像识别的精度，降低误报率，一方面是在通用的CPU上做这种探索研究，目前还是研究的阶段，去做一些自动驾驶空间的探索，做一些像素级的标的。在应用方面可以做一些轻量化的深度学习算法，可以适用目前车载的CPU，提供一些行人车辆的识别算法，轻量化这块主要是面向应用的，这个是我们建立数据集的过程。还有一个关键的技术，我们使用了轻量化的CNN，这里有两个过程，一方面是对关键的参数硬化，另一方面裁剪网络，适应目前嵌入式平台的应用。

在深度学习领域，目前进展的情况，一些关键的技术，包括定制化的神经网络，降低误报率，提高准确率，还有就是小物体，对远距离，100米左右的车辆做一些标定和识别。这是一些多视角车辆，横穿车辆的检测。在应用场景理解这块，首先需要建立数据集，通过对样本进行标记，对网络进行训练，获取路面的特征，包括车道线，道路边沿，行人等等，基于这个做一些多任务的驾驶场景的理解。同时检测车辆和道路边界以及自由驾驶空间。这些技术的载体就落到了高性能计算，我们需要寻找一个嵌入式的平台，把我们刚才提到的复杂的算法让它可靠的运行在我们产品上，我们选用的是一个量产型的嵌入式平台，对它进行算法级，函数级，指令级高性能并行计算的研究，内部涉及到数学、滤波、几何、统计、形态、特征、运动、机器学习等基础的技术，通过对图像数据算法进行优化，可以看出它不同的功能函数，通过APEH盒优化的速比，性能的提升到10到19倍，特征提取有8到12倍提升，分类有4到10倍的提升。这是通过计算带来性能量化的对比，首先和传统纯ARM的处理，运算周期可以通过这个示例看到，这是APEH盒，这是CPU也就是ARM盒处理的过程，通过计算最终达到了这样一个性能的提升，这个是ARM采取的时间，单位是纳秒，这是通过APEX盒提升性能的情况。这是我们使用轻量化的CNN作为产品的视线它的优势。首先有两种轻量化的CNN，它对正样本和负样本的检测率方面，和全量级的CNN来比性能是差不多，但是它所消耗的时间可以得到大大的优化，比向量级花的时间长，但是有很大的提升，这是对于一个模糊对象，有一些概率，正负样本是比较确切的目标，这个是一些疑似目标的检测，CNN会有一定的错误的概率，LightCNN有一个性能的折中。在这个基础上，我们运用视觉的基础，目前在做一些面向车辆控制方面的探索，包括有自动驾驶的案例在这个基础上开发了车道保持，自动启停，ACC功能的实现。

市场活动方面，我们在美国CES上，今年一月份支持了4家车厂，提供图像处理的算法，都实现了高性能预算情景的演示。这是参加联盟活动的情况。下面是我们目前产品的形态，现在一带产品使用的是标清摄像头和DSP盒，因为芯片性能有限，通过前后摄像头不同的形态，支持的功能是需要取舍的，前置摄像头提供前行车道线和行人的预警，后视摄像头可以做移动物体的识别，还有前后视摄像头+控制器集成方案，可以在前视和后视的过程中，分时做一些功能的组合。这是一些简单功能的减少，这是移动物体和横穿物理识别的区域，这个是车道偏离预警系统，这个是前碰撞预警系统，这个是基于后视的车辆预警方案，这个是偏离车道线，这个是通过摄像头对车后方的预警。这个是在商用车上面的特征，包括右转辅助，主要是侧边的盲区，这个功能和乘用车基本类似。这是一代产品功能的演示，下面是产品的案例。

第二代产品是基于高清摄像头，使用SOC和MCU，做高性能的预算和控制功能的形态，提供车道保持，还是刚才预警类的功能，增加了ABLK控制的功能，一种是一体机的方案，一种是段焦和长焦摄像头分体的方案，可以支持前视和后视。这是它的主芯片，是NXP的方案，这是AEB功能的演示。这是基于视觉和毫米波雷达融合的，使用真车是因为把参数放大了，使用试车的时候还是比较危险的，这个停下来还是有一定的距离，这是测向控制的功能。这个系统工作过程中驾驶员应该手握方向盘，这是为了体现控制的效果，也是对一些参数做了调整。可以同时检测4根车道线，随着车道的远近精度不同，本车道的精度还是能够满足控制的要求。还有一些自动泊车的案例，目前车辆的换挡是通过手工换挡的，但是速度和转向的控制是通过车辆自动完成的，包括车位的检测。这是自适应巡航的过程，这是人、车、线，同时在SOC上运行的效果，这是白天，这是夜晚。这个是比较复杂的场景，就是很多的行人和车辆。交通标志识别并没有做到产品中，只是给了客户一个选项，这是在美国的道路上识别的道路牌，这是在传感器融合方面做的探索，也是在产品中应用的技术，通过视觉和毫米波雷达提供这两种传感器固有的特性。

上面提到了一代和二代的产品，三代的产品会月到深度学习和更高自动驾驶的组合，包括高速公路下的交通辅助功能。我们的优势呢，我们的硬件平台是完全可编程的ACU，它是开放标准的，不是定制化的硬件。软件是模块化和定制化的，客制化，功能提供了360度的覆盖的方案，包括前视后视，可配置，根据需求进行功能的组合，多传感器融合的支持。在应用领域是低成本的解决方案，功耗方面是性能平衡，目前使用的芯片，设计之初就是面向车规的，性能通过APEX优化以后，对整个性能的提升，也是做到技术和产品应用的平衡。在可靠性方面，包括集成雷达、图像，这是融合的算法，软硬件的设计和功能安全的设计，这是一些优势。

以上就是我整个汇报的内容，涉及到了一些技术和我们的产品，谢谢大家。

提问：对于智能车有前后左右多个摄像头，有红外和激光雷达，我想问一下它的优先级是怎么样分配的，权值是怎么分配的？

刘伟：目前是基于视觉，因为视觉是做了很多年了，但是视觉它有自己的缺陷，比如说光照，比如刚才提到的阳光直射和夜晚对它的影响，所以我们在这个基础上，也在考虑和毫米波雷达的融合，在融合过程中怎么样考虑权值呢，首先考虑测量的特性，比如对宽度测量比较准，但是毫米波雷达对车辆的相对速度和距离比较准，我们的融合算法相当于增加了一类传感器，而不是融合后的结论，我考虑了图像和雷达以后，我输出一个结果给大家，是串联的，我们最终的融合结果是并联传输给应用层，根据应用场景，就是每一个特征都有执行度，包括宽度，包括相对速度，这些特征本身都有执行度，你知道是来源于融合传感器还是雷达的，还是图像的，可能激光雷达的问题没有提到，目前只是产品阶段做到了图像和毫米波雷达。

邓伟文/主持人：现在一方面是传感数据融合，另一方面是深度学习，它们对计算平台要求比较高，你们采用什么样的计算平台？

刘伟：刚才提到芯片是采用（英文）上面有GPU，ARM，还有比较关键的就是提到的APEX，通过APEX做一些功能的计算，加上对神经网络的裁剪和参数的整形化，就是达到一个平衡吧，因为这个芯片从设计之初就是面向车规的，我们基于它做一些应用集成，做一些性能的平衡。

邓伟文/主持人：谢谢刘博士的演讲。前面几位演讲者都提到了数据，显然数据很关键。

（本报告根据速记整理）

CAAI原创 丨 作者刘伟
未经授权严禁转载及翻译
如需转载合作请向学会或本人申请
转发请注明转自中国人工智能学会