ADAS和自动驾驶汽车为何开始青睐热成像仪？车讯

以前的报告书，AAA（美国汽车协会）的测试结果，现在的车辆装载的AEB系统（不包含热图像传感器）步行者的检测和退避有缺陷，「夜间不发挥作用」被报告。在这种情况下，热成像被组装在自动驾驶传感器的组合中，试图弥补其他传感器的不足，提高驾驶的安全性。

图片提供：Teledyne FLIR

什么是热成像

所谓热成像，是通过将各分辨率点拍摄到照相机传感器的对应像素，测定场景的温度差的技术。因为每个像素对辐射热能都很敏感，所以可以通过改变电阻来测量场景温度。这些传感器通常是用硅CMOS技术制造的，被称为微孔金属（micro-bolometers）

辐射热计是一个多世纪前发明的，随着半导体技术的发展，实现了像素阵列（微辐射热计），用于提供场景的热比较图像。1970年代，美国霍尼韦尔公司与美国国防部（U.S.Department of Defense）签订了机密合同，发明了微辐射热计，并成功开发出用于ISR（信息、监视、侦察）的长波红外线照相机（LWIR）其中一部分在20世纪90年代初被解密并转让给多家企业，现在应用范围扩大到监视（防卫和国境管理）、医疗诊断、远程温度监视（发热检测）、夜间驾驶等。

微辐射热计的热辐射波长范围为7.5~14μm。这个光谱在人眼中是看不到的，但在相机（取决于入射光或光子）中是可以看到的。动物和人类的体温通常不同于场景中的其他自然物或人造物。因此，这些温差的测量可以在各种照明和遮挡条件下提供自己的感知能力。在汽车用途中，从远处检测行人和动物，对提高安全性和实现自动驾驶很重要。

它是热成像的应用

在21世纪初，许多汽车公司引入了无源热成像装置，以避免与动物相撞和行人受伤，提高夜间驾驶在光线不足地区和雾中的安全性。严格来说，这样的技术主要是为了帮助司机。在推动高度自动驾驶进化的高度研究计划局（高度研究计划局）挑战中，各种传感技术正在崛起，其中lidar（高度研究计划局）备受瞩目，吸引了大量投资。与雷达和可见光照相机一起，LiDAR是更高级的自动驾驶（L3或有条件的自动驾驶，人类司机随时继承，在10秒警报后完全控制。是在等级L4或ODD（Operational Design Domain）下的完全自动驾驶。

由于典型的道路条件存在各种极端情况，因此实现L4级自动驾驶要比当初预想的困难得多。一些企业在传感器组合中添加了热成像，以进一步完善lidar、雷达和可见光相机。这使我们能够在光线不足或模糊的环境（雾、烟和蒸汽）中识别动物和人类。Alphabet旗下自动驾驶部门WaymoVia和自动驾驶卡车技术的启动企业plus.ai，尝试在传感器的组合中添加热成像装置，实现高速公路上卡车的自动驾驶。Nuro、Cruise、Zoox也在专用车上搭载了热成像相机，用于人口密度高的城市最后一英里的食品和杂货的配送、配车服务。

它是热成像设备的优点

全美道路交通安全厅（NHTSA）也关注热画像法，最近发表了新车评价程序（NCAP）的RFC（征求意见）作为这个RFC的一部分，NHTSA提出了追加4个新的ADAS（先进驾驶员支援系统）技术的提案。它包括盲点检测、盲点干预、车道维护支持和行人自动紧急刹车（PAEB）在PAEB领域，RFC特别将热成像设备作为一种潜在的传感技术。并将远红外线摄像机纳入避免与动物和行人发生碰撞事故的传感技术。有趣的是，提倡只使用“可见相机”自动运行的特斯拉也推荐在夜间使用能够进行PAEB的红外线相机。

图片提供：Zoox先生。

Zoox公司也是其中之一。该公司将4个热照相机作为一套，作为双向专用配车服务用传感器套件的一部分使用。[Zoox]首席技术官（cto）Jesse Levinson对该功能的添加如下所述。

推动L4自动运行以解决极端情况的关键是为机器学习栈提供安全运行的最佳信息。

热成像装置诱导热，允许不受光照和遮蔽条件识别人和动物；

这种传感器模式可以补充其他传感器（例如“LiDAR”、雷达和可见光相机），以便在照明低、有烟、雾和蒸汽的环境等独特极端情况下使用。使用热成像设备感测堆栈有助于减少误报；

高速公路不需要热成像。城市环境在宽广的FoV（视野）和低的摄影范围ok。

传感器堆栈始终存在成本问题。但是，Zoox是服务业，不是汽车销售业。高传感器堆栈的成本会随着时间和乘车收入而逐渐下降。

它是热成像的主要供应商

在美国、欧洲、韩国、日本、中国，热成像装置很发达。特别是在传感器方面，美国智能传感器技术公司Teledyne FLIR领先。这是因为该公司的前身位于美国加利福尼亚州圣塔芭芭拉的FLIR公司于2004年1月收购了红外线图像产品开发商Indigo Systems，FLIR为开发“宝马”等面向OEM的人类司机支援系统提供了初期传感器功能。

图像提供：电信=弗里尔先生（照片提供：teledyne-flir）

目前，teledyne-flir已成为长波红外成像仪的主要供应商，从消防安全到无人机和汽车。teledyne-flir自动化业务开发负责人John Eggert说，Boson系列进入第四代，共640× 512像素VGA格式或320× 提供256像素的QVGA格式。两种格式的像素间距都为12μm。可见光（0.4~0.7、μm）、SWIR（短波外，0.9~1.6μm）、MWIR（中波外，2~3.5μm）、LWIR（8 ~ 12 μm）的图像装置、以及LiDAR数据（0.9μm）teledyne-flir提供浓雾中行人检测性能的详细比较。结果发现，在不同的范围和雾密度中，LWIR是最好的。

成本问题和解决方案

光学是考虑热图像不可缺少的。8 ~ 12 μ考虑到m的波长范围，锗是军用LWIR成像仪的传统用途。这种元素材料在这些波长上具有优异的光学特性；但对于大批量生产的汽车，需要开发替代方案。因为中国和俄罗斯占据了世界锗储量的90%以上，供应链非常简单。

比利时材料公司Umicore是锗光学和半导体的大型供应商，供应镜头、太阳能电池和红外线VCSEL（垂直机柜发光激光器）Meulemeester公司尤米科业务开发总监说，PAEB非常重要，因为行人死亡率升高，司机的注意力变得散漫而恶化。因此，世界监管安全评级机构对非自动驾驶轿车在夜间和恶劣天气下的行人检测和AEB功能的要求越来越高。在这一点上，热图像装置非常重要，而且在高度的自动驾驶（等级L3和等级L4、中，也需要这样的高速公路和城市的驾驶能力。

De Meulemeester表示，非自动驾驶汽车所需的热成像比搭载在L3级或L4级车辆上的那些对成本更敏感（<100美元/辆）非自动驾驶驾驶驾驶汽车需要更低的测距和更宽的FoV性能，可以使用单一的QVGA成像仪/汽车。在等级L3和等级L4的自动驾驶中，VGA格式的成像器可能会配备更昂贵的光学元件，支持高速公路驾驶时的长测距和更窄的FoV，并在每辆车上配备多个摄像头。在材料的配合和镜片的制造方面，尤米特克开发了具有以下优势的硫系玻璃（Chalcogenide glass）

可伸缩性：玻璃镜片可以大量成型，不需要像锗镜片那样机械加工。大量生产可扩展性促进高生产率低的资本和劳动成本

工作温度范围：适合汽车应用，通常为-40℃至+85℃。锗的传输损耗在该工作温度范围内变化很大，必须使用其它材料来确保均匀的光学性能而不使结构热化。硫族化物玻璃性质可以实现经济有效的无热化，以在更宽的温度范围内实现稳定的性能。

尺寸和重量：锗比玻璃密度高，所以更重。另一方面，对设计不加热的要求也增加了尺寸和重量。

成本：由于上述因素，成像仪的成本随着体积的减小而降低，因此玻璃镜片的成本比锗低。光学也是BOM（BOM）的重要成本因素。特别是在需要大规模汽车部署的情况下，成本效益至关重要。

锗供应链问题：如前所述，90%以上的锗来自中国和俄罗斯。

美国（LightPath Technologies）、德国和中国的许多供应商正在积极开发和生产用于热成像的硫族化物玻璃光学器件。不仅如此，使用LWIR相机进行ISR的美国国防部主要工作人员也将这种材料作为锗的替代解决方案，用于某些用途。

小结

实现自动驾驶是非常困难的，尤其是在公共交通工具中，但安全永远是最重要的。如果自动驾驶旨在取代人类驾驶员，则必须添加传感器以覆盖所有盲点。否则，自动驾驶永远不会有进展。不得不说，热成像仪对于实现自动驾驶是非常重要的，它的成本很低，可以补充其他传感器系统，特别是在一些恶劣的驾驶环境下，可以让驾驶员实现更安全的出行。