极目智能亮相CITE2019 ,获选「主动安全十佳企业」

4月9日,第七届中国电子信息博览会在深圳会展中心开幕,极目智能亮相智能网联与新能源汽车技术8号馆8C07,展示了基于视觉感知、深度学习、雷达融合等技术的前后装驾驶辅助解决方案,吸引众多参展观众的驻足围观。

此次展会上,极目智能展出了旗下最新的后装驾驶辅助三合一方案JM600 H3,该方案集成ADAS前向驾驶辅助、DMS驾驶员监测及DVR部标机功能,针对潜在的危险驾驶场景如跟车过近、疲劳驾驶等提前预警,避免或减弱碰撞事故。

展台现场,极目智能搭建了模拟智能驾驶舱,实时演示了JM600 H2驾驶辅助系统,观众可以现场体验ADAS碰撞预警及DMS驾驶员监测系统

此外,极目智能还展示了商用车/乘用车驾驶辅助系统,支持前车碰撞预警、车距监测预警、车道偏离预警、行人碰撞预警、限速标志识别、AEB、LKA等功能。前不久,极目智能旗下行人AEB感知方案率先通过「JT/T 1242-2019营运车辆自动紧急制动系统性能要求和测试规程」核心指标业界领先

技术路径上,极目智能采用从辅助驾驶过渡至自动驾驶的渐进路线,自主研发的 JMNet算法模型可准确识别车辆、车道线、行人、交通标志、可行驶区域等道路元素,而且随着样本数据的不断更新,极目算法模型对车辆多姿态识别(尾部、侧身),夜间目标检测及行人局部特征等方面有明显的提升。

利用视觉、毫米波雷达等传感器,极目智能基于自主研发的领先人工智能技术推出一系列面向前后装市场的高精度可量产的智能驾驶方案,产品畅销海内外。作为国内领先的智能驾驶创企,极目智能在此次展会同期的论坛上获得「2019年中国汽车主动安全设备十佳企业」奖项

4月11日,极目智能将亮相香港亚洲国际博览馆的香港电子展,展位号:1号馆1N07,欢迎莅临参观交流。

极目智能率先通过JT/T 1242行人AEB测试,技术指标领先

近日,极目智能旗下行人AEB方案在重庆车辆检测研究院顺利通过「JT/T 1242-2019营运车辆自动紧急制动系统性能要求和测试规程」,核心指标业界领先,成为国内首批数家通过JT/T 1242-2019AEB测试的智能驾驶技术提供商之一。

由于AEB可明显提升车辆安全性,各国陆续出台政策法规将AEB列为标配。AEB自动紧急制动系统通过车辆配置的各类传感器,识别前方车辆/行人,检测自车与障碍物的运动状态及相对位置,在存在碰撞危险时,向驾驶员发出预警,如驾驶员未采取避障措施,车辆自行开启紧急制动,避免或减缓碰撞。

极目行人AEB方案在目标的识别、定位及跟踪精度上表现优异。本次测试中,极目智能AEB方案对目标行人的最大检测距离超过180m,最小检测距离为0.3m,远超JT/T 1242-2019技术规范的标准要求。

本次测试车辆采用威伯科旗下的控制系统,极目智能率先完成与威伯科的对接,实现行人检测AEB功能,并通过JT/T1242-2019技术规范测试。此外,极目行人AEB感知方案可适配多家制动控制系统,如威伯科、荣众等,兼容性高。

除行人AEB「感知+决策」方案外,极目也提供「感知」或「感知+决策+控制」的方案,满足不同的定制化需求。

JIMU Intelligent Completed Series B Funding

Recently, Chinese Leading Intelligent Driving Solution Provider JIMU Intelligent announced that it has completed a Series B funding round and raised over $15 million. The funding round was led by Translink Capital and participated by Hyundai Motor Company, Estar Capital, HGC, Yucheng Fund and Optics Valley Elite Fund.

Established in 2011, JIMU Intelligent is an artificial intelligence company dedicated to the R&D and application of intelligent driving, providing Level 0-Level 3 intelligent driving solutions and derivative data products and services. The core team comes from global top universities and enterprises, and has considerable experience in computer vision, deep learning and sensor fusion.

With the advent of intelligent driving trend, regulations issued by Chinese government has been primarily enacted in the bus field since 2018.  Based on its technical advantages and long-term attention on the industrialization of intelligent driving, JIMU Intelligent outran its competitors and became the exclusive solution provider for more than 50% of the TOP15 bus manufacturers in China, supplying solutions to Higer, Golden Dragon, Youngman Bus, Yinlong, Sunlong Bus, Wanxiang Auto, Weichai Power, CRRC Times, etc., ranking No.1 in terms of large coach OEM customer share in China.

In the passenger vehicle field, JIMU Intelligent are cooperating with many global top OEMs and Tier 1 suppliers in diverse scenarios.

In the aftermarket, JIMU Intelligent are currently centered on providing solutions for fleets, intelligent buses, and commercial vehicle insurance industries. Its products have passed relevant oversea technology standards, and are exported to overseas markets including Korea, Singapore and Indonesia.

The core reasons behind these market outcomes are the competitive advantages JIMU has gained from years of industry experience: the power of Technology-Product-Mass Production.  The Technology Power is embodied in its continuous output of leading and reliable artificial intelligence algorithm, and the Product Power is its ability to bring concept to reality with producible goods, and the Mass Production Power lies in its ability of cost control and the ability to unite the industry chain to get the products to market fast.

In the technology aspect, JIMU Intelligent driving solutions utilize sensors like cameras, radars, and LiDARs to perceive the driving environment, including vehicles, lanes, pedestrians, traffic signs, free space, driver status, etc, providing basis for accurate decision making and control. The algorithm is also especially optimized for the perception of many local driving situations, so that it could function stably and deliver outstanding detection accuracy even in complex scenarios.

In the product aspect, JIMU Intelligent is providing cost-competitive, high-accuracy Level 0-Level 3 intelligent driving solutions for passenger vehicles, commercial vehicles and aftermarket applications. The solutions may vary in sensor types to meet different application requirements, delivering the best cost competitiveness while maintaining necessary redundancy. Solution features range from collision warning to vehicle control, including detection of vehicles and pedestrians, free space, automatic emergency brake, lane keeping assist, adaptive cruise control, driver status detection and driver identification.

The wave of automobile intelligence brings an industrial convergence involving automobile, transportation and real estate, etc., giving rise to a market of tens of billions of dollars. Chinese intelligent driving enterprises like JIMU Intelligent will face enormous opportunities and challenges, shouldering the mission of empower cars with self-developed artificial intelligence technologies.

As for this funding round, Jianwei Cheng, CEO of JIMU Intelligent said: "Automobile intelligence is a golden opportunity, and the China market is growing rapidly. In the face of opportunities, we must always maintain a keen insight, and also be steadfast in the perfection of our technologies and products. Thanks to TransLink Capital and other investors for their recognition of our team, we will always remember where and why we start, and continue to accelerate the development of intelligent driving technologies and its commercialization journey."

Yang Fei, Managing Director of Translink Capital China, said: "We have always been paying attention to innovative technological enterprises in intelligent driving field. As one of the earliest enterprises dedicated to intelligent driving in China, JIMU Intelligent is a very low-key, pragmatic and excellent team. We are optimistic about the huge space and opportunities JIMU faces, and are very happy to be able to accompany the team to go further in the commercialization of Intelligent driving."

Sungwoo Shin, head of Hyundai Motor Company CVC team, said: "Pragmatic productization capabilities, and efficient customer introduction and execution capabilities are very vital during the commercialization of AI, and those exactly are what we’ve been deeply impressed by JIMU team."

Additionally, JIMU Intelligent has also reached a strategic cooperation with Hyundai Motor Company for accelerating the industrialization of intelligent driving technologies in passenger vehicle field.

About JIMU Intelligent

JIMU Intelligent, founded in 2011, is a leading AI company that dedicated to vision-based intelligent driving technology.  Based on its self-developed computer vision technology, JIMU is always in pursuit of the development and popularization of intelligent driving. 

智能驾驶技术提供商极目智能完成B轮融资,加速L0-L3级智能驾驶商业化落地

近日,智能驾驶技术提供商极目智能完成B轮融资,本轮融资总金额超过一亿元人民币。该融资由Translink Capital领投,跟投方包括韩国现代汽车集团、辰韬资本、兆瑞资本、武汉光电工研院育成基金及光谷人才基金

极目智能成立于2011年,是一家专注于智能驾驶研发和应用的人工智能企业,目前主要提供Level 0-Level 3智能驾驶方案及衍生的数据产品和服务。极目核心团队均来自国内外知名高校或企业,在计算机视觉、深度学习、传感器融合领域有丰富经验

智能驾驶浪潮来袭,从2017年开始,国内相关法规率先在客车领域强制执行。得益于在智能驾驶领域的技术优势及产业化落地的持续关注,极目智能从众多博弈中脱颖而出,成为国内50%以上TOP15客车厂商的独家方案供应商,批量供货海格客车、金龙旅行车、青年客车、珠海银隆、申龙、万象、潍柴、中车时代等多家国内商用车企,大型客车客户数量遥遥领先,排名第一。

同时,在乘用车领域,极目智能也与国内外多家顶级主机厂及Tier 1供应商进行了面向不同应用场景的深度合作。在后装市场上,极目智能主要聚焦物流车队、智能公交、营运车险等领域。此外,极目旗下智能驾驶产品也已通过相关国外技术测试标准,远销韩国、新加坡、印尼等海外市场。

以上市场成果的背后,是极目智能基于多年的行业沉淀构建起的「技术—产品—量产」核心竞争力:技术力体现在持续输出前沿且稳定可靠的人工智能算法,产品力体现在将技术与场景融合形成可落地解决方案等层面,量产力则体现在对方案成本出色的控制能力、联合产业链资源打造量产级产品的能力。

在技术层面,极目智能驾驶方案基于顶级的视觉感知、深度学习及多传感器融合等核心技术,通过摄像头、毫米波雷达、激光雷达等传感器实现对道路、驾驶员等车内外环境的精准感知,可识别车辆、车道、行人、交通标识、可行驶区域、驾驶员状态等元素,为车辆开展决策规划及运动控制提供依据。

同时,极目针对多种中国特色的驾驶环境及驾驶员状态的感知进行优化,使系统能够在多工况下保持极低的误报率和漏报率,综合识别率业界领先。

在产品层面,极目智能致力于为前装乘用车、商用车及后装市场打造可量产、低成本、高准确率的L0-L3级智能驾驶方案,根据应用场景选择不同的传感器或传感器组合,在保留必要冗余以确保系统功能安全性的同时,注意控制整体成本。方案功能从危险预警到车辆控制,涵盖车辆、行人等障碍物危险预警、可行驶区域检测、AEB自动紧急刹车、LKA车道保持、ACC自适应巡航、驾驶员状态及身份识别等。

汽车智能化浪潮之下,汽车、交通、房地产等多产业呈现融合趋势,孕育出万亿美元的市场规模,以极目智能为代表的本土智能驾驶创企也将面临着巨大的机遇和挑战,背负着利用国产自研的人工智能技术赋能汽车的重大使命。

对于这次融资,极目智能CEO程建伟说道:“汽车智能化是一个非常难得的机遇,国内的智能驾驶行业正在慢慢起步。在机遇面前,我们不仅要有敏锐的市场洞察,更要踏踏实实地打磨技术和产品。非常感谢TransLink及其他投资人对极目智能团队的认可,我们会保持初心,继续加速推进智能驾驶技术发展和商业化征途。”

Translink Capital中国区董事总经理杨非表示:“我们一直关注智能驾驶领域的科技创新型企业,极目智能作为中国最早一批布局智能驾驶领域的企业,是一支非常低调务实的优秀团队,我们十分看好极目在智能驾驶领域的巨大空间和机会,很高兴能够陪伴极目团队一起在智能驾驶领域商业化道路上走得更远。”

韩国现代汽车集团投资部负责人Sungwoo Shin表示:“在AI浪潮进入到商业落地期,扎实的产品化能力和务实高效的客户导入执行能力变得更为重要,极目智能务实踏实的做事风格给投资人和客户留下深刻印象。”

此外,作为此轮融资的投资方,韩国现代汽车集团也与极目智能达成战略合作,双方将在乘用车的智能化落地方面开展广泛深度的合作

关于极目智能

极目智能成立于2011年,是一家专注于智能驾驶技术研发与应用的人工智能企业,致力于通过自主研发的计算机视觉技术推动智能驾驶的发展和普及。 

极目智能亮相CES 2019 ,发布车规级乘用车驾驶辅助方案

1月8日,全球消费电子展CES2019如期开幕,智能驾驶技术提供商极目智能展示了旗下最新技术和解决方案。

JIMU @ CES 2019: Westgate Smart Cities 2200

1.深度学习:高效轻量,实现更高精度的环境感知

深度学习对于实现更高精度的环境感知、复杂场景下的控制决策必不可少。自成立以来,极目智能坚持深耕计算机视觉算法,获得众多国内外顶级OEM厂商的认可。在此次展会上,极目智能展示了旗下最新的深度学习算法,可准确识别车辆、车道线、行人、交通标志、可驾驶区域等。

极目最新深度学习技术展示

为实现运算性能和精度的平衡,极目智能将深度学习与传统算法结合,搭建出一套独特高效的深度学习结构,自主研发的高效网络模型JMNet在开源数据集上的指标优于计算量同级别的MobileNet V1/V2。极目智能在前期网络设计中考虑了量化需求,量化后的网络精度损失较小,可高效运行在FPGA或嵌入式平台上

为提升模型在复杂场景中的适用性,在数据样本方面,极目智能研发一套高效的数据自动采集与处理系统,目前可达50000张/天的数据采集量。这一数据随用户量的增加将持续增长,以形成庞大的数据库支撑深度学习算法的训练及更新

2.传感器融合:视觉与毫米波雷达融合,助力AEB、LKA落地

在实现AEB、LKA等驾驶辅助功能的技术路径上,极目智能选择将视觉与雷达融合,两者相互配合共同构成汽车的感知系统。

相比单视觉或单雷达方案,融合方案在系统功能可靠性、鲁棒性、数据可信度、系统分辨能力等方面更具优势。

视觉毫米波雷达融合技术演示

3. 乘用车方案:车规级ADAS驾驶辅助与DMS方案

展会上,极目智能展示了面向前装乘用车市场的前向视觉驾驶辅助方案JM600 C1。该方案采用极目智能最新的深度学习算法,能够准确识别车辆、车道、行人、交通标志牌等道路元素,并支持视觉与雷达融合,实现AEB自动紧急刹车等更高级别的驾驶辅助功能。

与前一代算法相比,极目最新深度学习技术能够识别出包括车辆尾部、侧面等多种车身姿态,并且在行人局部特征检测、夜间检测等方面有明显提升。

传统算法 VS深度学习

JM600 C1搭载高性价比车规级FPGA平台,并针对FPGA特性设计出高效的卷积操作,资源利用率高,运算延时低,帧率达到30帧。相对于ASIC等平台,FPGA方案支持引入最新的深度学习技术提升检测效果,支持按照需求调整网络结构,在灵活性、性价比等方面更有优势。

JM600 C1前装乘用车ADAS方案


此外,极目智能还展示了面向前装乘用车市场的DMS驾驶员监测方案,支持人脸检测、驾驶员身份识别等功能,通过人车匹配提供个性化的驾驶体验。此外,系统通过检测驾驶员面部表情、眼部状态等特征识别,判断驾驶员状态,如出现驾驶员疲劳或分神等危险状态,系统将发出提醒。

JIMU前装乘用车DMS方案

4. AR导航:基于传统导航及计算机视觉的车道级AR导航技术

在一系列驾驶辅助方案之外,极目智能还展示了基于传统导航及计算机视觉的车道级AR导航方案。该方案基于开放地图API实现实时导航路径指示,无需额外地图数据支持,将导航、预警等信息输出到HUD或车机上,提供ADAS+AR导航的安全舒畅驾驶体验

极目AR导航技术

此外,极目智能还展示了针对后装市场的驾驶辅助一体机JM600 H2,方案集成ADAS前向驾驶辅助功能及DMS驾驶员监测功能,针对追尾、疲劳驾驶等高风险驾驶场景,通过提前预警减少碰撞事故,并可实时将告警图片/视频上传至车联网数据服务平台,为开展精细化车队管理、驾驶员风险评估等奠定数据基础。

JM600 H2驾驶辅助一体机

欢迎各位业内伙伴莅临参观,极目展位号:Westgate Smart Cities 2200,2019.1.8-1.11,等你来撩!

极目智能亮相2018年第四届全国双创活动周湖北会场

10月9日,2018年第四届全国“大众创业万众创新”活动周湖北会场在武汉东湖高新区北辰.光谷里拉开序幕。这场由国务院鼓励倡导、各大省市鼎力支持的年度创新活动,自2015年正式举办起就备受全国的关注。本届双创活动周主题为“高水平双创、高质量发展”,极目智能作为湖北优秀创新型企业代表,受邀参加了湖北会场的启动仪式

2018年全国“双创”活动周主会场设立在成都、北京,在湖北、安徽等省市设立了分会场。“双创”活动周湖北会场由湖北省人民政府主办,武汉市人民政府、湖北省发展和改革委员会、湖北省经济和信息化委员会、湖北省科学技术厅、湖北省财政厅、湖北省人力资源和社会保障厅承办。

湖北会场启动仪式上,湖北省省长王晓东、武汉市市长周先旺等相关领导出席并发表讲话,中科院院士都有为进行专业指导,极目智能创始人程建伟与出席的领导嘉宾,观看湖北双创发展历程宣传片,了解湖北双创发展工作,并共同参与了2018年全国大众创业万众创新活动湖北会场的正式启动仪式。

全国“大众创业 万众创新”双创活动周期间,湖北省设立了武汉、宜昌、襄阳、荆门、荆州五个会场,并准备了200多场活动,包括“高水平双创、高质量发展”圆桌论坛、创新创业成果展、产品价值观和方法论培训、物联网+产品经理交流沙龙、高新技术企业认定政策辅导、成果转化项目路演等。

数据显示无论是市场主体、创新平台、人才规模及融资效果,武汉双创活动成效显著。本届现场聚集智能驾驶、无人机/艇、工业机器人、物联传感器、智能家居等领域的高新企业。

极目智能成立于2011年,是一家专注于智能驾驶研发与应用的人工智能企业,致力于通过自主研发的计算机视觉技术驱动智能驾驶的发展和普及。极目智能创始团队历经7年的技术深耕,自主研发的视觉感知系统可准确识别车辆、车道线、行人、骑行者、交通标志、驾驶员状态等,并可与毫米波雷达进行数据融合,实现复杂场景下的车内外环境态势感知,为车企及Tier-1供应商提供可量产的L1-L2级别智能驾驶解决方案。

在前装领域,极目智能已向苏州金龙、厦门金旅、潍柴动力、上海申龙、青年汽车、珠海银隆、上海万象等多家国内TOP15商用客车企业量产出货,大型客车主机厂客户份额占比50%以上。极目智能还积极拓展货车及乘用车领域,已与数家TOP10厂商达成合作。

在后装领域,极目智能与苏交科、上海国际汽车城、新加坡警察部队等海内外大型车队达成合作,并与中国大地保险总部携手在国内推动银保监首个ADAS车险产品通过评审,业务涉及车队管理、营运车险、智慧公交等领域。

解读 | 交通部发布的首项关于DMS驾驶员监测技术推广的政策,都说了些啥

最近, 交通部再发文在道路客货运输领域推广应用智能视频监控报警技术,要求:

在既有三类以上班线客车、旅游包车、危险货物道路运输车辆、农村客运车辆、重型营运货车上安装智能视频监控报警装置,新进入道路运输市场的「两客一危」车辆前装智能视频监控报警装置,实现对驾驶员不安全驾驶行为的自动识别和实时报警。

文件中提到的智能视频监控报警装置的功能要求主要有驾驶员行为监测、车辆运行监测(选配)等。关于车辆运行监测技术的推广,国内从2017年已陆续有相关要求出台,在此项要求之前,国内尚无关于驾驶员监测技术方面的相关政策法规

相比之下,国外相关的政策法规一直走在前面,在2017年9月,NCAP将驾驶员监测(Driver Monitoring)与AEB等数项技术同列为初级安全系统,这也就是说,从2020年开始,想要获得欧盟五星安全认证的车辆就必须具备驾驶员监测功能。

文件解读

根据文件,智能视频监控报警装置的功能要求可分为4类,分别是:驾驶员驾驶行为监测、系统失效报警、车辆运行监测、驾驶员身份识别,后两类为选配。

1)驶员驾驶行为监测

从功能设置来看,驾驶行为监测的主要目的是针对驾驶员的疲劳、分神、不规范驾驶等危险状态进行预警

以下是相关功能的示意,图片来自极目云管理平台:

在适用场景方面,系统要求能够在全部工况环境下(包括白天、夜晚、顺光、逆光等)工作,同时在驾驶员佩戴帽子、眼镜、墨镜、口罩等情况下正常工作。

如上图所示,在驾驶员戴口罩、帽子、眼镜、墨镜的情况下发生闭眼情况,系统能够正常工作,发出预警

2)设备失效报警

设备失效报警主要是针对驾驶员无意或故意遮挡镜头、佩戴不透光墨镜等情况导致系统无法顺利运行的场景

3)车辆运行监测(选配)车辆运行监测主要是针对车辆前方的潜在碰撞追尾、未打转向灯偏离车道两种危险场景进行预警。这两项功能的要求跟交通部JT/T 883测试类似,这里不再赘述。

4)驾驶员身份识别(选配)

驾驶员身份识别主要是根据驾驶员面部图像或识别信息来对驾驶员身份进行确认。

从以上技术规范来看,对智能视频监控报警装置具体有哪些基本要求呢?

  • 检测算法方面,系统应能够准确对驾驶员眼部、面部、头部等表情或动作进行精准识别;
  • 预警策略方面,由于驾驶场景的复杂性,系统应该在预警策略的设计上能够加入更多人性化的考量,在合适的时机向驾驶员发出适当的反馈,让驾驶员与系统之间建立信任感;
  • 设备硬件方面,装置应配备高品质红外摄像头,保证系统在夜间、逆光、树荫阳光等复杂光照环境、以及驾驶员佩戴眼镜、墨镜等场景下同样适用;
  • 配套的管理平台,装置采集的数据将作为事中事后监管、事故调查分析和责任追究,研究本地区道路运输安全管理政策措施、企业质量信用考核的参考依据;

极目方案

作为领先的智能驾驶技术提供商,极目智能多年来致力于通过自主研发的领先计算机视觉技术推动智能驾驶技术的应用与普及。极目智能提供基于视觉的环境感知方案, 并利用轻量高效的深度学习架构,可准确检测和识别车辆、车道、行人、交通标志、驾驶员状态等,实现精准的车内外环境感知。

极目后装驾驶辅助系统整合ADAS碰撞预警系统与驾驶员监测系统(Driver Monitoring System)。

  • ADAS碰撞预警系统利用视觉传感器实时监测前方道路情况,针对潜在危险场景进行预警,系统功能包括前车碰撞预警、车道偏离预警、行人碰撞预警、交通标志识别等。
  • DMS驾驶员监测系统可实时监测驾驶员头部、面部等表情及动作,针对驾驶员疲劳和分神状态进行预警,预警状态包括闭眼、低头、打哈欠、左顾右盼、抽烟、打电话等,此外系统还支持驾驶员身份识别。DMS系统采用符合IEC 62471光生物安全报告的高品质红外镜头,即便在夜间、逆光等高挑战性光照环境下也能提供高品质的成像质量。此外,由于红外光特性可以穿透墨镜镜片,被遮挡的眼部信息也能够正常成像,很好地解决了驾驶员眼镜反光或佩戴墨镜的问题

极目后装驾驶辅助系统

 那么,极目后装驾驶辅助方案有哪些优势呢?

  • 提供ADAS碰撞预警、DMS驾驶员监测、DVR部标机整合方案
  • 基于自主研发的顶尖计算机视觉技术,深度学习加持,复杂场景下与综合检测准确率指标优异
  • 批量出货,系统稳定性、鲁棒性经量产验证

目前,极目针对后装市场的驾驶辅助系统已经批量出货,业务涉及车队管理、营运车险、智慧公交等多个领域, 合作客户包括苏交科、中石油、上海国际汽车城、新加坡警察部队(Singapore Police Force)等国内外大型车队,并与中国大地保险总部率先在辽宁、山东、山西、河南、广东等多个省市合作推动ADAS车险风控业务落地。

在前装领域,极目智能已向苏州金龙、厦门金旅、潍柴动力、上海申龙、青年汽车、珠海银隆、上海万象等多家国内TOP15商用客车企业批量供货,在前装客车领域的大型主机厂客户份额占比50%以上。

 最后的最后

最后多提几句,关于驾驶员监测系统,它存在的意义不只是监测驾驶员是否处于疲劳驾驶状态这样简单(*具体可点击阅读原文查看见文章《极目智能:驾驶员监测不仅仅只是疲劳检测,它的重要性远不止如此》)在无人驾驶到来之前,对于驾驶辅助系统,做好对驾驶员的监控十分必要,人类很容易过度信任系统的驾驶能力,反而增大了潜在的事故风险概率。同时,系统也需要知道驾驶员在某个时刻的状态,以判断驾驶员此刻是否适合接管车辆。

极目智能:驾驶员监测不仅仅只是疲劳检测,它的重要性不止如此

对于驾驶辅助系统,做好对驾驶员的注意力监控是十分必要的,因为人类很容易过度信任系统的驾驶能力,反而增大了潜在的事故风险概率

国内外市场驾驶员监测的需求日益凸显

在NCAP发布的一项规定后,国外市场对DMS驾驶员监测系统的需求已然十分明确。

2017年9月,欧洲NCAP发布Road Map 2025, 其中将驾驶员监测(Driver Monitoring)与AEB等数项技术同列为初级安全系统,这也就是说,从2020年开始,想要获得欧盟五星安全认证的车辆就必须具备驾驶员监测功能。鉴于NCAP在国外市场上对于保险公司和消费者中的影响力,国外市场DMS的需求可想而知

EURO NCAP Roadmap 2025

驾驶员状态监测主要的技术流派

理论上讲, 驾驶员的状态监测可以通过检测驾驶员的生理信号、操作行为、车辆状态以及面部表情等方式来实现。

目前主要有两种方案。一种是通过确保驾驶员的手在方向盘上, 比如通过在方向盘上嵌入传感器来判断驾驶员是否手握方向盘来进行判断,或者在转向柱上加装扭矩传感器来获取方向盘角速度。但是,基于这种方案的系统很容易就被驾驶员用瓶装水、水果等小东西就给破解了。

另一种方式,是通过确保驾驶员的视线在前方道路上。随着技术的进步,图像传感器已经能够很好地实现对人类眼睛、眼球、表情、头部动作等细节的监控,甚至是戴着墨镜、或夜间等环境下,这让用摄像头来实现对驾驶员状态的监测成为可能。

基于摄像头的DMS系统工作原理

一般来讲,人在疲劳的时候会有比较典型的面部表情或动作特征,如较长的眨眼持续时间、较慢的眼睑运动、点头、打哈欠等。

基于摄像头的驾驶员监测方案正是利用这一点:首先挖掘出人在疲劳状态下的表情特征,然后将这些定性的表情特征进行量化,提取出面部特征点及特征指标作为判断依据,再结合实验数据总结出基于这些参数的识别方法,最后输入获取到的状态数据进行识别和判断。

基于摄像头的驾驶员监测系统工作原理

以极目驾驶员监测系统为例,它主要通过一个面向驾驶员的红外摄像头来实时监测驾驶员的头部、眼部、面部等细节,然后将获取到的信息数据进行模式识别,进而做出疲劳或分神状态判断。

识别准确率是驾驶员监测系统最核心的指标之一。极目DMS系统采用传统算法和深度学习,通过人脸检测与追踪、3D脸部建模等核心技术,针对打哈欠、闭眼、视线偏移等多种状态的综合识别率为95%左右,同时通过指令集优化、多线程优化、实时算法调度等高效的工程实现,系统响应速度得到大幅优化和提升。

另外,极目DMS采用近红外主动成像技术,能够适应各种光源环境,即便在夜间、逆光等高挑战性光照环境下也能提供高品质的成像质量。此外,由于红外光特性可以穿透墨镜镜片,被遮挡的眼部信息也能够正常成像,很好地解决了驾驶员眼镜反光或佩戴墨镜的问题。

除了算法,使用场景的复杂性是DMS技术的另一个难点。在实际使用中,系统能否在合适的时机给出反馈也会对用户体验产生影响,这不仅对算法检测准确率提出要要求,同时也需要在预警策略的设计上加入更多人性化的考量。

比如,如果系统在检测到视线偏移或低头的情况下就发出预警,但司机可能只是在切换电台的时候不小心扭了下头,这种预警很容易引起驾驶员对系统的反感,甚至可能直接将功能关掉。

所以,在很多实际场景下,系统需要能够判断出司机的真实意图,让系统与驾驶员之间能够通过多次交互建立信任感,这一点很重要。

驾驶员监测≠疲劳检测,它的重要性远不止如此

驾驶员监测不仅仅只是疲劳驾驶监测,市场当下对于疲劳驾驶状态监测的需求只是推动驾驶员监测技术发展的动力之一,驾驶员监测技术能做的远远不止这些。

在无人驾驶到来之前,对于驾驶辅助系统,做好对驾驶员的监控十分必要,因为人类很容易过度信任系统的驾驶能力,反而增大了潜在的事故风险概率。同时,系统也需要知道驾驶员在某个时刻的状态,以判断驾驶员此刻是否适合接管车辆。

虽然现在DM技术比之前进步很多,但整体来讲,目前国内外的驾驶员监测技术其实处于比较初级的阶段。包括在最开始提到的,NCAP要求将驾驶员监测列为五星标准,但目前还未发布更加明确的标准要求。

不管是为了满足当前市场上对疲劳驾驶状态的判断或者是将来作为智能驾驶场景下驾驶员状态的一个反馈窗口,驾驶员监测这项技术都还有很长的路要走。

从国内AEB的落地解读摄像头与毫米波雷达的融合技术

传感器融合被认为是智能驾驶的必然趋势。这两年,在交通部政策的推动下,部分L1和L2级别的ADAS功能被要求在一些商用车型中强制安装,其中包括AEB(自动紧急刹车)。这里就借AEB在商用车上的落地谈谈传感器融合的事情。

AEB的技术实现方法

目前,实现AEB的技术主要有三类,分别是基于视觉传感器、毫米波雷达和激光雷达。由于成本限制因素,国内主要使用前两种方式。视觉传感器和毫米波雷达实现对车辆的AEB功能的原理不同:毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂,以单目视觉方案为例,它需要先进行目标识别,然后根据目标在图像中的像素大小来估算目标的距离。

这两类技术各有优劣。总体来讲,摄像头方案成本低,可以识别不同的物体,在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势,是实现车道偏离预警、交通标志识别等功能不可缺少的传感器,但作用距离和测距精度不如毫米波雷达,并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小,测距精度高,但难以识别车道线、交通标志等元素。另外,毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标速度探测。

 于是就有了第三种方案,将摄像头和雷达进行融合,相互配合共同构成汽车的感知系统,取长补短,实现更稳定可靠的AEB功能。

融合方案也是国内商用车AEB的落地上所强制要求的方式。在JT/T 1094-2016《营运客车安全技术条件》中提到,车长超过9米的营运客车需装备符合JT/T 883规定的车道偏离预警系统(LDWS)和AEB(包括前车碰撞预警系统)。在交通部办公厅所印发的《营运客车安全达标实车核查工作规范》中明确要求,营运客车驾驶室前面罩需要安装AEBS毫米波雷达或激光雷达装置。后续想必也会出台政策推进在其他商用车车型上的普及,未来可能还会扩展覆盖乘用车

传感器数据融合的原理与优势

采用融合方案后,摄像头和雷达会获取到不同的感知信息,这些信息之间可以相互补充,但也可能会存在矛盾。假设在某一场景下,来自摄像头的信息是车辆前方50米左右有异型车,需要刹车,而雷达却没有反馈同样的信息,这样的矛盾信息可能会让车辆不知所措。所以,为了让车辆控制中心接收到一致且明确的行动指令,就需要将传感器的数据进行融合。

 传感器数据融合的基本原理跟人脑综合处理来自眼、鼻、耳等多器官的信息类似,主要是综合多个传感器获取的数据和信息,把多传感器在空间或时间上冗余或互补信息依据某种准则来进行组合,获得对被测对象的一致性描述。

 回到驾驶场景上,大致是这样的流程:首先摄像头和毫米波雷达分别针对观测目标收集数据,然后对各传感器的输出数据进行特征提取与模式识别处理,并将目标按类别进行准确关联,最后利用融合算法将同一目标的所有传感器数据进行整合,从而得出关于目标威胁性的一致性结论。

以极目智能的视觉和雷达融合系统为例。如下图,图中蓝色点和绿色点分别为摄像头和毫米波雷达对同一目标的检测,摄像头主要负责目标外观锁定,毫米波雷达主要负责测距。红色点是雷达检测到的其他地物目标

极目智能视觉和雷达融合系统

数据融合也有不同的策略,比如有的方案会选择将不同传感器各自处理生成的目标数据进行融合,有些会选择将不同传感器的原始数据进行融合,避免一些原始数据的丢失。在智能驾驶场景下,视觉和毫米波雷达的数据融合大致有3种策略:图像级、目标级和信号级。

图像级融合,是以视觉为主体,将雷达输出的整体信息进行图像特征转化,然后与视觉系统的图像输出进行融合;目标级融合,是对视觉和雷达输出进行综合可信度加权,配合精度标定信息进行自适应的搜索匹配后融合输出;信号级融合,是对视觉和雷达传感器ECU传出的数据源进行融合。其中,信号级别的融合数据损失最小,可靠性最高,但需要大量的运算。

测试数据显示,与单视觉或单雷达方案相比,融合方案在系统可靠性和鲁棒性、数据可信度、系统分辨能力等方面更具优势

视觉传感器和毫米波雷达融合的技术基础

传感器融合已被公认为是智能驾驶的必然趋势。为了实现视觉和毫米波雷达的数据融合,需要具备一些技术基础,比如系统化的图像和雷达数据获取和处理技术体系,在数据处理和目标分类识别等层面具有信息融合算法的优化和设计能力,等等。鉴于当前国内的视觉感知技术要比毫米波雷达更加成熟,那么对于视觉技术企业来讲,他们在与外部雷达平台进行融合的时候,则需要具备优秀的雷达系统二次开发能力,尽量提高信息的利用率。

 对于视觉和毫米波雷达的融合,技术实现上的主要难点在于摄像头和雷达观测值的匹配、数据融合、多目标场景下有效目标库的维护等,需要考虑容错性、灵活性、可拓展性、可靠性、安装等多方面的因素。

 同时,信息融合技术实现需要不断配合大量路测,涉及设备输出、真值标定以及二次数据开发等工作,对应的数据采集量、数据存储量、数据交互量、数据处理工作量非常大,对于研发机构的综合开发能力有很高的要求。

 最后,传感器数据融合的核心关键还是在于采用合适的融合算法。作为一个新兴领域,数据融合目前尚无统一的理论和广义有效的融合模型和算法,需要根据具体场景来选择,但可以预见,神经网络和人工智能等新技术在传感器数据融合中将起到越来越重要的作用。

这也是各行业参与者打造技术壁垒,建立核心竞争力的关键所在。

极目智能入选「最佳新锐创业公司TOP10」榜单

5月18日,由科技媒体猎云网主办的“万物生长——2018年武汉创业创新峰会暨首届楚馨奖颁奖盛典”在武汉举行。

此次活动共颁发了包括「新锐创业公司」「最具影响力创业公司」「最佳城市贡献」「最佳企业服务商」等在内的奖项,此次活动奖项的评选结果是由线上投票和专业评审团审核综合评定而出,评审团综合了企业实力、发展前景、行业口碑、团队潜力等多方面指标给出打分。

极目智能从参选的众多湖北优秀企业中脱颖而出,获得「最佳新锐创业公司Top 10」奖项。

极目智能一家专注于智能驾驶技术研发与应用的人工智能企业,致力于通过全球领先的计算机视觉技术助力智能驾驶的发展和普及。公司业务主要面向前装市场,同时也为物流车队、两客一危、车险、智慧公交等行业提供驾驶辅助解决方案。

凭借在技术领域的领先优势及高效的客户支持体系,在前装领域,极目智能已与国内多家TOP 10商用车厂商展开合作,目前已进入量产阶段。