让建站和SEO变得简单

让不懂建站的用户快速建站,让会建站的提高建站效率!

  • 高阶自动驾驶测试数据闭环处治决策

    发布日期:2022-05-14 11:01    点击次数:74

    昆易电子建造于2011年,建造于今领有有32项学问产权,280多位职工,研发占比60%以上,其愿景是让研发更肤浅,定位是镶嵌式研发汽车测试用具处治决策和工作。工作的行业有汽车、讲授、航空航天、轨道交通。居品和处治决策有基础软件的开发、仿真测试平台、数据收集和分析用具、ADAS数据闭环处治决策、测试工作等。

    一.自动驾驶数据收集决策

    对自动驾驶行业而言,这个边界的传感器突出丰富,有GMSL相机、雷达有如毫米波,激光,超声波,收集的时候也触及到环境、音频、V2X舆图等传感器。

    自动驾驶的数据蚁鸠合,如视频方面,相机有100万像素,200万像素,300万像素,500万像素等等;相机的数据中,需要对数据的面貌做H264、H265等多样各样的压缩;还触及到相机曝光,如将相机、雷达进行组合曝光,对数据进行有用的收集,这是都是面前客户终点原谅的问题,为此昆易电子都做了联系的处治决策。

    二.对于自动驾驶数据收集类型,昆易电子以为有以下几种类型

    第一种收集类型是平直收集,数采开拓把悉数的传感器全部接入进来,由数采开拓去舍弃,比如说舍弃授时,传感器供电,曝光,以过甚他传感器,保证通盘数据同步的收集记载下来,莫得经过其他的多样多元化的处理。

    比如一个常见的决策:两颗前视相机,一个FOV为30度,一个FOV为120度,后视一颗相机,环顾4颗相机,周视4颗相机,一颗RTK,前视一颗毫米波,再顶上用一个128线的激光雷达,一个前向固态激光。

    第二种,更进阶的收集决策,昆易电子称为旁路收集。计议到面前的大部分传感器自己不具备一分为二的特质,字据这个情况,昆易电子提供bypass 的硬件开拓,将传感器的数据进行一分二,在不唠叨原有整车线束和整车驾驶特质的情况下,保证收集和域控的闲居进行,然则两个之间不做相互的影响。平正是数采开拓仅仅被迫经受传感器的数据,对传感器的舍弃权,依然在域舍弃器。

    第三种方式是真值收集,原车悉数的传感器是不变的,比如一辆车有激光雷达和毫米波雷达,11颗相机,顶上有一个EQ4动作感知,粗糙说平直用域控做感知,这个时候客户需要一套真值的系统,去对标它的感知才智,就会触及到在车顶上,一个主激光雷达再加两颗激光雷达作补盲,车头再加一颗激光雷达补盲,车身四周再加4颗角毫米波雷达补盲。这么的一套决策,去做整车运转历程中的的数据收集,接着在本质室去离线分析收集数据和真值的扫尾,进行感知对比,去发现处治问题。

    三.不同的传感器如相机,也会具有不同的收集决策

    面前收集有如下两种方式:一种是平直收集RAW数据,RAW数据平直落盘到数采开拓,落盘的方式不错遴选压缩落盘和不压缩落盘。这种即是常说的原始的RAW数据的收集。另一种方式是RAW数据到ISP中进行漂泊输出成YUV的数据面貌,进行数据落盘。落盘的方式也终点丰富,比如有:平直落盘YUV的数据,这种带宽会比较大;粗糙针对YUV的数据,做H26X的压缩,举例H264、H265的压缩,平正是压缩的比例是动态可配的(1:50,1:40等); 也不错把YUV数据的落盘成一张张的图片流如JPEG粗糙MJPEG的面貌,便捷后期的感知使用

    另一种方式是相机里面就依然内置ISP,相机的输出即是yuv面貌的数据,数据落盘的方式不错YUV粗糙yuv压缩

    对于LiDAR而言,接入到数采开拓后,数采开拓收受它的UDP报文,也会对雷达进行PTP的授时。数采开拓可提供V4L2接口、ROS接口,不错数采和感知同步并行,即在数采开拓上做数据收集的同期,还不错提供及时的接口,给算法端去做及时的感知。

    四.传感器旁路如何旁路?

    有如下三种情况,

    RAW类型录像机:通过昆易自研的GMSLBYPAS模块一分三,其中一起给到域舍弃器,域舍弃器去做数据输入,第二路平直做RAW收集落盘,第三路RAW经过ISP处理输出为YUV给到数采开拓落盘。

    YUV类型录像机:过昆易自研的GMSLBYPASS模块一分二,这种类型录像机经过GMSLBYPASS模块后不需要再做ISP处理,一起平直给到域舍弃器,另外一起数据给到数采开拓落盘。

    LIDAR激光雷达:过昆易自研的ETHBYPAS模块一分二,通过复制转发的神气,一起平直给到域舍弃器,另外一起数据给到数采开拓落盘。

    五.针对上述不同的数采决策,昆易有多类型的数采开拓解救多种决策的竣事

    第一款4000 pro,搭载11代的因特尔的CPU,搭载两颗3090的GPU,解救12路800万相机的接入。相机的数据接入都是走的PCIE的接口,优点是带宽大,延时低,不错解救16路CAN/CANFD的接入,2路FlexRay,解救PPS同步卫星期间,可动作PTPMaster去授时车身悉数传感器,解救相机和外部组合输入的同步曝光,整机数据收集同步精度在1毫秒以内。

    第二款3000 Pro,是昆易电子推出的高性能版数采开拓,搭载9代的CPU,搭载两颗3090的GPU,12颗800万的相机,解救16路CAN/CANFD的接入、2路FlexRay,解救PPS同步卫星期间,可动作PTPMaster去授时车身悉数传感器,解救相机和外部组合输入的同步曝光,解救视频编码压缩储存(板卡端)上风在于视频编码粗糙压缩不占用GPU的资源,还不错同期给到数据接口给到感知使用,得志感知和数采在吞并台开拓上运转。

    第三款2000,它的性能相对而言弱少量,搭载2080的GPU,对一般的数采而言,是够用的,解救8路CAN/CANFD,是解救12颗相机,通盘数据精度都是一毫秒之内的,编解码亦然在板卡端。

    第四款轻量级的2000E搭载7代CPU,搭载一颗1650GPU,不错接8颗800万的相机,使用场景单一,然则体积小,更便携。

    六.数采开拓对面前市面上的一些传感器的解救的才智是什么?

    1. 解救收集CAN,CANFD,其中CAN卡为昆易自研,每通道解救CAN/CANFD设置,市面上的CAN开拓均不错接入收集。如整车CAN,EQ4CAN,毫米波CAN,超声波和会CAN等。解救DBC导入,分解信号并记载;

    2. 解救激光雷达解救种类多元化:解救市面上主流激光雷达接入,如禾赛机械激光雷达全系列,速腾聚创机械全系列,固态M1,Innovation 300线,velodyne激光雷达。解救如上雷达的收集,点云计较,前和会投影计较;

    3. RTK/IMU解救种类多元化:解救市面主流RTK接入,如诺瓦太,导远,北斗星通,华测,戴世等品牌。解救如上RTK数据收集,秒脉冲校时,解救PTP Master 竣事系统授时,校时;

    4. 录像头解救种类多元化:解救市面主流的GMSL录像头接入,如森云,Leopard,舜宇,联创,德赛,海康、殷创。且开拓端解救对相机接入的数据进行,H264/H265/JPEG/MJPEG编码传输。减少主机的GPU因相机数据的编码耗损感知运算的资源。单通道最大不错解救到8M 30FPS。板卡解救多样类型的辩认率的接入,如规矩的720P,1080P,2K,4K.粗糙不规矩的多样尺寸的数据接入;

    5. 曝光舍弃计谋客制化:解救客户条目的多样曝光计谋,如程序30帧,20帧,15帧,10帧等曝光舍弃,如依赖激光雷达输出的脉冲的10hz波形的曝光舍弃;

    6. 智能录像头解救种类多元化:解救市面主流智能录像头接入,如Mobile EQ4,地平线Mono J2/J3,Maxieye,Minieye等解救灵通数据接口,不错提供客户多样传感器的数据接口。如V4L2接口,Socket CAN接口,ROS接口;

    七. 面前开拓解救会聚昆易的云霄平台

    云霄平台不错提供用户权限经管、车队经管、设置经管、测试任务下发。及时景况监控、片断数据下载、整车开拓的OTA升级,及时日记下载,汉典问题定位,及时数据稽查的功能。

    客户前期可能需要海量的数据收集,那么后期开拓不错提供感酷好的数据收集,当数据收集车在路上运转时,工程师不错在本质室中通过云霄平台字据测试假想去调整测试方式,把需要测试的场景通过远端下载到开拓端,开拓不错字据具体的设置改革后续的测试计谋,工程师也不错通过修改总线信号,给到域舍弃器下发,粗糙汉典刷新人工标签。

    汉典刷新后,测试车辆的驾驶员,不错及时更新人工标签,这么极大提高了感酷好数据的扫尾。

    八. 昆易电子数据可视化和分析软件

    在此方面,昆易电子提供了一款软件,在车端是及时,在本质室端不错字据车端记载的数据来做离线分析 ,软件具有如下功能 :解救CAN/CANFD数据及时可视化,解救舆图行驶轨迹的及时生成,解救雷达点云可视化分析,解救指标物与点云的和会泄漏,解救视频及时可视化分析,解救真值系统输出,解救Tag输入,用于人工标注场景、事件,解救ADAS联系信号的统计分析,解救和会第一视角,解救联系被测件的分析评价。

    九.如何解释数采决策中的同步精度到一毫秒,昆易电子有一些测试程序:(1)多相机期间戳同步精渡罪责在100us以内,考据程序:用多个相机去拍摄吞并个画面。(2)CAN总线和雷达数据期间戳同步精渡罪责在500us以内,不错基于雷达输出脉冲的这一时候,去看雷达的数据和总线报文产生时,咱们所记载的期间戳的罪责,是若干。(3)相机数据期间戳和雷达数据期间戳罪责精度在1ms以内,不错以雷达的脉冲去trigger相机的曝光来看收集的数据的期间戳和雷达报文里面的期间戳的罪责。(4)和会考据:整车静态、30km/h、60km/h、80km/h、100km/h、120km/h车速下的统合投影。(5)多传感器数据期间同步精度:500us ~ 1ms之间

    十.昆易电子数据回注的决策

    回注开拓在智驾仿真中终点紧要,因为某些难以复现的场景,实车测试时发送过一次后很难再去复现第二次,比如说动物在马路乱窜、交通事故的规复、卡车后的红绿灯、加塞的车辆、迷蒙行驶场景、雪地阳光产生的逆光等。智驾回注开拓不错让这些边角案例的素材酿成一个数据原型注入进域舍弃器中,然后域舍弃器不错愚弄这些数据做一个开环的感知扫尾的输出。

    在数据回注的需求场景下,昆易电子看到假想的复杂性比传统高好多。比如系统界说复杂,仿真假想复杂,测试代码复杂,包括触及到软件测试,系统测试,整车测试。其复杂度比较往常,量级有了彰着的进步,昆易电子通过把素材变成舍弃器不错使用的数据模子注入进来,再做一些感知扫尾输出给域控。

    十一. 智驾回注开拓典型的需求场景:集群化追溯测试

    在后续测试,一台车跑一年的数据用一台回注的开拓跑一年,一台车一年的数据用几百台的开拓,做鸠合化的追溯测试,这么测试的周期就大幅度的镌汰。

    十二. 智驾回注开拓典型的需求场景:仿真闭环测试

    昆易电子基于场景软件的仿真闭环测试,通过多样总线、视频、以太网接口按照决策把所少见据闭环到域舍弃□器,愚弄域舍弃器去做整车悉数传感器的闭环仿真测试。昆易的回注开拓有好多总线、视频、以太网的接口,解救多板卡级联同步,而且由域舍弃器触发反应,通盘的酿成一个测试闭环。

    十三. 智驾回注举座先容

    通盘回注系统的组成是由RTPC单位和视频注入的板卡.以太网板卡、CAN卡,然后通过上位机/注入剧本拉云霄的数据插足昆易的及时机,及时机去做编码,比如说视频愚弄GPU解码再通过PCIE/HDMI/GMSL送到域舍弃器,以太网的数据通过车载以太网平直送到域舍弃器,这套开拓独一保证数据到域舍弃器的同步性,域舍弃器就不错模拟整车在路测的场景。

    十四. 智驾回注功能-视频注入

    视频注入卡是昆易一直自研的一张终点有价值的板卡,不错把HDMI的信号专成LVDS,解救万般型串行芯片,通过开拓解救的契约去调理数据,将视频的数据很好的传输到域舍弃器,域舍弃器独一有对应的接口就不错拿到数据。不错在PC端去解码RAM,H26X(H264/H265)和YUV的数据通过GPU去编码,然后通过HDMI传输到视频注入板卡之后,通过串行器走LVDS传输到对应域舍弃器的解串器。同期开拓亦然解救域舍弃器Trigger反应,域舍弃器Trigger一帧,昆易的开拓不错修起一帧。

    十五. 智驾回注功能-视频注入的故障模拟

    除了的确场景的回注,同期昆易电子不错进行故障模拟,触及到视频帧的故障模拟。昆易电子在测试的历程中就地的位置粗糙固定的位置树立一些马赛克,粗糙加入一些特殊的图像,唠叨原生视频的的确性,进行考据。同期,不错模拟底层故障,如模拟丢帧、模拟时延等。

    十六. 总线及车载以太网注入1.总线注入:CAN CANFD LIN FLEXRA 2.车载以太网注入 :100/1000 Base T1←→100/1000 Base TX 3.舍弃器曝光反应 :解救仿确切确录像头,监听舍弃器发出的同步触发曝光信号,达到不同录像头同步注入的主张4.带宽性能瓶颈 :高效愚弄GPU处理才智,幸免过多的占用PCIe。