VADS01 360°多视角立体全景辅助驾驶系统

产品概述

  车辆驾驶过程中,由于对车辆周围态势缺乏准确全面的感知而造成驾驶人员出现主观判断的失误是导致车祸发生的主要原因,为此,上海凯视力成公司开发了一款能够实时提供车辆周围360°多视点立体全景视频的车辆辅助驾驶系统,与传统技术不同的是,该技术可提供清晰的、精确的、以3D方式重建拼接的图像,并允许驾驶员能够从最合适的视角看清车辆周围情况,从而提高了驾驶和操作的安全性、准确性。

  传统“鸟瞰图”的缺点

  车辆驾驶和操作人员在许多情况下(如泊车、转弯、并道、装卸货物、工程作业)下都需要知道汽车周围的情况,目前的视频辅助驾驶技术,大都是通过安装在车身上的4个或更多的摄像机视频形成一种“鸟瞰图”,通过“鸟瞰图”为驾驶操作人员提供一种周围环境的直观手段。如图1所示。

       

                        图1 “鸟瞰图”的形成

  “鸟瞰图”的不足在于:只能提供距离车辆周围很近范围(2米左右)的视频图像,所以倒车时需要切换到后视摄像机画面,或者需要一个后视监视器;“鸟瞰图”并不能把车辆周围的情况一览无余地呈现给驾驶操控人员,有些操作,驾驶操作人员可能期望换个角度去观察车辆周围的情况,比如倒车时期望有个人站在车辆后面观察指挥其倒车,这就是变换视点的概念,这也是传统的“鸟瞰图”所不能呈现的。

  360°多视角立体全景显示技术的优势

  我公司开发的360°多视角立体全景显示技术,能够显示汽车周围任何视角的视频图像,并可以实时平滑地从一个视角过渡到另一个视角。为驾驶和操作人员提供通过实时提供汽车周围环境的完整准确的三维视图,可提高驾驶和操作的安全性、准确性。如图2所示。

       

                    图2  360°多视点立体全景图

  在图2中,4个摄像机捕获4个不同视角的视频图像,这4个视频场景被虚拟投射到3D曲面上,图像视点可自由地连续地改变,以显示需要的视图。如图3到7所示。

           

                     图3 从车辆后方看的图像

           

                     图4 从车辆侧面看的图像

           

                     图5 从车辆前方看的图像

           

                      图6 从车辆左前方看的图像

            

                       图7 从车辆右后方看的图像

  这项技术,驾驶员能够获得车辆周围的全景半球视图:完全由驾驶员定义的视角或“自由视点”。驾驶员能够从单一图像获得概貌,从而即刻了解汽车周围情况。虚拟“自由视点”图像视角允许驾驶员看到来自汽车前面、后面、两侧的图像,如同虚拟“第三人”之所见,以向驾驶员提供尽可能好的视图。驾驶员能从任何视角轻松检查视图,从而减轻对所显示的视图进行辨认所带来的认知负担。图像清晰真实准确。
  该技术还适用于各种行驶情况,使驾驶员能够轻松应付棘手情况,如泊车、通过或并道。例如,在泊车时,驾驶员不仅能够获得有关道路,还能获得有关近旁汽车和人的通知。实际上,就“盲点”消除程度而言,二维技术没法与该技术相提并论。

  先进的3D算法实现多画面图像的无缝合成

  来自4个摄像机的图像经过运算能力强大的GPU,实时合成为3D图像并投射到虚拟三维曲面或曲网上,如图8所示,产生虚拟3D全景视频。然后该视频被转换为汽车周围环境的视图(任何需要的视点)。
       

                       图8  3D曲网

  强大的软硬件平台
  360°多视角全景辅助驾驶的硬件平台是采用NVIDIA公司的TegraX1系列SoC,它将最新NVIDIAMaxwellGPU架构与ARMv8CPU族融为一体,实现高性能低功耗。MaxwellGPU实现多结构的增强以实现每瓦功耗的性能最大化,以实现低功耗应用环境,TegraX1处理器具备工业界领先的视觉计算能力,32bit和64bi运算能力,集成了先进的多功能音频、视频和图像处理管线。
  使用这种通用的GPU平台,可以快速灵活低实现用户各种定制化功能。

  产品应用

  • 拥堵的城市交通;
  • 狭窄的装卸货物区域;
  • 杂乱的厂区;
  • 繁忙的建筑工地;
  • 坦克装甲车辆;
  • 社会特种车辆。

  产品组成
          
                        图9  产品组成示意图
           
   产品优势                 
  • 全景拼接:利用4个或6个相机形成的全景视频,有效的减小视觉盲区;
  • 3D视觉:视频效果直观清晰,可通过鸟瞰、多视点对车辆周围情况进行监视,便于及时调整驾驶动作;
  • 多种接口输出:支持AV接口、VGA接口和HDMI接口视频输出;
  • 精准的提示线:在低速行车、倒车和转向时,精准的行车线、倒车线以及随方向盘变化而变化的趋势线,提示车身即将经过的位置,准确辅助驾驶;
  • 全实时、低延迟,帧率25fps;
  • 产品可根据用户需求定制。
  产品效果展示
          

                  图10 全景+多视点+车内视频显示画面

           

                    图11  全景+单相机显示画面

           

                    图12  单相机显示画面

         

                     图13  车内视频显示画面

        

                    图14  倒车视频显示画面


安装示意图

            
 前、后、左、右四个摄像头安装分别安装在车头、车辆两侧和车尾的中间位置,摄像头垂直向下。视频控制器安装于驾驶员座位附近的合适位置。在地面铺设靶布,利用操作键上一键拼接功能,完成全景拼接。

产品应用

  • 校车,公交车和大巴
  • 城市内行驶的校车、公交车和大巴由于车辆体型庞大,驾驶员的视野盲区较大,尤其是在倒车、转弯的时候,常常发生撞人、撞车事故,辅助驾驶系统为其提供的全景视频极大的提高了车辆的驾驶安全。

        
  • 移动式起重机,挖掘机和施工车辆
  • 3D辅助驾驶系统为各类工程车辆提供的全景视频,能够帮助操作员更高效的操纵车辆进行装载和卸载定位,提高工作效率。

       
  • 拖拉机和联合收割机
  • 农用车辆对精度和准确度要求比较高。有了全景视频后,更方便操作员进行工作和操纵。

         
  • 通用卡车,垃圾车和运输车辆
  • 为卡车、垃圾车和运输车辆添加辅助驾驶系统,一方面能够拓宽驾驶员的视野,另一方面利用视频信息可以泊车、装卸货物,提高工作效率。