360°全景态势感知系统

1.概述
下面图示了360°全景态势感知系统的应用和结构:
图1  360°全景态势感知系统的应用和结构
从上图中,我们可以看出:
    a)    360°全景态势感知系统的功能
无论是白天还是黑夜,时刻提供舰船等周围的360°全景的、高清的、实时的视频,从而使指挥官能够感知其周围全面而丰富的态势,提高其快速反应能力和技战水平。
    b)    360°全景态势感知系统的组成
  • 传感器:由CCD摄像机和红外摄像机组成,实现对周界昼夜的视频探测能力;
  • 视频处理单元:完成对视频的全景拼接、感兴趣区域的放大、图像处理分析(异常目标检测报警、目标跟踪、电子稳像、图像增强、视频压缩存储回放等)、人机交互的GUI接口;
  • 触摸屏:人机交互界面。

2.技术参数
      1.特征
    1. 实时的360°全景图像,用于态势感知和监视;
    2. 高清彩色CCD传感器和红外传感器;
    3. 实时显示周界视频图像;
    4. 传感器全固态,无运动部件,高可靠性;
    5. 异常目标检测、告警;
    6. 感兴趣目标的自动跟踪;
    7. 感兴趣区域电子放大;
    8. 电子稳像;
    9. 图像增强;
    10. 视频压缩、存储、回放;
    11. 触摸屏操作的GUI人机交互接口。
       2.技术参数
视场 水平360°,俯仰±35°
传感器 高清CCD和红外摄像机
图像处理 全景视频拼接、运动目标检测、跟踪、电子稳像和图像增强
帧率 25fps
延时 100ms
视频压缩标准 H.264
显示窗口 图形用户接口,全景图和局部感兴趣区域
数字图像放大 3x,6x和12x
视频输出格式 DVI(兼容1920 x 1200显示)或其它显示格式

3.系统设计

3.1 传感器
  • 传感器由彩色CCD摄像头、红外热成像摄像头及镜头组成:
  • 彩色CCD摄像头型号为:CB-200MCL,数量:4
  • CCD摄像头镜头所用镜头型号为:1.7mm,1/3”,数量:4
  • 红外热成像摄像头型号为:I-Driver-384,数量:12
  • 红外热成像摄像头所用镜头型号为:13.5mm,1/2”,数量:12

3.2 视频处理单元
视频处理单元是系统的核心,其核心处理器采用Ti公司的TMS320DM8168。该处理器基本组成:ARM Cortex-A8 RISC CPU带NEON扩展、TI C674x VLIW浮点DSP核、HDVICP2。富裕的外设,提供了控制外部设备的能力和与外界处理器通讯的能力,外设包括:HDVPSS、EMAC、USB、SATA、PCIe、McASP、McBSP、UART、SPI、SD/SDIO、I2C、GPIO、Timer、WDOG 、DDR2/3等。由此,我们可以看出采用TMS320DM8168处理器可以大大简化设计,降低系统的体积和功耗,提高系统的可靠性。
视频处理单元结构框图如下:
图2 视频处理单元结构框图

3.3 人机交互
人机交互接口主要组成部分是:
触摸屏:
型号为:1541L。其基本参数如下:
显示屏 15.6"对角
宽高比 16:9,有源矩阵TFT LCD
有效屏幕面积

水平:13.6" (344mm) 

垂直:7.6" (194mm)
显示器尺寸

宽度:14.8" (377mm)

高度:8.7" (221mm)

深度:1.8" (46mm)
本机(最佳)分辨率 1366x768
色彩 1670万
亮度 (标准) LCD面板:250尼特
IntelliTouch Plus:225尼特
带Acc uTouch:200尼特
视角 (标准)

水平:总计±85°或170°

垂直:总计±65° 或130°
对比度(标准) 500:1
同屏显示(OSD)

控制:菜单、向上、向下、选择、电源

设置:亮度、对比度、时钟、相、水平位置、垂直位置、自动调节、纵横比、清晰度、色温、OSD超时、OSD语言、OSD水平位置、OSD垂直位置、调用默认值、视频源
语言:英语、法语、意大利语、德语、西班牙语、简体中文、繁体中文、日语
锁定:OSD、电源

4.基本操作
系统有2个基本的人机交互界面:
  • 主显示界面:包含大部分功能;
  • 事件记录界面:提供先前捕捉(自动或手动)的图像的存取管理。
所有的操作均可通过触摸屏进行的。

4.1 主显示界面
主显示界面如下图所示:
1 拼接窗口 以全景拼接或不拼接两种方式之一来显示实时捕捉到的多摄像机画面。通过按钮8来选择。
2 感兴趣区域(AOI) 显示内容可能是来自拼接摄像机的某个特定的感兴趣的区域
3 定位矩形 仅显示在全景模式下,这个矩形窗口放大显示在感兴趣区域窗口。这个矩形窗口随ZOOM选择来变化。
4 定位区域 代表感兴趣的区域窗口显示内容的方位和尺寸范围。
5 方位扇区 12个方位标记,代表相对于观察者的方向,这个方向通常与舰船方向一致。右侧标记点为蓝色。
6 菜单 存取系统的主菜单,进行高级配置和矫正。
7 ZOOM In/Out 缩放感兴趣区域的画面。
8 全景窗口模式 选择拼接窗口显示模式:全景拼接或不拼接两种模式之一
9 视频源选择 选择视频源来自CCD摄像机还是红外热成像摄像机。
10 VMD
  1. 使能或禁止VMD功能。VMD使能的时候,ROI按钮以红色闪烁。
  2. VMD指示灯,可以表示:或运动检测禁止;或运动检测使能;或检测到运动(闪烁)。
  3. 打开ROI/RONI创建/更新菜单
  4. 在一个ROI/RONI(非感兴趣区域Region of Non Interest)周界的虚/实现。当工作在全景摄像机模式的时候,这个线将显示在AOI窗口。线的颜色在定义区域的时候设定。
  5. 当VMD机制有效,在 ROI中检测到了运动,在AOI窗口显示红色的框,这个框会紧紧框住移动目标,点击这个框,将在AOI中跟踪目标.
11 Alarm 使能或禁止音频报警,报警由运动检测来触发。
12 LOG 记录事件的存取。
13 记录视频 使能或禁止记录视频,记录的时候,红色闪烁,系统以全帧率来记录所有视频流(CCD摄像机和红外热成像摄像机)。
14 AOI捕捉 使能或禁止AOI图像的捕捉,当有效的时候,按钮红色闪烁,系统采样并存储AOI图像。图像可能来自CCD摄像机或红外热成像摄像机。存储的图像可以在事件记录中回放。
15 关机 安全关机

4.2 事件记录界面
1 记录的事件列表 显示所有记录的列表(人工捕捉或自动捕捉)。每个条目对应一个记录,左列是记录的类型(人工或VMD),右边列是记录的时间和日期。每个记录由一系列图像组成,从开始到结束。图像显示在捕捉图像列表窗口。
2 捕捉的视频列表 显示单次记录(从记录的事件列表中选择的)捕捉到的图像片断
3 删除全部 删除所有的记录
4 删除选择的 删除选择的事件
5 Copy到 将文件导出到其它文件夹或外部设备
6 滑动显示 显示一系列图像
7 关闭 结束事件记录显示,切换到主显示

5.系统结构及交链接口

5.1视频处理单元

机械结构尺寸:
  • 长:200mm,宽:150mm,高:15mm
对外接口
  • 连接器型号:PDS-150JW
  • 接口定义:见附录A

附录A

视频处理单元接口定义
驾驶员视频处理单元接口定义  
序号 c 注释 b 注释 a 注释
1 LAN_MX1+ 调试网络发送+ LAN_MX3+ 预留    
2 LAN_MX1- 调试网络发送- LAN_MX3- 预留    
3 GND GND    
4 LAN_MX2+ 调试网络接收+ LAN_MX4+ 预留    
5 LAN_MX2- 调试网络接收- LAN_MX4- 预留    
6 GND GND GND
7 RXD1 调试串口接收 TXD1 调试串口发送 GND
8 RXD2 预留串口接收 TXD2 预留串口发送 GND
9            
10 T_VIN1 CCD视频输入1 T_VIN2 CCD视频输入2 T­_VIN3 CCD视频输入3
11 GND GND GND
12 T_VIN4 CCD视频输入4        
13 GND        
14 F_VIN1 热像视频输入1 F_VIN2 热像视频输入2 F_VIN3 热像视频输入3
15 GND GND GND
16 F_VIN4 热像视频输入4 F_VIN5 热像视频输入5 F_VIN6 热像视频输入6
17 GND GND GND
18 F_VIN7 热像视频输入7 F_VIN8 热像视频输入8 F_VIN9 热像视频输入9
19 GND GND GND
20 F_VIN10 热像视频输入10 F_VIN11 热像视频输入11 F_VIN12 热像视频输入12
21 GND GND GND
22            
23 GND GND GND
24 USB1+ USB数据1+ USB2+ USB数据2+ USB3+ USB数据3+
25 USB1- USB数据1- USB2- USB数据2- USB3- USB数据3-
26 +5V USB电源 +5V USB电源 +5V USB电源
27            
28            
29            
30 USB电源 GND GND
31 TMDS_D0+ TMDS数据0+ TMDS_D1+ TMDS数据1+ TMDS_D2+ TMDS数据2+
32 GND GND GND
33 TMDS_D0- TMDS数据0- TMDS_D1- TMDS数据1- TMDS_D2- TMDS数据2-
34 GND GND GND
35 TMDS_D5+ TMDS数据5+ TMDS_D3+ TMDS数据3+ TMDS_D4+ TMDS数据4+
36 GND GND GND
37 TMDS_D5- TMDS数据5- TMDS_D3- TMDS数据3- TMDS_D4- TMDS数据4-
38 GND GND GND
39 TMDS_CLK+ TMDS时钟+        
40 TMDS_CLK- TMDS时钟-        
41 GND        
42            
43            
44            
45 GND GND GND
46 GND GND GND
47 5V 5V输入电源 5V 5V输入电源 5V 5V输入电源
48 5V 5V输入电源 5V 5V输入电源 5V 5V输入电源
49            
50            
注:1、所有发送、接收均指视频处理单元的发送、接收。