夜视战场环境视觉传感信息采集系统设计

夜视战场环境视觉传感信息的实时获取是跟踪夜视战场图像处理分析的前提,针对夜视战场环境的复杂特征,设计了夜视战场环境视觉传感信息采集系统,分析了系统的总体结构,系统硬件主要包括视觉传感器、传感器控制卡和扩展卡、图像采集与存储以及信号调理电路,给出了系统采集节点的程序设计流程以及传感信息采集的具体程序代码实现过程。实验结果说明,所设计系统可有效采集到夜间军事战场中的传感信息,并且具有较高的采集精度。     

基于音视频信息融合的目标检测与跟踪算法

针对单一视觉跟踪算法易受遮挡影响的缺陷,提出一种基于音视频信息融合的目标检测与跟踪算法。整个算法框架包括视频检测与跟踪、声源定位、音视频信息融合跟踪3个模块。视频检测与跟踪模块采用YOLOv5m算法作为视觉检测的框架,使用无迹卡尔曼滤波和匈牙利算法实现多目标的跟踪与匹配;声源定位模块采用十字型麦克风阵列获取音频信息,结合各麦克风接收信号的时延计算声源方位;音视频信息融合跟踪模块构建音视频似然函数和音视频重要性采样函数,采用重要性粒子滤波作为音视频融合跟踪的算法,实现对目标的跟踪。在室内复杂环境下对算法性能进行测试,结果表明该算法跟踪准确率达到90.68%,相较于单一模态算法具有更好的性能。     

基于可见光通信的隐式信息服务系统

提出了一种基于可见光通信(VLC)的隐式信息服务系统。将隐式信息嵌入载体图像或视频中,既保证原有图像、视频的正常显示,又能使隐式信息被成像器件获取并由相应算法解码恢复。对众多广告信息进行人眼视觉不可见的推送,可以有效地避免广告轰炸,实现针对目标人群的定向宣传。本系统易于移植于手机、平板电脑等手持设备操作平台。实验验证了系统的可行性,对影响系统性能的主要因素进行了评估。     

基于局部特征词袋模型人体动作识别关键帧选取方法

针对原始动作视频帧数多、信息冗余、计算量大的问题,提出了基于离散粒子群算法的人体动作识别关键帧选取方法。提取视频图像中的时空兴趣点建立视觉词典,统计视频图像中视觉词汇概率分布,采用离散粒子群算法进行关键帧选取,引入原始视频和选取的关键帧的视觉词汇概率分布向量的夹角余弦值,作为最优适应度函数评价关键帧选取前后的动作特征相似性。采用离散粒子群关键帧选取方法对KTH和Weizmann数据库进行实验验证。实验结果显示,该文提出的关键帧选取算法可有效去除动作视频中的冗余帧,提高了动作识别效率,动作识别准确率保持89.17%和98.89%不变。     

一种适用锥头体的嵌入式大气数据传感系统改进校准算法

嵌入式大气数据传感系统的空气动力学模型基于钝头体推导,该模型是否适用于锥头体尚未得到证实。对一典型锥头体进行了空气动力学模型适用性验证,验证结果表明该空气动力学模型用于锥头体时动静压相对误差超过了2.5%。对此,提出了一种适用于锥头体的改进校准算法,并且进行了仿真验证。仿真结果表明动静压相对误差小于0.5%,改进的校准算法有效消除了模型误差。     

三目自适应权值立体匹配和视差校准算法

立体匹配是计算机视觉研究中的关键问题.相比于双目视觉,三目视觉能够获得更多的信息和额外的极线约束消除立体匹配的歧义性.为了提高三目立体匹配的精度,提出一种基于自适应权值和视差校准的三日立体匹配方法.将双目视觉中有效的自适应权值窗选择算法应用到三目视觉中,进行匹配窗的选择;提出一种新的目标图像选择算法,能够合理利用平行基线三目立体视觉系统中不同目标图像提供的信息,有效地消除遮挡,提高匹配的精度;提出一种适用于三目视觉的视差校准算法,利用三目图像像素间的色彩相似性和距离约束将初始匹配的视差结果进行校准,得到最终的视差图.实验结果表明,本文算法结构简单,能够生成浓密、高精度的视差图.     

高精度自动贴片机视觉系统定位算法研究

针对高精度自动贴片机的关键技术视觉识别定位算法进行了研究,针对贴片机PCB板标记点及元件图像的特点,提出了结合图像分割、几何特征识别与模式匹配的图像识别及定位方法。根据以上算法开发了针对视觉定位系统的图像识别软件,并用PCB板图像及元件图像进行识别定位验证。实验结果表明,该算法能够有效地完成贴片机视觉系统的识别定位任务。     

光电信息事件识别感知关键技术研究进展

目前随着公共安全领域非法入侵事件的数量急剧增加,迫切需要新型传感技术来侦测非法人侵事件.针对精确定位、准确识别、多参量融合等瓶颈问题,天津大学、天地伟业技术有限公司等研究机构提出了光电信息事件识别感知关键技术,其紧密融合了视频监控和分布式光纤传感两种技术的优势,通过光时域与光频域分布式扰动定位技术、干涉信号模式识别技术...     

基于时空双流卷积神经网络的红外行为识别

针对红外视频人体行为识别问题,提出了一种基于时空双流卷积神经网络的红外人体行为识别方法。通过将整个红外视频进行平均分段,然后将每一段视频中随机抽取的红外图像和对应的光流图像输入空间卷积神经网络,空间卷积神经网络通过融合光流信息可以有效地学习到红外图像中真正发生运动的空间信息,再将每一小段的识别结果进行融合得到空间网络结果。同时将每一段视频中随机抽取的光流图像序列输入时间卷积神经网络,融合每一小段的结果后得到时间网络结果。最后再将空间网络结果和时间网络结果进行加权求和,从而得到最终的视频分类结果。实验中,采用此方法对包含23种红外行为动作类别的红外视频数据集上的动作进行识别,正确识别率为92.0%。结果表明,该算法可以有效地对红外视频行为进行准确识别。     

基于YOLOv5s模型的光纤振动传感事件精准检测研究

通过将双马赫-曾德尔干涉仪（DMZI）分布式光纤振动传感系统和四旋翼无人机（UAV）监测系统融合,设计了一种基于YOLOv5s模型的多类别光纤振动传感事件精准检测方案。首先,通过地面站QGroundcontrol将DMZI与UAV进行联动控制。其次,将二维振动信号时频谱与无人机捕捉的对应原始图像共同送入YOLOv5s卷积神经网络模型进行识别检测。最后,为验证所提精准检测方案的有效性和可行性,对5种常见的传感模式进行实际应用环境下的实验测试与分析。实验结果表明,所提出的精准定位检测方案对5种传感模式的平均精度均值（mAP）可达96.6%,并且其平均识别检测时间可控制在5 ms内。     

基于激光点云多条件约束的相机检校方法

为了克服相机检校对二维/三维检校场的依赖,提出一种基于激光点云多条件约束的相机检校方法。该方法通过对相机获取的多视影像进行光束法平差获得初始相机参数;利用影像点云与其最邻近的激光点云之间的位置关系,以共线方程为基础模型,建立多条件约束的相机检校数学模型;使用不等式约束的最小二乘方法平差迭代解算相机参数。将本文方法与基于三维控制场的检校精度进行了实验对比分析,结果表明本文方法与基于三维控制场的检校精度相当,两者反投影平均误差相差小于0.1 pixel,验证了本文方法在没有传统检校场的情况下进行相机检校的可行性。     

基于光流的运动小目标检测算法

运动目标的检测是目标识别与跟踪的关键技术之一。光流技术是一种以物体的运动特征来检测目标的方法,它的提出为运动小目标的检测开辟了新的空间。在一个搜索跟踪系统中使用光流技术检测和跟踪空中小目标,目标大概为5～10个像素,而且背景复杂,相机抖动,普通分割算法无法得到小目标。在目标的运动明显异于背景的情况下,通过利用基于光流的目标检测算法来检测出小目标,同时运用高斯金字塔模型,提高算法的运算速度。试验结果表明提出的基于光流的检测算法在背景运动的红外图像中取得了较好的效果。     

CCD camera automatic calibration technology and ellipse recognition algorithm

A novel two-dimensional (2D) pattern used in camera calibration is presented. With one feature circle located at the center, an array of circles is photo-etched on this pattern. An ellipse recognition algorithm is proposed to implement the acquisition of interest calibration points without human intervention. According to the circle arrangement of the pattern, the relation between three-dimensional (3D) and 2D coordinates of these points can be established automatically and accurately. These calibration points are computed for intrinsic parameters calibration of charge-coupled device (CCD) camera with Tsai method. A series of experiments have shown that the algorithm is robust and reliable with the calibration error less than 0.4 pixel. This new calibration pattern and ellipse recognition algorithm can be widely used in computer vision.     

A new image processing method for evaluating the pupillary responses in a HMD-type eye-tracking device

In this paper, a new image processing method for evaluating the pupillary responses is described. This system is based on an eye-tracking system, using eye tracking and pattern recognition techniques with appropriate hardware and software. This pupillary response evaluation system includes a head-mounted display and a pinhole CCD camera. When the subject uses the head-mounted display to browse the screen of a computer, the CCD camera catches images of the subject's eye and transmits it to the computer. The program in the computer calculates the location and size of the pupil in the images. The pupil area calculation weighting function, visual fatigue detection, concentration detection, and eye/HMD slide compensation are included in the system. This allows the system to detect the pupil under different conditions. This system will know if anyone is using the system, then it evaluates the operating conditions of the subject, if the adjustment is correct, and guides the operator in using the system. The experimental results verified that this image system provides an economical and effective method for evaluating pupillary responses.     

近景大视场角分区域标定方法研究

针对飞行试验测量视场大相机标定精度低的问题,提出一种高精度CCD相机分区域标定方法。该方法首先通过将标靶均匀布置在摄像机视场内,使得标靶尽可能均匀错落地充满整个视场范围,再结合人眼判读的方式求解靶标的像面位置,最终与全站仪三维坐标形成精确的空间标定点集。接着,将像平面按横向方向等间距分割成Ｎ个区域,并结合后方交会的方法分别对每个子区域进行相机参数的计算。实验结果表明：经过分区域标定,相机采集点的总误差比单区域标定法降低了4％(Ｎ＝3)。算法可实现指定区域的相机参数计算,基本满足中高等精度的工业测量要求。所本文研究可应用于位置相对固定不变的工业视觉测量,特别是大工件测量领域。     

飞行试验中军用1553B总线的实时采集技术

针对飞行试验中飞机结构件的动态变形测量问题,提出了一种基于图像的测量方法,对其中涉及的关键技术进行了研究。采用10参数模型非线性成像模型补偿摄像机系统误差,引入摄像机动态校准算法,使摄像机标校重投影误差小于0.03pixel;采用编码标志作为测量标志,提高了图像自动识别和匹配效率;采用双像机交会测量计算测量标志位移变形量可达到0.15mm/1m。实验证明,该方法满足飞行试验中飞机结构件动态变形要求。     

目标跟踪与定位中的视觉标定算法研究

目标跟踪与定位中的一个重要步骤就是摄像机标定,其目的是估计摄像机的外部和内部参数。在严格的几何约束关系之上建立准确的数学模型,提出一种快速得到摄像机中心的方法,然后通过合理的求解次序获得其他摄像机参数,保证了标定参数的精度。利用计算出来的标定参数校正失真图像中的各个像素位置以重新得到像素间原来的空间关系,从而产生精确的不失真图像,并且利用摄像机标定参数对标定模板上的点进行位置计算后,再和实际位置比较进行检验。图像的校正效果实验以及精度验算的结果表明：提出的算法得到了准确可靠的标定参数,和其他算法相比有效提高了精度,能够满足运动跟踪时目标特征位置估计的精度要求。     

Design of a computer game using an eye-tracking device for eye's activity rehabilitation

An eye mouse interface that can be used to operate a computer using the movement of the eyes is described. We developed this eye-tracking system for eye motion disability rehabilitation. When the user watches the screen of a computer, a charge-coupled device will catch images of the user's eye and transmit it to the computer. A program, based on a new cross-line tracking and stabilizing algorithm, will locate the center point of the pupil in the images. The calibration factors and energy factors are designed for coordinate mapping and blink functions. After the system transfers the coordinates of pupil center in the images to the display coordinate, it will determine the point at which the user gazed on the display, then transfer that location to the game subroutine program. We used this eye-tracking system as a joystick to play a game with an application program in a multimedia environment. The experimental results verify the feasibility and validity of this eye-game system and the rehabilitation effects for the user's visual movement.     

面向大视场视觉测量的摄像机标定技术

提出了一种面向大视场高精度视觉测量的摄像机标定新方法,该方法采用亮度自适应的单个红外发光二极管(IR-LED)作为目标靶点,将该靶点固定在三坐标测量机的测头上,并依次精确移动至预先设定的空间位置,每次靶点到达设定的空间位置时,摄像机对靶点进行图像采集。利用三坐标测量机的精确位移,在三维空间构成一个虚拟立体靶标。针对虚拟立体靶标在大视场摄像机标定中只能覆盖一小部分标定空间的问题,通过自由移动摄像机在多个方位对虚拟立体靶标进行拍摄,使得多个虚拟立体靶标分布于整个标定空间。摄像机在每个方位对虚拟立体靶标的拍摄都标定出一组摄像机的内、外参数,然后以摄像机内参数和摄像机在各个方位下拍摄的虚拟立体靶标在摄像机坐标系下的位置及姿态参数为优化变量,建立以所有三维靶点位置重投影误差平方和为最小的目标函数,采用非线性优化方法求解摄像机标定参数的最优解。该方法较好地解决了大视场视觉测量中大尺寸靶标加工困难、摄像机标定精度难以保证的问题。仿真和实际标定实验均证明此方法可以有效提高大视场摄像机的标定精度。     

Recognizing cat-eye targets with dual criterions of shape and modulation frequency

We present an image recognition method to distinguish targets with cat-eye effect from the dynamic background based on target shape and modulation frequency.Original image sequences to be processed are acquired through an imaging mechanism that utilizes a pulsed laser as active illuminator and an industrial camera as detection device.There are two criterions to recognize a target: one exploits shape priors and the other is the active illuminator’s modulation frequency.The feasibility of the proposed method and its superiority over the single criterion method have been demonstrated by practical experiments.