基于TMS320DM642芯片的视频目标跟踪系统设计与实现

运动目标的检测与跟踪一直是在计算机视觉的研究领域占有重要位置,该技术被越来越广泛的应用到交通管理、军事、公共安全监控等领域中;文章主要研究基于TMS320DM642开发平台的视频运动物体目标的检测与跟踪,文章分为软硬件两部分进行设计,硬件部分主要包含视频采集模块、视频处理模块以及显示模块3个部分,通过CCD摄像头采集视频信号,接着将采集的模拟视频信号传输到SEED VPM642视频处理模块,在VPM642中通过高性能视频解码器TVP5150将模拟视频信号转换成BT.656格式的视频信号,并将该信号传输给DM642的视频接口;在系统软件部分,系统采用TI的DSP集成开发环境CCS2.2作为系统软件开发平台,最终在DM642视频图像处理平台上实现运动目标的实时检测与跟踪;实验结果表明,该文提出的算法移植和优化方法效果明显,可以在DSP开发平台上实现运动目标的实时检测与跟踪。     

基于TMS320DM642的矿用数字化扩音电话系统设计

通过分析目前的矿用扩音电话系统的现状,为解决矿井下语音通信中高噪声强干扰问题,提出一种基于数字处理器TMS320DM642和嵌入式TCP/IP协议的矿用数字化扩音电话系统的设计方案;采用音频编解码芯片TLV320AIC23B实现语音处理以达到矿井下语音质量的要求,并利用物理层芯片Intel LXT971与TMS320DM642的无缝连接,实现基于嵌入式TCP/IP协议栈的数字语音传输;系统软件采用RF5框架开发,基于DSP/BIOS实现语音采集,语音处理,网络传输等任务;通过对各关键模块测试与分析,系统运行稳定可靠,实现矿用数字化扩音电话的高质量,远距离和稳定的语音通信。     

基于TMS320C6416的光电实时跟踪自引导系统的实现

为了实现光电实时跟踪系统在脱机运行时用户代码上电自动加载,采用了ROM Bootloader加载方式。为了将全部的用户代码（>1KB）拷贝到L2 RAM中运行,引入了二次引导过程。文中分别在Non-BIOS 系统和BIOS 系统下编写了二次引导程序并在实际应用中得到了验证。实验证明,基于TMS320C6416的光电实时跟踪自引导系统,满足了系统的性能要求,在实际系统中运行稳定可靠。     

基于网络传输的实时图像融合系统设计

 为了实现图像融合系统远距离实时传输,提出一种基于TI公司TMS320DM642和TMS320DM365处理器平台的高速网络传输图像融合系统的设计方案。设计基于TMS320DM642融合模块和基于TMS320DM365网络传输模块,解决了图像融合模块和网络传输模块间的数据通信问题;在融合模块中实现图像配准和图像实时融合,融合图像数据在网络传输模块中进行H-264算法压缩并根据RTP(real-time transport protocol,实时传输协议)协议实现RTP封包处理,传输码率约为460 kb/s;利用线程间管道通信技术,实现了一种新的基于RTP/RTSP(real time streaming protocol,实时流传输协议)嵌入式流媒体服务器的搭建方法。实验结果表明：系统总体图像延迟为300 ms左右。     

基于DSP的实时图像处理系统的设计

在实时图像处理系统中,如何在有限的时间内完成大量信息数据的处理,满足系统的实时性要求一直是困扰着人们的一个难题。遵从系统模块化设计思想,提出了以TI公司的DSP(TMS320C6201)为核心器件的图像处理系统的设计方案,完成了相应的硬件电路设计,将图像实时处理要求较高的图像跟踪算法移植于所设计的图像处理系统中。试验结果表明,该实时图像处理系统功能和性能基本达到了预期要求,有一定的实用性。     

基于改进Mean Shift算法的实时视频目标跟踪

设计了一套嵌入式平台上实现的视频目标跟踪系统.该系统采用CMOS图像传感器获取视频信号,利用Z228多媒体芯片自带的ARM9处理器完成视频信号的控制,并通过MPEG-4硬件编码器实现视频信号的压缩.用Mean Shift算法跟踪运动目标,针对其收敛的局限性设置多个搜索点来提高其跟踪效果.通过减少采样点和标记已计算点来提高代码运行速度,增强了跟踪的实时性.实验结果表明,本系统能以27 fps速率连续稳定地实现视频目标的跟踪.     

基于改进Mean Shift算法的实时视频目标跟踪

设计了一套嵌入式平台上实现的视频目标跟踪系统.该系统采用CMOS图像传感器获取视频信号,利用Z228多媒体芯片自带的ARM9处理器完成视频信号的控制,并通过MPEG-4硬件编码器实现视频信号的压缩.用Mean Shift算法跟踪运动目标,针对其收敛的局限性设置多个搜索点来提高其跟踪效果.通过减少采样点和标记已计算点来提高代码运行速度,增强了跟踪的实时性.实验结果表明,本系统能以27 fps速率连续稳定地实现视频目标的跟踪.     

红外与可见光图像融合的小型实时DSP平台实现

综合利用并实时处理红外与可见光图像的互补优势信息,设计实现了一种新型的以TMS320DM642——适合视频和图像处理的高性能定点DSP为核心的嵌入式硬件平台,可编程验证多种双波段图像融合算法。叙述了系统的结构设计和工作流程,板卡各关键组成单元的功能、原理,功耗计算,高频电路设计。介绍了系统的软件流程,包括初始化程序、驱动程序和融合应用程序的实现方法。结果表明,此高速、小型、低功耗的硬件平台可应用于便携式独立工作的双波段图像融合装置中。     

基于FPGA的自适应阈值运动目标检测

帧间差分法是运动目标检测最为常用的方法之一,具有算法简单、数据处理量小、易于实现等优点,因而得到广泛应用。而帧间差分法通常是根据单一的光照条件设定的固定阈值以判断是否有运动物体,因此限制了其在不同光照条件下的应用。针对上述情况,以色度、饱和度、亮度(HSL)颜色空间中的亮度值为依据,建立光强-亮度-阈值表,从而以动态的阈值调整拓展了帧间差分法在不同光照条件下的应用。通过仿真和FPGA实现了该目标检测系统,并搭建了验证测试系统。实验结果表明,当光照强度为90 W/m2时,在3.0 m/s和0.5 m/s速度下,自适应阈值的检测正确率分别达到93%和95%,与固定阈值设定较大时的检测结果相近;在0.59 W/m2的低光照条件下针对上述运动速度,检测率分别达到84%和92%,与小固定阈值检测结果相近。     

基于FPGA的运动目标实时检测跟踪算法及其实现技术

运动目标检测跟踪有关的算法及其基于PC平台的实现已经比较成熟,但实时性较差。将采集的彩色视频流分成灰度和彩色两个数据流,灰度视频用于目标检测,彩色视频流用于跟踪显示。以经典的帧间差分法和背景差分法为基础,根据现场可编程门阵列(FPGA)的特点及片外同步动态存储器的存取控制要求,对这两个算法用FPGA逻辑单元进行了设计和实现。对原始彩色视频流和转换后的灰度视频流的存取使用乒乓操作,在滤波和形态学处理时使用了并行的流水线操作,极大地提高了算法的实时处理能力。在FPGA开发板上构建了一个彩色视频图像中运动目标检测跟踪系统,对系统性能进行了测试。实验结果表明,系统可在多种分辨率和帧率下进行运动目标进行实时检测跟踪;固定背景差分法对目标运动速度无限制,但当使用帧差法对快速运动目标进行有效的检测时,应使目标的帧差间距大于3.2像素。     

基于双TMS320DM642处理器的实时红外多目标图像处理系统

按照模块化设计理念,提出以TMS320DM642芯片为核心器件的实时红外多目标图像处理系统的设计方案,结合现场可编程门阵列FPGA完成对红外焦平面探测器输出图像数据流的实时采集、处理和输出。采用两级级联方式对多目标图像并行处理,提高图像处理的实时性。实验表明该系统处理一帧320×240分辨率的图像平均需要耗时15 ms,保证了对多目标跟踪的实时性。     

基于TMS320DM642的摄像机自动调焦系统的实现

调焦系统在各种光学测量及侦察设备中起着十分重要的作用。本文介绍了光学系统自动调焦的方法和图像法调焦的相关评价函数,利用TMS320DM642数字信号处理芯片为平台设计了图像法自动调焦系统。采用TI公司针对其开发的DSP芯片设计了实时多任务系统DSP／BIOS,完成了软件设计。该实时操作系统为实现调焦过程中任务的调度和实时调焦提供了保障。文中还提出了在实现调焦系统过程中需要注意的一些问题及解决方案。本文所设计的系统能在4～5步（大约2S内）找到像面,满足实际应用的需要。     

基于NPU的实时深度学习跟踪算法实现北大核心CSCD

深度学习在检测领域高速发展,但受限于训练数据和计算效率,在基于嵌入式平台的边缘计算领域,尤其是实时跟踪应用中深度学习的智能化算法应用并不广泛。针对这一现象,同时为满足现阶段国产化、智能化的技术需求,提出了一种改进的孪生网络深度学习跟踪算法。在特征网络加入微调网络,解决了网络模型无法在线更新的问题,提升了跟踪的准确性;在IoUNet损失函数中加入中心距离惩罚项,解决了IoUNet当IoU相同时位置跳跃,存在收敛盲区和收敛速度慢的问题;将训练后的网络通过通道剪枝,缩减网络模型尺寸,提升了模型加载和运行的速度。在华为Atlas200NPU平台上实现了实时运行,算法准确率高达0.90(IoU>0.7),帧率达到66 Hz。     

基于DM8168的小型机载视频记录仪设计

针对飞行器搭载相机视频存储和传输的需求,设计了一种基于异构多核处理器DM8168的小型机载视频记录仪。首先,基于DM8168和FPGA处理器设计小型化低功耗的硬件系统;接着,基于McFW软件架构设计视频采集编码的数据流,充分发挥DM8168多核体系结构的优势,实现两路1080P60视频的采集,并且对每路视频分别进行主次码流的H.264编码;最后,采用GPMC总线,将视频码流传输到FPGA处理器,以实现本地视频存储和远程视频传输。本记录仪体积小功耗低、记录时间长、视频传输时延小,能够很好地满足飞行器多路视频记录的需求。     

基于动平台多源数据的运动目标测量方法研究

根据运动目标性能试验需求及试验平台的特点,建立一个影像数据测量系统,实现目标的运动视频记录和外部参数测量。采用基于OpenCV的棋盘格内参数标定结合基于平台上固定标识点、线为基准的外场标定的摄像机标定方法,采用高速影像数据、中线视频数据和GPS数据相结合的方法实现目标运动的轨迹、姿态等参数的测量。通过测量精度分析及多次试验结果证明,测量精度达到水平方向优于10 cm,高程方向优于5 cm,姿态精度优于05。     

基于DSP的数字图像处理系统的设计和调试

提出了一种数字图像处理系统的设计方案,并阐述了基于TMS320C5402的数字图像处理系统的硬件设计和实现。以SST39VF400A型号为例,对FLASH的烧写及程序加载的方法进行了介绍。     

基于TMS320F206的新型轻武器火控系统的设计

介绍了以TMS320F206数字信号处理器为解算核心构成的新型轻武器火控系统的设计方法、硬件结构框图和软件流程图。整个火控系统由一片数字信号处理器(DSP)和一片大规模可编程逻辑器件(PLD)及三片模拟电路组成,从而提高了火控系统的解算性能,同时缩小了体积,减轻了重量。     

High-accuracy and real-time 3D positioning,tracking system for medical imaging applications based on 3D digital image correlation

This paper presents a system for positioning markers and tracking the pose of a rigid object with 6 degrees of freedom in real-time using 3D digital image correlation, with two examples for medical imaging applications. Traditional DIC method was improved to meet the requirements of the real-time by simplifying the computations of integral pixel search. Experiments were carried out and the results indicated that the new method improved the computational efficiency by about 4–10 times in comparison with the traditional DIC method. The system was aimed for orthognathic surgery navigation in order to track the maxilla segment after LeFort I osteotomy. Experiments showed noise for the static point was at the level of 10⁻³ mm and the measurement accuracy was 0.009 mm. The system was demonstrated on skin surface shape evaluation of a hand for finger stretching exercises, which indicated a great potential on tracking muscle and skin movements.