基于高速DSP的H.264视频编码器的实现和优化

H.264是由ITU-T和ISO联合制定的新一代视频编码标准,具有低码率、高质量的特点。TMS320C64x是美国德州仪器公司目前性能最高的定点数字信号处理芯片。该文在介绍H.264编码器新的技术特点的基础上,探讨了基于TMS320 C6416 DSP平台的H.264编码器的设计和实现。文章讨论了该编码器的硬件平台的结构特点及多种代码移植和优化方法,着重介绍了如何在C64x扩展指令集的基础上对程序的关键耗时模块进行优化,以及在实现过程中如何根据程序流和数据流的运转特征,使用EDMA进行资源调度,合理地分配和利用DSP有限的存储资源。试验结果表明,通过有效的优化手段,该编码器在保持较高的图像质量和压缩效率的同时,在QCIF格式下达到了实时编码效果,可以适用于多种实时应用场合。     

基于FPGA的数字下变频（DDC）设计

数字下变频（DDC,Digital Down Conversion）是软件无线电系统的关键技术之一,其可将高频数据流信号变成易于后端数字信号处理器（DSP,Digital Signal Processor）设备实时处理的低频数据流信号。给出了一种基于现场可编程门阵列（FPGA,Field Programmable Gate Array）的数字下变频器的设计方案,并详细介绍了组成的下变频器的各个模块：数字振荡控制器（NCO,Numerical Controlled Oscillator）模块、混频模块、以及由积分梳妆（CIC,Cascaded Integrator-Comb）滤波器、半带（HB,Half-Band）滤波器、有限长单位冲激响应（FIR,Finite Impulse Response）滤波器级联而成的抽取滤波模块的设计方法。各个模块的仿真结果表明了设计的正确性,而最后系统仿真结果则表明文中数字下变频技术的设计具有其可行性和实用性。     

利用纹理结构的HEVC快速帧内模式选择算法

高性能视频编码（HEVC）是刚确立的最新一代的视频编码标准。对于帧内编码,HEVC最大的特点是采用了从64×64至8×8的编码单元划分和35种帧内预测模式,HEVC通过遍历所有的分块和帧内预测模式,选取最优的预测方式,这种帧内预测方式在提高预测精度的同时也大大增加了编码的计算复杂度。为了降低帧内预测的计算复杂度,HM2.0版以上的HEVC测试软件采用一种基于两步预测的快速帧内模式选择算法。在此基础上本文首先提出了一种基于纹理方向的快速粗选方案,减少参与计算的粗选模式数,进而提出基于结构相关的决策方法,利用同质图像区域的纹理相似性,减少参与率失真代价函数计算的候选模式数量,进一步降低了帧内预测计算复杂度。实验结果表明,本文所提出的快速算法,在保持编码质量基本不变的条件下,可以使基于两步预测的快速帧内模式选择时间缩短25%。      

可变速率多元LDPC码高阶调制系统

由于无线信道的时变性及无线频谱资源的短缺,码率自适应技术及高频谱效率的高阶调制技术均为未来高速率无线通信发展的必然方向,本文提出了一种基于多元速率兼容LDPC（RC-LDPC）码的可变速率高阶编码调制方案。该方案基于符号级的多元LDPC码缩短和打孔算法,并与高阶映射联合优化设计,获得了比二元RC-LDPC码方案优异的性能,实现了多元LDPC码率从1/3到5/6灵活变化,并且所有子码都可以共享母码的编译码器,因此相对于多元母码,基本不增加系统复杂度。仿真结果证明采用64-QAM调制时,本方案的误码率性能比二元码对应方案在各个码率分别有0.5到1.3dB的增益。      

基于多特征Mean Shift的人脸跟踪算法

该文把局部三值模式(Local Ternary Patterns, LTP)纹理特征引入Mean Shift跟踪算法,提出了基于多特征的Mean Shift人脸跟踪算法以解决Mean shift跟踪算法的鲁棒性问题。通过对LTP纹理特征的分析、研究,提出了一个LTP关键纹理模型,既增强了目标的关键纹理信息,又简化了LTP纹理模型。在此基础上,提出一种基于LTP关键纹理特征和肤色特征的Mean Shift人脸跟踪算法,有效地解决了Mean Shift算法的鲁棒性问题。为进一步提高对快速运动目标的跟踪速度和跟踪性能,该文引入了卡尔曼滤波器对目标进行预测。实验结果表明,该文的算法在目标定位的准确性和跟踪性能上比Mean Shift算法均有明显的提高。     

基于特征金字塔融合表征网络的跨模态哈希方法

随着多模态数据的爆发式增长,跨模态检索作为一种搜索多模态数据的最常用方法,受到越来越多的关注.然而,目前存在的大多数深度学习的方法仅仅采用模型后端最后一个全连接层输出作为模态独有的高层语义表征,忽视了多个层次上不同尺度特征之间的语义相关性,具有一定的局限性.为此,本文提出一种基于特征金字塔融合表征网络的跨模态哈希检索方...     

结合时空梯度感知特征的HEVC-SCC码率控制算法

针对屏幕内容视频具有大量文字、图形区域以及锐利边缘的特点，本文在HEVC-SCC编码标准上提出一种结合时空梯度感知特征的HEVC-SCC码率控制算法。考虑把有效的码率用在对于人眼视觉系统更加敏感的特性上，本算法主要从空域和时域两方面进行屏幕内容视频感知特性的提取。在空域方面，采用差分算子提取梯度幅值信息，得到空域特征的描述子；在时域方面，采用可以较好描述屏幕内容视频感知特征的梯度相似性度量信息，结合相邻帧间的相关性，得到时域特征的描述子。将时空梯度感知特性进行融合，用以控制屏幕内容视频编码的码率。实验结果表明，在随机接入模式下，本算法和原始HEVC-SCC算法相比，在略微降低误码率、节省码率开销的同时提高了视频的感知质量。      

结合内容特性与纹理类型的HEVC-SCC帧内预测快速算法

本文提出了一种结合内容特性与纹理类型的HEVC-SCC帧内预测快速算法。利用自然内容和屏幕内容视频DCT变换后系数能量分布不同的特点,结合当前预测单元（Prediction Unit, PU）梯度信息,将编码树单元（Coding Tree Unit, CTU）分成自然内容CTU,简单屏幕内容CTU和复杂屏幕内容CTU。对于自然内容CTU,选择35种传统帧内模式作为候选模式,跳过帧内块复制（Intra Block Copy, IBC）和调色板（Palette mode, PLT）模式;对于简单屏幕内容CTU,选择DC,PLANAR,水平和垂直模式作为候选模式,跳过IBC和PLT模式;对于复杂屏幕内容CTU,选择IBC和PLT模式,跳过其他候选模式。实验结果表明,在全I帧条件下,该算法相较于SCM-8.3可以节省38.55%的编码时间,大幅度降低了编码复杂度的同时只增加了1.82%的码率。      

基于多尺度特征残差学习卷积神经网络的视频超分辨率方法

本文提出了一种基于多尺度特征残差学习卷积神经网络的视频超分辨率方法,考虑到视频帧间的时空相关性,所提的方法采用由双三次插值预处理后的连续五帧视频作为卷积神经网络的输入,经由网络重建中间帧作为输出,依次按顺序重建直至获得整个高分辨率视频。本文所提出的卷积神经网络主要由多尺度特征提取、残差学习、亚像素卷积层、残差连接(skip-connection)四大部分组成,通过对视频的多尺度特征的提取获得更丰富的不同尺度特征和残差学习达到较好地恢复高频信息的目的。本文采用峰值信噪比（PSNR）和结构相似性指数（SSIM）作为损失函数优化网络。实验结果表明,本方法在平均评价指标上较其他方法均有一定的提升（PSNR +3.151dB,SSIM +0.102）,从主观评价上看可以有效地减少视频边缘模糊的现象。      

针对对比度变化的图像质量评价方法

由于对比度变化容易引入图像亮度和色彩等失真,本文提出了一种面向对比度变化的图像质量评价方法CCIQA。所提方法先将图像进行亮度和色度分离,再分别根据亮度强度变化和明暗对比度变化提取亮度失真因子和根据色度相似性提取色度失真因子,接着依照基于亮度强度的权重图进行融合并计算得到最终图像质量评价分数。所提CCIQA方法在4个常用的数据库,TID2008,TID2013,CID2013和CCID2014进行广泛测试。实验结果表明所提CCIQA算法符合人眼视觉对对比度变化的主观感知,且算法性能优于多个最新图像质量评价方法。