一种多视点视频自动颜色校正系统

针对多视点视频系统中视点间图像颜色不一致的问题,提出了一种多视点视频自动颜色校正系统。通过求取目标图像和源图像间的颜色校正矩阵,判断其是否满足全局校正的要求;对不满足要求的图像,通过图像分割和K-L变换(Karhunen-Loeve transform),建立起目标图像和源图像中各分割区域间的局部映射关系,并通过感兴趣区域匹配,来实现对源图像的校正,最后通过视频跟踪技术实现对视频图像的校正。以标准的多视点测试图像集为例,通过将新方法与直方图匹配、全局一维线性校正算法等进行比较,表明新方法能消除匹配失真的影响,且具有较好的颜色校正效果。研究结果表明该系统可以很好地揭示图像间的颜色变化关系,并且具有很好的内容自适应性,是一种有效的多视点视频图像系统颜色校正方法。     

应用于多视点视频编码的基于深度特征的图像区域分割与区域视差估计

基于多视点视图深度特征,提出一种通过简单块匹配运算划分多视点视图区域并估计区域视差的算法.首先基于深度对象的概念确定图像中具有不同深度的区域数量以及这些区域对应的区域视差,再根据误差最小化准则初步确定每个图像块所属区域.当区域中图像块数量小于某个阈值时,采用区域合并算法将该区域中的每个图像块合并到与它的视差最为接近的其它图像区域,通过迭代形成最终的有效图像区域划分.实验表明,该算法能够以图像块为基本单元有效地划分各深度层区域,并准确估计对应的区域视差.     

面向编码和绘制的多视点图像颜色校正

针对多视点视频系统中视点间颜色不一致,给后续多视点视频编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点视频颜色校正方法.首先采用连续多帧求帧差法提取出各个视点图像的背景区域,再利用背景区域计算校正因子,对颜色不一致的视点进行颜色校正.实验结果表明,该算法不仅能实现视点间图像的颜色一致性,提高多视点视频的编码效率,而且提高了虚拟视点绘制性能,是一种有效的多视点视频系统颜色校正方法.     

基于模式相关性的多视点视频编码宏块模式快速选择算法

针对多视点视频编码计算量大的问题,提出了一种多视点视频编码快速宏块模式选择算法.详细分析了多视点视频编码校验模型的宏块模式选择结果的分布特性以及率失真特性,提出了宏块模式相关性和模式聚集度的概念.对测试序列的宏块模式相关性分析表明当前宏块的最优模式和大多数相邻宏块的最优模式相同.从相邻宏块区域聚集度的角度分析了当前宏块模式预测准确度.在算法实现中采用相邻宏块的率失真代价均值形成的阈值条件决定是否进行全搜索.实验结果表明该算法在保持编码率失真性能的基础上,能提高多视点视频编码的速度2.43～4.08倍.     

无线视频传感阵列低复杂度多视点视频编码方案

基于网络中心节点的运动矢量外推技术,提出了一种无线视频传感阵列的低复杂度多视点视频编码方法。该方法考虑到密集型视频传感阵列各视点间通信复杂、布线繁重、且位于各相机节点内的编码器由于计算能力、功耗等限制难以完成复杂的编码过程等特点,利用运动矢量外推逼近技术将大量的运动估计运算从视频编码端移到了网络中心节点,使得新编解码框架下编码器的运动估计的计算复杂度只有传统全搜索运动估计运算的0.3%,降低了系统传感阵列编码端功耗。实验结果表明,该方法的率失真性能比H.264-I帧高出4 dB以上,接近H.264-P帧编码,优于基于Wyner-Ziv理论的分布式多视点视频编码方法。     

基于区域分割和Counterlet变换的图像融合算法

提出了一种基于区域分割和Contourlet变换的图像融合算法。首先,对各源图像做区域分割,并利用区域能量比和区域清晰比的概念来度量和提取区域信息;然后,对各源图像进行多尺度非子采样Contourlet分解,分解后的高频部分采用绝对值取大算子进行融合,低频部分则采用基于区域的融合规则和算子进行融合;最后进行重构得到融合图像。对红外与可见光图像进行了融合实验,并与基于像素的àtrous小波变换和Contourlet变换的融合效果进行了比较。结果表明,采用本文算法的融合图像既保留了可见光图像的光谱信息,又继承了红外图像的目标信息,其熵值高于基于像素的融合方法约10%,交叉熵仅为基于像素的融合方法的1%左右。     

面向编码和绘制的多视点图像颜色校正

针对多视点视频系统中视点间颜色不一致,给后续多视点视频编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点视频颜色校正方法.首先采用连续多帧求帧差法提取出各个视点图像的背景区域,再利用背景区域计算校正因子,对颜色不一致的视点进行颜色校正.实验结果表明,该算法不仅能实现视点间图像的颜色一致性,提高多视点视频的编码效率,而且提高了虚拟视点绘制性能,是一种有效的多视点视频系统颜色校正方法.     

用光学方法实现多灰度级图像的区域分割

利用光学中的阶跃滤波器实现对多灰度级图像的区域分割，并从理论上对用阶跃滤波器处理具有硬边界和软边界的多灰度级图像及最终实现多灰度级图像的区域分割进行了讨论。当多灰度级图像存在灰度不连续变化(硬边界)和有转折变化(尖点)时，使用阶跃滤波器都会在这样的区域内呈现边界增强。     

一种有效的拼接图像色彩校正算法

针对图像拼接中子图像由于拍摄的角度、相机曝光参数等不同,造成子图像间色调与明暗存在明显差异的问题,提出了一种利用子图像间重叠区域统计信息的色彩校正算法。首先将原始的色彩转换算法利用空间协方差矩阵表述成能直接在RGB空间进行转换的形式,再利用拼接图像间的重叠区域信息对算法进行简化,得到色彩校正算法。实验表明该算法能够有效地应对拼接图像时各子图像间的色调与明暗差异,在图像拼接时可以得到良好的色彩校正效果,同时相比原始的色彩转换算法减少了计算耗时。     

一种基于现场定标的光电图像畸变校正算法

针对CCD摄像机所采集的图像存在畸变问题,提出了一种基于现场定标法的多项式变形技术和三元卷积算法,对其进行校正.灰阶Sobel算子通过引入衰减因子对图像进行边缘检测得到不失真的灰阶边缘图,然后将灰阶边缘图进行三次样条插值处理,使标准定标图案边缘的定位达到亚像素级,提高了图像边缘检测的精度.利用建立的校正畸变的函数关系式,实现空间几何坐标变换,既保证特殊环境下的图像测量具有足够高的精度,又使光电图像几何畸变校正达到很好的效果.     

一种基于分水岭的连接米粒自动分割算法

在连接米粒的分割中,分水岭分割算法对一个米粒经距离变换后常存在多个局部极小值而产生过分割.为解决该问题,应用形态学膨胀将检测的邻近的局部极小值合并成一个区域,使每个米粒内部只有一个局部极小值,再用分水岭算法进行分割.实验结果表明,对长江米、圆江米和粳米3个品种籽粒,提出的算法分割正确率分别达到87%、93%和92%,获得了满意的分割效果.     

一种基于区域特性的红外与可见光图像融合算法

提出了一种基于区域分割和à trous小波变换的红外与可见光图像融合算法.首先,对红外与可见光图像进行区域分割及区域关联,并按关联映射图所划分区域提取红外与可见光图像的的能量信息及梯度信息;然后,对红外与可见光图像进行多尺度à trous小波变换分解,分解后的低频部分按照文中所提出的区域能量比和区域清晰比指标进行区域融合,高频部分采用绝对值取大算子进行融合;最后进行重构得到融合图像.结果表明,该算法既可保持可见光图像的光谱信息,又可有效获取红外图像的热目标信息.     

基于非凸正则化项的合成孔径雷达图像分割新算法

合成孔径雷达图像中乘性噪音的存在使合成孔径雷达图像分割变得非常困难.针对这一难题,本文以提高分割准确度,保护图像的几何结构边缘和提高算法的鲁棒性为目的,提出了一种适用于处理合成孔径雷达图像分割的新模型.新模型结合合成孔径雷达图像的区域和边缘信息,首先通过引入非凸的正则化项,定义了能量泛函;然后极小化能量泛函,建立了水平集函数演化的偏微分方程;最后对水平集演化方程的数值求解,实现了对合成孔径雷达图像感兴趣区域的分割.分别采用仿真图像和实测合成孔径雷达图像对新模型进行验证,结果表明,新模型对合成孔径雷达图像具有很强的边缘定位能力,能使目标区域分割更完整.     

基于非凸正则化项的合成孔径雷达图像分割新算法

合成孔径雷达图像中乘性噪音的存在使合成孔径雷达图像分割变得非常困难.针对这一难题,本文以提高分割准确度,保护图像的几何结构边缘和提高算法的鲁棒性为目的,提出了一种适用于处理合成孔径雷达图像分割的新模型.新模型结合合成孔径雷达图像的区域和边缘信息,首先通过引入非凸的正则化项,定义了能量泛函;然后极小化能量泛函,建立了水平集函数演化的偏微分方程;最后对水平集演化方程的数值求解,实现了对合成孔径雷达图像感兴趣区域的分割.分别采用仿真图像和实测合成孔径雷达图像对新模型进行验证,结果表明,新模型对合成孔径雷达图像具有很强的边缘定位能力,能使目标区域分割更完整.     

基于多尺度区域粒度分析的遥感图像分割

针对高分辨率遥感图像中不同地物具有粒度差异的特点,提出了一种多尺度区域粒度分析的图像分割方法。该方法首先使用均值漂移得到图像各尺度上的初始过分割区域,然后通过考虑区域大小和区域间上下文关系进行粒度分析,最后利用马尔科夫随机场模型对图像的粒度信息和光谱信息进行建模,得到分割结果。用平朔地区SPOT5和泰州航拍等遥感图像进行了实验,并与若干考虑光谱特征的分割方法进行了对比,结果表明提出的方法能有效地提高分割精度。     

基于均值偏移的灰度图像分割方法

针对灰度图像分割往往存在的过分割或欠分割问题，提出了一种基于均值偏移的图像分割方法．该方法通过联合像素的空间位置和灰度特征，建立图像的特征矢量，构造基于像素的位置和灰度的改进核函数直方图．采用均值偏移算法搜索图像的特征模式，并以此对图像进行平滑滤波和分割．对以地物为背景的图像分割结果表明，该方法既能抑制具有纹理的大片背景，又能提取出面积较小且轮廓清晰的物体，分割的物体完整且符合人眼视觉，较有效地避免了图像过分割和欠分割的问题．     

一种视频运动目标精确分割新算法

针对视频图像中单个运动目标的分割问题,提出了一种基于Kirsch边缘算子的视频运动目标分割算法,该算法将Kirsch算子检测到的边缘作为主分割信息,运动矢量场作为次要分割信息。首先利用双重尺度的运动矢量场进行累加和滤波处理来获得辅助分割信息;然后将Kirsch算子的模板分解为差值模板和公共模板以提高边缘的抗噪性;最后用自适应状态标记的方法将边缘信息和运动矢量信息相融合来准确地分割运动目标。实验结果表明该方法分割比较精确。     

FASSVid: Fast and Accurate Semantic Segmentation for Video Sequences

Most of the methods for real-time semantic segmentation do not take into account temporal information when working with video sequences. This is counter-intuitive in real-world scenarios where the main application of such methods is, precisely, being able to process frame sequences as quickly and accurately as possible. In this paper, we address this problem by exploiting the temporal information provided by previous frames of the video stream. Our method leverages a previous input frame as well as the previous output of the network to enhance the prediction accuracy of the current input frame. We develop a module that obtains feature maps rich in change information. Additionally, we incorporate the previous output of the network into all the decoder stages as a way of increasing the attention given to relevant features. Finally, to properly train and evaluate our methods, we introduce CityscapesVid, a dataset specifically designed to benchmark semantic video segmentation networks. Our proposed network, entitled FASSVid improves the mIoU accuracy performance over a standard non-sequential baseline model. Moreover, FASSVid obtains state-of-the-art inference speed and competitive mIoU results compared to other state-of-the-art lightweight networks, with significantly lower number of computations. Specifically, we obtain 71% of mIoU in our CityscapesVid dataset, running at 114.9 FPS on a single NVIDIA GTX 1080Ti and 31 FPS on the NVIDIA Jetson Nano embedded board with images of size 1024×2048 and 512×1024, respectively.     

一种基于特征跟踪的视频序列稳像算法

提出一种基于特征跟踪的视频序列稳像算法.该算法从视频序列的参考帧中提取出一组角点特征,然后在后续帧中基于模糊Kalman滤波进行特征窗跟踪,通过比较各帧图像中特征窗间的对应关系计算出补偿摄像机运动所必需的参数,使用这些参数将后续帧向参考帧对准,从而得到稳定的视频序列.实验结果表明该算法稳像效果好,运算复杂度低,且具有较强的鲁棒性.