2) 图像配准的精度问题:图像配准要解决的问题就是将多幅图像进行合适的匹配,再将其进行相应的叠加。这些原始的多幅图像都是处于同一场景下的,但是图像的采集时刻却不同,并且会通过不同的传感器,于不同的视角下获得。在基于多幅图像(图像序列)的超分辨率方式中,图像的配准问题十分重要,往往影响到处理效果和得到的高分辨率图像的质量。因为在基于多幅图像(图像序列)的超分辨率中,需要充分利用低分辨率图像序列之间的相互信息,通过彼此补充,恢复出图像的细节内容,而这些能够彼此补充的信息就是这些多帧低分辨率图像之间的亚像素位移。因此,亚像素运动估计的精度越高,越有利于图像的配准,相应地,图像超分辨率的处理效果也就越好。在今后的研究中,有待于进一步将图像的配准融入基于重建的图像超分辨率技术中,并不断研究如何有效的提升其精确度。
3) 建立更加合适的退化模型:在研究基于重建的图像超分辨率方法时,需要构建一个合适的退化模型,以便得知高分辨率图像会经过什么变化才能产生低分辨率图像,并可以在退化模型的基础上进行后续的深入分析和研究。选择的退化模型越贴合实际成像过程,通过相应的超分辨率处理后得到的高分辨率图像的效果越好。在现有的方法中,通常是构造一个前向关系模型[9] ,其中大部分都是线性的、简单的,并且一般都只考虑了高斯噪声。但现实情况中的成像过程很复杂,实际的退化模型大多都是非线性的。在未来的研究中,在寻找更符合实际的退化模型方面,还有一定的发展空间。
4) 基于学习的方法:在现如今的图像超分辨率技术中,基于学习的方法是热门的研究方向,它借助训练集,通过一定的算法进行相应的学习,得到高分辨率图像和低分辨率图像之间对应的映射关系,再以新输入的低分辨率块为依据,根据学习到的相关模型去预测出待求的高分辨率图像块。其中的关键步骤是建立学习模型,获得先验知识。由于基于学习的图像超分辨率方法的提出时间较晚,因此目前还停留在理论研究阶段,想要运用到实际生产生活,还需要一定的时间。在今后基于学习的图像超分辨率方法的探索中,如何建立更好更适合的、能够给出足够先验知识的学习模型,如何提高训练速度和匹配速度等方面,值得深入研究。
1.3 论文的研究内容
本次课题完成了以下任务:
第一,明确了课题提出的背景和要求,前期查阅了许多有关图像超分辨率的文献资料,了解了图像超分辨率技术的分类方法和发展情况,对于一些常见的图像超分辨率方法进行了简单了解,学习了图像超分辨率中的一些基础知识。
第二,论文主要研究了一种基于两级框架的高斯过程回归(GPR)图像超分辨率算法。在学习高斯过程回归前,为了更好地理解相关原理,先查阅资料,学习了部分关于机器学习和贝叶斯统计的知识,这部分内容对于后续研究高斯过程回归有很大的帮助。
第三,在高斯过程回归算法的研究中,查阅了与高斯过程和机器学习有关的书籍和文献,理解了最优超参数的选取方法,了解了协方差函数的不同类型,将算法大体分成第一级和第二级两个阶段,其中,在第一级和第二级中均进行了高斯过程回归算法,在这个两级框架的高斯过程回归算法中,仅仅利用低分辨图像产生训练集,并根据训练集输入和观测值训练出相应的高斯过程回归模型,再依靠生成的模型去预测出与测试点相对应的预测值。