此AI可以将照片放大256次而不会丢失细节

Zoom可以帮助AI“看到”高达256倍的256倍。

来源:ZME科学
信用:Kaist AI。

在计算机屏幕上,旗帜的模糊照片开始锐化。皱纹在其表面上出现,在幻影风中皱着越颤动。再次放大,线程开始出现。再次 - 边缘有一丝竞争。在这只数字手的手中,您不仅仅是看像素只是伸展或涂片。您正在观看人工智能重现更好的相机。

这是Zoom或Coz的承诺,这是由Kim Jaechul领导的Kaist AI的韩国研究人员开发的新的AI框架。该方法旨在解决现代形象增强中最棘手的问题之一:如何在低分辨率图像上进行大幅度放大,同时仍然保持细节清晰和可信。

kaist ai

显然,最好的方法是您不会一次缩放。

移开,CSI

传统的单像超级分辨率(SISR)系统会尽力猜测当他们被要求提高图像时缺少什么。许多人依靠经过训练的生成模型来创建低分辨率照片的合理高分辨率版本。这就像一种受过良好教育的猜测工作,从概率上讲,用像素很高的像素填充了空白。但是这些模型只与他们的培训所允许的一样好 - 并且当被推动超出熟悉的限制时,它们往往会崩溃。

“最新的模型在其受过训练的比例因素上表现出色,但当被要求扩大远远超过该范围的图像时,“却失败了”,Kaist团队在出现在Preprint Server Arxiv中的论文中写道。

arxiv

Zoom链通过将缩放过程分解为可管理的步骤,从而避开了这一限制。与其在一口气中伸展256次图像,这会导致人工智能模糊或幻觉细节,而是建造楼梯。每个步骤都是一个小的,计算出的缩放,建立在最后一个。

像素和单词之间

三种反馈指导了学习过程:

  • 评论家VLM得分的提示是他们与图像的匹配程度。
  • 医学成像