RAG 增强图像生成的未来

生成的扩散模型，例如稳定扩散，通量和诸如Hunyuan之类的视频模型，依赖于使用固定数据集的单个资源密集型培训会话中获得的知识。除非通过微调或外部适应技术（如低级适应性（LORA））补充，否则该培训后引入的任何概念（称为知识截止）是不存在的。

知识截止 微调 低级改编

因此，如果输出图像或视频的生成系统可以接触到在线资源并根据需要将其带入生成过程，那将是理想的选择。以这种方式，例如，对最新的苹果或特斯拉发行版一无所知的扩散模型仍然可以产生包含这些新产品的图像。

与在线资源联系 与在线资源联系

关于语言模型，我们大多数人都熟悉困惑，笔记本LM和Chatgpt-4O等系统，这些系统可以将新颖的外部信息纳入检索增强生成（RAG）模型中。

检索增强发电

抹布过程使Chatgpt 4o的响应更加相关。资料来源：https：//chatgpt.com/

抹布过程使Chatgpt 4o的响应更加相关。

但是，对于生成图像，这是一个罕见的设施，Chatgpt将承认其自己的局限性在这方面：

chatgpt 4o对基于通用行和其解释的描述的全新手表版本的可视化进行了很好的猜测；但是它不能“吸收”并将新图像整合到基于DALL-E的一代中。

chatgpt 4o对基于通用行和其解释的描述的全新手表版本的可视化进行了很好的猜测；但是它不能“吸收”并将新图像整合到基于DALL-E的一代中。 ControlNet nerf

成熟逻辑

并列 并列 内部化 内部化 各种研究

具有抹布的图像生成的隐藏风险

具有抹布的图像生成的隐藏风险