超分辨率(SR)的长期挑战是如何在保持语义相干性的同时有效地增强低分辨率(LR)图像的高频细节。这在经常在低功率设备上部署的SR模型的实际应用中尤为重要。为了解决此问题,我们提出了一个具有多深度分支模块(MDBM)的创新不对称的SR架构。这些MDBM包含不同深度的分支,旨在同时有效地捕获高频和低频信息。MDBM的层次结构允许更深的分支在浅层分支的上下文指导下逐渐积累细粒的本地细节。我们使用特征图来可视化这个过程,并使用拟议的新型傅立叶光谱分析方法进一步证明了该设计的合理性和有效性。此外,我们的模型比现有分支网络在分支之间表现出更明显的光谱差异。这表明MDBM降低了冗余,并提供了一种更有效的方法来集成高频和低频信息。各种数据集上的广泛定性和定量评估表明,我们的模型可以生成结构一致且视觉上现实的HR图像。它以非常快的推理速度实现最新的(SOTA)结果。我们的代码可在https://github.com/thy960112/mdbn上找到。
深度学习和预测编码架构通常假设神经网络中的推理是分层的。然而,深度学习和预测编码架构在很大程度上忽视了神经生物学证据,即所有分层皮质区域,无论高级还是低级,都直接投射到皮质下区域并接收来自皮质下区域的信号。鉴于这些神经解剖学事实,当今以皮质为中心的分层架构在深度学习和预测编码网络中的主导地位是值得高度怀疑的;这种架构很可能缺少大脑使用的必要计算原理。在本文中,我们提出了浅层大脑假说:分层皮质处理与皮质下区域大量贡献的大规模并行过程相结合。这种浅层架构利用了皮质微电路和丘脑皮质环路的计算能力,而这些并不包含在典型的分层深度学习和预测编码网络中。我们认为,浅层大脑结构比深层层次结构有几个关键的优势,并且更完整地描述了哺乳动物的大脑如何实现快速灵活的计算能力。