XiaoMi-AI文件搜索系统
World File Search SystemText
文本驱动的3D一致场景发电
文本驱动的3D场景生成技术近年来取得了迅速的进步。他们的成功主要是为了使用现有的生成模型进行迭代执行图像翘曲和介入以生成3D场景。但是，这些方法在很大程度上依赖于现有模型的外部，从而导致几何和外观中的错误积累，从而阻止模型在各种情况下使用（例如，户外和虚幻的SCE-Narios）。为了解决此限制，我们通常通过查询和聚集全局3D信息来完善新生成的本地视图，然后逐步生成3D场景。具体而言，我们采用基于三平面特征的NERF作为3D场景的统一表示，以限制全局3D的一致性，并提出一个生成的改进网络，通过从2D差异模型以及当前场景的全球3D信息中利用自然图像来综合具有更高质量的新内容。我们的广泛实验表明，与以前的方法相比，我们的方法支持各种各样的场景产生和任意相机传播，并具有提高的视觉质量和3D一致性。
可控文本到图像合成，适用于多模态 MR 图像
近年来，生成模型取得了重大进展，尤其是在文本到图像合成领域。尽管取得了这些进展，但医学领域尚未充分利用大规模基础模型的功能来生成合成数据。本文介绍了一种文本条件磁共振 (MR) 成像生成框架，解决了与多模态考虑相关的复杂性。该框架包括一个预先训练的大型语言模型、一个基于扩散的提示条件图像生成架构和一个用于输入结构二进制掩码的附加去噪网络。实验结果表明，所提出的框架能够生成与医学语言文本提示一致的逼真、高分辨率和高保真的多模态 MR 图像。此外，该研究根据文本条件语句解释了生成结果的交叉注意力图。这项研究的贡献为未来文本条件医学图像生成的研究奠定了坚实的基础，并对加速医学成像研究的进步具有重要意义。
SSP 2024年度报告仅文本版本
环境团结网络（ESN）接收年度最佳组织奖环境团结网络（ESN）接收年度最佳组织奖，新的学生团体ESN忙于开始！他们每月举行市政厅，这是一个可持续性博览会，并与400多人创建了列表。ESN与SSP大使共同主持了一个正在进行的环境司法项目，与可持续性协调员的行动主义客厅对话以及可持续性战略计划（SSP）教育活动与SSP大使进行了交流。在春季，ESN每周提出有关SSP的规划。ESN还与学生乐队，50个供应商和600多名与会者一起组织了花园节。ESN一直致力于使卫斯理领导人对其可持续性承诺负责。ESN由于其成立年份的努力而获得了年度最佳组织奖。
medblip：3D医学图像和文本
摘要。视觉语言预处理（VLP）模型已在众多计算机视觉应用中被证明。在本文中，我们基于图像扫描和电子健康记录中的文本介绍，为医疗领域开发VLP模型，以促进计算机辅助诊断（CAD）。为了实现这一目标，我们介绍了MedBlip，这是一种轻巧的CAD系统，该系统启动了从架子冻结的预训练的图像编码器和大型语言模型中启动VLP。我们合并了一个MEDQFormer模块，以弥合3D医学图像和2D预训练的图像编码器和语言模型之间的差距。为了评估MEDBLIP的有效性，我们从五个公共阿尔茨海默氏病（AD）数据集中收集了30,000多个图像量：ADNI，NACC，OASIS，OASIS，AIBL和MIRIAD。在这个大规模的广告集中，我们的模型在健康，轻度认知障碍（MCI）和AD主题的零摄像分类中表现出了令人印象深刻的表现，并且还显示了其在M3D-VQA-AD数据集中的医学视觉问题An-Swering（VQA）中的能力。代码和预训练模型可在https://github.com/qybc/medblip上找到。
提前计划：段落完成任务的自我监督文本计划
尽管上下文化的语言模型最近在各种NLP任务上取得了成功，但语言模型本身仍无法捕获长长的多句文档的文本共同（例如，段落）。人类经常就发言之前就何种方式以及如何发言做出结构性决定。通过这种高级决策和以连贯的方式构建文本的指导性实现被称为计划过程。模型可以在哪里学习这样的高级相干？段落本身包含在这项工作中称为自upervision的各种形式的归纳相干信号，例如句子顺序，局部关键字，修辞结构等。以此为动机，这项工作为新的段落完成任务p ar -c om;在图形中预测蒙版的句子。但是，该任务遭受了预测和选择相对于给定上下文的适当局部内容。为了解决这个问题，我们提出了一个自我监督的文本计划，该计划可以预测首先说出的内容（内容预测），然后使用预测的内容指导验证的语言模型（表面实现）。SSPlanner在自动和人类评估中的段落完成任务上的基线生成模型优于基线生成模型。我们还发现，名词和动词类型的关键字的组合是最有效的内容选择。提供了更多内容关键字，总体发电质量也会提高。
检查服装供应链中的裁剪和缝纫纺织废料
如果没有许多个人和组织的宝贵贡献，这个项目不可能取得成功。我们特别感谢我们的客户 Natalie Banakis 和 Lyndsey Sullivan 的远见和合作。我们还衷心感谢我们的教职顾问 Matthew Potoski 博士和 David Tilman 博士以及我们的外部顾问 Roland Geyer 博士、Diana Rosenberg 和 Jennifer DuBuisson 的指导和专业知识。我们特别感谢 Jaenna Wessling 提供的指导。此外，我们还要感谢 Jaimee Redfern、Gosia Nowinka、Ciara Cates、Cassia Cameron、Kim Drenner、Mel Shank、Bennett Ray、Mitchell Maier、Rob Naughter、Laura Hoch、Luca Bonanomi、Rachel Kanter Kepnes、Wendy Savage、Matt Dwyer、Sam Hamilton、Richard Chen 和 Chau Diep 在整个项目过程中给予我们的额外支持。最后，我们感谢Dipaola基金会的慷慨赞助。
提示文本到图像扩散模型的迅速反转
提供给文本对图像差异模型的提示的质量决定了生成的内容对用户意图的忠诚程度，通常需要“及时工程”。要通过及时的工程来利用目标图像的视觉概念，当前方法在很大程度上通过优化然后将它们映射到伪tokens来依赖嵌入反演。然而，使用这种高维矢量表示是具有挑战性的，因为它们缺乏语义和可解释性，并且只允许使用它们时模拟矢量操作。相反，这项工作着重于反转扩散模型，以直接获得可靠的语言提示。这样做的挑战在于，由此产生的优化问题从根本上是离散的，提示的空间呈较大。这使得使用标准优化技术，例如随机梯度下降，困难。为此，我们利用延迟的投影方案来访问代表模型中词汇空间的提示。此外，我们利用了扩散过程的时间段与图像中不同级别的细节相差的发现。后来的，嘈杂的，前传扩散过程的时间段对应于语义信息，因此，此范围内的迅速反转提供了代表图像语义的令牌。我们表明，我们的方法可以确定目标图像的语义可解释和有意义的提示，该提示可用于合成具有相似内容的多样化图像。我们说明了优化提示在进化图像生成和概念删除中的应用。
从文本说明中生成人类运动
由于其广泛的应用范围，从文本描述中产生人类动作已引起了越来越多的研究兴趣。但是，只有少数作品将人类场景的互动与文本条件一起考虑，这对于视觉和物理现实主义至关重要。本文提出了在3D门场景中产生人类动作的任务，鉴于人类习惯的文本描述。由于文本，场景和运动的多种形式性质以及对空间推理的需求，此任务提出了挑战。为了应对这些挑战，我们提出了一种新方法，将复杂的概率分解为两个更可管理的子问题：（1）目标对象的语言接地和（2）以对象为中心的信息产生。对于目标对象的语言基础，我们利用大型语言模型的力量。对于运动生成，我们设计了一个以对象为中心的场景代表生成模型，以专注于目标对象，从而降低场景的复杂性并促进人类运动与对象之间关系的建模。实验证明了与基准相比，我们的方法的更好运动质量并验证了我们的设计选择。代码将在链接上可用。
反事实说明的文本到图像模型
本文解决了生成法定说明（CES）的挑战，涉及识别和修改最少的必要特征，以使分类器对给定图像的预测进行预测。我们提出的方法是反事实e xplanations（Time）的tept to-i mage m odels，是一种基于蒸馏的黑盒反事实技术。与以前的方法不同，此方法仅需要图像及其预测，从而忽略了分类器的结构，参数或梯度的需求。在生成反事实之前，时间将两个不同的偏见引入了文本嵌入的形式稳定扩散：与图像的结构相关联的上下文偏差和类别偏见，与目标分类器学到的类特异性特征相关。学习了这些偏见后，我们发现了使用类预测的类令牌的最佳潜在代码，并使用目标嵌入作为条件，从而产生了符合性的解释。广泛的经验研究证明，即使在黑色盒子设置中运行时，时间也可以产生可比性的解释。
文献摘要 - studytexter
相关的关键发现： - 自动化技术取代了人工劳动，可能会减少劳动力需求，工资和就业（第198-201页）。这种位移效应可以使每个工人的工资和产出分离，从而导致劳动力占国民收入的份额下降（第198页）。- 虽然自动化的生产率提高，但它们可能并不总是抵消工作损失（第202-205页）。创建新任务是一项至关重要的平衡力，但是不能保证这个过程，并且可能落后于自动化，这可能会导致整体生产率增长速度较慢（第205-207、210-211、223-224页）。- 由于工人重新分配和技能不匹配所需的时间，自动化技术的引入会导致经济调整缓慢（第199，208-209页）。这种不匹配可以降低生产率的提高并加剧不等式（第221-223页）。由资本补贴等因素驱动的过度自动化也可能会阻碍生产率（第210-211，224-226页）。- 新任务的创建是反对自动化负面影响的重要反击力（第205-207、217-218页）。但是，新任务的发展需要投资，并且可以以其他技术进步为代价来阻碍自动化（第223-224页）。- AI可能无法取代所有人类劳动，因为其当前的应用集中在特定的，定义明确的任务上（第207页）。但是，新任务和工人技能要求之间的技能不匹配可以大大减慢适应性（第221-223页）。- 公司应预期技能不匹配并投资于培训计划，以帮助员工适应自动化创建的新任务（第223页）。通过政策调整来解决过度自动化并促进创建新的，劳动力密集的任务可以减轻对工人的负面影响（第224-226页）。