XiaoMi-AI文件搜索系统
World File Search SystemGenerative
生成量子颜色成像-CVF开放访问
单光摄像机的惊人发展为科学和工业成像创造了前所未有的机会。但是，这些1位传感器通过这些1位传感器进行的高数据吞吐量为低功率应用创造了重要的瓶颈。在本文中，我们探讨了从单光摄像机的单个二进制框架生成颜色图像的可能性。显然，由于暴露程度的差异，我们发现这个问题对于标准色素化方法特别困难。我们论文的核心创新是在神经普通微分方程（神经ode）下构建的暴露合成模型，它使我们能够从单个观察中产生持续的暴露量。这种创新可确保在Col-Orizers进行的二进制图像中保持一致的曝光，从而显着增强了着色。我们演示了该方法在单图像和爆发着色中的应用，并显示出优于基准的生成性能。项目网站可以在https://vishal-s-p.github.io/projects/ 2023/generative_quanta_color.html
开放式对象检测的生成区域训练
在最近的研究中，已对开放式摄制对象检测任务进行了大量关注，旨在概括训练期间标记的类别的有限级别，并检测推理时任意类别名称所描述的对象。与常规对象检测相比，打开的词汇对象检测在很大程度上扩展了对象检测类别。但是，它依赖于计算图像区域与一组具有验证视觉和语言模型的任意类别名称之间的相似性。这意味着，尽管具有开放式的性质，但该任务仍然需要在推理阶段的预定义对象类别。这提出了一个问题：如果我们在推理中对对象类别没有确切的了解，该怎么办？在本文中，我们称之为新的设置为生成性开放式对象检测，这是一个更普遍和实际的问题。为了解决它，我们将对象检测形式为生成问题，并提出了一个名为generateu的简单框架，该框架可以检测密集的对象并以自由形式的方式生成其名称。尤其是，我们采用可变形的DETR作为区域促成生成器，其语言模型将视觉区域转换为对象名称。为了评估自由形式的对象划分任务，我们介绍了一种评估方法，旨在定量测量生成量的性能。广泛的实验表明我们的生成量强烈的零射击性能。代码可在以下网址获得：https：//github.com/foundationvision/generateu。例如，在LVIS数据集上，我们的GenerateU在推理过程中属于类别名称，即类别名称无法看到类别名称，即使类别名称看不见类别名称，我们的GenerateU也可以与开放式唱机对象检测方法GLIP相当。
通过学习的先验
基于流量的超分辨率（SR）模型在生成高质量图像方面具有令人惊讶的功能。然而，这些方法在图像产生过程中遇到了几个challenges，例如网格伪像，进行倒置和由于固定的Sam固定温度而导致的次优结果。为了克服这些问题，这项工作涉及基于流量SR模型的推断阶段之前学到的条件。此先验是我们所提出的潜在模块预测的潜在代码，该模块在低分辨率图像上进行了条件，然后将流量模型转换为SR图像。我们的框架被签署为与任何基于当代流量的SR模型无缝集成，而无需修改其体系结构或经过预先训练的权重。我们通过广泛的实验和ABLATION分析来评估我们提出的框架的有效性。所提出的框架成功地为所有固有的问题结合了基于流的SR模型，并在各种SR场景中提高了其性能。我们的代码可在以下网址提供：https：//github.com/ liyuantsao/flowsr-lp
超越歧视：法医精神病学的生成AI应用和道德挑战
生成人工智能（Genai）的出现和日益普及有可能改变法医精神病学和刑事司法的AI应用，传统上依赖于歧视性的AI算法。生成的AI模型标志着从以前流行的范式中通过生成看似新的现实数据并分析和集成了来自不同数据格式的大量非结构化内容的能力的显着转变。这种潜力不仅仅是重塑常规做法，例如风险评估，诊断支持以及治疗和康复计划，还可以在以前未经置换的领域（例如培训和教育）中创造新的机会。本文研究了生成人工智能对法医精神病学和刑事司法中AI应用的变革性影响。首先，它引入了生成AI及其普遍模型。之后，它回顾了法医精神病学中歧视性AI的当前应用。随后，它对生成AI的潜力进行了彻底的探索，可以通过多模式生成模型，数据生成和数据增强来改变既定的实践并引入新颖的应用。最后，它提供了与部署生成AI模型相关的道德和法律问题的全面概述，重点是他们对个人的影响以及其更广泛的社会影响。总而言之，本文旨在为在法医背景下生成AI应用的动态挑战的持续论述做出贡献，突出了潜在的机会，风险和挑战。它提倡跨学科的合作，并强调对生成AI模型进行彻底，负责任的评估的必要性，然后在广泛采用的决策中常规地做出了实质性的改变后果。
sangea：可扩展和归因网络生成
深层生成模型（DGM）是用于学习数据表示的多功能工具，同时合并了域知识，例如条件概率分布的规范。最近提出的DGMS解决了比较来自不同来源的数据集的重要任务。这样的示例是对比分析的设置，该分析的重点是描述与背景数据集相比富含目标数据集中的模式。这些模型的实际部署通常假定DGM自然推断出可解释的和模块化的潜在表示，这在实践中是一个问题。因此，现有方法通常依赖于临时正规化方案，尽管没有任何理论基础。在这里，我们通过扩展非线性独立组件分析领域的最新进展，提出了对比较DGM的可识别性理论。我们表明，尽管这些模型在一般的混合功能上缺乏可识别性，但当混合函数在零件上时，它们令人惊讶地变得可识别（例如，由Relu神经网络参数化）。我们还研究了模型错误指定的影响，并从经验上表明，当未提前知道潜在变量的数量时，以前提出的用于拟合比较DGM的正则化技术有助于识别性。最后，我们引入了一种新的方法，用于拟合比较DGM，该方法通过多目标优化改善了多个数据源的处理，并有助于使用约束优化以可解释的方式调整正规化的超参数。我们使用模拟数据以及通过单细胞RNA测序构建的细胞中的遗传扰动数据集以及最新的数据集验证了我们的理论和新方法。关键字：非线性ICA；深层生成模型；变分推断；解开；
加速生成式 AI - OpenVINO™ 文档
2024 年 12 月 2 日 — 使用 optimum-intel 软件包转换和优化模型 pip install optimum-intel[openvino]。下载并将模型转换为 OpenVINO IR 格式...
生成的多模式模型是良好的类增量学习者
在班级学习（CIL）方案中，由于阶级的偏见对当前任务的偏见引起的灾难性遗忘者长期以来一直引起了重大挑战。它主要由判别模型的特征引起。随着生成性多模式模型的日益普及，我们将探索用CIL生成的歧视模型代替歧视模型。，从歧视到生成模式过渡需要解决两个关键挑战。主要挑战在于将生成的文本信息转移到不同类别的分类中。在方面，它需要在生成框架内制定CIL的任务。为此，我们提出了一种新颖的生成性多模式模型（GMM）框架，用于类增量学习。我们的方法直接使用改编的生成模型为图像生成Labels。获得详细的文本后，我们使用文本编码器来阐述文本特征，并采用匹配的功能来确定最相似的标签与分类的标签。在传统的CIL设置中，我们在长期序列的任务方案中取得了更好的影响。under少数CIL设置，与所有当前最新方法相比，我们的精度至少提高了14％，而遗忘的遗忘明显较小。我们的代码可在https://github.com/doubleclass/gmm上找到。
视觉增强的动态语义原型，用于生成零拍学习
生成的零拍学习（ZSL）学习了一个生成器来合成看不见类的视觉样本，这是推进ZSL的有效方法。然而，现有的发电方法依赖于高斯噪声和预定义的语义原型的条件，这限制了仅在特定的看到类中优化的发电机，而不是对每个视觉实例进行特征，从而导致概括不良（例如，过度适用于可见的类）。为了解决这个问题，我们提出了一种新颖的视觉启动动态语义原型方法（称为VADS），以增强发电机来学习准确的语义 - 视觉映射，以充分利用视觉效果的知识为语义条件。详细说明，VADS由两个模块组成：（1）视觉吸引域知识学习模块（VDKL）了解视觉特征的偏见和全局先验（称为域的视觉知识），这些偏见取代了纯净的高斯噪声，以提供更丰富的先验噪声信息； （2）以视觉为导向的语义更新模块（VOSU）根据样本的视觉表示更新语义原型。最终，我们将它们的输出作为动态语义原型串联，作为发电机的条件。广泛的实验表明，我们的VAD在三个突出的数据集上实现了上升的CZSL和GZSL prounperces，并且在Sun，Cub和Awa2上分别胜过其他最先进的方法，其平均分别增加了6.4％，5.9％，5.9％和4.2％。
g-hop：相互作用重建的生成性手动对象和掌握合成
和一个锅的不同）或意图（例如通过刀与使用它进行切割），我们人类可以毫不费力地描绘出与日常生活中日常物体的这种互动。在这项工作中，我们的目标是构建一个可以同样生成合理的手动配置的计算系统。具体来说，我们学习了一个基于扩散的常规模型，该模型捕获了3D相互作用期间手和对象的关节分布。给定一个类别的描述，例如“握着板的手”，我们的生成模型可以合成人手的相对配置和表达（见图1个顶部）。我们解决的一个关键问题是，该模型是什么好的HOI表示。通常通过空间（签名）距离场来描述对象形状，但人的手通常是通过由发音变量控制的参数网格建模的。我们提出了一个均匀的HOI表示，而不是在生成模型中对这些不同的代表进行建模，并表明这允许学习一个共同生成手和对象的3D扩散模型。除了能够合成各种合理的手和物体形状的综合外，我们的扩散模型还可以在跨任务的辅助推理之前作为通用，而这种表示是所需的输出。例如，重建或预测相互作用的问题对于旨在向人类学习的机器人或试图帮助他们的虚拟助手来说是核心重要性。重建的视频重新投影错误）或约束（例如我们考虑了这些行沿着这些行的两个经过深入研究的任务：i）从日常交互剪辑中重建3D手对象形状，ii）鉴于任意对象网格，合成了合理的人类grasps。为了利用学到的生成模型作为推论的先验，我们注意到我们的扩散模型允许在任何手动对象配置给定的（近似）log-likelihood梯度计算（近似）log-likelihoodhoodhood。我们将其纳入优化框架中，该框架结合了先前的基于可能性的指南与特定于任务的目标（例如已知对象网格的合成）推理。虽然理解手动相互作用是一个非常流行的研究领域，但现实世界中的数据集限制了3D中这种相互作用的限制仍然很少。因此，我们汇总了7种不同的现实世界交互数据集，从而导致157个对象类别的相互作用长期收集，并在这些范围内训练共享模型。据我们所知，我们的工作代表了第一个可以共同生成手和对象的生成模型，并且我们表明它允许综合跨类别的各种手动相互作用。此外，我们还经验评估了基于视频的重建和人类掌握合成的任务的先前指导的推断，并发现我们所学的先验可以帮助完成这两个任务，甚至可以改善特定于特定于任务的状态方法。
通过零件式层次结构消息传递
生成的3D部分组装涉及了解零件关系，并预测其6-DOF姿势，用于组装逼真的3D形状。先前的工作通常集中在各个部分的几何形状上，忽略了整个物体的零件。利用两个关键的观察：1）超级部分姿势提供了有关零件姿势的强烈提示，而2）由于较少的超级部分，预测超级零件的姿势更容易，我们提出了一个零件 - 整个层次结构消息传递网络，以实现有效的3D零件组件。我们首先通过在没有任何语义标签的情况下对几何相似部分进行分组，从而引入超级零件。然后，我们采用零件整体的层次编码器，其中超级零件编码器预测基于输入部分的潜在超级零件姿势。随后，我们使用潜在姿势转换点云，将其馈送到零件编码器中，以汇总超级零件信息和有关零件关系的推理以预测所有部分姿势。在培训中，仅需要地面零件姿势。在推断期间，超级零件的预测潜在可增强可解释性。Partnet数据集上的实验结果表明，我们的方法可以部分地达到最新的功能和连接精度，并实现可解释的层次结构组件。代码可在https://github.com/pkudba/3dhpa上找到。