XiaoMi-AI文件搜索系统
World File Search SystemMu
EmbodiedScan：面向具身 AI 的整体多模式 3D 感知套件
摘要 在计算机视觉和机器人领域，具身代理有望探索其环境并执行人类的指令。 这就需要能够根据第一人称观察充分理解 3D 场景，并将其语境化为语言进行交互。 然而，传统研究更多地侧重于从全局视角进行场景级输入和输出设置。 为了解决这一差距，我们引入了 EmbodiedScan，这是一个多模态、以自我为中心的 3D 感知数据集和整体 3D 场景理解的基准。 它包含超过 5k 个扫描，封装了 1M 个以自我为中心的 RGB-D 视图、1M 个语言提示、160k 个 3D 导向框，涵盖 760 多个类别，其中一些与 LVIS 部分一致，以及具有 80 个常见类别的密集语义占用率。 基于这个数据库，我们引入了一个名为 Embodied Perceptron 的基线框架。它能够处理任意数量的多模态输入，并表现出卓越的 3D 感知能力，无论是在我们建立的两个系列基准测试（即基本 3D 感知任务和基于语言的任务）中，还是在野外。
MAIA 项目：多语言 AI 代理助理
在线对话支持——聊天——是增长最快的客户服务渠道，是千禧一代获得客户服务的首选方式。如今，通过该渠道支持国际客户主要是通过使用讲不同语言的人工代理——一种稀缺且昂贵的资源。语言技术（机器翻译和对话系统）在过去几年中取得了巨大进步，使其成为多语言客户服务的有吸引力的工具。然而，当前的系统仍然过于脆弱和不切实际：首先，它们需要太多数据和计算能力，在标记数据稀缺的领域或语言中失败；其次，它们不捕获上下文信息（例如，当前的机器翻译系统以逐句为基础工作，忽略对话上下文）；第三，全自动系统缺乏人类同理心，在意外情况下会失败，导致客户满意度低
多模态人工智能中的偏见：公平自动招聘的试验台
决策算法在社会中的存在感如今正在迅速增加，同时人们也开始担心其透明度以及这些算法可能成为新的歧视来源。事实上，许多相关的自动化系统已被证明会根据敏感信息做出决策或歧视某些社会群体（例如，某些用于人员识别的生物特征识别系统）。为了研究当前基于异构信息源的多模态算法如何受到数据中的敏感元素和内部偏见的影响，我们提出了一个虚构的自动招聘测试平台：FairCVtest。我们使用一组有意识地以性别和种族偏见进行评分的多模态合成档案来训练自动招聘算法。FairCVtest 展示了此类招聘工具背后的人工智能（AI）从非结构化数据中提取敏感信息并以不良（不公平）的方式将其与数据偏见结合起来的能力。最后，我们列出了最近开发能够从深度学习架构的决策过程中删除敏感信息的技术的列表。我们使用其中一种算法（SensitiveNets）来实验歧视感知学习，以消除我们多模态 AI 框架中的敏感信息。我们的方法和结果展示了如何生成更公平的基于 AI 的工具，特别是更公平的自动招聘系统。
可解释的人工智能，用于数据驱动的反馈和智能行动建议，以支持学生自我调节 Muhammad Afzaal
摘要 自我调节学习 (SRL) 是一种认知能力，在促进学生有效制定策略、监控和评估自己的学习行为方面具有明显意义。研究表明，缺乏自我调节学习技能会对学生的学业成绩产生负面影响。有效的数据驱动反馈和行动建议被认为对 SRL 至关重要，并显著影响学生的学习和表现。然而，向每个学生提供个性化反馈的任务对教师来说是一个重大挑战。此外，由于大多数课程的学生人数众多，为个性化建议确定适当的学习活动和资源的任务对教师来说也是一个重大挑战。为了应对这些挑战，一些研究已经探讨了基于学习分析的仪表板如何支持学生的自我调节。这些仪表板提供了一些关于学生成功和失败的可视化（作为反馈）。然而，虽然这种反馈可能有益，但它并没有提供有见地的信息或可行的建议来帮助学生提高学业水平。可解释的人工智能 (xAI) 方法已被提出来解释此类反馈并从预测模型中产生见解，重点关注学生在正在进行的课程中需要采取的相关行动以改进。此类智能活动可以作为数据驱动的行为改变建议提供给学生。本论文提供了一种基于 xAI 的方法，可以预测课程表现并计算信息反馈和可操作的建议，以促进学生的自我调节。与以前的研究不同，本论文将预测方法与 xAI 方法相结合，以分析和操纵学生的学习轨迹。目的是通过为该方法提供的预测提供深入的见解和解释，为学生提供详细的、数据驱动的可操作反馈。与单独的预测相比，该技术为学生提供了更实用和有用的知识。所提出的方法以仪表板的形式实施，以支持大学课程中学生的自我调节，并对其进行了评估以确定其对学生学业成绩的影响。结果表明，仪表板显着提高了学生的学习成绩并提高了他们的自我调节学习技能。此外，研究发现，所提出的方法提出的建议对学生的表现产生了积极影响，并帮助他们进行自我调节。
引用本文：Thomas KF Chiu、Benjamin Luke Moorhouse、Ching Sing Chai 和 Murod Ismailov (2023)：教师支持和学生学习动机
摘要 随着人工智能 (AI) 技术的进步，它将不可避免地给课堂实践带来许多变化。然而，教育领域的人工智能研究与教学观点或教学方法的联系较弱，特别是在 K-12 教育领域。人工智能技术可能使有上进心和先进的学生受益。需要了解教师在课堂上使用人工智能技术调解和支持学生学习方面所起的作用。本研究使用自我决定理论作为支撑框架，调查教师支持如何调节学生专业知识对需求满足和使用人工智能技术学习的内在动机的影响。这项实验研究涉及 123 名 10 年级学生，并在实验中使用聊天机器人作为基于人工智能的技术。分析表明，使用聊天机器人学习的内在动机和能力取决于教师支持和学生专业知识（即自我调节学习和数字素养），教师支持更好地满足了关联性需求，而不太满足自主性需求。研究结果完善了我们对自我决定理论应用的理解，并扩展了人工智能应用和教学实践的教学和设计考虑。
可控文本到图像合成，适用于多模态 MR 图像
近年来，生成模型取得了重大进展，尤其是在文本到图像合成领域。尽管取得了这些进展，但医学领域尚未充分利用大规模基础模型的功能来生成合成数据。本文介绍了一种文本条件磁共振 (MR) 成像生成框架，解决了与多模态考虑相关的复杂性。该框架包括一个预先训练的大型语言模型、一个基于扩散的提示条件图像生成架构和一个用于输入结构二进制掩码的附加去噪网络。实验结果表明，所提出的框架能够生成与医学语言文本提示一致的逼真、高分辨率和高保真的多模态 MR 图像。此外，该研究根据文本条件语句解释了生成结果的交叉注意力图。这项研究的贡献为未来文本条件医学图像生成的研究奠定了坚实的基础，并对加速医学成像研究的进步具有重要意义。
不同的音乐类型如何影响任务焦点
过去的研究发现，人们所听的音乐可能会影响他们的注意力。这项研究研究了不同类型的音乐对神经发散者 (ND) 和神经典型 (NT) 人群的任务专注度的影响。年龄在 14 至 18 岁之间，共有 24 名参与者，其中 12 名是 ND，12 名 NT。参与者被平均分成四个音乐组：古典音乐、游戏音乐、个人收藏音乐和无音乐。学生研究人员使用精神运动警觉测试 (PVT) 和脑电图 (EEG) 来确定每个参与者在听音乐时的任务专注度水平。研究发现，音乐对专注度的影响过于主观和个人化，无法得出哪种音乐类型最好/最差的大致趋势。这对于音乐治疗领域很重要，因为它表明音乐需要根据每个客户进行个性化设置，并且不能依赖于总体趋势。
评估 AI 生成音乐的启发式方法
- 需要大量“真实”数据 - 这些数据可能会有偏差 - 示例：统计差异箱的数量 (NDB) - 示例：MuseGAN 客观指标（下一张幻灯片） - 人类专业知识
引文 Kurushima S、Koga T、Umeda M、Iwamoto N、Miyashita R、Tokito T、Okuno D、Yura H、Ishimoto H、Kido T、Sakamoto N、Ueki Y、Mukae H 和 Kawakami
类风湿关节炎 (RA) 是一种以慢性关节炎为特征的炎症性自身免疫性疾病，常伴有关节外影响，如间质性肺病 (ILD)。RA 相关 ILD (RA-ILD) 是一种严重的并发症，可影响预后 ( 1 , 2 )。尽管生物制剂抗风湿药 (bDMARDs) 和 Janus 激酶抑制剂 (JAKi) 的出现扩大了 RA 的治疗选择，但 RA-ILD 的最佳治疗方法仍未确定 ( 3 , 4 )。值得注意的是，一些研究强调，在患有 ILD 的 RA 患者中使用抗风湿药物时，需要注意呼吸道感染和药物性肺损伤的风险 ( 5 , 6 )。目前，阿巴西普（一种细胞毒性 T 淋巴细胞相关蛋白 4 (CTLA4) 胞外结构域与人 IgG1 Fc 区融合蛋白）被认为是治疗伴有 ILD 的 RA 患者最合理的选择 ( 7 )；然而，最近的报告表明，JAKi 对 RA-ILD 疾病行为的影响方面的有效性和安全性可能与阿巴西普相当 ( 8 , 9 )。与 RA-ILD 进展或急性加重有关的因素包括寻常型间质性肺炎 (UIP) 模式、用力肺活量下降、吸烟和抗环瓜氨酸蛋白抗体 (ACPA) 高滴度 ( 10 , 11 )。此外，与新发 RA-ILD 相关的危险因素包括高龄、男性、吸烟、类风湿因子和 ACPA 高滴度以及关节炎活动性控制不佳 (12-14)。上皮-间质转化 (EMT) 是一个关键的生理过程，在此过程中上皮细胞失去极性并转变为间质表型。上皮细胞标志物 E-钙粘蛋白的下调和间质标志物 N-钙粘蛋白的上调（也称为钙粘蛋白转换）是 EMT 的特征 (15,16)。尽管 EMT 具有重要的生理意义，但它也与各种病理状态有关，尤其是在细胞损伤和慢性炎症后 (17)。事实上，EMT 被认为是 RA-ILD 发病机制中的关键过程之一，类似于导致特发性肺纤维化的事件（18）。人类肺泡 II 型细胞的体外研究表明，转化生长因子-b 和白细胞介素 (IL)-6 等因子治疗可诱导 EMT，据报道，阻断 JAK/STAT 信号通路可抑制 EMT（19）。然而，治疗 RA 的主要药物甲氨蝶呤 (MTX)（20）对 EMT 的影响仍未得到充分探索。本研究的目的是比较用 JAKi 或 bDMARDs 治疗的 RA-ILD 患者胸部计算机断层扫描 (CT) 图像的时间变化，并确定与影像学上 RA-ILD 恶化相关的因素。此外，我们通过体外研究 JAKi 和 MTX 治疗对 RA-ILD 患者纤维化状态的可能作用机制，研究了它们对 IL-6 诱导的肺泡上皮细胞 EMT 的影响。我们的研究结果揭示了 JAKi 和 MTX 治疗抑制 RA-ILD 进展的潜力。