* zhenlong@psu.edu摘要:由新兴的大语言模型(LLMS)提供支持,自主地理信息系统(GIS)代理有可能完成空间分析和制图任务。但是,存在一个研究差距来支持完全自主的GIS代理:如何使代理商发现和下载必要的数据进行地理空间分析。本研究提出了一个自主GIS代理框架,能够通过生成,执行和调试程序来检索所需的地理空间数据。该框架利用LLM作为决策者,从预定义的源列表中选择适当的数据源,然后从所选源中获取数据。每个数据源都有一个手册,可记录数据检索的元数据和技术细节。所提出的框架以插件样式设计,以确保灵活性和可扩展性。人类用户或自主数据刮擦者可以通过添加新手册来添加新的数据源。我们根据框架开发了原型代理,以QGIS插件(Geodata检索代理)和Python程序发布。实验结果证明了其从各种来源检索数据的能力,包括OpenStreetMap,美国人口普查局的行政界限和人口统计数据,来自ESRI World Imagery的卫星基本图,Opentopography.org的Global Digital Heipation.org,来自Opentopography.org的Global Digital Heipation.org,来自商业提供商的天气数据,来自Covid9 Case covid9 Case case the nytimmer github github github github。我们的研究是开发自主地理空间数据检索剂的首次尝试。
机器人可以探索和学习多少没有限制,但是所有这些知识都需要搜索和可行。在语言研究中,重新增强生成(RAG)已成为大规模非参数知识的工作室,但是现有技术并未直接转移到具有多模式的体现域,数据高度相关,感知需要抽象。为了应对这些挑战,我们引入了体现rag,该框架可以通过非参数存储器系统来增强体现代理的基础模型,该系统能够自主构建导航和语言生成的层次结构知识。体现的rag依处理各种环境和查询类型的各种空间和语义分辨率,无论是针对特定对象还是对氛围的整体描述。在其核心上,体现rag的记忆是作为语义森林结构的,以不同级别的细节存储语言描述。这个分层组织允许系统在不同的机器人平台上有效地生成上下文敏感的输出。我们证明,体现的抹布有效地将抹布桥接到机器人域,成功处理了19个环境中的200多个解释和导航查询,突显了其对常规非参数系统的预期用于实施剂。
。cc-by-nc-nd 4.0国际许可证(未经同行评审证明)获得的是作者/资助者,他授予Biorxiv授予Biorxiv的许可,以永久显示预印本。这是该版本的版权持有人,该版本发布于2023年10月5日。 https://doi.org/10.1101/2022.04.24.24.488172 doi:Biorxiv Preprint
自动化材料合成需要历史数据,但从出版物中提取详细数据和元数据具有挑战性。我们制定了初步策略,使用大型语言模型从材料科学文章中快速、自主地提取数据,数据格式可由材料数据库管理。我们使用聚合物纳米复合材料的子域作为示例用例,并通过手动验证演示了概念验证案例研究。我们使用 Claude 2 chat、Open AI GPT-3.5 和 4 API 提取表征方法和有关样品的一般信息,利用零次和少量提示来引出更详细和准确的响应。我们在样本提取任务中使用 Claude 2 chat 获得了最佳结果,F1 得分为 0.88。我们的研究结果表明,语言模型对于从文献中更有效、更实用地检索合成参数非常有用。
目前,放射科医生面临着过大的工作量,这导致他们高度疲劳,并因此导致不必要的诊断错误。决策支持系统可用于确定优先级并帮助放射科医生做出更快的决策。从这个意义上说,基于医学内容的图像检索系统可以通过提供精心策划的类似示例发挥极大的作用。尽管如此,大多数基于医学内容的图像检索系统都是通过查找最相似的图像来工作的,这并不等同于查找疾病及其严重程度最相似的图像。在这里,我们提出了一种可解释性驱动和注意力驱动的医学图像检索系统。我们在一个大型的公开可用的胸部 X 光片数据集中进行了实验,该数据集带有来自自由文本放射学报告 (MIMIC-CXR-JPG) 的结构化标签。我们在两种常见情况下评估了这些方法:胸腔积液和(潜在)肺炎。作为进行评估的地面实况,查询/测试和目录图像由经验丰富的委员会认证的放射科医生进行分类和排序。为了进行深入而全面的评估,其他放射科医生也提供了他们的排名,这使我们能够推断出评分者之间的差异,并得出定性的表现水平。根据我们的地面实况排名,我们还通过计算归一化的折现累积增益 (nDCG) 对所提出的方法进行了定量评估。我们发现,可解释性引导方法优于其他最先进的方法,并且与最有经验的放射科医生的一致性最好。此外,它的表现在观察到的评分者之间的差异范围内。
允许免费复制本作品的全部或部分以供个人或课堂使用,但不得出于营利或商业目的而复制或分发,且副本首页必须注明此声明和完整引文。必须尊重 ACM 以外的人拥有的本作品组成部分的版权。允许摘要并注明出处。若要复制、重新发布、发布到服务器或重新分发到列表,则需要事先获得特定许可和/或支付费用。请向 permissions@acm.org 申请许可。
Bose-Einstein凝结(BEC)是骨颗粒在单个特征状态中形成宏观种群的量子状态。预测该状态的理论[1]在实验室[2,3]中等待了70年,这是一个里程碑的成就,在超级原子和量子模拟的领域中启动了将近三十年的富有成果的研究[4]。尽管取得了进展,但BEC的常用测量技术在它们提供的信息中是不完整的。成像是BEC测量技术的核心。通过通过原子云闪耀光并记录其铸造的阴影,可以在给定状态下提取原子的密度。通常可用两种成像模式:原位,在陷阱内部或旋转时间(TOF)时对云进行成像。通过打开陷阱并记录云膨胀后的原子密度来执行后者[5];它是测量光学“远场”强度的类似物。如果粒子在扩展过程中不相互作用,并且云的初始尺寸相对于最终扩展的大小而忽略了,则TOF图像提供了云的动量分布,这是波函数的空间傅立叶变换的幅度。如果存在相互作用,但最终密度足够低,以至于它们变得可以忽略不计,则测得的动量分布的动能会反映初始动力学加相互作用能。然而,BEC是量子对象,因此它们是物质波[6],其特征是幅度和相位。这些成像方式仅捕获状态的一部分,因为它们在单个时间点和单个平面上,原位或TOF中单独测量密度。因此,要表征一个BEC,随着它们的发展,必须在空间中获得其幅度和相位的完整地图。因此,依靠这两种方式,Inno-
在线错误信息的扩散对公众造成了重大威胁。虽然许多在线用户积极参与反对错误信息的战斗,但由于缺乏礼貌和支持事实,许多这样的回应都可以使人具有特色。作为解决方案,提出了文本生成方法,以自动产生反误导响应。尽管如此,存在的方法通常是端对端训练的,没有利用外部知识,从而产生了低等的文本质量和过度重复的重音。在本文中,我们提出了在线误导(RARG)的检索响应产生,该响应产生从科学来源收集支持证据,并根据证据产生反弥散性响应。尤其是我们的RARG由两个阶段组成:(1)收集证据,我们在其中设计了一个检索管道来检索和重读证据文件,该数据库使用数据库包含100万个学术文章; (2)响应产生,其中我们调整大型语言模型(LLM),以通过从人类反馈(RLHF)学习来生成基于证据的重音。我们提出了一种奖励功能,以最大程度地利用检索到的证据,同时保持生成的文本的质量,从而产生礼貌和事实的回应,这些反应明显驳斥了错误的信息。为了证明我们方法的有效性,我们研究了Covid-19的案例,并对内部和跨域数据集进行了广泛的实验,在该数据集中,RARG始终通过产生高质量的反透明信息响应来表现基准。
抽象音乐推荐系统传统上依靠用户的听力历史来提供个性化的轨道建议。但是,由大语言模型(LLMS)提供动力的对话界面的最新进展使用户能够根据语言提示提供高度特定的建议请求(例如“您能推荐一些老式的摇滚民谣放松吗?” )。在这种情况下,轨道建议步骤以生成方式(即推荐音乐曲目的标题是通过简单地预测下一个文本令牌来生成的(例如“齐柏林飞艇 - 通往天堂的楼梯”)。此策略是音乐项目的亚最佳选择,因为:1)它依赖于针对单词而不是项目优化的通用文本令牌化,2)它需要一个额外的实体分辨率层才能找到实际的轨道标识符; 3)解码步骤的数量与艺术家名称和歌曲标题的长度线性缩放,速度降低了,慢速降低。在本文中,我们将基于及时的音乐推荐的任务构架为生成的检索任务,并提出了轨道标识符的新颖有效且有效的表示,这些标识符显着超过了常用的策略。我们介绍了Text2Tracks,这是一种生成的检索模型,可直接从用户的音乐推荐提示中学习映射到相关的轨道ID。Through an offline evaluation on three datasets of playlists with language inputs, we find that (1) the strategy to create IDs for music tracks is the most important factor for the effectiveness of Text2Tracks and that we can significantly outperform the artist name and track name strategy, (2) provided with the right choice of track identifiers, Text2Tracks outperforms sparse and dense retrieval for prompt-based track recommendation, and (3) several design decisions成功地应用于生成检索不会推广到音乐推荐域。
信息检索是一个不断发展且至关重要的搜索域。对高质量人类运动数据的大量需求,尤其是在在线获取中,导致人类运动研究工作的激增。先前的作品主要集中在双模式学习上,例如文本和运动任务,但是很少探索三模式学习。直觉上,额外的引入方式可以丰富模型的应用程序方案,更重要的是,对额外模式的适当选择也可以充当中介,并增强其他两个不同方式之间的对齐方式。在这项工作中,我们介绍了Lavimo(语言视频 - 动作对齐),这是一个三模式学习的新型框架,将以人为中心的视频整合为一种额外的方式,从而可以在文本和运动之间弥合差距。更重要的是,我们的方法利用了一种专门设计的注意机制来增强文本,视频和运动方式之间的一致性和协同作用。经验,我们对HumanML3D和Kit-ML数据集的结果表明,Lavimo在各种与运动相关的跨模式检索任务中实现了最先进的表现,包括文本到动作,动作到运动,视频,视频到视频,动作和动态。我们的项目网页可以在https://lavimo2023.github.io/lavimo/中找到。