我们提出了一个由VLM和LLMs组成的p API API,以及一组机器人控制功能。使用此API和自然语言查询提示时,LLM会生成一个程序来积极识别给定输入图像的属性。
教学和临床技术一直在改变牙科教育。随着人工智能(AI)的出现,在教育中使用AI的机会增加了。随着生成AI的最新进步,大型语言模型(LLM)和基础模型随着它们在自然语言理解和构成方面的能力以及将多种类型的数据(例如文本,图像和音频)结合在一起而引起了人们的关注。一个常见的例子是ChatGpt,它基于强大的LLM(GPT模型)。本文讨论了将LLMS纳入牙科教育中的潜在好处和挑战,重点是牙周图表,并使用用例概述LLM的功能。llms可以提供个性化的反馈,生成案例场景并创建教育内容,以促进牙科教育的质量。但是,存在挑战,局限性和风险,包括创建内容的偏见和不准确性,隐私和安全问题以及过度依赖的风险。通过指导和监督,通过有效和道德地整合LLM,牙科教育可以纳入吸引学生的吸引人和个性化的学习经验,以准备现实生活中的临床实践。
本研究旨在全面审查和经验评估多模式大语模型(MLLM)和大型视觉模型(VLM)在运输系统的对象检测中的应用。在第一个折叠中,我们提供了有关MLLM在运输应用中的潜在好处的背景,并在先前的研究中对当前的MLLM技术进行了全面审查。我们强调了它们在各种运输方案中对象检测中的有效性和局限性。第二倍涉及在运输应用程序和未来方向中概述端到端对象检测的概述。在此基础上,我们提出了对三个现实世界传输问题测试MLLM的经验分析,其中包括对象检测任务,即道路安全属性提取,安全至关重要的事件检测和热图像的视觉推理。我们的发现提供了对MLLM性能的详细评估,揭示了优势和改进领域。最后,我们讨论了MLLM在增强运输中对象检测方面的实际限制和挑战,从而为该关键领域的未来研究和发展提供了路线图。
摘要 - 传统的工业自动化系统需要专业的专业知识来操作和复杂的重新编程以适应新流程。大型语言模型提供了智能,以使其更灵活,更易于使用。但是,LLMS在工业环境中的应用没有充满信心。本文介绍了一个集成LLM的框架,以实现工业自动化系统的端到端控制。框架的核心是设计用于工业任务的代理系统,一种结构化提示方法以及事件驱动的信息建模机制,可为LLM推理提供实时数据。该框架在不同上下文语义级别上提供实时事件的LLM,使他们可以解释信息,生成生产计划并控制自动化系统上的操作。它还支持结构化的数据集创建,以在LLMS的下游应用程序上进行微调。我们的贡献包括正式的系统设计,概念验证实现以及一种用于LLM微调和测试的特定任务数据集的方法。这种方法启用了一个更适应性的自动化系统,可以对自发事件做出响应,同时可以通过自然语言更轻松地操作和配置,从而实现更直观的人机相互作用。我们在GitHub上提供演示视频和详细数据:https://github.com/yuchenxia/llm4ias
近年来,使用人工智能(AI)的聊天机器人(Dialogrobots)必须与爆炸的人进行交流。如果需要进行沟通,无论是客户服务还是教育,聊天机器人很快就会出现。在语言学习中,沟通是一个核心组成部分,有很大的机会使用生成的AI在与学生的对话中为聊天机器人创建自然而“自发”的答案。生成答案的机器学习模型的类型通常是大型语言模型(LLM),本研究检查了不同的技术以获取LLM,以在其生成的答案中包括特定的光泽。
摘要 - 大语言模型(LLM)的最新进展彻底改变了许多研究领域。在机器人技术中,通过解锁前所未有的上下文意识级别,将常识性知识整合到下游任务中已大大推动了该领域。尽管知识收集了大量知识,但由于幻觉或缺少域信息,LLM可能会产生不可行的计划。为了应对这些挑战并提高计划的可行性和计算效率,我们介绍了Delta,这是一种新颖的LLM知名任务计划方法。通过使用场景图作为LLM中的环境表示,Delta实现了快速生成精确的计划问题描述。为了提高计划绩效,Delta将LLMS的长期任务目标分解为自回归的子目标序列,从而使自动化的任务计划人员能够有效地解决复杂的问题。在我们的广泛评估中,我们表明,与艺术品相比,达美航空可以实现高效且全自动的任务计划管道,达到更高的计划成功率,并明显较短的计划时间。
摘要 - 马拉里亚是由感染雌性蚊子蚊子的寄生虫引起的,是一种严重的且潜在的致命疾病,是热带地区常见的。疾病控制程序依赖于树冠内各种垂直高度的蚊子的捕获。为了支持这种疟疾控制研究工作,该提议的解决方案旨在克服涉及攀岩和手动蚊子捕获的调用方法的局限性。本文介绍了一种新型无人机导航系统的开发,该系统旨在在树冠中收集蚊子样品。我们的解决方案通过使用立体声视觉深度摄像机和对象检测算法yolov7实现3D映射算法来构建解决方案,以准确识别树檐篷中的栖息地。开发的无人机导航算法采用获得的坐标来计划合适的飞行路径。我们评估了基础针孔摄像头模型的准确性,并进行了深度摄像头的校准,以提高深度精度。此外,我们分析了Yolov7培训配置,以最大程度地减少着陆点检测中的假阳性。结果证明了我们解决方案在捕获各种垂直高度的蚊子方面的有效性,为疟疾控制程序提供了宝贵的支持。索引术语 - 马拉里亚控制,计算机视觉,无人机导航,深度摄像头,机器学习
超过10%的手术患者经历了主要的术后并发症,例如肺炎和血凝块,从肺栓塞(PE)到深静脉血栓形成(DVT)[1-5]。这些并发症通常会导致死亡率增加,重症监护病房入院,延长住院和更高的医疗费用[6]。可以通过早期鉴定患者危险因素来避免这些可预防的并发症[7,8]。最近的报告表明,清晰的围手术途径,被定义为手术前后的非手术性程序,例如共同的决策,术前评估,增强的手术准备和分裂计划,可以平均在各种手术中降低两天的住院,随后精心设计的干预措施减少了30%至80%。这远远超过了药物或治疗干预措施的影响[7]。这强调了早期确定患者风险因素并实施有效的预防措施以改善患者预后的关键作用。大多数旨在预测术后风险的机器学习模型主要利用数值和分类变量或时间序列测量[1,5]。These models typically include features such as demographics, history of comorbidities, lab tests, medications, and statistical features extracted from time series [ 1 , 5 ], along with features reflecting surgical settings like scheduled surgery duration, surgeon name, anesthesiologist name, and location of the operating room [ 5 ], as well as factors such as drug dosing, blood loss, and vital signs [ 9 ].基于文本的临床笔记在手术护理之旅中所做的临床笔记具有巨大的信息价值,并有可能预测术后风险。与疾病的电子健康记录(EHR)(例如表格或时间序列数据)不同,临床笔记代表了一种临床叙事的一种形式,从而使临床医生可以通过传统的表格数据传达对患者历史的传达记录[10]。临床注释中的信息价值可以帮助影响患者毛刺过程和超越患者的过程[11]的决策过程。这包括准备手术的准备,将患者转移到手术室以及临床医生任务的优先级[11,12],强调了他们在实现安全患者结果方面的重要性[12,13]。在Chatgpt出现之后,大量有关医学LLM的研究主要集中在召开聊天机器人的应用和开发方面,以支持临床医生,提供患者护理并增强临床
©2024作者。开放访问。本文获得了创意共享归因及其商业商业期4.0国际许可证的许可,该许可允许以任何中等或格式的任何非商业用途,共享,分发和复制,只要您与原始作者提供适当的信誉,并为原始的许可证提供了链接,并符合您的创造地点的链接,并指明您的授权材料。您没有根据本许可证的许可来共享本文或部分内容的适用材料。本文中的图像或其他第三方材料包含在文章的创意共享许可中,除非在信用额度中另有说明。如果本文的创意共享许可中未包含材料,并且您的预期用途不受法定法规的允许或超过允许的用途,则您需要直接从版权所有者那里获得许可。要查看此许可证的副本,请访问http://creativecommons.org/licenses/by-nc-nd/4.0/。
近年来,大型语言模型(LLM)一直在处理不断增加的人类生成的数据。语言的神经模型,例如手套(Pennington等,2014),Bert(Devlin等,2019),GPT-2(Radford等,2018),Xlnet(Yang等,2019),Roberta(Roberta(Y. Liu等,2019),2019年),Bart(Lewis et al。在社会相关性的几种应用中的变革作用。各种作者将这些模型称为“基础模型”(Bommasani等,2021; Ribeiro等,2020),强调了它们为将来可以对许多不同的应用程序域和任务进行精心调整和适应的通用计算系统提供了通用的基础。此类应用程序的示例包括