XiaoMi-AI文件搜索系统
World File Search System语言
使用交叉注意信号对大型语言模型进行微调模型的一种自我监督的强化学习方法
我们为不依赖于人类反馈的大型语言模型（LLMS）提出了一种新颖的增强学习（RL）框架。相反，我们的方法使用模型本身中的交叉注意信号来获得自我监督的奖励，从而指导对模型策略的迭代微调。通过分析模型在生成过程中如何“参加”输入提示，我们构建了及时的覆盖，重点和连贯性的度量。然后，我们使用这些措施来对候选响应进行排名或评分，提供了奖励信号，鼓励模型产生良好的一致，主题文本。在与标准策略梯度方法的经验比较和合成偏好模型的RL微调中，我们的方法在非RL基线的迅速相关性和一致性方面显示出显着的提高。虽然它尚未与完全监督的RLHF系统的性能相匹配，但它突出了使用最小的人类标记来扩展对齐的重要方向。我们提供了详细的分析，讨论潜在的局限性，并概述了将基于跨注意的信号与较少人类反馈相结合的未来工作。
大型语言模型的重症监护大数据部署和提取：描述性分析
背景：公开访问的重症监护数据库包含巨大的临床数据，但是它们的利用通常需要先进的编程技能。大型数据库和非结构化数据的日益增长的复杂性给需要编程或数据分析专业知识以直接利用这些系统的临床医生带来了挑战。目的：本研究旨在简化与重症监护相关的数据库部署和通过大语言模型提取。方法：该平台的开发是一个两步过程。首先，我们使用Docker Container Technology启用了自动化数据库部署，并具有结合的基于Web的分析接口Meterfase和Superset。第二，我们开发了重症监护室的预审预周化变压器（ICU-GPT），这是一种大型语言模型，在重症监护室（ICU）数据上进行了微调，该模型集成了Langchain和Microsoft Autogen。结果：自动部署平台的设计考虑了用户友好性，使临床医生能够在本地，云或远程环境中部署1个或多个数据库，而无需手动设置。成功克服了GPT的令牌限制并支持多策略数据后，ICU-GPT可以生成结构化查询语言（SQL）查询，并根据请求输入从ICU数据集中提取洞察力。为临床医生开发了一个前端用户界面，以在基于Web的客户端上实现无代码SQL生成。结论：通过利用自动部署平台和ICU-GPT模型的功能，临床医生可以更有效，更有效地可视化，提取和安排与重症监护相关的数据库，而不是手动方法。我们的研究可以减少在复杂的生物信息学方法上花费的时间和精力，并提高临床研究。
AOLO：针对低碳导向的无线语言模型服务的分析和优化
摘要 - 大语言模型（LLMS）中的前进已导致其广泛采用和在各个领域的大规模部署。但是，由于其大量的能耗和碳足迹，它们的环境影响，尤其是在推断期间，已经成为人们越来越关注的问题。现有研究仅着眼于推理计算，忽视了网络辅助LLM服务系统中碳足迹的分析和优化。为了解决这一差距，我们提出了AOLO，这是一个用于低碳导向的无线LLM服务的分析和优化框架。AOLO引入了全面的碳足迹模型，该模型量化了整个LLM服务链中的温室气体排放，包括计算推理和无线通信。此外，我们制定了一个优化问题，旨在最大程度地减少整体碳足迹，该碳足迹是通过在体验质量和系统性能限制下的关节优化推理输出和传递功率来解决的。为了实现这种联合优化，我们通过采用SNN作为参与者网络来利用尖峰神经网络（SNN）的能源效率，并提出了一种低碳导向的优化算法，即基于SNN的基于SNN的深度加固学习（SDRL）。全面的模拟表明，与基准软批评者相比，SDRL算法显着降低了整体碳足迹，降低了18.77％，突出了其实现更可持续的LLM推理服务的潜力。
应对过度处方挑战：用于药物建议任务的大型语言模型
药物推荐系统在医疗保健中引起了人们的关注，因为它们的潜力根据患者的临床数据提供了个性化和有效的药物组合。但是，现有的方法论在适应多种电子健康记录（EHR）系统并有效地利用非结构化数据时会遇到挑战，从而产生有限的概括能力和次优性能。最近，利用医疗领域的大型语言模型（LLM）的兴趣正在增长，以支持医疗保健专业人员并增强患者护理。尽管出现了医疗LLMS及其在医疗问题回答之类的任务中，他们在临床环境中的实际应用，尤其是在药物建议中，但通常仍然没有得到充实的态度。在这项研究中，我们评估了用于药物建议任务的通用和医学特异性LLM。我们的发现表明，LLMS经常遇到过度处方的挑战，导致临床风险增加并降低药物建议精度。为了解决这个问题，我们提出了语言辅助药物建议（LAMO），该建议采用了一种参数高效的微调方法来量身定制开源LLM，以在药物建议方案中进行最佳性能。lamo杠杆在临床注释中提供了大量的临床信息，这是一种在传统方法论中通常不足的资源。由于我们的方法，Lamo的内部阀门准确性超过10％以上的最先前方法。此外，时间和外部验证证明了Lamo在各种时间和医院的强大概括能力
大语言模型的医学解释对放射学诊断决策的影响
临床表现：一名59岁的妇女在右眼有4天的炎症和疼痛病史，在那里她已经失明了几年。慢性失明和最近的症状表明了一个长期存在的眼部问题，现在已经成为症状。成像发现：磁共振成像显示右轨道质量，表明受影响的眼睛有明显的病变。全身参与：腹部和胸部成像显示许多肝肿块，腹部和胸部淋巴结肿大以及椎骨硬化骨性疾病，表明广泛转移性疾病。眼病史：几年患者在眼中盲目的事实表明，长期存在的主要眼病，例如黑色素瘤，可以转移到其他器官。病理确认：将右眼夹紧用于姑息性缓解，并获得组织以进行诊断。摘除剂以控制症状并获得明确的诊断。症状相关性：轨道肿块，广泛的转移性病变和患者眼病史的组合强烈表明转移性眼部黑色素瘤。
