XiaoMi-AI文件搜索系统
World File Search System反馈量
LLM和生成AI如何转换文本分析
Atlassian是Jira，Trello和Confluence背后的公司，在其产品中收到了大量的客户反馈。最初，他们依靠手动分析和基于NLP的工具来分类和解释这些数据。但是，随着反馈量的增长，NLP的局限性变成了瓶颈。
计算机科学博士论文：通过人类反馈提高强化学习的样本效率
随着人工智能的快速发展，这项技术已经走出工业和实验室，进入了人们的日常生活。一旦人工智能和机器人代理进入日常家庭，它们就需要能够考虑人类的需求。借助诸如强化学习人类反馈 (RLHF) 之类的方法，代理可以通过学习奖励函数或直接基于其反馈优化策略来学习理想的行为。与受益于互联网规模数据的视觉模型和大型语言模型 (LLM) 不同，RLHF 受限于所提供的反馈量，因为它需要额外的人力投入。在本论文中，我们研究如何减少人类提供的反馈量，以减轻他们在估计奖励函数时的负担，同时又不降低估计值。我们从基于偏好的学习角度研究了反馈的信息量和效率之间的根本权衡。为此，我们介绍了多种方法，这些方法可以分为两类：隐式方法，无需额外的人力投入即可提高反馈质量；显式方法，旨在通过使用更多反馈类型来大幅增加信息量。为了隐式地提高偏好反馈的效率，我们研究如何利用主动学习 (AL)，通过变分自编码器 (VAE) 从已学习表征的不同聚类中策略性地选取样本，从而提高样本的多样性。此外，我们利用偏好对之间的独特关系，通过在 VAE 的潜在空间上进行插值来执行数据合成。虽然隐式方法具有无需额外工作量的优势，但它们仍然存在偏好本身所能提供的信息量有限的问题。轨迹偏好的一个局限性是没有折扣，这意味着如果一条轨迹是偏好的，则假设整个轨迹都是偏好的，从而导致偶然的混淆。因此，我们引入了一种称为亮点的新反馈形式，让用户在轨迹上显示哪些部分是好的，哪些部分是坏的。此外，利用 LLM，我们创建了一种方法，让人类通过自然语言解释他们的偏好，以推断哪些部分是偏好的。总体而言，本论文摆脱了互联网规模数据的假设，并展示了如何通过较少的人工反馈实现一致性。
计算机科学中的博士论文提高了从人类反馈中学习的样本效率
随着人工智能的快速发展，该技术已从工业和实验室环境中转移到了日常人的手中。一旦AI和机器人代理人被安置在日常家庭中，就需要考虑到人类的需求。使用诸如从人类反馈（RLHF）中学习的方法，代理可以通过学习奖励功能或直接基于其回馈来优化策略来学习理想的行为。与互联网规模数据受益的视觉模型和大型语言模型（LLM）不同，RLHF受到提供的反馈量的限制，因为它需要额外的人为努力。在本文中，我们研究了如何减少人类提供的反馈数量，以减轻奖励功能而不会降低估计值时减轻负担。我们从基于偏好的学习角度来解决反馈的信息和效率之间的基本权衡。在这方面，我们介绍了可以分为两组的多种方法，即在没有额外的人类努力的情况下提高反馈质量的隐式方法，以及旨在通过使用其他反馈类型来大幅增加信息内容的明确方法。为了暗中提高偏好反馈的效率，我们研究如何利用主动学习（AL）来通过从差异自动编码器（VAE）中从差异化表示中挑选出差异的群集来提高样品的多样性。此外，我们还利用了优先对对通过在VAE的潜在空间上插值执行数据综合之间的独特关系。虽然隐式方法具有不需要额外努力的好处，但它们仍然遭受单独提供的信息提供的有限信息。对轨迹的偏好的一个局限性是没有折扣，这意味着如果首选轨迹，则为整个轨迹是首选，导致休闲混乱。因此，我们引入了一种称为“亮点”的新形式的反馈形式，该反馈使用户可以在轨迹上显示，哪一部分是好的，哪一部分不好。此外，利用LLMS创建了一种让人通过自然语言解释其偏好的方法，以推断出哪些部分是首选的。总的来说，本论文远离了互联网规模数据的假设，并展示了我们如何从人类较少的反馈中实现一致性。