LinkBERT: Improving Language Model Training with Document Link
语言模型预训练语言模型 (LM)，例如 BERT 1 和 GPT 系列 2，在许多自然语言处理 (NLP) 任务中取得了非凡的表现。它们现在是当今 NLP 系统的基础。3 这些模型在我们每天使用的产品和工具中发挥着重要作用，例如 Google 等搜索引擎 4 和 Alexa 等个人助理 5。这些 LM 非常强大，因为它们可以通过自监督学习在网络上的大量文本数据上进行预训练，而无需标签，之后预训练的模型可以快速适应各种新任务，而无需进行太多特定于任务的微调。例如，BERT 经过预训练可以预测原始文本中随机屏蔽的单词（屏蔽语言建模），例如从“My __ is fetching the ball”预
LinkBERT: Improving Language Model Training with Document Link
语言模型预训练语言模型 (LM)，例如 BERT 1 和 GPT 系列 2，在许多自然语言处理 (NLP) 任务中取得了非凡的表现。它们现在是当今 NLP 系统的基础。3 这些模型在我们每天使用的产品和工具中发挥着重要作用，例如 Google 等搜索引擎 4 和 Alexa 等个人助理 5。这些 LM 非常强大，因为它们可以通过自监督学习在网络上的大量文本数据上进行预训练，而无需标签，之后预训练的模型可以快速适应各种新任务，而无需进行太多特定于任务的微调。例如，BERT 经过预训练可以预测原始文本中随机屏蔽的单词（屏蔽语言建模），例如从“My __ is fetching the ball”预
Stanford AI Lab Papers and Talks at ACL 2022
2022 年计算语言学协会 (ACL) 第 60 届年会将于 5 月 22 日至 5 月 27 日举行。我们很高兴与大家分享 SAIL 的所有工作成果，您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者，了解更多有关斯坦福大学的工作！已接受论文列表LinkBERT：带有文档链接的预训练语言模型作者：Michihiro Yasunaga、Jure Leskovec*、Percy Liang*联系人：myasu@cs.stanford.edu链接：论文 |网站关键词：语言模型、预训练、知识、超链接、bionlp在对语法角色进行分类时，BERT 并不关心词序......除非它很重要作者：Isa
Stanford AI Lab Papers and Talks at ACL 2022
2022 年计算语言学协会 (ACL) 第 60 届年会将于 5 月 22 日至 5 月 27 日举行。我们很高兴与大家分享 SAIL 的所有工作成果，您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者，了解更多有关斯坦福大学的工作！已接受论文列表LinkBERT：带有文档链接的预训练语言模型作者：Michihiro Yasunaga、Jure Leskovec*、Percy Liang*联系人：myasu@cs.stanford.edu链接：论文 |网站关键词：语言模型、预训练、知识、超链接、bionlp在对语法角色进行分类时，BERT 并不关心词序......除非它很重要作者：Isa
Stanford AI Lab Papers and Talks at ICLR 2022
2022 年国际学习表征会议 (ICLR) 将于 4 月 25 日至 4 月 29 日以线上方式举办。我们很高兴与大家分享 SAIL 的所有成果，您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者，了解更多有关斯坦福大学的工作！已接受论文列表自主强化学习：形式主义和基准测试作者：Archit Sharma*、Kelvin Xu*、Nikhil Sardana、Abhishek Gupta、Karol Hausman、Sergey Levine、Chelsea Finn联系方式：architsh@stanford.edu链接：论文 |网站关键词：强化学习、持续学习、免重置强化学习MetaS
Stanford AI Lab Papers and Talks at ICLR 2022
2022 年国际学习表征会议 (ICLR) 将于 4 月 25 日至 4 月 29 日以线上方式举办。我们很高兴与大家分享 SAIL 的所有成果，您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者，了解更多有关斯坦福大学的工作！已接受论文列表自主强化学习：形式主义和基准测试作者：Archit Sharma*、Kelvin Xu*、Nikhil Sardana、Abhishek Gupta、Karol Hausman、Sergey Levine、Chelsea Finn联系方式：architsh@stanford.edu链接：论文 |网站关键词：强化学习、持续学习、免重置强化学习MetaS
Discovering the systematic errors made by machine learning models
使用跨模态嵌入发现系统性错误在这篇博文中，我们介绍了 Domino，这是一种发现机器学习模型系统性错误的新方法。我们还讨论了定量评估 Domino 等方法的框架。链接：📄 论文（ICLR 2022）🌍 更长的演练💻 GitHub📘 文档📒 Google Colab 实现高总体准确率的机器学习模型通常会在连贯的验证数据切片上犯系统性错误。什么是切片？切片是一组具有共同特征的数据样本。例如，在大型图像数据集中，老式汽车的照片构成一个切片（即切片中的所有图像都有一个共同的主题）。术语切片有许多您可能更熟悉的同义词（例如子组、子群体、地层）。这些术语基本上可以互换，但在本文中我们将坚持使用“切片”。如
Discovering the systematic errors made by machine learning models
使用跨模态嵌入发现系统性错误在这篇博文中，我们介绍了 Domino，这是一种发现机器学习模型系统性错误的新方法。我们还讨论了定量评估 Domino 等方法的框架。链接：📄 论文（ICLR 2022）🌍 更长的演练💻 GitHub📘 文档📒 Google Colab 实现高总体准确率的机器学习模型通常会在连贯的验证数据切片上犯系统性错误。什么是切片？切片是一组具有共同特征的数据样本。例如，在大型图像数据集中，老式汽车的照片构成一个切片（即切片中的所有图像都有一个共同的主题）。术语切片有许多您可能更熟悉的同义词（例如子组、子群体、地层）。这些术语基本上可以互换，但在本文中我们将坚持使用“切片”。如
Grading Complex Interactive Coding Programs with Reinforcement Learning
[摘要] tl;dr：人们投入了大量精力来训练 AI 算法，使其能够玩一些计算机传统上难以玩的游戏，例如 Atari 发布的复古游戏、围棋、DotA 和星际争霸 II。在开发这些算法的过程中积累的实用机器学习知识为人们现在为许多游戏定期训练游戏 AI 代理铺平了道路。按照这条思路，我们专注于一类特定的游戏——学生作为编程作业的一部分开发的游戏。掌握 Atari 游戏的相同算法能帮助我们评分这些游戏作业吗？在我们最近的 NeurIPS 2021 论文中，我们说明了将交互式编码作业评分视为游戏的挑战，并介绍了“玩评分挑战”。简介大规模在线编码教育在过去十年中取得了显著的成功。快速的互联网速度、改进
Grading Complex Interactive Coding Programs with Reinforcement Learning
[摘要] tl;dr：人们投入了大量精力来训练 AI 算法，使其能够玩一些计算机传统上难以玩的游戏，例如 Atari 发布的复古游戏、围棋、DotA 和星际争霸 II。在开发这些算法的过程中积累的实用机器学习知识为人们现在为许多游戏定期训练游戏 AI 代理铺平了道路。按照这条思路，我们专注于一类特定的游戏——学生作为编程作业的一部分开发的游戏。掌握 Atari 游戏的相同算法能帮助我们评分这些游戏作业吗？在我们最近的 NeurIPS 2021 论文中，我们说明了将交互式编码作业评分视为游戏的挑战，并介绍了“玩评分挑战”。简介大规模在线编码教育在过去十年中取得了显著的成功。快速的互联网速度、改进
Understanding Deep Learning Algorithms that Leverage Unlabeled Data, Part 1: Self-training
深度模型需要大量的训练样本，但标记数据很难获得。这激发了利用未标记数据的重要研究方向，而未标记数据通常更容易获得。例如，可以通过爬取网络获取大量未标记的图像数据，而 ImageNet 等标记数据集则需要昂贵的标记程序。在最近的实证发展中，使用未标记数据训练的模型已开始接近全监督性能（例如 Chen 等人，2020 年，Sohn 等人，2020 年）。本系列博客文章将讨论我们的理论工作，该工作旨在分析使用未标记数据的最新实证方法。在第一篇文章中，我们将分析自我训练，这是一种非常有影响力的半监督学习和领域自适应算法范式。在第 2 部分中，我们将使用相关理论思想来分析自监督对比学习算法，这种算法对于
Understanding Deep Learning Algorithms that Leverage Unlabeled Data, Part 1: Self-training
深度模型需要大量的训练样本，但标记数据很难获得。这激发了利用未标记数据的重要研究方向，而未标记数据通常更容易获得。例如，可以通过爬取网络获取大量未标记的图像数据，而 ImageNet 等标记数据集则需要昂贵的标记程序。在最近的实证发展中，使用未标记数据训练的模型已开始接近全监督性能（例如 Chen 等人，2020 年，Sohn 等人，2020 年）。本系列博客文章将讨论我们的理论工作，该工作旨在分析使用未标记数据的最新实证方法。在第一篇文章中，我们将分析自我训练，这是一种非常有影响力的半监督学习和领域自适应算法范式。在第 2 部分中，我们将使用相关理论思想来分析自监督对比学习算法，这种算法对于
Stanford AI Lab Papers and Talks at AAAI 2022
第 36 届 AAAI 人工智能会议 (AAAI 2022) 将于 2 月 22 日至 3 月 1 日以线上方式举办。我们很高兴与大家分享 SAIL 展示的所有成果，您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者，了解更多有关斯坦福大学正在进行的工作的信息。已接受论文列表去中心化合作匪徒团队中的合作伙伴感知算法作者：Erdem Bıyık、Anusha Lalitha、Rajarshi Saha、Andrea Goldsmith、Dorsa Sadigh联系人：ebiyik@stanford.edu链接：论文 | 视频 | 第二段视频 |网站关键词：bandits、多智能体系统、协作
Stanford AI Lab Papers and Talks at AAAI 2022
第 36 届 AAAI 人工智能会议 (AAAI 2022) 将于 2 月 22 日至 3 月 1 日以线上方式举办。我们很高兴与大家分享 SAIL 展示的所有成果，您可以在下面找到论文、视频和博客的链接。欢迎直接联系作者，了解更多有关斯坦福大学正在进行的工作的信息。已接受论文列表去中心化合作匪徒团队中的合作伙伴感知算法作者：Erdem Bıyık、Anusha Lalitha、Rajarshi Saha、Andrea Goldsmith、Dorsa Sadigh联系人：ebiyik@stanford.edu链接：论文 | 视频 | 第二段视频 |网站关键词：bandits、多智能体系统、协作
How to Improve User Experience (and Behavior): Three Papers from Stanford's Alexa Prize Team
简介 2019 年，斯坦福大学首次参加 Alexa Prize 社交机器人大挑战赛 3，其机器人 Chirpy Cardinal 最终赢得了比赛第二名。在我们之前的文章中，我们讨论了社交机器人的技术结构以及开发人员如何使用我们的开源代码开发自己的机器人。在这篇文章中，我们分享了在开发 Chirpy Cardinal 时进行的进一步研究，以发现用户在与社交机器人互动时遇到的常见痛点以及解决这些痛点的策略。Alexa Prize 是一个独特的研究环境，因为它允许研究人员研究用户在仅出于自己的动机与机器人互动时如何与机器人互动。在比赛期间，美国的 Alexa 用户可以说“让我们聊天”这句话，用英语与
How to Improve User Experience (and Behavior): Three Papers from Stanford's Alexa Prize Team
简介 2019 年，斯坦福大学首次参加 Alexa Prize 社交机器人大挑战赛 3，其机器人 Chirpy Cardinal 最终赢得了比赛第二名。在我们之前的文章中，我们讨论了社交机器人的技术结构以及开发人员如何使用我们的开源代码开发自己的机器人。在这篇文章中，我们分享了在开发 Chirpy Cardinal 时进行的进一步研究，以发现用户在与社交机器人互动时遇到的常见痛点以及解决这些痛点的策略。Alexa Prize 是一个独特的研究环境，因为它允许研究人员研究用户在仅出于自己的动机与机器人互动时如何与机器人互动。在比赛期间，美国的 Alexa 用户可以说“让我们聊天”这句话，用英语与
Reward Isn't Free: Supervising Robot Learning with Language and Video from the Web
这项工作是 SAIL 和 CRFM 的一部分。近年来，深度学习提高了机器人在抓取 1 和运动 2 等一系列问题上的能力。然而，打造能够在新环境中执行从烹饪到清洁等一系列交互式任务的典型家用机器人仍然难以实现。虽然仍存在许多硬件和软件挑战，但一个必要的组件是机器人能够以零次或几次机会的方式将其先前的知识推广到新环境、任务和对象。例如，负责摆放餐桌的家用机器人无法承受为它可能需要与之互动的每个新盘子、餐具或餐厅进行长时间的重新训练。在我们的机器人中实现这种推广的一种自然方法是使用包含各种不同环境、任务和对象的丰富数据源对它们进行训练。事实上，这种大规模、多样化数据集与可扩展离线学习算法（例如自我监
Reward Isn't Free: Supervising Robot Learning with Language and Video from the Web
这项工作是 SAIL 和 CRFM 的一部分。近年来，深度学习提高了机器人在抓取 1 和运动 2 等一系列问题上的能力。然而，打造能够在新环境中执行从烹饪到清洁等一系列交互式任务的典型家用机器人仍然难以实现。虽然仍存在许多硬件和软件挑战，但一个必要的组件是机器人能够以零次或几次机会的方式将其先前的知识推广到新环境、任务和对象。例如，负责摆放餐桌的家用机器人无法承受为它可能需要与之互动的每个新盘子、餐具或餐厅进行长时间的重新训练。在我们的机器人中实现这种推广的一种自然方法是使用包含各种不同环境、任务和对象的丰富数据源对它们进行训练。事实上，这种大规模、多样化数据集与可扩展离线学习算法（例如自我监
