详细内容或原文请订阅后点击阅览
介绍文本包
文本包试图为 R 中的 HuggingFace 转换器语言模型提供用户友好的访问和管道。
来源:RStudio AI博客基于人工智能的语言分析最近经历了“范式转变”（Bommasani 等人，2021 年，第 1 页），部分原因是一项称为 Transformer 语言模型的新技术（Vaswani 等人，2017 年，Liu 等人，2019 年）。包括 Google、Meta 和 OpenAI 在内的公司都发布了此类模型，包括 BERT、RoBERTa 和 GPT，这些模型在网络搜索和情感分析等大多数语言任务中取得了前所未有的巨大进步。虽然这些语言模型可以在 Python 中访问，并且可以通过 HuggingFace 执行典型的 AI 任务，但 R 包文本使 HuggingFace 和最先进的转换语言模型可以作为 R 中的社会科学管道访问。
HuggingFace 文本文本
简介
我们开发了文本包 (Kjell, Giorgi & Schwartz, 2022)，考虑了两个目标：作为下载和使用转换语言模型的模块化解决方案。例如，这包括将文本转换为词嵌入以及访问常见的语言模型任务，例如文本分类、情感分析、文本生成、问答、翻译等。提供专为人类级分析而设计的端到端解决方案，包括用于预测产生语言的人的特征或引出有关心理属性的语言相关性的见解的最先进 AI 技术的管道。
文本
(Kjell, Giorgi & Schwartz, 2022)
这篇博文展示了如何安装文本包、将文本转换为最先进的上下文词嵌入、使用语言分析任务以及在词嵌入空间中可视化单词。
文本
安装和设置 Python 环境
文本包正在设置 Python 环境以访问 HuggingFace 语言模型。安装文本包后，第一次需要运行两个函数：textrpp_install() 和 textrpp_initialize()。
文本
文本
textrpp_install()
textrpp_initialize()
# 从 CRAN 安装文本
install.packages
(