当今人工智能 (AI) 发展面临的一些挑战非常明确:非洲利益相关方和国际社会必须共同努力,使人工智能能够推动经济增长,并在非洲大陆释放新的经济机会。这是人工智能发展的一个激动人心的时刻,尤其是随着谷歌的 PaLM2 和 Open AI 的 GPT-4 等大型语言模型的出现,它们构成了生成式人工智能的基础。这项技术的通用性是关键:同样的技术可以帮助预测自然灾害和加速癌症研究,也可以产生巨大的生产力增长并促进经济发展。但要利用这一前景,有远见的政策制定者和那些寻求制定合理人工智能政策的人必须有一个利用人工智能的计划,从宏观经济环境开始。
对气候变化的错误信息会造成许多负面影响,因此需要构成反应。心理学研究提供了各种策略,以减少气候错误信息的影响,例如事实是现实的事实结构。但是,实际上在大规模上实施纠正措施是一个挑战。自动检测和纠正错误信息解决了错误信息问题。这项研究记录了接受气候神话的大型语言模型的发展,并通过将逆势索赔分类和谬误检测纳入LLM提示框架中,从而遵循事实发生的事实差异(“真相三明治”)结构。我们将开放式(Mix-Tral,Palm2)和专有(GPT-4)LLM与促使复杂性变化的策略相结合。实验表明,如果结合结构提示,则揭示了GPT-4和混音的有希望的性能。我们确定了揭穿生成和人类评估的具体挑战,并为未来的工作绘制了途径。我们租用了一个高质量真相 - 桑德威奇(Sandwich)揭穿,源代码和揭穿系统演示的数据集。1
对气候变化的错误信息会造成许多负面影响,因此需要构成反应。心理学研究提供了各种策略,以减少气候错误信息的影响,例如事实是现实的事实结构。但是,实际上在大规模上实施纠正措施是一个挑战。自动检测和纠正错误信息解决了错误信息问题。这项研究记录了接受气候神话的大型语言模型的发展,并通过将逆势索赔分类和谬误检测纳入LLM提示框架中,从而遵循事实发生的事实差异(“真相三明治”)结构。我们将开放式(Mix-Tral,Palm2)和专有(GPT-4)LLM与促使复杂性变化的策略相结合。实验表明,如果结合结构提示,则揭示了GPT-4和混音的有希望的性能。我们确定了揭穿生成和人类评估的具体挑战,并为未来的工作绘制了途径。我们租用了一个高质量真相 - 桑德威奇(Sandwich)揭穿,源代码和揭穿系统演示的数据集。1
摘要 - LARGE语言模型(LLMS)已被用来用于自动化漏洞维修中,但是台上标记表明它们可以始终如一地识别与安全性相关的错误。因此,我们开发了Secllmholmes,这是一个完全拟定的评估框架,该框架迄今为止对LLMS是否可以可靠地识别和有关安全相关的错误进行了最详细的调查。我们构建了一组228个代码方案,并使用我们的框架分析了八个不同调查维度的八个最有能力的LLM。我们的评估表明LLM提供了非确定性的反应,不正确且不忠的推理,并且在现实世界中的表现不佳。最重要的是,我们的发现在最先进的模型(例如“ Palm2”和“ GPT-4”(GPT-4')中揭示了明显的非舒适性:仅通过更改函数或可变名称,或通过在源代码中添加库函数,这些模型分别在26%和17%的情况下可以产生错误的答案。这些发现表明,在将LLMs用作通用安全助理之前,需要进一步的LLM前进。
