摘要:利用功能性磁共振成像(fMRI)构建功能连接是基于深度学习的脑分析的一个成熟范例。近年来,得益于大规模多模态预训练数据带来的显著有效性和泛化能力,视觉-语言(VL)模型在众多医疗任务中取得了优异的表现。然而,将预训练的 VL 模型应用于脑分析面临着两个重大挑战:(1)缺乏配对的 fMRI-文本数据;(2)从多模态数据构建功能连接。为了应对这些挑战,我们提出了一种 fMRI-文本协同提示学习(fTSPL)流程,该流程首次利用预训练的 VL 模型来增强脑分析。在 fTSPL 中,我们首先提出一种激活驱动的脑区文本生成 (ABTG) 方案,该方案可以自动生成描述每个 fMRI 的实例级文本,然后利用 VL 模型学习多模态 fMRI 和文本表示。我们还通过建立 fMRI 文本表示和脑区嵌入之间的相关性,提出了一种提示增强的多模态功能连接构建 (PMFCC) 方案。该方案作为即插即用的初步方案,可以连接到各种图神经网络 (GNN) 进行大脑分析。在 ABIDE 和 HCP 数据集上的实验表明,我们的流程在脑分类和预测任务上的表现优于最先进的方法。代码可在 https://github.com/CUHK-AIM-Group/fTSPL 获得。
几项研究提高了对图像生成模型中社会偏见的认识,证明了它们对刻板印象和失衡的倾向。本文通过引入评估方案来分析生成过程对稳定扩散图像的影响,从而为这一不断增长的研究促进了这一研究。利用先前工作的见解,我们探讨了一般指标如何不仅影响性别表现,而且还影响生成的界面内的对象和布局的表示。我们的发现包括在对象的描述中存在差异,例如针对特定性别的工具以及整体布局的变化。我们还揭示了Neu-Tral提示往往会产生与女性提示更一致的图像,而不是其女性提示。我们进一步探讨了偏见通过代表性差异及其通过及时图像依赖性在图像中表现出来的位置,并为开发人员和用户提供建议,以减轻图像生成中的潜在偏见。
摘要:生成式人工智能在教育领域的能力,作为共同创造者,凸显了及时工程在人类与利用自然语言处理 (NLP) 的大型语言模型 (LLM) 之间实现最佳交互方面的关键作用。生成式人工智能的潜力在于响应精心设计的提示,这使得它们对于释放其生成真实内容的能力至关重要。为了优化这一过程,包括教育领域各利益相关者在内的及时工程师必须掌握语言细微差别如何影响生成式人工智能的反应。通过战略性地接近对话式生成式人工智能,明确目的、语气、角色和背景,可以建立基于及时的对话式教学法,实现促进有效教学和学习的沟通和互动。这种方法对于利用生成式人工智能的力量,同时确保有意义且与上下文相关的交互至关重要。关键词:及时工程、人工智能及时设计、与人工智能共同创造、生成式人工智能、教育中的人工智能 (AIEd)。
聊天机器人和虚拟助手:Replika 和 Google Assistant 等工具使用 NLP 与学习者进行基于文本或语音的对话。这些聊天机器人可以模拟现实生活中的对话,帮助学生在受控环境中练习流利度并提高沟通技巧。通过响应用户输入,聊天机器人提供了一种即时且根据学生当前语言水平量身定制的对话练习形式 (Kim, 2019)。语法检查器和写作助手:Grammarly 和 Hemingway App 等平台使用 AI 算法来识别学生写作中的语法错误、文体问题和不恰当的措辞。这些工具提供改进建议,解释更正背后的语法规则,并且通常包括词汇增强功能。这有助于学生提高写作技巧并更好地理解英语语法 (Tetreault 等人,2018)。自适应语言学习应用程序:Duolingo、Babbel 和 Rosetta Stone 等应用程序使用 AI 为学生创建个性化的学习路径。通过跟踪用户进度并调整练习难度,这些应用程序可确保学生始终保持正确的学习水平。使用连胜和排行榜等游戏化元素也可以提高积极性并鼓励定期练习(Vesselinov & Grego,2021 年)。
在大型语言模型中,现有的指令调整方法可能无法在及时注入和越狱等用户输入的攻击方面保持稳健性。受到计算机硬件和操作系统的启发,我们提出了一种指令调用范式的指令,称为木质lm lm I n构造策略(ALIS),以通过将用户输入分解为不可减少的原子指令,并将它们组织到指导流中,从而增强模型性能,以指导它们将响应生成模型响应。alis是一个层次结构,在该结构中,用户输入和系统提示分别被视为用户和内核模式指令。基于ALIS,该模型可以通过忽略或拒绝输入指令来维护安全限制,当时用户模式指令尝试与内核模式指令发生冲突。为了构建Alis,我们还开发了一种自动指令生成方法,用于培训ALIS,并提供一个指令分解任务和相应的数据集。值得注意的是,具有小型模型的ALIS框架仍然可以提高LLM对攻击的弹性的弹性,而不会损失一般的攻击性。我们的代码和数据可在https://github.com/xinhaos0101/alis上获得。
本文对迅速工程在优化大型语言模型(LLM)(如Chatgpt-4和Google Gemini在金融市场完整性和风险管理中的有效性)方面的作用进行了全面调查。随着AI工具的越来越多地集成到金融服务中,包括信用风险分析,市场风险评估和财务建模,及时工程对于改善AI生成的产出的相关性,准确性和上下文一致性至关重要。本研究评估了各种及时配置对增强财务决策的影响。通过一系列实验,本文比较了Chatgpt-4和Google Gemini(版本1.5和2.0)的性能,以生成可行的见解,以进行信用和市场风险分析。结果表明,Chatgpt-4在产生准确的财务见解方面优于Google Gemini超过30%。此外,发现ChatGpt-4版本4在风险分析任务中比版本3的效率高20%,尤其是在与监管框架和财务数据保持一致时。这些改进突出了迅速工程在增强财务模型的精确度中的重要作用。此外,该研究还通过优化的及时策略探讨了错误率的降低。尤其是,在评估复杂的财务查询时,及时工程会将错误率降低约20%。
摘要。使用自我发明变压器的无监督重建网络已通过单个模型实现了多级(统一)异常检测的最新性能。然而,这些自我注意重建模型主要基于目标特征,这可能会导致正常和异常特征的完美重建,这是由于与上下文的高度一致性,从而导致异常发生故障。此外,由于在低空间分辨率潜在的潜在空间中进行重建,这些模型通常会产生不准确的异常分割。为了使重建模型具有高效率,同时增强其对统一异常探测的概括,我们提出了一种简单而有效的方法,可以重建正常功能并仅使用一个正常图像提示(ONENIP)恢复异常功能。与以前的工作相比,Onenip首次仅用一个正常图像提示重建或恢复异常,从而有效地增强了统一的异常检测性能。此外,我们提出了一种有监督的炼油厂,该炼油厂通过使用实际正常和合成的异常图像来回归构造错误,从而显着改善了像素级异常分割。ONENIP优于三个行业异常脱轨基准的先前方法:MVTEC,BTAD和VISA。
chatgpt4pcg竞赛呼吁参与者向chatgpt提交输入,或提示将其输出引导到INSTUCTIONS,以生成水平作为俄罗斯方块型块的序列。提示提交给比赛的提示是由Chatgpt查询的,以生成类似于英语字母字母的级别。lev-基于与游戏引擎中的目标字母和物理稳定性的相似性评估。这为基于及时的程序内容生成(PCG)提供了定量评估设置,该方法在PCG中越来越受欢迎,就像在生成AI的其他领域一样。本文着重于复制和推广竞争结果。本文中的复制实验首先旨在测试从chatgpt收集的响应数量是否足以说明随机性。我们需要原始提示提交,并在比赛结束后大约六个月后,在不同的机器上重新重新竞争。我们发现结果很大程度上是复制的,只是由于我们只能部分确定的原因,15个提交中的两项在我们的补习中做得更好。在概括方面,我们注意到表现最佳的提示具有针对所有26个目标级别硬编码的说明,这与从示例中生成新的,以前看不见的内容的PCGML目标不一致。我们在更受限制的零射击和少数促使方案的情况下执行实验,并发现对当前方法的概括仍然是一个挑战。
摘要 - LARGE语言模型(LLMS)具有显着促进人类的生活,并且迅速的工程提高了这些模型的效率。然而,近年来,迅速授权的攻击迅速增加,导致隐私泄漏,延迟增加和系统资源浪费等问题。提出了通过从人类反馈(RLHF)进行加强学习的基于安全性调整的方法以使LLM对齐,但现有的安全机制无法应对官方提示攻击,强调了在提示上执行安全检测的必要性。在本文中,我们在各种及时攻击下共同考虑Edge-Cloud LLM(EC-LLM)系统中的及时安全性,服务延迟和系统资源优化。为了增强提示安全性,提出了启用矢量数据库的轻质攻击检测器。我们将联合及时检测,延迟和资源优化的问题形式化为多阶段动态贝叶斯游戏模型。平衡策略是通过通过贝叶斯更新在每个阶段预测恶意任务的数量和更新信念来确定的。对实施的EC-LLM系统进行了评估,并且与最先进的算法相比,我们的方法提供了增强的安全性,减少良性用户的服务潜伏期,并减少系统资源消耗。索引术语 - 提示攻击,edge-cloud,llm,资源运行,贝叶斯游戏
摘要 - 视觉生成仍然是人工智能中的具有挑战性的边界,需要无缝整合视觉不介绍和生成能力。在本文中,我们提出了一个新颖的框架,即视觉驱动的及时优化(VDPO),该框架利用大型语言模型(LLMS)动态地从视觉输入中生成文本提示,从而指导高实现图像综合。VDPO结合了视觉嵌入提示调谐器,文本指令生成器和视觉生成模块,以实现各种视觉生成任务的最新性能。在基准(例如可可和粗略)上进行的广泛实验表明,VDPO始终超过现有方法,从而实现了FID,LPIPS和BLEU/CIDER分数的显着改进。其他分析揭示了VDPO的可扩展性,鲁棒性和概括能力,使其成为内域和外域任务的多功能解决方案。人类评估进一步验证了VDPO在产生视觉吸引力和语义相干输出方面的实际优势。索引术语 - LARGE语言模型,提示优化,扩散模型