XiaoMi-AI文件搜索系统
World File Search System韵律
具有可信意图的语音声学分类
语音中的非语言韵律模式能够传达说话者的情绪状态、健康状况、性别甚至性格特征，例如可信度。虽然研究主要集中在从听众的角度看语音声学与感知到的性格特征之间的关系，但当前的研究已经开发了一个大型语音数据集，以根据说话者的自我感知来检查说话者为了听起来可信而发出的语音。更准确地说，当前的研究正在寻求确定某些声学线索是否可用于表征说话者的意图（即中性或可信）。总共招募了 96 名来自不同种族背景（即白人、黑人和南亚人）的年轻人和老年人。他们被要求首先以他们正常的说话方式（“中性”）说一组句子，然后重复相同的句子，但这次他们被要求传达听起来可信的意图。我们的研究结果证明，音调和语音质量相关特征可以从我们的音频数据集中正确区分说话者的意图，准确率约为 70%。索引术语：可信度、语音声学、音调、语音质量。
卷积神经网络的语言识别
摘要。语音识别是计算机与人类之间的一种交流方式，是计算语言学或自然语言处理的一个分支，有着悠久的历史。自动语音识别 (ASR)、文本转语音 (TTS)、语音转文本、连续语音识别 (CSR) 和交互式语音响应系统是解决该领域问题的不同方法。性能的提高部分归因于深度神经网络 (DNN) 对语音特征中复杂相关性进行建模的能力。在本文中，与使用循环神经网络 (RNN) 处理语音等序列数据的传统模型不同，随着深度网络中不同架构的出现以及传统神经网络 (CNN) 在图像处理和特征提取中的良好性能，CNN 在其他领域的应用得到了发展。结果表明，可以通过 CNN 提取波斯语的韵律特征，对短文本进行语音分段和标记。通过使用 128 和 200 个滤波器作为 CNN 和特殊架构，检测率的误差为 19.46，并且比 RNN 更节省时间。此外，CNN 简化了学习过程。实验结果表明，CNN 网络可以成为各种语言语音识别的良好特征提取器。
英语长期计划
能发出字母表每个字母和至少 10 个二合字母的声音。 通过声音融合阅读与他们的语音知识相符的单词。 大声朗读与他们的语音知识相符的简单句子和书籍，包括一些常见的例外词。 用自己的语言和最近学到的词汇复述故事和叙述，展示对所读内容的理解。 预测（在适当的情况下）故事中的关键事件。 在讨论故事、非小说、押韵诗和诗歌以及角色扮演期间使用和理解最近引入的词汇。 在朗读、全班讨论和小组互动时，认真聆听并通过相关问题、评论和行动回应他们所听到的内容。 在适当的情况下利用故事、非小说、押韵诗和诗歌中最近引入的词汇，解释事情发生的原因。 在扮演叙述和故事中的角色时使用道具和材料。 与同学和老师一起创作、改编和复述叙述和故事。 与他人一起表演歌曲、韵律、诗歌和故事，并且（在适当的时候）尝试随着音乐移动。
如何建立与朋友交往并影响人们的机器人
其他研究人员建议，要与人类进行社会互动，软件代理必须是可信的并且必须像生活一样，必须具有行为固定，并且必须具有表达其内部状态的方法[2，3]。社交机器人也必须对环境条件的变化极为明显，在处理意外事件方面具有敏捷性，并且足够快地以适当的方式对情况做出反应[6]。如果机器人要与人类社交，机器人必须传达意图，也就是说，机器人必须使人类相信它具有信念，表现和意图[8]。为了唤起这类，机器人必须展示人类般的社会提示，并利用我们自然的人类倾向，以对这些提示做出社会反应。人类通过凝视方向，姿势，手势，声音韵律和面部展示传达意图。人类儿童逐渐发展出认识和应对这些批判性社会暗示所需的技能，这些技能最终构成了思想理论的基础[1]。这些技能使孩子能够将信念，目标和欲望归因于其他人，并使用这些知识来预测行为，适当回应社会提议并参与交流行为。
![arxiv：2404.19622v1 [cs.hc] 2024年4月30日](/simg/8\8fbe3a2ca039d0410d75f8218ee8c97e747fa324.webp)
arxiv：2404.19622v1 [cs.hc] 2024年4月30日
尽管人类从事面对面对话的人类同时在口头和口头上都可以交流，但与文本音频和统一综合的方法和统一综合的方法和共同言论3D手势运动是一个新的和新兴的领域。这些技术对更类似人类，高效，表现力和ro骨的合成通信具有巨大的希望，但是目前由于缺乏适当的大数据集而阻碍了人们的阻碍，因为现有方法经过所有组成方式的并行数据培训。受到学生教师方法的启发，我们通过简单地合成其他培训材料，为数据短缺提出了直接的解决方案。具体来说，我们使用在大型数据集上训练的单模式合成模型来创建多模式（但合成）并行训练数据，然后在该材料上预先培训联合合成模型。在适当的情况下，我们提出了一种新的综合体系结构，该体系结构为现场的状态方法添加了更好，更可控制的韵律建模。我们的结果证实，对大量合成数据进行预训练可改善多模型模型合成的语音和运动的质量，当对合成数据进行预训练时，提议的架构会产生进一步的好处。
有一个不可思议的山谷吗？调查听众对现实综合声音的评估
探索不可思议的山谷效应（UVE）是对几乎但不是人类的实体的厌恶 - 一直是人类机器人相互作用研究的富有成效的主题。含义 - 在各种设置中，越来越多地反驳现实的文本到语音（TTS）声音。在这项工作中，我们旨在描述综合声音的人类相似性和愉悦性之间的关系，并在听众的评估中寻求听觉uve的证据。在在线主题间示例中，听众对使用单个扬声器的数据进行了培训，对一系列操纵的TTS声音进行了评分。所获得的证据与现实主义和批准之间普遍正面的平稳性兼容。所有使用的TTS声音平均收到了低于50％的“人类风格”的评分，因此有关uve的结论，即对被认为是非常人类的声音的负面反应，无法从这些数据中得出。我们的结果表明，尽管相关的相关性，但对于相对较高的高度来说，高现实主义可能不是必需的。平均而言，音高变化降低的声音被评为“愉快”和“友好”的高度两倍，就像“像人”一样。俯仰变化与感知现实主义之间的关系被检查并确定为进一步研究的方向。索引术语：语音综合，语音韵律，音调变化，人类计算机相互作用，TTS评估
尼日利亚Pidgin Prosody的定量方法
由多达1亿扬声器说，尼日利亚人是世界上口语最广泛的克里奥尔语言。像许多其他克里奥尔岛一样，尼日利亚的皮金有一个重点的lexifier，但与诸如Igbo，Yoruba和Hausa之类的主要音调语言一起使用。对语言的词汇韵律的大多数描述都将其描述为一种语气语言或音调强调语言，在给定单词中，基本高调的音节仅出现一次。大多数所谓的最小对是单音节和反对词汇和语法函数，其中包括Gó'Go'和Gò'Go'和Gò'Fut'或Déy'tto'和Dèy'Impf'等最常见的例子。所描述的少数多音节最小对包括“父亲”和fàdá'CatholicPriest'，尽管目前尚不清楚该语言的现代品种是否保持了这种区别。这样的分析可以说是压力对色调映射的结果，这一过程通过该过程被压力音节中的音调突出被语调语言的母语人士重新分析为高音调。据我们所知，尼日利亚皮金（Pidgin）的任何主要描述都没有将其描述为一种压力强调语言。西非Pidgin英语的其他品种也被描述为音调，也许最著名的是Pichi，它表现出类似的最小对，并且显然使用了音调在代词上的语法标记。
怀孕期间暴露于双语或单语产妇的演讲会影响新生儿的语音的神经生理编码
然而，产前时期并非没有语言经验，研究了其对新生儿言语和语言编码能力的影响正在受到越来越多的关注。听力变得功能性，并在妊娠的第26至28周左右经历了大部分发育，从而使胎儿能够感知孕产妇的语音信号（Ruben，1995; Moore and Linthicum，2007; Granier-Deferre等，2011; May et al。，2011; Anbuhl et al。，2016年）。尽管尚未完全了解到达胎儿的声学信号的确切特征，但动物模型的宫内记录和模拟表明，母体子宫作为低通滤波器的作用，在600-1,000 Hz的频率上减弱了约30 dB（Gerhardt和Abrams和Abrams，2000年）。通过子宫传播的语音的低频组成部分包括音高，节奏的缓慢方面和一些语音信息（Moon and Fifer，2000； May等，2011）。Evidence indicates that prenatal exposure to speech, despite attenuated by the filtering properties of the womb, shapes speech perception and linguistic preferences of newborns, as shown by studies revealing that neonates can recognize a story heard frequently in utero ( DeCasper and Spence, 1986 ), prefer the voice of their mother ( DeCasper and Fifer, 1980 ) and prefer their native language ( Moon et al., 1993 ).此外，产前学习超出了这些共同的偏好。最近的发现表明，婴儿获得了韵律的特定知识
对英语以外的发育语言障碍儿童的研究：教程
摘要本教程的主要目标是促进世界上不同语言的发展语言障碍（DLD）的研究。这些努力的累积效应可能是一系列对语言学习困难以及一般语言获取的更具吸引力和全面的理论。对儿童和当地社会的好处也可能会产生。在介绍了针对LAN Guage障碍儿童的跨语言研究中涉及的一些初步考虑之后，我们提供了可能提出的问题类型的示例。这些示例由我们自己的合作工作研究为孩子们提供跨广东话，芬兰语，德语，希伯来语，匈牙利语，意大利语，西班牙语，瑞典语和土耳其语以及英语的语言。还包括调查人员对其他语言的工作的示例。我们讨论了DLD儿童及其年龄和年龄较小的同龄人的语言内部比较以及DLD儿童的语言比较。示例涉及形态学，韵律，句法运动，动词范式复杂性和潜在机制等问题。这些示例（与当前的理论和假设都绑在一起）必然仅限于已经受到调查关注的语言的类型。通过从更广泛的学科中参与儿童语言学者，我们可以扩大所研究的语言的数量和类型，因此，大大增强了我们对童年语言障碍的理解。
通过语音情感识别和视频面部表情分类进行基于人工智能的癌症疼痛评估 Marco Cascella 1、*、Francesco Cutugno 2、Fabio Mariani 2、Vincenzo Norman Vitale 2、Manuel Iuorio 2、Arturo Cuomo 3、Sabrina Bimonte 3、Valeria会计 1 ，Francesco Sabbatino 1 ，Alfonso Maria Ponsiglione 2 ，Jonathan Montomoli 4 ，Valentina Bellini 5 ，Federico Semeraro 6 ，Alessandro Vittori 7 ，Elena Giovanna Bignami 5 ，Ornella Piazza 1
摘要 有效评估癌症疼痛需要对构成疼痛体验的所有组成部分进行细致的分析。实施自动疼痛评估 (APA) 方法和计算分析方法，特别关注情感内容，可以促进对疼痛的彻底描述。所提出的方法转向使用语音记录中的自动情感识别以及我们之前开发的用于检查疼痛面部表情的模型。对于训练和验证，我们采用了 EMOVO 数据集，该数据集模拟了六种情绪状态（大六）。由多层感知器组成的神经网络在 181 个韵律特征上进行了训练以对情绪进行分类。为了进行测试，我们使用了从癌症患者收集的访谈数据集并选择了两个案例研究。使用 Eudico Linguistic Annotator (ELAN) 6.7 版进行语音注释和连续面部表情分析（得出疼痛/无痛分类）。情绪分析模型的准确率达到 84%，所有类别的精确度、召回率和 F1 分数指标都令人鼓舞。初步结果表明，人工智能 (AI) 策略可用于从视频记录中连续估计情绪状态，揭示主要的情绪状态，并提供证实相应疼痛评估的能力。尽管存在局限性，但提出的 AI 框架仍表现出整体和实时疼痛评估的潜力，为肿瘤环境中的个性化疼痛管理策略铺平了道路。临床试验注册：NCT04726228。