机构名称：
¥ 1.0
减少销售电话中传统AI生成的响应系统中的延迟延迟通常会延迟延误，通常需要至少4秒钟才能完成完整的过程。此故障通常包括三个耗时的步骤：1）语音到文本（STT）的700ms; 2）2秒用于AI响应产生； 3）文本到语音（TTS）的400ms。此外，如果AI需要利用检索增强生成（RAG）技术来访问更多的内部知识，则AI响应时间可以扩展到4-6秒，从而导致等待时间约为5-7秒。这个等待时间通常会导致客户不耐烦和不满，从而难以保留和吸引客户。为了解决这个问题，我们引入了几种旨在减少AI生成的响应延迟的技术解决方案，从而改善了客户体验。利用GPT-4流式传输模式和句子级TT，我们可以将响应时间缩短约1秒。此外，通过与现有响应的并发匹配，可以更减少响应时间。如果找到了匹配项，则系统直接向客户提供了预录的语音响应，绕过需要等待GPT-4的响应的需求。如果找不到匹配，则系统使用过渡单词为GPT-4购买时间来生成适当的响应。这种方法允许仅1秒钟的响应时间而无需TT。GPT-4流式模式和句子级tts： - AI系统在流模式下通过单词返回响应。- 系统从首先返回的响应中播放音频。- 收到AI的流响应后，呼叫系统将单词结合到句子中，并使用TTS将其转换为音频。此方法将响应时间从1.5秒减少到大约1.2秒的一般答案，从4-6秒到回收增强发电（RAG）答案的4-6秒至1.6秒。chat和常见问题的并发API响应： - 呼叫系统同时触发两个API呼叫：一个用于聊天，一个用于FAQ/TRUSTINTION。通常，常见问题解答响应更快，如果客户的问题与预设的常见问题相匹配，则系统会播放本地预先录制的音频。- 如果没有匹配，系统使用本地存储的过渡短语，为GPT -4提供了额外的时间来生成详细的响应。此过程允许在没有TT的情况下仅1秒钟的响应时间。常见问题系统系统和缓存： - 常见问题及其高质量答案存储在常见问题解答系统中。- 随着系统的运行，更多的常见问题被缓存，增加了快速匹配的可能性。
减少AI驱动电话中的延迟
主要关键词
相关文件推荐
