㉳⬻Ἴ䛿Ⓨヰ⬻Ἴ䛸䛿␗䛺䜚䠈ṇ☜䛺㉳้䛜 ᫂░䛷䛒䜛䛸䛔䛖ၥ㢟䛜䛒䜛䠊䛭䛣䛷䠈ᅗ 2 䛾㘓䝥䝻䝖䝁䝹䛻䛚 䛔䛶䠈⿕㦂⪅䛿⣧㡢䛜㬆䜚⤊䜟䛳䛯┤ᚋ䛻㉳䜢㛤ጞ䛧䛶䛔䜛 䛸௬ᐃ䛧䠈 1 ༢ㄒ䛾㉳㛫䜢 400ms 䛸⪃䛘䠈 0-400ms( ⣧㡢┤ ᚋ :0ms) 䜢ゎᯒ༊㛫䛸䛩䜛䠊 3.2 ⠇䛷ㄝ᫂䛧䛯 6 䛴䛾≉ᚩ㔞䛩䜉 䛶䜢⏝䛔䛯䛯䜑䠈ධຊḟඖᩘ䛿䠈 ( ⥺䝇䝨䜽䝖䝹௨እ䛾 5 䛴䛾≉ ᚩ㔞㽢 21ch 䠇⥺䝇䝨䜽䝖䝹 25 ḟඖ ) 㽢 2( ᖹᆒ䛸ᶆ‽೫ᕪ ) 䛾 260 ḟඖ䛷䛒䜛䠊 10 ྡ䛾⿕㦂⪅䛾ᖹᆒṇゎ⋡䜢ᅗ 6 䛾䛂 0- 400ms ༊㛫䛃䛻♧䛩䠊ᅗ 6 䜘䜚䠈ṇゎ⋡䛿 20% 䜋䛹䛷䛒䜚䠈ㄆ㆑ 䛷䛝䛶䛔䛺䛔䛣䛸䛜䜟䛛䜛䠊 ṇゎ⋡䛜ప䛔ཎᅉ䛾୍䛴䛸䛧䛶䠈ṇ☜䛺㉳༊㛫䛜≉ᐃ䛷 䛝䛶䛔䛺䛔Ⅼ䛜ᣲ䛢䜙䜛䠊䛭䛣䛷䠈㉳⬻Ἴ䛸ྠ䛨䝥䝻䝖䝁䝹 䛷㘓䛧䛯Ⓨヰ⬻Ἴ䛻╔┠䛧䛯䠊ྠ䛨䝥䝻䝖䝁䝹䛷㘓䛧䛶 䛔䜛䛣䛸䛛䜙䠈Ⓨヰ䛸㉳䛾㛤ጞ้䜔⥅⥆㛫䛿ᴫ䛽୍⮴䛩 䜛䛸௬ᐃ䛧䛯䠊䛭䛧䛶Ⓨヰ㛫䜢䜒䛸䛻ゎᯒ༊㛫䜢Ỵᐃ䛩䜜䜀䠈 ㉳༊㛫䛷䛾ㄆ㆑ᐇ㦂䛜⾜䛺䛘䜛䛿䛪䛷䛒䜛䠊௨ୖ䛾䛣䛸䛛䜙䠈 Ⓨヰ⬻Ἴ䜢㘓䛧䛯㝿䛻㘓㡢䛧䛯㡢ኌ䝕䞊䝍䛛䜙ྛ⿕㦂⪅ 䛾ᩘᏐ䛤䛸䛾Ⓨヰ㛫䜢⟬ฟ䛩䜛䠊 ⿕㦂⪅䛤䛸䛾Ⓨヰ㛤ጞ㛫䛾ᖹᆒ䜢ぢ䛶䜏䜛䛸䠈䛹䛾⿕㦂⪅ 䜒 250ms ௨㝆䛻Ⓨヰ䜢㛤ጞ䛧䛶䛚䜚䠈⣧㡢䛾㬆䜚⤊䜟䜚┤ᚋ䛻 Ⓨヰ䜢㛤ጞ䛧䛶䛔䜛⿕㦂⪅䛿䛔䛺䛛䛳䛯䠊䜎䛯䠈⿕㦂⪅䛻䜘䛳 䛶㛤ጞ㛫䛿␗䛺䛳䛶䛔䛯䠊䛥䜙䛻䠈ྠ䛨ᩘᏐ䛻䛚䛡䜛⿕㦂⪅ 䛤䛸䛾Ⓨヰ⥅⥆㛫䛾ᖹᆒ䜢ぢ䛶䜏䜛䛸䠈䛣䛱䜙䜒⿕㦂⪅䛻䜘䛳 䛶␗䛺䜛䛣䛸䛜䜟䛛䛳䛯䠊䛣䛾⤖ᯝ䛛䜙䠈ゎᯒ༊㛫䛸䛧䛶䛔䛯 0- 400ms 䛿ᐇ㝿䛾㉳༊㛫䛸䛝䛟␗䛺䛳䛶䛔䜛ྍ⬟ᛶ䛜㧗䛔䠊 䜘䛳䛶䠈㉳䛾ゎᯒ༊㛫䜢ྛ⿕㦂⪅䛾༢ㄒ䛤䛸䛾Ⓨヰ㛤ጞ 㛫䛸⤊㛫䜢䜒䛸䛻ኚ᭦䛧䠈ᨵ䜑䛶㡢ኌ㉳༢ㄒㄆ㆑ᐇ㦂 䜢⾜䛖䠊
减少销售电话中传统AI生成的响应系统中的延迟延迟通常会延迟延误,通常需要至少4秒钟才能完成完整的过程。此故障通常包括三个耗时的步骤:1)语音到文本(STT)的700ms; 2)2秒用于AI响应产生; 3)文本到语音(TTS)的400ms。此外,如果AI需要利用检索增强生成(RAG)技术来访问更多的内部知识,则AI响应时间可以扩展到4-6秒,从而导致等待时间约为5-7秒。这个等待时间通常会导致客户不耐烦和不满,从而难以保留和吸引客户。为了解决这个问题,我们引入了几种旨在减少AI生成的响应延迟的技术解决方案,从而改善了客户体验。利用GPT-4流式传输模式和句子级TT,我们可以将响应时间缩短约1秒。此外,通过与现有响应的并发匹配,可以更减少响应时间。如果找到了匹配项,则系统直接向客户提供了预录的语音响应,绕过需要等待GPT-4的响应的需求。如果找不到匹配,则系统使用过渡单词为GPT-4购买时间来生成适当的响应。这种方法允许仅1秒钟的响应时间而无需TT。GPT-4流式模式和句子级tts: - AI系统在流模式下通过单词返回响应。- 系统从首先返回的响应中播放音频。- 收到AI的流响应后,呼叫系统将单词结合到句子中,并使用TTS将其转换为音频。此方法将响应时间从1.5秒减少到大约1.2秒的一般答案,从4-6秒到回收增强发电(RAG)答案的4-6秒至1.6秒。chat和常见问题的并发API响应: - 呼叫系统同时触发两个API呼叫:一个用于聊天,一个用于FAQ/TRUSTINTION。通常,常见问题解答响应更快,如果客户的问题与预设的常见问题相匹配,则系统会播放本地预先录制的音频。- 如果没有匹配,系统使用本地存储的过渡短语,为GPT -4提供了额外的时间来生成详细的响应。此过程允许在没有TT的情况下仅1秒钟的响应时间。常见问题系统系统和缓存: - 常见问题及其高质量答案存储在常见问题解答系统中。- 随着系统的运行,更多的常见问题被缓存,增加了快速匹配的可能性。
