intitle 网站建设站长工具站长
大语言模型一般都是流式返回文字，如果等全部文字返回了一次性去TTS，那么延迟会非常严重，常用的方法就是通过标点符号断句，返回了一句话就提交给TTS。随着流TTS的出现，就可以直接把大模型返回的文字灌给流TTS，实现低延迟的，文本到语音转换。
下图是我们电话机器人接口适配流TTS的原理，完整的接口说明可以看 请点击这里 顶顶通呼叫中心中间件(mod_cti基于FreeSWITCH)-电话机器人http接口说明 | 顶顶通 - 呼叫中心二次开发接口,smartivr,mod_vad,FreeSWITCH,语音识别,呼叫中心中间件,电话机器人,空号检测,智能外呼。
主要涉及到的技术点，就是FreeSWITCH通过websocket流TTS放音。
现在很多大模型直接支持语音输入和语音输出，顶顶通电话机器人中间件也都有对应的接口 ，可以通过TCP和UDP协议 输出声音流， 对接任意大模型。
流对接（推流到第三方接口和同时播放流）
app： cti_audio_stream
参数 remote-ip:remote-port
- native 可选参数 如果不设置，流格式为 8000hz 16位，如果设置了，就是原始的音频格式
- param 自定义参数
推流协议
- 前面4字节 引导数据长度 网络字节顺序
- 时间戳 8字节
- 引导数据
{"uuid":"","codec":"","param":"自定义参数"} - 数据流
连接断开后会自动重连，并且重发引导数据。
返回的放音流需要和推流的编码一样，不需要引导数据。
流对接（旁路）
app: cti_unicast_start 启动推流
参数 tcp|udp remote-ip remote-port <local-ip> <local-port> <play|mix>
- tcp|udp 使用tcp还是udp协议推流
- remote-ip 远端 ip
- remote-port 远端端口，不设置用0.0.0.0
- local-ip 本地端口,不设置好用0，随机端口
- play|mix
- play 支持播放远端返回的流，发送方必须是远端IP和远端端口
- mix 把远端的流和本地放音混音
api uuid_cti_unicast_start 启动推流
参数 uuid tcp|udp remote-ip remote-port <local-ip> <remote-ip> <play|mix>
api uuid_cti_unicast_stop 停止推流
参数 uuid