codecamp

OpenAI 连接 Realtime WebSocket

连接

Realtime API可用于构建低延迟的多模态对话体验,目前支持文本与音频输入输出,以及函数调用。

此API的一些主要优势如下:

  • 原生语音到语音:跳过中间文本格式,降低延迟,并提供更细腻的输出。
  • 自然且可控制的声音:模型具有自然的语调变化,能够笑、低声说话,并遵循语气指示。
  • 同时输出多种模态:文本可用于审核,快于实时速度生成的音频可确保稳定播放。

Realtime API是通过WebSocket通信的有状态、基于事件的API。

用下方URL打开WebSocket连接,在握手阶段提供路径、查询参数与身份验证。连接后发送客户端JSON事件并接收服务端JSON事件,完成后关闭连接。

WebSocket wss://api.openai.com/v1/realtime

启动实时对话时,在连接 URL 中设置 model。加入现有呼叫时改设 call_id。转录会话使用 intent=transcription。

连接参数

  • model:查询参数,字符串,可选。
  • call_id:查询参数,字符串,可选。
  • intent:查询参数,可选,取值为 realtime 或 transcription。转录会话设置为 transcription 并省略 model。省略此项时,优先采用客户端密钥指定的会话类型,否则采用 realtime。

身份验证

使用Bearer身份验证,通过Authorization请求头提供凭证。

事件

客户端事件

服务端事件

OpenAI Realtime Beta 概览
OpenAI 挂断 Realtime 呼叫
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

其他能力与进阶指南

Embeddings 接口参考

审计日志接口参考

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }