06｜OpenAI API：LLM编程的事实标准（下）

郑晔

你好，我是郑晔！
通过上一讲的介绍，我们已经知道了，OpenAI API 已经成为了 LLM 编程的事实标准，作为开发者，我们需要对它有一个基本的了解，并且选择了聊天补全这个最核心的 API 作为学习的切入点。
不过，我们上一讲只讲聊天补全的请求部分，让你对怎样对 LLM 提问有了基本了解。在实际工作中，我们还有更重要的部分要去处理，这就是大模型的回答。这一讲，我们就书接上文，看看 LLM 怎样回答我们的问题。
聊天应答在正常情况下，聊天补全的应答内容本身是比较简单的，就是一个标准的 HTTP 的应答。之所以我们还要把它单独拿出来说一下，主要是它还有一种流式应答的模式。
我们先来看正常的 HTTP 应答，也就是一个请求过去，大模型直接回复一个完整的应答。下面是一个应答的例子：
{
  "id": "chatcmpl-123",
  "object": "chat.completion",
  "created": 1677652288,
  "model": "gpt-4o-mini",
  "system_fingerprint": "fp_44709d6fcb",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "logprobs": null,
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 9,
    "completion_tokens": 12,
    "total_tokens": 21
  }
}

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
法语
德语
日语
韩语
俄语
西班牙语
解释
总结

1. OpenAI API 已成为 LLM 编程的事实标准，开发者需要对其有基本了解。 2. 聊天补全作为学习的切入点，需要处理大模型的回答。 3. 聊天补全的应答内容包括标准的 HTTP 应答和流式应答的模式。 4. 应答中的关键参数包括 id、object、created、model 和 system_fingerprint。 5. 应答中的 choices 对象列表包含大模型生成的文本部分。 6. 工具调用也通过 message 返回，包含 id、type 和 function。 7. 大模型生成文本是根据概率进行计算的，可以通过 logprobs 和 top_logprobs 获取概率信息。 8. 流式应答通过 SSE 技术实现，用于提高聊天的响应速度。

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《程序员的 AI 开发第一课》，新⼈⾸单¥59

立即购买

登录后留言

全部留言(1)

最新
精选

ququwowo
纯小白；有几个问题： 1. 这个SSE 技术，是在ChatGPT界面聊天的底层机制？还是我用python调用OpenAI API时的底层机制？估计两个都是？ 2. 如果OpenAI采用WebSocket ("服务端需要维护连接"), 用户的使用体验和现在有什么不一样？更慢？更不稳定？还是用户的体验完全一样？ 3. 同理claude/gemini/etc.全是SSE？
2024-11-13归属地：美国



收起评论