AI 大模型之美
徐文浩
bothub 创始人
32335 人已学习
新⼈⾸单¥68
登录后,你可以任选4讲全文学习
课程目录
已完结/共 33 讲
AI 大模型之美
15
15
1.0x
00:00/00:00
登录|注册

08|文本改写和内容审核,别让你的机器人说错话

frequency_penalty
presence_penalty
代码生成
文本改写
节约成本
减少Token使用
类似BERT
text-davinci-003模型
Embedding和相似度比较
单轮指令
Ada、Babbage、Curie、Davinci
价格适中
适合对话
昂贵
高准确率
过滤用户输入
分类问题内容
检查不适当内容
免费
避免特定词汇
精确控制内容
控制输出内容
返回多个答案
ChatGPT模型实现
生成式模型
写作助手应用
课程分享
评论区分享
ChatGPT编程
Gradio应用
使用英文提示语
插入文本
专门用途模型
基础模型
GPT-3.5家族
GPT-4家族
Moderate接口
logit_bias参数
参数调整
使用提示语开始
分享与交流
课后练习
特殊功能
模型介绍
内容审核
文本改写
OpenAI GPT模型接口总结

该思维导图由 AI 生成,仅供参考

你好,我是徐文浩。
前面,我们已经把 OpenAI 最主要的接口介绍完了。这一讲也是我们基础知识篇里面的最后一讲,我们会覆盖完 OpenAI 的 GPT 系列模型剩下的一些接口。也许有些接口你不一定会频繁使用,但是了解一下没有什么坏处,说不定你有什么需求就能用得上它。
在这一讲里,我们会一起来看看 OpenAI 为文本改写和内容审核提供的功能有哪些。以及 OpenAI 的 GPT 系列有哪些模型,这些模型有哪些区别,什么情况下我们应该用什么模型。

文本改写,从使用提示语开始

我猜课程学到这里,你应该已经用过不少基于 AI 大语言模型的产品了。很常见的一类应用,就是写作助手。比如 Notion AI 就能帮助你,在已经写好的文章里面选取一段内容,你可以让 AI 帮你修改。这个修改可以是让文本短一点或者长一点,也可以是让文本改一下自己的语气。
Notion的文本改写的界面
不过,OpenAI 的 GPT 的系列模型是一个生成式的模型,也就是它的用法是你给它一段文字,然后它补全后面的文字。按理来说,你是没法让它修改一段内容的。当然,在看了那么多不同的“提示语”之后,相信你自然想到可以通过一段提示语来解决这个问题。比如,下面这段代码就是这样的,我们通过上一讲介绍的 ChatGPT 的模型来实现了这个功能。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

OpenAI的GPT系列模型在文本处理和内容审核方面具有丰富的功能和应用场景。本文介绍了使用ChatGPT模型接口进行文本改写的方法,以及通过调整参数和使用logit_bias参数来精确控制生成文本的内容。此外,还介绍了OpenAI提供的各种模型,包括GPT-4家族、GPT-3.5家族、Ada、Babbage、Curie和Davinci等模型,以及它们的特点和适用场景。文章还提到了一些模型的特殊功能,如text-davinci-003模型支持“插入文本”功能,可以用于文本改写。另外,还介绍了OpenAI提供的moderate接口,用于对输入以及返回的内容进行检查,以过滤不合适的内容。通过本文的总结,读者可以了解到OpenAI的GPT系列模型在文本处理和内容审核方面的丰富功能和应用场景,以及如何根据具体需求选择合适的模型和参数进行文本改写和内容审核。这些信息对于希望利用AI大语言模型进行文本处理和内容审核的读者来说,将是一份有益的技术指南。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型之美》
新⼈⾸单¥68
立即购买
登录 后留言

全部留言(17)

  • 最新
  • 精选
  • 阿斌斯基
    gpt4.0 api加入waitlist好久了 没下文。有没有什么其他途径可以获取权限?

    作者回复: 如果是公司的话,可以找 Azure 云的合作伙伴渠道。

    2023-04-01归属地:广东
    4
  • Z12
    老师在这里通过 logit_bias 参数精确控制内容,我有一点不明白,这句话encoding = tiktoken.get_encoding('p50k_base'),你取的是p50k_base然后取获取灾害对应的token,这里好像有一个假设即tiktoken库中的p50k_base编码与OpenAI的GPT-3.5-turbo模型使用的编码相同,但是我并没有从资料中查出OpenAI的GPT-3.5-turbo使用的是'p50k_base'编码,但是你的输出结果中又确实过滤掉了灾害,这是巧合,还是?

    作者回复: 我最早是在这里 https://github.com/openai/openai-python/issues/304 判断应该通过 p50k_base 但是看了一下最新的文档,似乎应该用 cl100k_base https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb 晚点我实验一下看是否需要修正。

    2023-04-25归属地:广东
    2
  • 烧瓶小人
    付费账号也被封了,有没有能自己能通过公布的模型搭建一个服务器的可能,不然课程完全是空中楼阁了

    作者回复: 多搜索一下,有不少人贴了各种自己的解决方案 可以通过修改 openai.api_base 来用第三方搭建的代理访问入口 不过的确现在的访问限制是个门槛

    2023-04-05归属地:浙江
    2
    1
  • Geek_b7449f
    历时两个星期过了第一遍基础知识篇,收获很多很多,遇到问题能不问就不问,实在不行就问 gpt,自己一步一个坑,能踩得都踩了,因为额度被自己玩完了,甚至还办了一张万事通的信用卡,跟着老师多学点,进步收获真的会很多,下一个星期继续夯实下基础知识后,再去看下一部分,很感谢老师~

    作者回复: 👍 一起加油

    2023-05-16归属地:日本
  • 不焦躁的程序员
    这一节的代码的github地址,麻烦老师发一下,谢谢

    作者回复: 所有的代码都在 https://github.com/xuwenhao/geektime-ai-course

    2023-04-06归属地:江苏
  • Bonnenult丶凉煜
    注册的账号没有免费额度,连最后免费的接口也不能调用qaq RateLimitError: You exceeded your current quota, please check your plan and billing details.

    作者回复: 最近好像OpenAI又封禁了一批账户,可以找周围的朋友看看是否有可以用的付费账户。

    2023-03-31归属地:中国台湾
    2
  • Oli张帆
    老师,最后讲的那个免费模型,真的是太好了,解决了一个大的问题
    2023-03-31归属地:新加坡
    31
  • 石云升
    presence_penalty 和 frequency_penalty 是 OpenAI GPT-3 API 中的两个参数,它们对模型生成的文本有影响。 presence_penalty:这个参数决定了模型在生成新的文本时,对于新颖或不常见的词语的偏好程度。如果将其设置得更高,模型就更倾向于使用它不常见的词语。例如,如果你设置了较高的presence_penalty,模型可能会选择“他赞扬了我,就像一只鸟儿在春天的清晨歌唱”,而不是简单的“他赞扬了我”。 frequency_penalty:这个参数控制了模型对于频繁出现的词语的偏好程度。如果将其设置得更高,模型就更倾向于避免使用频繁出现的词语。例如,如果你设置了较高的frequency_penalty,模型可能会选择“他赞扬了我,就像一只鸟儿在春天的清晨歌唱”,而不是重复的“他赞扬了我,他赞扬了我”。 这两个参数的范围都是0.0到1.0。默认情况下,这两个参数的值都是0.0,意味着模型不会对新颖或频繁的词语有任何偏好。 注意,这两个参数的设置并不保证模型一定会按照你期望的方式生成文本,但可以在一定程度上影响模型的输出。
    2023-05-25归属地:广东
    1
  • 茂松
    COMPLETION_MODEL = "gtp-3.5-turbo" def generate_data_by_prompt(prompt): response = openai.chat.completions.create( model = COMPLETION_MODEL, messages = [{"role":"user", "content":prompt}], temperature=0.5, max_tokens=2048, top_p=1, ) return response.choices[0].message.content
    2024-03-18归属地:广东
  • 茂松
    openai.chat.completions.create()
    2024-03-16归属地:广东
收起评论
显示
设置
留言
17
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部