• 张申傲
    2024-06-17 来自北京
    第7讲打卡~ 思考题:这里应该主要考虑的是不同语言的优势和适用场景。使用Python实现大模型的核心API,应该是因为Python是机器学习领域最主流的语言,包括了像pytorch、TensorFlow等主流的框架,而且一些主流的大模型像ChatGPT也提供了完善的Python SDK,使用起来比较方便。而在外面又套了一层Java应用,应该是考虑这么多年来Java在Web服务端领域积累下来的完善的生态,针对用户端的应用,可以快速构建起服务鉴权、路由、熔断、降级、限流、可观测等等能力。

    作者回复: 没错👍

    
    1
  • Lee
    2024-06-17 来自福建
    老师 我等不及了 上瘾了 催更催更

    作者回复: 马上啦

    
    1
  • 徐石头
    2024-06-17 来自湖南
    为什么这么设计? 高内聚,低耦合。把大模型 API 封装在 python 中作为一个微服务从整个架构中独立出来,它只处理和大模型相关的,不和其他业务接口放一起。它就可以单独部署,扩容,隔离,而且由单独的人维护,也是微服务的优势。 如果我来做,我还会增加 rpc接口,注册到注册中心。

    作者回复: 没错👍

    
    
  • roman
    2024-06-17 来自北京
    老师 好,再套一层应用我的想法是这样的,不知道是否正确 1.保护底层大模型应用:套一层类似Java应用层的应用可以做到将大模型的底层服务和客户端的访问进行隔离,避免一些客户端注入攻击类型的场景 2.给应用层提供更多可扩展的场景,底层大模型只是一个工具,但是如何让工具更好的满足不同的业务场景,可能就需要在应用层做一些扩展,比如应用层可以针对同一个问题调用多个大模型(避免出现大模型单点故障问题)等场景的扩展

    作者回复: 说的很好👍 大模型是工具,上层ai应用可能是多个工具的集合

    
    