• b1a2e1u1u
    2025-03-05 来自北京
    老师请教一下,在用Higress创建AI负载路由时,路径(Path)是个必填项,是否需要写成/v1/chat/completions,还是保持默认/即可?

    作者回复: 同学你好 写成/就行哈 因为我们请求网关时不只有completions这一个路由,还有别的比如embedding 或者 list model等很多

    
    
  • 小林子
    2025-03-05 来自贵州
    催更

    作者回复: 每晚都在吐血写作中,抖音都戒了

    
    
  • Toni
    2025-03-04 来自瑞士
    思考题: 使用 Higress 的插件checkRequest,能够使网关Higress拦截一些用户提问中的敏感词,插件checkResponse用于检查大模型的回答内容是否合规,这两个以合规为目的设计的插件用于规避可能出现的法律等方面的风险。

    作者回复: 👍对的 使用AI内容安全插件

    
    
  • 最后的风之子
    2025-03-04 来自山东
    https://mp.weixin.qq.com/s/n7PyLykK7MlO3re2oOyY5w 接一个安全的AI网关,而不是直接暴露ollama端口的重要性
    
    1