Masquerade
2025-03-17
来自湖北
llama.cpp支持多模态模型吗
作者回复: 支持
grok
2025-03-17
来自美国
云阳大佬,求答疑解惑: 1. 本地部署好了deepseek,如何调用batch API?支持吗?https://platform.openai.com/docs/guides/batch 2. 想压力测试一下单并发/10并发/100/1000/10000并发,有推荐的压力测试库吗?难道要自己写一点asyncio的脚本来模拟高并发? 3. 底层原理:我调用openai api时候,采用 `response_format={'type': 'json_object'}` 。我很好奇大模型底层是如何强制返回json的呀?
共 1 条评论
1