课件和 Demo 地址
https://github.com/geektime-geekbang/NLP
作者回复: 很难复现,这是最麻烦的问题。有时候就什么事情都没有,但一旦出现就很恶心。你可以部署多个模型,但建议用一个serving服务来做。
作者回复: 基本都是踩过的坑~
作者回复: 1. 不一定能解决。如果你强制在一个GPU上部署多个模型多少有些危险。2. NVidia的方案我们试用过,主要问题是显存污染比较难以察觉和测试,所以我们虽然没发现问题,但是也确实没法说就不会出现问题(捂脸)。对于GPU的问题就是这样,特别难以发现,所以一般来说我建议都是尽可能隔离开,但是这样效率损失就很大。所以前后都是闹心...