Geek_54dac12023-12-15 来自四川该模型在 Candle 中还暂时不支持在 GPU 上运行，因为 Quantized models on Cuda 还不支持，参考：https://github.com/huggingface/candle/issues/1250；避免大家挖坑作者回复: 很棒的探索和分享👍
无限可能2023-12-15 来自北京老师好，大模型小白有几个问题。通过 huggingface-cli scan-cache，扫描了一下 huggingface 下载过的文件，都是 7G 或者更大： 1. 这些模型文件里主要是什么内容，是包括了数据么？为啥会这么大？ 2. 类似这么大的文件，一定要下载到本地么，是否可以云部署之类，可以用完销毁。 3. 我理解，我想要运行本节课的demo，这 7G 的空间就是要长期规划出去了吧作者回复: 1。主要是预训练神经网络模型权重数据 2。要下载到本地，要加载到显存或者内存中运行 3。是的
共 2 条评论
学水2023-12-15 来自加拿大这张感觉主要是给对rust有兴趣的mle，中间一些代码如果不是因为用过pytorch，完全不知道在干啥作者回复: 是的，如果讲ml的话，又是专门一门课程了。可以在后续继续深入下去。你有pytorch基础就非常有利。👍
刘丹2023-12-15 来自广东老师，你好，请问能否推荐几个和 ChatGPT 交互的 Rust SDK ? 最好也能支持其它 LLM 。作者回复: 有几个还不错的。 https://github.com/sobelio/llm-chain https://github.com/rustformers/llm https://github.com/jondot/awesome-rust-llm 当然最强的，还是candle啦。 https://github.com/huggingface/candle