加餐:使用 AutoDL 快速部署模型
邢云阳

你好,我是邢云阳。
课程上线后,我看到了很多同学都在积极进行测试和留言,学习热情非常高涨,在这些问题中,我也看到了很多共性的问题,因此我抽时间专门做了一些加餐课来深度解答。
今天这节课,要讲的是如何使用 AutoDL 上的 GPU 算力资源快速部署一个模型。
AutoDL 是什么?


通常我们会使用第一种在算力市场按量付费去租 GPU 卡的模式,来完成一些快速简单的测试。这样用完既可以释放,整体消费会比较低。
AutoDL 租用 GPU 算力演示
接下来,我就充值上 3 块钱的,以租用一个 4090 卡为例,为大家演示一下如何租用 GPU 算力。
首先,我们要在各个区来回的切换,去看看哪个区还有空闲的算力。因为 AutoDL 实在是太火了,价格也便宜,所以算力非常抢手。
如果刷到了有卡出现可租用状态,赶紧点进去,选择按量付费,然后迅速配置镜像。

由于我今天会用 ollama 来部署模型,所以我就随便选一个 ubuntu22.04 的镜像就可以了(如上图所示)。选好后点击创建并开机,即可在控制台看到算力实例,截图如下。
公开
同步至部落
取消
完成
0/2000
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结

1. AutoDL 是一个算力租用平台,可以按量、按天租用 GPU 卡或整租一台服务器,适合完成快速简单的测试。 2. 使用 AutoDL 可以快速部署模型,通过租用算力实例并配置镜像,可以在算力实例上部署模型。 3. ollama 是一个用于部署模型的工具,可以通过在算力实例上安装 ollama 并执行相应命令来下载并运行模型。 4. AutoDL 提供了一种 SSH 隧道的方式,可以将实例中的端口映射到公网可供访问的地址,使外部用户也能访问模型。 5. 可以利用这种方式将大模型运行起来后,测试第四节课讲的高可用集群的方案,欢迎留言区展示思考过程。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《DeepSeek 应用开发实战》,新⼈⾸单¥59
《DeepSeek 应用开发实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论