为什么使用云算力:
最近,学校的课程开始人工智能实训,家里的笔记本显存不足(6G),只能借助云算力跑模型,踩过一些坑。这篇经验总结不是教导如何学习人工智能,而是如何使用云算力。
注册
送算力,没什么好说的(图1)
图1 右侧看算力卡 创建项目
(图2)
图2 点击项目->创建项目
如果你的文件中有.sh和.py 选脚本任务就对了(图3)
图3 脚本任务
然后直接下一步(图4)
图4 直接点
创建数据集,把电脑的文件拖进去,注意,无法文件夹拖入。
Q:“啊?那我数据集只能混在它的一个文件夹里吗?真不好用!”
A:“可以在创建项目前建立多个数据集,选择添加数据集,这个是按文件夹拖入的。”
(图5)
图5 两种添加数据集的方法
点击我的项目,看见新创建的项目(图 6)
图6 个人项目
看见run.py和run.sh了吗?它只能运行py和sh文件
Q:“好可怕的注释,满满一页的使用说明,好可怕!!!”(图7)
欢迎进入召唤师峡谷,老子又不是没挂过科
什么垃圾东西,老子用cpu算,不用gpu了!
爸!买张3090,学习用!
小手一点,复制下面的代码
图7 代码注释。sh
只需要修改.sh文件
如果你有兴趣,愿意多花些时间仔细阅读它的文档,同样可以弄明白(图8)不过,浓缩才是精华!
图8 文档说明
首先,毋庸置疑!文档里最重要的莫过于python的库了,因为它决定了你的代码能否跑起来。
AI Studio拥有绝大部分的库,但是,但是!例如pytorch,argparse和sentence-transformers竟然没有!!!
不过——我们完全可以自己安装!就像安装自己电脑的环境一样!
安装缺失的环境
在.sh文件的开头,加入 :
pip install 库名(图9)
图 9
Q:“后面一串什么 -i 巴拉巴拉的要不要呢?”
A:“其实不用,它会自动跳到清华镜像站下载的。即使我加了阿里云,它还是去了清华。
修改.sh文件中数据集的路径
在这里,数据集的路径由两部分组成:(固定死的,复制就完事了)'/root/paddlejob/workspace/train_data/datasets/' + '(图10)复制的相对路径'
图10 点击复制
文件夹同理,点文件夹的复制路径按钮
为了方便起见,我建议修改成它建议的:datasets_prefix="/root/paddlejob/workspace/train_data/datasets/"(为了利用重复的根路径)
train_datasets="${datasets_prefix}复制的相对路径"(=号前面的名字随便改,=后面复制就完事了)
结果输出
把输出路径改为:(固定死的)
output_dir = "/root/paddlejob/workspace/output/"
完整见图(图11)
图11 完整图运行
启动命令填入:
bash run.sh
保存提交,一气呵成
点击历史任务查看提交情况
据我个人经验而言,很大概率你会遇到以下问题:
Q:“库的缺失”
A:“在.sh文件中“pip install”
Q:“训练过慢”
A:“cpu在跑,gpu根本没用上。你需要更新云端计算机的cuda,很麻烦是不是?这会发生在0.5算力卡的低端计算机上,但是!!!如果你改用4算力卡的,就没问题!!!我也不知道为什么,反正我碰到过!!”
Q:“呜呜呜,4算力卡也不行。”
A:“请看”
A:“有时候,云计算机的最新库会被你新安装的库卸载掉一些组件,导致版本变低,无法满足cuda的要求。你只需要找到requires XXX库==XXX版本 这句话,在安装库的最后加上pip install XXX库==XXX版本 即可!我个人猜测,这就是为什么AI Studio缺失库的原因。”
报错,加上,重复几遍就绝对可以运行了!
Q:“我下载库很慢怎么办?”
A:“通常来讲,镜像源很快才对,但是!!!也有例外,比如我遇到的”
我不清楚是没有镜像还是什么,慢的离谱!!这种似乎还是从国外下载的。
我建议换个时间段,比如大清早,美国人都睡了?也许,这时候网速就贼快。
Q:“那个……”
A:“stop!打住!其他的我就没遇到过了!请把报错的几行复制,粘贴,百度!通常,这能解决99%的问题。”
最近,学校的课程开始人工智能实训,家里的笔记本显存不足(6G),只能借助云算力跑模型,踩过一些坑。这篇经验总结不是教导如何学习人工智能,而是如何使用云算力。
注册
送算力,没什么好说的(图1)
图1 右侧看算力卡 创建项目
(图2)
图2 点击项目->创建项目
如果你的文件中有.sh和.py 选脚本任务就对了(图3)
图3 脚本任务
然后直接下一步(图4)
图4 直接点
创建数据集,把电脑的文件拖进去,注意,无法文件夹拖入。
Q:“啊?那我数据集只能混在它的一个文件夹里吗?真不好用!”
A:“可以在创建项目前建立多个数据集,选择添加数据集,这个是按文件夹拖入的。”
(图5)
图5 两种添加数据集的方法
点击我的项目,看见新创建的项目(图 6)
图6 个人项目
看见run.py和run.sh了吗?它只能运行py和sh文件
Q:“好可怕的注释,满满一页的使用说明,好可怕!!!”(图7)
欢迎进入召唤师峡谷,老子又不是没挂过科
什么垃圾东西,老子用cpu算,不用gpu了!
爸!买张3090,学习用!
小手一点,复制下面的代码
图7 代码注释。sh
只需要修改.sh文件
如果你有兴趣,愿意多花些时间仔细阅读它的文档,同样可以弄明白(图8)不过,浓缩才是精华!
图8 文档说明
首先,毋庸置疑!文档里最重要的莫过于python的库了,因为它决定了你的代码能否跑起来。
AI Studio拥有绝大部分的库,但是,但是!例如pytorch,argparse和sentence-transformers竟然没有!!!
不过——我们完全可以自己安装!就像安装自己电脑的环境一样!
安装缺失的环境
在.sh文件的开头,加入 :
pip install 库名(图9)
图 9
Q:“后面一串什么 -i 巴拉巴拉的要不要呢?”
A:“其实不用,它会自动跳到清华镜像站下载的。即使我加了阿里云,它还是去了清华。
修改.sh文件中数据集的路径
在这里,数据集的路径由两部分组成:(固定死的,复制就完事了)'/root/paddlejob/workspace/train_data/datasets/' + '(图10)复制的相对路径'
图10 点击复制
文件夹同理,点文件夹的复制路径按钮
为了方便起见,我建议修改成它建议的:datasets_prefix="/root/paddlejob/workspace/train_data/datasets/"(为了利用重复的根路径)
train_datasets="${datasets_prefix}复制的相对路径"(=号前面的名字随便改,=后面复制就完事了)
结果输出
把输出路径改为:(固定死的)
output_dir = "/root/paddlejob/workspace/output/"
完整见图(图11)
图11 完整图运行
启动命令填入:
bash run.sh
保存提交,一气呵成
点击历史任务查看提交情况
据我个人经验而言,很大概率你会遇到以下问题:
Q:“库的缺失”
A:“在.sh文件中“pip install”
Q:“训练过慢”
A:“cpu在跑,gpu根本没用上。你需要更新云端计算机的cuda,很麻烦是不是?这会发生在0.5算力卡的低端计算机上,但是!!!如果你改用4算力卡的,就没问题!!!我也不知道为什么,反正我碰到过!!”
Q:“呜呜呜,4算力卡也不行。”
A:“请看”
A:“有时候,云计算机的最新库会被你新安装的库卸载掉一些组件,导致版本变低,无法满足cuda的要求。你只需要找到requires XXX库==XXX版本 这句话,在安装库的最后加上pip install XXX库==XXX版本 即可!我个人猜测,这就是为什么AI Studio缺失库的原因。”
报错,加上,重复几遍就绝对可以运行了!
Q:“我下载库很慢怎么办?”
A:“通常来讲,镜像源很快才对,但是!!!也有例外,比如我遇到的”
我不清楚是没有镜像还是什么,慢的离谱!!这种似乎还是从国外下载的。
我建议换个时间段,比如大清早,美国人都睡了?也许,这时候网速就贼快。
Q:“那个……”
A:“stop!打住!其他的我就没遇到过了!请把报错的几行复制,粘贴,百度!通常,这能解决99%的问题。”