阿里云交互式建模的探索和踩坑

前言

自己的筆記本煉丹還是太吃力了些,風扇嘶吼有點心疼,看到阿里云出了一些免費試用的資源,想著能白嫖一下高端顯卡跑一跑自制模型還挺有趣,于是有了下面的一些操作,其實沒啥難度的,大膽的按文檔來做基本就可以了.

在PAI-DSW中,可以為存儲外掛OSS或NAS,注意,我看著oss好像也便宜于是就買了半年的,但是沒想到這里不給掛載,說第一個掛載盤必須是NAS的,如果想真的白嫖那可能不想使用這些。每個容器自帶500GB的臨時存儲空間也是夠用的,但是請注意,該存儲空間是臨時的,所以如果關機或者容器運行出現問題,里面的數據將會丟失。這也引出了一個問題,要選擇一個完整的鏡像,這樣就不用每次部署后都要重新配置
不過,也可以使用其他方法來解決這個問題。例如,可以保存運行中的鏡像,這樣可以保存鏡像中的文件等,下次啟動新的實例時就可以使用該鏡像。
另外溫馨提醒,官方雖然免費試用三個月,但是有計算時長限制,總共是5000CU_H。例如,我們選擇A10型號,每小時花費6.99CU_H大約可以玩29.8天。但是請注意,不用的話最好關機(一定要記得在關機前保存數據/鏡像),細水長流才是白嫖的要義。這篇水文可以說是全網最全的了,希望能幫到你.

聚焦真正有價值的事,不要耗散了自己的激情和好奇心

• 禁止轉載 原創
• 無界AI,創作無限,以致涌現!?要是只是對ai繪畫嘗嘗鮮,可以在這里試試

白嫖交互式建模

• 阿里云免費試用 - 阿里云 (aliyun.com) 選擇交互式建模,阿里云注冊和認證什么的自己搞定
• 跟著阿里云文檔快速啟動Stable Diffusion WebUI (aliyun.com) 看一遍,了解下大概使用流程,注意創建資源時選擇可以抵扣的配置
• 要是只是簡單玩玩,那就用阿里云的鏡像,按文檔來,后面的內容不看也罷
• 要是想玩的更自由些,那后面的內容才能幫到你

鏡像選擇

選擇一個好用的鏡像特別重要,可以說是最重要的事了,不要用官方的鏡像,他們的不給保存,于是去hub.docker.com上找了些stable-diffusion-webui的鏡像,可以說前幾個給出的都不好用,測試下來,這些鏡像為了減小體積都裁剪了重要的linux命令,對于使用交互式建模(DSW)可玩性不高,出了問題很不好定位,有幾個鏡像還默認使用的非root賬號啟動的就更難用了

# 這些鏡像都沒有定位工具,基礎命令缺失,很難使用registry.docker.com/universonic/stable-diffusion-webui:latestregistry.docker.com/siutin/stable-diffusion-webui-docker:latest# 阿里云上的鏡像,但無法保存,很不好用eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/stable-diffusion-webui:1.1# 這個鏡像看著還行,命令不算完整,但夠用registry.docker.com/kestr3l/stable-diffusion-webui:1.2.2

由于鏡像的選擇太重要了,想著打一個好用又完整的鏡像,于是把上面的鏡像都嘗試了,期間踩了很多坑,貿然更新里面的cuda或者nvida驅動都會導致鏡像無法使用,最后使用了kestr3l的這個鏡像作為基礎,打包了自己覺得重要的東西整合了一個新的鏡像,看了下鏡像倉庫里大概17G大小,放了兩個常用大模型和關鍵的插件,也把訓練包打了進去.算是一個all in one

操作過程記錄

• 找到下面這段代碼,給每個github地址前邊都加上ghproxy.com, 最好是設置下環境變量吧,參考下面的. 其實體驗下來,容器中下載github數據挺快的,不配置也沒關系,下載不動就多嘗試幾次.

# 原本的下載源,可以把秋葉大佬整合包里的下載源復用到這里,自己找風險很大export GFPGAN_PACKAGE=git+https://github.com/TencentARC/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379export CLIP_PACKAGE=git+https://github.com/openai/CLIP.git@d50d76daa670286dd6cacf3bcd80b5e4823fc8e1export OPENCLIP_PACKAGE=git+https://github.com/mlfoundations/open_clip.git@bb6e834e9c70d9c27d0dc3ecedeebeaeb1ffad6bexport STABLE_DIFFUSION_REPO=https://github.com/Stability-AI/stablediffusion.gitexport TAMING_TRANSFORMERS_REPO=https://github.com/CompVis/taming-transformers.gitexport K_DIFFUSION_REPO=https://github.com/crowsonkb/k-diffusion.gitexport CODEFORMER_REPO=https://github.com/sczhou/CodeFormer.gitexport BLIP_REPO=https://github.com/salesforce/BLIP.git

• 補充的一些自己的操作

# source venv/bin/activatepython -m venv --system-site-packages --symlinks venvsed -i 's/can_run_as_root=0/can_run_as_root=1/g' webui.shwget -c https://huggingface.co/naonovn/chilloutmix_NiPrunedFp32Fix/resolve/main/chilloutmix_NiPrunedFp32Fix.safetensors -O chilloutmix_NiPrunedFp32Fix.safetensorscd stable-diffusion-webui/repositories/CodeFormer/weights/facelib/wget -c http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/try_on/detection_Resnet50_Final.pth && wget -c http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/try_on/parsing_parsenet.pthcd stable-diffusion-webui/embeddings && wget -c http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/try_on/ng_deepnegative_v1_75t.ptcd stable-diffusion-webui/models/Lora && wget -c https://huggingface.co/Kanbara/doll-likeness-series/resolve/main/koreanDollLikeness_v10.safetensors

• 處理報錯

# 報錯Could not load library libcudnn_cnn_infer.so.8. Error: libnvrtc.so: cannot open shared object file: No such file or directoryAborted# 解決export LD_LIBRARY_PATH=/usr/local/lib/python3.10/dist-packages/nvidia/cudnn/lib/# 保存鏡像報錯failed to push image registry-vpc.cn-hangzhou.aliyuncs.com/aleimu123/stablediffusion-webui:v1, please try again later, failed to commit image, error: different regsitry for base images and commit imagedsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated# 經過工單詢問得知,阿里云官方提供的鏡像(_accelerated)都不支持保存

• 不要使用阿里云的pip鏡像源,安裝GFPGAN有問題,換成清華源即可.

vim ~/.pip/pip.conf[global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple [install] trusted-host = pypi.tuna.tsinghua.edu.cn

• 常用命令和操作

# 非root鏡像,用root啟動docker run -ti --entrypoint /bin/bash -u root 41c15e30f4ff# 補全常用命令行vim /etc/apt/sources.listapt-get install pciutilsapt-get install cronapt-get?install iputils-pingapt-get install net-toolsapt install vimapt-get install systemctl# 啟動相關cd stable-diffusion-webui && python -m venv --system-site-packages --symlinks venvcd stable-diffusion-webui && sed -i 's/can_run_as_root=0/can_run_as_root=1/g' webui.sh ./webui.sh # 安裝下ossutil的命令行,方便上傳東西到oss里apt-get install p7zip-fullcurl https://gosspublic.alicdn.com/ossutil/install.sh | sudo bashossutil config# 記得最后清理下緩存,避免保存的鏡像過大apt-get cleancd ~/.cache/pip && rm -rf *

必裝插件

git clone https://github.com/DominikDoom/a1111-sd-webui-tagcomplete.gitgit clone https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.gitgit clone https://github.com/fkunn1326/openpose-editor.gitgit clone https://github.com/adieyal/sd-dynamic-prompts.gitgit clone https://github.com/vladmandic/sd-extension-system-info.gitgit clone https://github.com/Mikubill/sd-webui-controlnet.gitgit clone https://github.com/continue-revolution/sd-webui-segment-anything.gitgit clone https://github.com/hako-mikan/sd-webui-supermerger.gitgit clone https://github.com/VinsonLaro/stable-diffusion-webui-chinesegit clone https://github.com/AlUlkesh/stable-diffusion-webui-images-browser.gitgit clone https://github.com/sdbds/stable-diffusion-webui-wildcards.git

安裝訓練腳本

按照https://github.com/Akegarasu/lora-scripts 的文檔安裝就好,沒啥好說的.

最后

一切都裝好了,運行也沒問題,點一下保存鏡像不用時停止實例,雖然是白嫖來的但也省著點花,減少碳排放人人有責

常用連接

• Stable Diffusion (aliyun.com) 遠程映射出來的頁面,可以公網訪問,每次都不一樣
• pai_nzkj0ys7no4hl24d6x-PAI工作空間 (aliyun.com)
• stablediffusion - DSW (aliyun.com) 后臺控制
• 阿里云用戶中心 (aliyun.com) 賬單,可以查詢配額用了多少,防止白嫖失敗
• PAI-DSW計費說明 (aliyun.com) 既然是白嫖那就關心計費啊
• 容器鏡像服務 (aliyun.com) 建了一個鏡像倉庫,用于保存安裝后的鏡像
• AIGC Stable Diffusion文生圖Lora模型微調實現虛擬上裝 (aliyun.com) 參考意義不大,只能引導dsw的使用,具體安裝sd看下面的
• DSW Gallery (aliyun.com) 安裝sd的手冊,這個可以有,但是說的官方鏡像找不到
• Could not load library libcudnn_cnn_infer.so.8 - PyTorch Forums 安裝sd過程遇到的錯誤
• 阿里云 PAI 免費試用搭建 stable-diffusion-WebUI - 知乎 (zhihu.com) 可以參考學習pai的使用
• 禁止轉載 原創
• 無界AI,創作無限,以致涌現!?要是只是對ai繪畫嘗嘗鮮,可以在這里試試