隨著用過的機器學習專案越來越多,開始感覺有點太混亂了,需要將各文章再整理一下。由於每個專案都有不同程度的套件相依性,自然而然需要為每個案子建立自己的虛擬環境。本文是後寫的,主要用於給前文當做參照,來安裝一些共同的項目,或套用共同的操作。
當然,這邊是依照我自己的電腦配置,例如固定的檔案位置。如有讀者參考的話,請依自行環境修改。
新機器
安裝套件
1 |
sudo apt-get install git build-essential python3 python3-pip screen vim ctags zstd pigz sysstat jq unrar zip unzip ffmpeg sox |
共用 Cache
請參考這篇 設定 APT, PIP 與 Anaconda 的 Cache 目錄 來設定共用 download cache,以節省時間。在我的文章中,可能會常出現安裝一些不必要套件的指令,其原因就是這些套件我都已經在 local 有 cache 了,所以其實並不太在意。若沒設定共用 cache 的話,就會不斷的需要為每個專案重新下載。
新帳號
為了共用 Cache 用戶要加入 cudausers 這個群組
1 |
usermod -a -G cudausers NEW_USER_NAME #將新 user 加入該群組 |
當創立一個新的 Linux 帳號來做測試時,可以套用下列動作
1 2 3 4 |
/cache/common/Anaconda3-2022.10-Linux-x86_64.sh #安裝 Anaconda, 讓其做init動作 mkdir ~/projects mkdir ~/bin touch ~/bin/zhTW.sh;chmod a+x ~/bin/zhTW.sh |
這邊會產生一個 zhTW.sh 的腳本,主要是拿來將簡體轉繁體。其內容如下
1 2 3 |
#!/bin/bash cconv -f UTF8-CN -t UTF8-TW $1 -o /tmp/cconv_inplace.tmp cp -f /tmp/cconv_inplace.tmp $1 |
接著,將下列命令,加到 ~/.bashrc 的最後面
1 2 3 4 5 |
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HOME/anaconda3/lib export PATH=$HOME/anaconda3/bin:$PATH:/usr/local/cuda-11.8/bin/ export PATH=$PATH:$HOME/bin alias cuda='python -c "import torch;print(torch.cuda.is_available())"' alias deconda='conda deactivate' |
將 .cache 目錄,link 的共用的 cache,這樣很多東西就不用重下載了。
1 2 |
mv ~/.cache ~/.cache_old ln -s /cache/.cache/ ~/.cache |
安裝 git-lfs 這樣才能用 git clone 大檔
1 2 |
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs |
最後重新登入,讓所有設定生效