最近開始瞭解機器學習,常常需要重新安裝環境,但機器學習的東西有時一裝就是好幾個GB,家裡網路雖然是 100Mbps,但在幾十G面前,還是顯得很慢。
所以特地研究了一下怎麼設定 APT 與 PIP 的 Cache DIR,這樣才不用每次都要重新下載。
APT Cache
參考這裡
修改 /etc/apt/apt.conf.d/ 下的任一個檔案,加入下面部份。目錄的部份,請依需求變更
1 2 |
Dir{Cache /cache/apt} Dir::Cache /cache/apt; |
PIP Cache
參考這裡, 將下列指令加到 /etc/profile 的最後面
1 |
export PIP_CACHE_DIR=/cache/pip |
Anaconda
Anaconda 可以透過 CONDA_PKGS_DIRS 參數來指定下載的 package 要放哪,以便共用 , 將下列指令加到 /etc/profile 的最後面
1 |
export CONDA_PKGS_DIRS=/cache/conda_pkgs |
權限問題
當 pip 和 conda 共用 cache 時,不同使用者間會出現權限衝突。可以透過修改其”群組”權限來解決。
1 2 3 4 |
groupadd cudausers #新增一個 cache 專用群組 chgrp -R cudausers /cache # 將 cache 的目錄群組改為指定的 chmod -R g+ws /cache #修改群組的權限 usermod -a -G cudausers ubuntu #將新 user 加入該群組 |
其它
有一些其它的 Download (若 GPT-j 的 pre-train data) 會放在 $HOME/.cache 內,有需要的話也可以link到其它地方。