作者:蔡可彼
在定這個文章標題的時候,我也是很困惑。我另外也想定成 pytorch 模型轉成 gguf,總之就是要轉成可以量化的模型。gguf 檔應該是由 meta 所制定的,因為需要由 llama.cpp 這個專
自從 Windows WSL (Windows Subsystem for Linux) 功能上線以來,對於我這個 Linux 工作者來說,方便性真的增加了很多。以往有很多自動化或Linux才有的CL
由於自己家裡架了一個 OpenVPN Server, 以方便我連回去做一些測試。但 Router 預設是會把資料都透過這條VPN送出去,這對我而言並不是很需要。如果是自己架的 VPN Server 想
一陣子沒投入大語言模型,就會發現有一些驚奇。倒也不是有多大的進步,很是佈屬上有了很大的便利性。所謂的佈屬大語言模型,其實是有點浪費時間的,因為還處於起步階段,很多步驟都還是用手動設定的,所以很多事情都
現在已經是 2024/02/08 了,已經是小年夜了。今年比較晚寫年度回顧,因為不忍直視…..雖然其它還算順利,但還是喝了一整年,對於自己很弱的腦波感到很困擾。 2022的年度回顧在此。今
又是因為工作~ 要研究一下在進行視訊串流時,為何 player 端的 latency 會越來越長。雖然原來的問題是用 vlc 發生的,但 VLC 要建置感覺不太容易。於是想到了 ffmpeg 裡自帶的
近一年來玩的 AI 模型常常要下載很大的Python套件,若反覆下載是很浪費時間的。之前的做法是將所有使用者的 .cache 目錄共用,這樣可以減少下載的時間。另外一個做法就是像以往 http pro
建立自己的 apt 倉庫,這算是一篇很久以前我就有紀錄的文章了,不過是在 evernote 裡面。因為本質上也都 google 的到,所以就沒想說記下來了。但自從開始用 Ubuntu 20.04 以後
在以往的文章裡,已經有介紹過使用 QEMU + Buildroot 來建立 ARM64 的環境來加速開發。這個方式可以順利的建立一個小環境,來測試開發的程式。但畢竟不是一個完整的 Linux 發行版,
寫文件一直是一件很煩人的事,尤其是寫一些 API 文件。由於這類的文件的格式很固定,但又不得不寫,又常常要改來改去,弄起來總是很煩心。所以之前就想要透過自動化的方式,來產生word文件。而最近研究 A