AI學習紀錄 – Langchain-Chatchat API 使用

之前紀錄的 LangChain-ChatChat ChatGLM2 個人知識庫整合了大語言與知識庫,算是可以自己架起來的實用工具。所以研究了一下怎麼使用 CLI 呼叫,發現在它已經有一套簡彈易用的 API Server,而且也提供了完整的試用功能 (不確定是否為整合別人套件會自己寫的)。

API 服務位址

當一鍵啟動後,跑到最後可以看到服務運行的位址。

使用瀏覽器打開後,就可以看到API的列表。

直接看指令

接著就直接一層層點開,範例就會看的到了。點chat的第2個「與LLM模型對話」 –> 「Try it out」接著下面會顯示 JSON 的內容。下面有一個 「Execute」就會顯示 CURL 的指令了。拿這個指令改一下,就可以問到你想要的問題了。

結語

Langchain Chatchat 也是一直在進版,前2天的 0.2.5 修正了baichuan2-13B 4bit的問題(灑花)。終於可以穩定的當個人服務器了,希望這個專案可以持續的進行下去,也期待早日整進 agent 的功能到百川的模型。

Leave a Reply(Name請以user_開頭,否則會被判定會垃圾息)

請輸入答案 3 × 2 =