OpenAI 推出了 o1 的推理模型，加強了其推理的能力。在偶然的機會下，我也參考到了一個實現推理過程的影片，這個稱為 Cot (Chain of Thought) 的方法，的確可以得到不同的結果，也會描述其理由。雖然其正確性還是相當依賴於模型本身的能力，但還是可做為參考的一種方式。
人工智慧在理解和解決複雜問題方面取得了顯著進展，而其真正的力量在於推理——這個過程透過 Chain of Thought (CoT) 技術變得更加清晰。在這篇文章中，我們將介紹 CoT，解釋其重要性，並提供一個展示其應用的程式範例。
什麼是 Chain of Thought (CoT)?
Chain of Thought (CoT) 是一種推理方法，使 AI 模型在解決問題時能夠生成中間步驟。AI 不再直接跳到答案，而是逐步列出其思考過程。這種方法的優勢在於：
- 理解複雜問題更容易
- 可以驗證每個推理階段
- 在需要多步邏輯的任務中達到更高準確度
CoT 在以下領域特別有效：
- 數學
- 邏輯推理
- 問答系統
- 決策制定
為什麼 CoT 很重要？
AI 推理的一大挑戰在於可解釋性。傳統模型通常直接給出答案，而無法展示其過程。CoT 解決了這個問題，提供透明性。
此外，CoT 在中間推理至關重要的情境下提升了 AI 的表現。透過將問題拆解為可管理的步驟，CoT 模仿人類的邏輯思考，使模型能夠更有效地處理任務。
範例程式：CoT 的實際應用
在Youtube上的這個影片內，有分享了一個範例。經過修改，將其改成 Gradio 介面，並變成串流式的，主要是透過 ollama 用本地大模型來進行思考鏈，範例請參看文末附件。
以下是一個展示 CoT 模型如何解決多步問題的範例。此程式的目的是展示透過中間步驟推理的強大功能。為了讓結果更具說服力，我將僅展示結果的運行截圖，而不詳細解釋程式碼。
範例問題
問題： 8.8和8.71誰比較大？
這個問題在很多比較舊模型上都會答錯，但在某些模型上，可透過較多輪的自行詰問而獲得正確的答案。
程式運行截圖
由於原本的範例是在 mac os 上運行的，在 windows 上運行的排版好像不太一樣(比較醜)，請見諒。
從下面的展示結果，可以看到 llama 3.1:8b q4 在回答這個問題時是錯的，但在中間的自行詰問中獲得了正確答案，並有合理的解釋。
但在最後的合成答案中又錯了，可見CoT仍應被視為一種參考的看法，對於其中所推論出的過程，人們還是需要自己判斷。
CoT 的影響
透過 CoT，AI 系統可以實現：
- 提升解題能力： 聚焦於中間步驟，模型能更有效處理複雜場景。
- 更佳的可解釋性： 使用者能追蹤模型如何得出結論。
- 增強的可靠性： 驗證每一步驟，降低錯誤風險。
這種推理框架不僅限於理論應用，還能被整合到實際系統中，例如教育工具和商業分析。
結語
Chain of Thought 推理代表了 AI 的一種範式轉移，使我們更接近真正具有人類思考能力的智能系統。透過強調中間步驟，CoT 提供了透明性和準確性，使 AI 不僅是一個工具，更是一個解決複雜問題的可靠夥伴。
 的力量){kind=link}