簡易安裝本地端AI系統 | AI免費用到飽

簡易安裝本地端AI系統

我是點哥

先決條件

在開始之前，請確保您具備以下條件：

一台具有足夠記憶體和儲存空間的電腦（建議至少 8GB RAM；若使用較大型號如 Gemma 3 27B 或 DeepSeek-R1 70B，則需要更多）。
網路連線以進行初始下載。
一個現代網頁瀏覽器（例如 Google Chrome）以安裝和使用 Page Assist。

步驟 1：安裝 Ollama

Ollama 是一個允許您在本地運行大型語言模型的工具。請按照以下步驟進行安裝：

下載 Ollama：

訪問官方 Ollama 網站：https://ollama.com/
前往「下載」部分。
選擇您的作業系統（macOS、Linux 或 Windows）並下載安裝程式。

安裝 Ollama：

macOS：打開下載的 .dmg 檔案，將 Ollama 應用程式拖到您的「應用程式」資料夾中。
Linux：在終端機中運行提供的安裝腳本：

curl -fsSL https://ollama.com/install.sh | sh

Windows：運行 .exe 安裝程式並按照螢幕上的指示操作。

驗證安裝：

打開終端機（或 Windows 上的命令提示字元）。
運行以下命令檢查版本：

ollama --version

如果安裝成功，您將看到版本號（例如 0.1.26 或更高版本）。

步驟 2：下載 DeepSeek 和 Google Gemma 3 模型

安裝 Ollama 後，您可以下載 DeepSeek-R1 和 Gemma 3 模型以在本地運行。

打開終端機並根據您想要的模型大小執行以下命令：

DeepSeek-R1

DeepSeek-R1 有不同的大小（例如 1.5B、7B、14B、32B、70B）。較小的模型需要較少記憶體且速度更快，而較大的模型性能更佳。根據您的硬體選擇：

1.5B 參數：

ollama pull deepseek-r1:1.5b

7B 參數：

ollama pull deepseek-r1:7b

14B 參數：

ollama pull deepseek-r1:14b

32B 參數（需要約 35GB RAM）：

ollama pull deepseek-r1:32b

70B 參數（需要大量資源）：

ollama pull deepseek-r1:70b

Google Gemma 3

Gemma 3 也有多種大小（1B、4B、12B、27B），較大型號具有多模態功能。選擇一個：

1B 參數（僅文字）：

ollama pull gemma3:1b

4B 參數：

ollama pull gemma3:4b

12B 參數：

ollama pull gemma3:12b

27B 參數（多模態，需要大量資源）：

ollama pull gemma3:27b

驗證下載：

下載完成後，列出可用模型以確認：

ollama list

您應該會看到如 deepseek-r1:7b 和 gemma3:12b 的條目。

測試模型（可選）：

在終端機中直接運行模型以確保其正常運作：

ollama run deepseek-r1:7b

輸入提示（例如「你好，你好嗎？」）並按 Enter 鍵查看回應。

對 Gemma 3 重複操作：

ollama run gemma3:4b

步驟 3：安裝 Page Assist

Page Assist 是一個 Chrome 擴充功能，為本地 AI 模型提供友好的網頁介面。

將 Page Assist 添加到 Chrome：

打開 Google Chrome，前往： https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo
點擊加入 Chrome，並在確認時選擇新增擴充功能。

驗證安裝：

安裝完成後，您將在 Chrome 工具列中看到 Page Assist 圖示（一個小的 AI 符號）。
點擊圖示以打開側邊欄或訪問簡易網頁介面。

步驟 4：配置 Page Assist 與 Ollama

Page Assist 需要連接到您本地運行的 Ollama 伺服器以使用 DeepSeek 和 Gemma 3。

啟動 Ollama 伺服器：

確保 Ollama 在後台運行。在 macOS/Linux 上，安裝後會自動啟動；在 Windows 上，您可能需要從開始選單或終端機手動啟動：

ollama serve

伺服器默認運行在 http://localhost:11434。

設置 Page Assist：

點擊 Chrome 中的 Page Assist 圖示以打開側邊欄。
進入設定（齒輪圖示）在側邊欄或網頁介面中。
在提供者下選擇 Ollama。
將 API 端點設為 http://localhost:11434（Ollama 默認地址）。
保存設定。

選擇模型：

在 Page Assist 介面中，您會看到可用模型的下拉選單。
選擇您之前下載的 DeepSeek 模型（例如 deepseek-r1:7b）或 Gemma 3 模型（例如 gemma3:4b）。

步驟 5：使用 DeepSeek 和 Gemma 3 與 Page Assist

現在一切設置完成，您可以通過 Page Assist 的直觀介面開始使用這些模型。

與模型聊天：

在 Page Assist 側邊欄或網頁介面中，輸入問題或提示（例如用 DeepSeek 問「用簡單語言解釋量子物理」或用 Gemma 3 27B 問「描述這張圖片」如果您有圖片）。
按 Enter 或點擊發送按鈕以獲得回應。

附加功能：

視覺模型：對於 Gemma 3 27B，通過側邊欄上傳圖片以利用其多模態功能（例如「這張圖片裡有什麼？」）。
與文件聊天：上傳 PDF、CSV、TXT、MD 或 DOCX 檔案以詢問其內容（例如「總結這個 PDF」）。
網路搜尋：在 Page Assist 設定中啟用此選項以增強回應（可選）。

切換模型：

使用下拉選單根據不同任務在 DeepSeek 和 Gemma 3 之間切換（例如 DeepSeek 用於推理，Gemma 3 用於多模態查詢）。

故障排除

Ollama 無回應：確保 Ollama 伺服器正在運行（ollama serve），並檢查 Page Assist 中的端點是否為 http://localhost:11434。
模型下載失敗：檢查網路連線和可用磁碟空間，重試 ollama pull 命令。
性能問題：如果模型運行緩慢，嘗試使用較小型號（例如 DeepSeek-R1 1.5B 或 Gemma 3 1B）或關閉其他占用資源的應用程式。

未來腦力研究社

搜尋此網誌