跳到主要內容

簡易安裝本地端AI系統 | AI免費用到飽

簡易安裝本地端AI系統

我是點哥





先決條件

在開始之前,請確保您具備以下條件:


  • 一台具有足夠記憶體和儲存空間的電腦(建議至少 8GB RAM;若使用較大型號如 Gemma 3 27B 或 DeepSeek-R1 70B,則需要更多)。

  • 網路連線以進行初始下載。

  • 一個現代網頁瀏覽器(例如 Google Chrome)以安裝和使用 Page Assist。



步驟 1:安裝 Ollama

Ollama 是一個允許您在本地運行大型語言模型的工具。請按照以下步驟進行安裝:





  1. 下載 Ollama


  • 訪問官方 Ollama 網站:https://ollama.com/

  • 前往「下載」部分。

  • 選擇您的作業系統(macOS、Linux 或 Windows)並下載安裝程式。


  1. 安裝 Ollama


  • macOS:打開下載的 .dmg 檔案,將 Ollama 應用程式拖到您的「應用程式」資料夾中。

  • Linux:在終端機中運行提供的安裝腳本:


curl -fsSL https://ollama.com/install.sh | sh


  • Windows:運行 .exe 安裝程式並按照螢幕上的指示操作。


  1. 驗證安裝


  • 打開終端機(或 Windows 上的命令提示字元)。

  • 運行以下命令檢查版本:


ollama --version


  • 如果安裝成功,您將看到版本號(例如 0.1.26 或更高版本)。



步驟 2:下載 DeepSeek 和 Google Gemma 3 模型

安裝 Ollama 後,您可以下載 DeepSeek-R1 和 Gemma 3 模型以在本地運行。





打開終端機並根據您想要的模型大小執行以下命令:

DeepSeek-R1

DeepSeek-R1 有不同的大小(例如 1.5B、7B、14B、32B、70B)。較小的模型需要較少記憶體且速度更快,而較大的模型性能更佳。根據您的硬體選擇:


  • 1.5B 參數


ollama pull deepseek-r1:1.5b


  • 7B 參數


ollama pull deepseek-r1:7b


  • 14B 參數


ollama pull deepseek-r1:14b


  • 32B 參數(需要約 35GB RAM)


ollama pull deepseek-r1:32b


  • 70B 參數(需要大量資源)


ollama pull deepseek-r1:70b

Google Gemma 3

Gemma 3 也有多種大小(1B、4B、12B、27B),較大型號具有多模態功能。選擇一個:


  • 1B 參數(僅文字)

ollama pull gemma3:1b


  • 4B 參數

ollama pull gemma3:4b


  • 12B 參數

ollama pull gemma3:12b


  • 27B 參數(多模態,需要大量資源)

ollama pull gemma3:27b


  1. 驗證下載


  • 下載完成後,列出可用模型以確認:


ollama list


  • 您應該會看到如 deepseek-r1:7bgemma3:12b 的條目。







  1. 測試模型(可選)


  • 在終端機中直接運行模型以確保其正常運作:


ollama run deepseek-r1:7b


輸入提示(例如「你好,你好嗎?」)並按 Enter 鍵查看回應。


  • 對 Gemma 3 重複操作:


ollama run gemma3:4b



步驟 3:安裝 Page Assist

Page Assist 是一個 Chrome 擴充功能,為本地 AI 模型提供友好的網頁介面。





  1. 將 Page Assist 添加到 Chrome



  1. 驗證安裝


  • 安裝完成後,您將在 Chrome 工具列中看到 Page Assist 圖示(一個小的 AI 符號)。

  • 點擊圖示以打開側邊欄或訪問簡易網頁介面。



步驟 4:配置 Page Assist 與 Ollama

Page Assist 需要連接到您本地運行的 Ollama 伺服器以使用 DeepSeek 和 Gemma 3。


  1. 啟動 Ollama 伺服器


  • 確保 Ollama 在後台運行。在 macOS/Linux 上,安裝後會自動啟動;在 Windows 上,您可能需要從開始選單或終端機手動啟動:


ollama serve


  • 伺服器默認運行在 http://localhost:11434


  1. 設置 Page Assist


  • 點擊 Chrome 中的 Page Assist 圖示以打開側邊欄。

  • 進入 設定(齒輪圖示)在側邊欄或網頁介面中。

  • 提供者 下選擇 Ollama

  • API 端點 設為 http://localhost:11434(Ollama 默認地址)。

  • 保存設定。


  1. 選擇模型


  • 在 Page Assist 介面中,您會看到可用模型的下拉選單。

  • 選擇您之前下載的 DeepSeek 模型(例如 deepseek-r1:7b)或 Gemma 3 模型(例如 gemma3:4b)。



步驟 5:使用 DeepSeek 和 Gemma 3 與 Page Assist

現在一切設置完成,您可以通過 Page Assist 的直觀介面開始使用這些模型。






  1. 與模型聊天


  • 在 Page Assist 側邊欄或網頁介面中,輸入問題或提示(例如用 DeepSeek 問「用簡單語言解釋量子物理」或用 Gemma 3 27B 問「描述這張圖片」如果您有圖片)。

  • 按 Enter 或點擊發送按鈕以獲得回應。


  1. 附加功能


  • 視覺模型:對於 Gemma 3 27B,通過側邊欄上傳圖片以利用其多模態功能(例如「這張圖片裡有什麼?」)。

  • 與文件聊天:上傳 PDF、CSV、TXT、MD 或 DOCX 檔案以詢問其內容(例如「總結這個 PDF」)。

  • 網路搜尋:在 Page Assist 設定中啟用此選項以增強回應(可選)。


  1. 切換模型


  • 使用下拉選單根據不同任務在 DeepSeek 和 Gemma 3 之間切換(例如 DeepSeek 用於推理,Gemma 3 用於多模態查詢)。



故障排除

  • Ollama 無回應:確保 Ollama 伺服器正在運行(ollama serve),並檢查 Page Assist 中的端點是否為 http://localhost:11434

  • 模型下載失敗:檢查網路連線和可用磁碟空間,重試 ollama pull 命令。

  • 性能問題:如果模型運行緩慢,嘗試使用較小型號(例如 DeepSeek-R1 1.5B 或 Gemma 3 1B)或關閉其他占用資源的應用程式。



成功使用 Ollama 和 Page Assist 在本地安裝並配置了 DeepSeek 和 Google Gemma 3!Ollama 負責模型執行,Page Assist 提供流暢的網頁介面,您可以在自己的機器上享受強大的 AI 功能—私密、快速且完全可自訂。

根據您的需求試驗不同模型大小和功能,無論是使用 DeepSeek 進行推理還是使用 Gemma 3 進行多模態任務。祝您 AI 探索愉快!








加入好友

Felo Search

這個網誌中的熱門文章

SEL社會情緒學習 治標不治本??

SEL社會情緒學習(Social and Emotional Learning) 是賦能的解方,還是治標不治本的止痛劑? 在一個充滿變動與壓力的時代,從學業競爭、人際關係到數位世界的衝擊,我們的下一代正承受著前所未有的心理負荷。 為此,「SEL社會情緒學習」(Social and Emotional Learning)被推上教育改革的浪潮之巔,被視為培養孩子幸福感與韌性的關鍵。然而,當我們急於用「情緒教育」來解決眼前的問題時,是否不自覺地陷入了「頭痛醫頭,腳痛醫腳」的困境? SEL是什麼?建構內在的穩定力量 首先,我們需要理解SEL的完整面貌。它並非單純的「情緒管理」或「EQ訓練」,而是一套系統性的學習過程,旨在幫助個人發展健全人格所需的核心素養。 全球最具影響力的 CASEL 5 框架 ,為我們提供了清晰的藍圖,包含五大核心能力: 自我覺察 (Self-awareness): 準確地感知自身的情緒、價值觀與優勢,建立穩固的自我認同。 自我管理 (Self-management): 有效地調節情緒、控制衝動,並設定、追求有意義的目標。 社會覺察 (Social-awareness): 以同理心理解他人觀點,感受並關懷不同背景的群體。 人際技巧 (Relationship Skills): 學習清晰溝通、積極合作、和平解決衝突,以建立並維持健康的關係。 負責任的決策 (Responsible Decision-making): 在考量倫理、安全與後果後,做出具建設性與關懷的選擇。 這五項能力相輔相成,共同塑造一個能夠自我理解、和諧共處、並為社會做出貢獻的個體。理想的SEL教育,是將這些素養融入校園文化、學科教學與家庭生活的每一個角落。 我們是否只在為壓力鍋洩壓,卻忘了關火? SEL的理念無疑是前瞻且必要的,但在當前的實踐中,情緒教育確實面臨著被簡化為「應急措施」的風險,從而產生「頭痛醫頭,腳痛醫腳」的現象。 1. 治標不治本:只教孩子應對壓力,卻不減輕壓力源 當代學生面臨的心理困境,往往源於一個系統性的「壓力鍋」——課業壓力、升學主義、家庭期望、同儕比較、社群媒體焦慮……這些是持續加熱的爐火。而許多時候,我們的情緒教育,就像是在教孩子如何巧妙地、安全地為這個壓力鍋「洩壓」。我們教他們正念呼吸、靜心冥想、情緒日記,這些都是非常有用的技巧,能幫助他們在壓力爆表時...

NotebookLM筆記本來製作會議記錄

NotebookLM筆記本來製作會議記錄(報告、逐字稿…)-- 點哥 - 優點:免費、快速產出記錄,可作為筆記軟體。 - 缺點:無法標記不同與會者說的話。 網站網址: https://notebooklm.google.com/ 使用方式如下: 1. 利用手機內建錄音或是已經現有的錄音檔案 各種語音格式幾乎都可用。 2. 錄音的檔案,上傳到NotebookLM 3. 即可產出摘要,可進一步請AI產出會議記錄重點、整理、製作逐字稿等。 點選 筆記本指南 AI自動整理出錄音內容 對話應用: 請AI幫妳寫逐字稿,並加註時間軸 與AI做內容問答與整理 摘要重點 *注意:逐字稿的穩定度仍不如其他專業軟體,若有相當專業且嚴謹的需求,建議還是以付費的軟體為主。但若要製作課程筆記,就完全沒問題! 目前自動生成功能: 動作包括: 合併成單一記事:按一下滑鼠,就能將所有記事彙整成單一記事。 評論:要求 NotebookLM 對你的文章或論點提供建設性意見。 重點摘要:根據多則記事內容建立精簡易讀的摘要。 建立大綱:將所選記事內容轉換成大綱,並依主題分類。 建立學習指南:根據記事內容快速製作學習指南,包括重要問題和詞彙表。 提出相關想法:NotebookLM 可以根據所選記事的來源內容,提供相關建議。 Google公告: 2024 年 9 月 26 日 最新資訊 新來源類型: 自推出以來,我們使用 Gemini 的多模態功能,持續增加對多種來源資料的支援。現在,你可以直接在記事本中加入公開的 YouTube 網址和音訊檔案、PDF、Google 文件、簡報、網站等內容做為來源。 分享語音摘要更快速:我們推出了新功能,輕觸一下就能生成 語音摘要 。現在,語音摘要可以直接分享。只要輕觸「分享」,系統就會產生可輕鬆分享的公開連結。 2023 年 12 月 8 日 最新資訊 提高來源數量上限:筆記本現在最多可以有 20 個來源。 增加字數:來源現在最多可以包含 20 萬字。 撰寫個別記事:現在會個別新增記事,而非納入單一記事。 記事板:撰寫和儲存的記事現在會釘選在對話方塊上方的記事板空間。 將對話回覆內容另存為記事:你可以將 NotebookLM 的回覆內容釘選到筆記本,方便日後參考。 整合引文和記事:將對話回覆內容另存為記事後,系統會保留原始引文。 跳到來源中的引文:在對話回覆內容或已儲存的...