在過去數年間，我們的生活愈來愈依賴人工智慧。然而，每當我們在商業AI上輸入查詢和洞見時，這些數據都被收集起來，成為企業的訓練資料。不論你是否購買服務，這些資料始終屬於他人。如果你想脫離此困境，本地運行AI將會是你的一個好選擇，因為它能給你最充分的控制權。

不必提那些可能出現的幻覺或錯誤，本地運行的AI助理亦不需任何訂閱、沒有雲端依賴，且免受企業監控。這是一整套完全運行在你個人電腦上的AI，根據你的輸入學習並適應你的需求。

在這方面，DeepSeek的開源模型，比如DeepSeek-V3和DeepSeek-R1，讓自主運行成為可能。將它們發布在本地，你可以掌控AI的學習方式，保護你的資料變得前所未有的輕鬆。

經過廣泛測試，我們找到了三種能夠達到此目的的有效佈署配置。接下來，我們將介紹如何著手執行，以及它們能如何為你工作。

💡 DeepSeek R1 特性：在編碼性能上表現出色，而且硬體要求較低。

如何選擇合適的 DeepSeek 配置？

定制DeepSeek模型是一種根據基礎模型進行專業化的版本。憑藉堅固的Transformer架構，DeepSeek在生成類人文本方面已經非常出色。而定制後的模型則能成為你特定領域的專家，不論是客服支援、教育工具，或是專門的研究項目。

更有彈性的是，DeepSeek的縮小版本如1.5B、7B、8B、14B、32B以及70B參數大小的模型系列。在保持邏輯推理能力的同時，大大縮減了硬體需求。

對你有什麼影響？

較小型的模型（尤其是8B及以下）可以在標準電腦上順利運行，無需昂貴的雲計算或專用硬體——你可以直接在個人電腦上發布和試驗這些強大的AI工具。

這些基於已驗證架構的模型，即使在普通配置下也能提供出色的性能。我們將分析三種最為推薦的佈署方法，並從以下幾個方面進行詳細探討：

  • 適合的使用案例
  • 發布範圍
  • 軟硬體需求
  • 優勢

不用編碼的方法：採用 CodeGPT 快速佈署 DeepSeek R1 模型

CodeGPT 提供了一個無需編碼的雲端解決方案，非常適合需要快速設置和共享訪問的團隊和非技術使用者。不同於一些流行的編程助手，CodeGPT 允許你使用本地 LLM，如 DeepSeek R1，來進行提示生成、代碼補全和單元測試，並且這一切都可以在 VS Code、Cursor 或 JetBrains 等熱門 IDE 中完成。

計算需求：

  • 記憶體：至少 1GB（較大模型需更多）
  • 儲存空間：至少 20MB（本地模型可能增加）
  • CPU：Intel Core i5+（不支持老舊 ARM）
  • macOS：支持全系列版本（臨時排除 Sonoma）
  • Linux：2024年或以後的發布版本均支持
  • Windows：Windows 11 或更高版本
  • IDE：VS Code 1.96.0+
  • 不需要 VLAN/VPN 連接，除非獲得授權
  • 需要網際網路連接以使用 CodeGPT

實施過程：

要在 CodeGPT 上運行 DeepSeek R1，請遵循以下步驟：

  1. 在 codegpt.co 註冊或登入你的賬戶，並創建一個新 AI 助理並選擇 DeepSeek R1 作為模型。
  2. 在“Assistant Knowledge”區域上傳你的文件或 GitHub 資源庫，這將成為 AI 的知識基礎。
  3. 在“Instructions”選項卡中設置系統提示，並可選擇新增更準確或限制行為的規則。
  4. 測試你的助理響應以確保準確性，然後發布並透過公共鏈接或組織內部進行共享。
  5. 定期檢查你的助理的性能，以不斷優化和提高準確性與效率。

使用 CodeGPT 的好處包括零技術背景、簡單的文件管理、內建分析和監控，以及可以與多人共享的特性。

透過 LM Studio 和 Ollama 以代碼規範運行 DeepSeek R1

方法 1：使用 LM Studio 運行自定義 DeepSeek R1

LM Studio 提供完整的資料主權及離線運行功能，儘管需要一定的技術能力，它簡化了模型發現、下載及本地執行過程，並提供兼容的API以進行無縫集成。它支持功能調用以進行高級提示交互，並通過其“Advanced Configurations”功能進行細粒模型調整。

即使沒有高端硬體，你仍可激活 DeepSeek R1 的核心能力。尤其是，DeepSeek R1 的輸出包括描述性的“思考”階段，使你能夠展示或隱藏它的推理過程。

計算需求：

  • 至少 16GB 記憶體（更多更好）
  • 儲存空間：20GB+
  • CPU 支援 AVX2 指令
  • 支援的操作系統：macOS(M1/M2/M3)、Windows(x86 或 ARM)、Linux(x86)
  • 不需要特定的 IDE
  • GPU(例如 NVIDIA RTX 3070) 可以提升性能

實施過程：

  1. 自 LM Studio 官方網站下載並安裝。
  2. 開啟 LM Studio，了解邊欄資訊：Chat、Developer、My Models、Discover。
  3. 移至“Discover”頁簽，搜尋“DeepSeek R1 Distill”模型，例如 Qwen-7B 或 Llama 8B。
  4. 根據硬體選擇合適的量化版本。確保雙擊“GGUF”和“MLX”多選框以確保兼容。
  5. 點擊綠色“下載”按鈕並等待完成。
  6. 進入“Chat”頁簽，選擇下載的 DeepSeek R1 模型並開始通過輸入提示進行交互。

使用 LM Studio 的優點包括完全數據隱私、使用簡易、即便是在飛行模式也可用以及無需訂閱費用。此外，使用不同的模型也十分容易切換。

方法 2：使用 Ollama 運行自定義 DeepSeek R1

Ollama 是運行本地 LLM 的好選擇，特別是如果你熟悉命令行或需要編程控制。它支持包括 DeepSeek R1 在內的多種 AI 模型。

這些模型可以提供多種大小、量化格式和縮小版本，以在性能和資源使用中取得平衡。此外，它能跨平台運行，適用於 macOS、Windows 及 Linux，且安裝簡便。

計算需求：

  • 記憶體：至少 8GB（較大模型需更多）
  • 儲存空間：500GB+，具體取決於所選模型
  • CPU：Intel Core i5 或更高版本
  • 軟體：macOS, Linux, 和 Windows；VSCode 1.96.0 或更新版本；Node.js 20.0.0 或更新版本

實施過程：

步驟 1：安裝 Ollama

在運行 DeepSeek R1 之前，你需要在系統上安裝 Ollama。

  • 對於 macOS（使用 Homebrew），輸入以下命令以安裝 Ollama：

    brew install ollama

  • 對於 Windows 和 Linux：請至 Ollama 官方網站查詢平台特定的安裝指南。

步驟 2：下載 DeepSeek R1 模型

當 Ollama 安裝完成後，下載 DeepSeek R1 模型：

ollama pull deepseek-r1

預設情況下，這會下載主要的 DeepSeek R1 模型（較大）。若想要較小的版本，請使用標籤指定大小，如：

ollama pull deepseek-r1:1.5b

這會獲得專為優化性能的 1.5B 縮小版本。其他示例包括：

ollama pull deepseek-r1:7b
ollama pull deepseek-r1:14b-qwen-distill-q4_K_M
ollama pull deepseek-r1:1.70b-llama-distill-fp16

步驟 3：啟動 Ollama 服務器

保證 Ollama 隨時可運行 AI 模型，於新終端窗口中啟動其服務器：

ollama serve

步驟 4：在本地運行 DeepSeek R1

現在，可以直接從終端與模型互動：

ollama run deepseek-r1

對於特定模型版本，使用模型標籤（例如，7B）：

ollama run deepseek-r1:7b

步驟 5：向模型發送查詢

你現在可以開始向 DeepSeek R1 提出問題：

ollama run deepseek-r1:7b "Who is Condia?"

與 DeepSeek R1 的交互涉及直接透過命令行，但 Ollama 也提供使用 API（應用程序界面）選項，而不是直接輸入命令。

使用 Ollama API

以下步驟展示如何使用 curl 命令，curl 在發送請求至基於網絡的 API 時很常見。

  • 例如，要從你的終端生成文本，輸入：
curl http://localhost:11434/api/generate -d '{"model": "deepseek-r1:7b", "prompt": "write a Python function that reverses a given string."}'

使用 Ollama 的好處包括：

  • 簡單的設置，明確的命令。
  • 所有操作都在你的設備上進行，確保完全數據私隱。
  • 根據需要輕鬆切換不同的 AI 模型。

總結

了解生成性 AI 的優勢和劣勢將幫助你打造高效的 AI 助理。定義用途、從小任務開始測試，持續更新你的知識基礎。本文展示了如何輕鬆地在本地運行 DeepSeek R1，無論是使用 CodeGPT、LM Studio，還是 Ollama。現在，是時候探索本地 LLM 的潛力了。

常見問題

Q: 誰是 DeepSeek 的擁有者？

A: DeepSeek 是一家總部位於中國杭州的私營 AI 公司，由高飛者資助，梁文峰領導。

Q: 應選擇哪種 DeepSeek R1 模型？

A: 如果擁有強大硬體，使用主要的 DeepSeek R1 模型。若需要在有限資源下進行快速生成，選擇一種縮小版本，如 1.5B 或 14B。

Q: 這些自定選擇是否免費？

A: Ollama 和 LM Studio 是免費且開源的。DeepSeek R1 的許可通常允許免費使用，包括商業應用。雲服務的一些調優可能會產生成本。CodeGPT 則提供有限功能的免費帳戶。

Q: 可以在遠程服務器或 Docker 上運行 DeepSeek R1 嗎？

A: 可以，在 Docker 容器、雲虛擬機或者本地服務器上運行 DeepSeek R1，只要可安裝 Ollama 即可。

Q: 能否在手機上微調 DeepSeek？

A: 由於高運算需求，直接在手機上進行微調通常不可行。然而，你可以用手機遠程訪問功能強大的計算機或雲服務進行微調。

Q: 這些模型適合商業用途嗎？

A: 是的，DeepSeek R1 系列模型採用 MIT 許可，Qwen 縮小版本採用 Apache 2.0 許可。Llama 基於的版本有其自身的許可。請研究您希望使用的特定許可細節。