618想換電腦跑AI？先聽我一句勸！

最近 618 開始了，又到了一年一度換設備的日子。

端午節之后，就有好幾個朋友問我，你的電腦用的是啥配置的。

我一般就會發兩張圖過去。

他們一般就會發一個地鐵老頭看手機的表情，然后問：

想買一臺學 AI 的筆記本，有沒有什么推薦的。

我每次總會反問一句話：

學 AI？你主要學啥。

對方就會跟我說，搞個知識庫，畫畫圖，做做 AI 編程，學學 AI 視頻啥的。

這時候我就會問他們，你是有很多的不能上云端的隱私數據嗎，還是你要在本地玩一些自定義或者很特別的工作流？

這時候有朋友就懵逼了。。。

說啊？這些是啥？玩 AI 不需要好配置的嗎。

反過來給我也問懵了。

所以，我覺得，我還是想寫一篇文章，來給大家聊一聊，到底什么樣的 AI，適合在本地跑，什么樣的 AI，適合在云端跑，什么樣的 AI，直接網頁上用就行了。

也算是做個科普，如果看完了以后，你覺得，你確實有必要買一臺新電腦的話，文末我也挑了幾款我自己覺得還不錯的，618+國補確實價格還行，可以去看看。

什么樣的 AI 適合在本地跑，其實一般只看兩個點：

1. 對算力的要求是多少。
2. 是否有安全、保密的隱私需求。

模型的參數量種類有很多很多，1.5B，8B，14B，32B...

比如 Qwen 家的，參數一堆。

哪些能在本地跑，哪些不能在本地跑，要搞清楚這個，我們首先得做點小學二年級數學題....

B 全稱為 Billion，十億。

1B 的模型就說明有 10 億個參數，一個全精度的參數為 4 個字節，那么 1B 的模型為 40 億字節。

1GB 恰好為 10 億個字節，也就是說，跑一個 1B 的參數需要 4GB 的顯存。

但是對于大模型推理來說，全精度（FP32）太浪費資源了，所以大多數，我們會跑半精度（FP16）或者 INT8 量化的模型，也就是一個參數占 2 個字節或者 1 個字節。

這樣，跑一個 1B 的參數只需要 2GB 顯存，跑一個 8B 的參數只需要 16GB 顯存。

雖然在推理的時候，還需要一定的顯存做上下文緩存，但是加上量化，推理優化等等方法，本地 16GB 顯存跑一個 8B 的模型還是 OK 的。

比如說，前兩天 DeepSeek 在 qwen3-8B 蒸餾出的 deepSeek-R1-0528-Qwen3-8B 模型可以完完全全部署在本地跑。

有了這個概念之后，你就會知道，雖然本地部署大語言模型的方法多種多樣，不管是 ollama，還是 LM studio，或者 vllm，你只需要關注三點：

1. 模型的參數量。
2. 模型是否量化。
3. 你的顯卡顯存。

基本上，14B 及以上的模型跑在本地還是很麻煩，比如一個 INT8 的 14B 模型，我在 5080 上跑，很慢，而且留給 KV 緩存的空間很少，真要跑，還是 4090 或者 5090 會好一些。

14B 以下的模型，需要你自己評估一下參數量以及顯存的大小。

上面談到的都是語言模型，那么圖像模型，視頻模型，音頻模型，3D 模型呢，其實基本差不多，一樣的道理。

比如大家都熟悉的 ComfyUI，一個強大的生產力工具，可以生成圖像，視頻，音頻，3D 模型；但是在本地使用 ComfyUI 的前提是，你的顯卡得 hold 得住這些模型。

ComfyUI 官方推薦了一些模型，這些模型參數量多少，需要多少顯存我都列在了這里。

上面說了這么多，你肯定對什么樣的配置能在本地跑模型，有一些自己的想法了。

但是這時候你可能又會問，本地跑模型到底有哪些好處，為什么非得跑在本地啊，我去網頁上用不香么？

所以這里要說的，就是隱私安全與合規性問題了，如果你有很重要的數據不希望泄露或者出現在別人和模型的對話中，比如商業機密，醫療數據等等，那么你只能選擇本地部署一個模型。

本地部署模型絕對不會出現數據泄露的問題，因為所有的計算都在你自己的電腦上完成，除此之外，沒有任何的請求，所以本地部署的模型，不用聯網也能用。

舉個例子，我們都知道知識庫這個東西，我們也有很多教程，比如用 Dify、扣子、ima 啥的來搭自己的知識庫。

你當然有很多很多的內容，可以扔上去，但是如果，是你自己公司的資料呢？如果是你的隱私數據呢？你敢扔上去嗎？

比較最最核心的模型服務，都是在人家那，隱私保護，是最最核心的，沒有之一。

但是你又有 AI 輔助的需求，你就只能選擇本地部署，沒有別的辦法。

舉個例子，《流浪地球 3》的劇本，你動腦子想，都能知道，這玩意保密性有多強，一個電影上映前，劇本泄露，就是最恐怖的事情，但是我們當然有需求，針對劇本進行一系列未來視覺化的工業化 AI 輔助和流程。

這玩意我們敢扔到任何所謂的什么 ChatGPT、Gemin、Claude、DeepSeek、元寶、豆包上嗎，敢扔那就是瘋了。

所以只能部分搭本地用 5090D 來推理，部分找云服務廠商合作。

但是如果是個人使用，其實也不需要 5090D 這種級別的卡，5060ti 或者 5070 其實也就差不多了。

你像豆包 PC 版，就跟英偉達一塊，搞了個本地知識問答。

就是為了解決隱私的本地知識庫的需求。

下載下來的模型是個 7B 的，推薦使用 12G 以上的顯卡去用，基本也就是 5060ti 以上了。

不過有個好玩的是，這個 7B 的模型，是智譜的 GLM-4。。。

當然你也可以用 Ollama 啥的自己來部署，就是麻煩一些。

本地部署還有一個優勢，就是一旦部署，無限免費使用。

比如用 ComfyUI 隨便跑，隨便 roll，無延遲，無排隊，最最重要的是，再也不用積分焦慮了。

但是話又說回來了，由于本地受限于算力的問題，參數量太大的模型跑不了，但參數量更大的模型意味著更好的表現，更廣的知識面，更穩定的輸出。

如果你是一個企業的負責人，需要為員工配置大模型，但又不希望隱私泄露出去，其實我更推薦的就是，可以選擇在云端（火山引擎、阿里云等云服務廠商）部署大模型，比如 Qwen2.5 72B（需要 4 張 48GB 顯存的顯卡）。

如果只是自己偶爾用一用，也不涉及隱私數據啥的，其實像我一直推薦的 AutoDL 之類的也不錯，你可以直接去租一下服務器臨時用。

以上，看完了以后，我覺得對于你是否需要一臺能玩 AI 的設備，現在有了一個非常明確的判斷了。

如果你明確了，你確實需要一臺的本地設備的話，我也推薦幾個 618 值得買的筆記本，目前都還有貨，且我自己覺得不錯的（非利益相關）。

臺式機我就不推薦了，臺式機大家還是自己攢吧，5060Ti、5070、5070Ti 都可以，當然你要是預算足夠，上 5080 和 5090D 也沒啥問題。

大家有更好更推薦的，也歡迎評論區打出來，或者還有什么 618 值得買的小玩意。

希望這篇文章。

對大家，有一些幫助。

以上，既然看到這里了，如果覺得不錯，隨手點個贊、在看、轉發三連吧，謝謝你看我的文章，我們，下次再見。