萌落格

評估大語言模型（Large Language Model, LLM）微調和訓練所需的硬體成本，是一個常見且重要的問題。在實際專案中，演算法能否成功運作是一回事，能否在預算內運作則是另一回事。 硬體成本往往是決定專案能否順利推動的關鍵因素，因此評估硬體成本是資訊專案管理者的日常工作之一。也反映出你對於大型模型工程化部署的整體掌握能力。這類問題不同於單純的演算法，它能直接顯示你對模型訓練工程體系的理解深度。 喔對了，這是上一篇「 推理篇 」(如果你有興趣參考，會另開視窗)的續集沒錯，但沒有「家用」標題了。LLM微調與訓練不是家用消費主機能做的。 對於緻密模型 (Dense Model) 的硬體成本評估 緻密模型 (Dense Model) 指的是在推論或訓練時，每次都會載入所有參數的模型。舉例來說，一個參數為 80 億的Llama 8B 模型，就是一個緻密模型，每次訓練或推論都會帶入全部的 80 億個參數。 對於這種架構的模型，若採用全量微調（Full Fine-Tuning），由於每一步計算都會啟動所有參數，硬體成本的評估邏輯相對直接。以一個 22B 的緻密模型為例，在全量微調（Full Fine-Tuning）時，通常會用到 16-bit 浮點數（FP16），所需的 VRAM 大致是： 參數數 × 16 (FP16) + 梯度 × 16 (FP16) + 優化器狀態 × 32 (AdamW) 這個公式會因優化器不同而異，粗略估計所需的顯示卡記憶體 (VRAM，顯存) 。 以下為針對不同情境的硬體成本評估： 全量微調 (Full Fine-Tuning) 的顯存需求 在全量微調過程中，GPU 需要載入模型的全部參數。舉例來說，一個 Llama 70B（700 億參數）的緻密模型，若使用 FP16（16 位元浮點數）精度儲存，每個參數需佔用 2 個位元組，單是模型參數就需要大約 140GB 的顯存來儲存。在訓練期間，每個參數會產生對應的梯度，這又需要額外 140GB 的儲存空間。此外，常用的優化器（如 Adam）還需額外維護每個參數的一階和二階動量等資訊，通常需要相當於參數大小四倍的顯存，約 560GB。 總體顯存需求：將以上需求加總，一個 70B 模型的全量微調總共約需要 840GB 顯存。此外，還需考量到前向傳播過程中的中間結果、記憶體碎片化，以及分散式訓練時的冗...

最近開始負責輔導小企業導入AI專案，把心得整理一下提供有需要的人參考。順便也幫自己打個廣告，有需要導入AI資訊科技取代傳統人力的企業，可以找我:) 文前提示：這是入門文，我不會用精確的資訊工程名詞，因為不希望讀者還要查太多其他資料。本文也經過Google GEMINI審稿，有AI味是正常的， 絕對不是我想偷懶 。 首先是根本問題：「你為什麼需要身邊一台AI主機？」「AI主機要拿來幹什麼？」 先除去「買5090除了AI還可以打3A遊戲，爽爆！」這種答案。這種真心話千萬不要跟老婆或者董事會說，自己知道就好。 簡單地說，把反覆的工作交給AI，而需要專業和創意的部分讓人類來做。然而，有些資料你不會希望把它拿到外面去計算生成。 你也不想讓外人知道採購合約、法律條文、還有你私藏的性癖怪怪那些玩意吧？這位 太太 （av常見的開場 AI運算場景又可以分為訓練和推理兩個大方向。其中 訓練 (如果你有興趣深入瞭解，會另開一篇文章)需要強大的浮點運算能力（FP32）和並行的資料輸入，你可以想像成準備考試時拿了許多份考古題在解答的應考生。而推理則注重低延遲高吞吐的資料輸出(FP8/FP4)，就像已經對課程很熟悉的教授只想最快的寫一份試題出來才能下班。 在個人和小型企業，絕大多數的場景都在推理，用人家訓練好的成果來繪圖、生文章。所以一台硬體支援低延遲高吞吐，而且能本地部署的電腦主機和LLM是你需要的。 正規來說，一台為邊緣AI應用而生的某工作站，一顆AMD Ryzen Threadripper Pro 7975WX，8根64GB ECC DIMM再加上SSD、2000W電源、網路卡再加上其他套件，然後5090是8萬台幣上下，最少一張最多無上限，也就是說總價50萬台幣起跳。 這對大多數小企業無法負擔，所以讓我們深挖。 第一章：本地AI核心與建議 好，你決定在本地安裝主機來提升員工生產力，或者生產你的DEEP♂DARK♂FANTASY瑟瑟精神食糧了！首先你要選擇大型語言模型（LLM），也就是認識AI之間的差異。 在LLM的世界中，同個模型的參數數量會寫在後面，例如8B、70B、235B這種數字，單位通常代表“Billion”。例如Llama Scout (109B)、Mixtral (8x7B)、Qwen-1.5 (235B)、DeepSeek (671B) 。一般而言，模型參數規模越大，其在未...

對鋼彈作品，我這種UC遺老只有兩種態度 ↑這句在官方繁中和簡中都翻錯意思了，感謝字幕組 發生在UC紀元的動畫作品：服裝、人物個性是否時代正確、戰線補給、AMBAC運動的軌跡都要考慮合不合設定。 其他世界的作品：嘛，算了，爽就好  《機動戰士鋼彈 GQuuuuuuX》在我心中歸類於後者，因此我個人是看得很開心的。  然而不談鋼彈，貫穿全劇的基本底盤小番茄、喵安、偽背心尊者做為主要角色，合理性與思考邏輯蕩然無存。 三人成了推進劇情，被主創不斷任意變臉的NPC 做到這種程度，對比台詞高談什麼新人類的自主就十分打臉 因此，為了包起「年輕人的下一部鋼彈」這個壽司主菜 附帶如同醬油跟紅薑地位的UC人物與致敬點，庵野跟鶴卷料理得十分美味，我滿足了！ 但主菜過於混亂又不合理仍然是很明顯的硬傷 重大動機轉折都要參考富野的小說、初代電視版到逆夏的所有動畫才能理解 這種「不看輔助設定書就看不懂主要作品想表達什麼」的狀態也讓最近社交媒體上 不少新一代觀眾被騙了去補完初代，然後發現初代故事還比較容易看懂 ...這才是這兩名老人的計算嗎？ ↗咦↘

翻譯匯整油管up主 Gamore 〜ガモーレ〜  對動畫《機動戰士鋼彈 GQuuuuuuX》與暫訂*正史世界線的比較，提供各位回看和傳教的便利。 *目前最後一話尚未播出所以無法確定是正史？正史人物的夢境？平行世界？ 庵野跟鶴卷的魔法少男夢？ 使用Google Gemini 翻譯後由筆者進行人工潤色，因為是彙整就不採取字對字的翻法了。如有謬誤之處請指出。如果需要觀看原影片配飯請見文章結尾。 《機動戰士鋼彈 GQuuuuuuX》 版本的一年戰爭懶人包 各位鋼彈粉大家好！今天我們要來聊聊一個比較特別的版本——《G-Quax》中的一年戰爭歷史。這部作品跟我們熟悉的官方正史有些不一樣，但又有很多相似之處，一起來看看吧！ 一、 前期戰況（開戰至鋼彈被搶）   UC.0079 年 1 月 3 日： 吉翁公國對地球聯邦政府宣戰，發起了一場為了宇宙住民自治的獨立戰爭，這就是「一年戰爭」的開端。 殖民地墜落作戰： 吉翁執行了殖民地墜落作戰，導致雪梨等地遭受嚴重破壞。結局畫面中的地球儀，澳洲大陸還缺了一塊呢！連二次傷亡加起來，總共有 55 億人喪生，差不多是人類總數的一半！ 魯姆戰役： 雖然吉翁軍的兵力處於絕對劣勢，但他們靠著 MS 薩克擊敗了聯邦軍。吉翁原本想藉此機會提出停戰協議，但因為被俘的雷比爾將軍成功逃脫，並發表了那句有名的「吉翁已無可用之兵！」演說，導致戰事繼續下去。 地球侵攻作戰： 停戰協議沒談成，吉翁軍在 2 月發動了地球侵攻作戰。 聯邦的反擊： 4 月： 聯邦軍啟動了開發新型 MS 的「V 作戰」和重建宇宙艦隊的「文森計畫」。 6 月底： 吉翁完成了宇宙要塞所羅門的建設、建立了佛拉納根機構進行新人類研究，以及部署了宇宙要塞阿巴瓦空。 到這裡為止，電影小冊子裡的年表跟正史幾乎完全一致，所以前期故事發展應該是差不多的。 二、 轉捩點：鋼彈被夏亞搶走！ 7 月： 聯邦建造了突擊登陸艦「飛馬號」。不過這裡開始就有差異了，正史中的白色基地是 LMSD71 型，但《G-Quax》裡的索頓號是 LMSD70 型。而且《G-Quax》明確寫著首艦是在 7 月 7 日建造的，正史則不明。 8 月： 鋼彈和其他新型 MS 的最終測試在 Side 7 展開。這點跟正史差不多，畢竟正史裡試作型鋼彈是 7 月出廠，9 月白色基地才去接...