廣達推企業邊緣 LLM 機櫃服務台灣後勤辦公

廣達電腦本月起向台灣企業後勤辦公交付預整合邊緣 LLM 機櫃，整合 GPU 伺服器、推論軟體與中文分詞管線，使銀行與製造商可運行文件副駕、不必將員工提示路由至美國超大型雲端區域——依客戶試點及 InfoHandle 查閱的廣達方案簡報。

機櫃內含什麼

設備以單一 42U 或半櫃配置出貨，可選液冷、冗餘電源與廣達 QCT 管理層。推論在廣達 AI 伺服器線已認證的 Nvidia L40S 或更新加速器上運行；客戶選擇加密硬碟上的模型權重，而非每晚從公開 hub 下載。

廣達預載台灣集團常見的 SharePoint 式文件庫檢索接頭，以及 ISO 27001 稽核格式的稽核 log 匯出器。技術人員稱安裝目標是 HR、法務樓層旁的「衣櫥機房」，而非專用 AI 大廳。

試點聚焦內部：摘要供應商合約、起草雙語安全公告、回答 IT 政策問題。台中一家精密加工廠稱因德國客戶禁止在歐盟或台灣以外處理圖面而拒絕雲端副駕。具氣隙更新 USB 的邊緣機櫃滿足採購問卷，無需聲稱完全掌控模型訓練。

試用機櫃的台灣銀行強調防詐 playbook 與 KYC 備忘草稿。合規人員要確定性檢索引用——頁碼與段落指標——讓稽核員可重播答案，而非信任黑箱聊天紀錄。

廣達與台灣研究團隊合作，在法律與製造語料上微調開源繁體中文模型，並公布持有央行函釋上的幻覺率 benchmark 卡。客戶可自帶 adapter；廣達驗證熱與功耗包絡，避免微調任務跳閘與電梯共用迴路。

InfoHandle 查閱的樣本評測顯示，機櫃在繁體中文實體辨識高於通用雲端端點，但英文 M&A 條款較弱——買方稱符合員工語言組合。

內湖辦公大樓對額外冷卻容量收溢價。廣達提供「安靜模式」，營業時間限制 GPU 時脈、接受較慢 token 吞吐，避免開放辦公室會計師被風扇淹沒。房東要振動規格才核准中樓層機房——兩個試點延至廣達提供第三方声学報告。

廣達以資本支出加年度固件訂閱報價，非按 token 雲端帳單。林口外勤工程師承諾電源與硬碟次工作日換件；GPU 故障走廣達為超大型客戶運作的 Nvidia RMA 通道。

較小企業要求租賃；廣達稱正與台灣租賃公司談，尚未公布標準 SKU。

金管會尚未認可自動法律建議，廣達行銷避用「顧問」字眼。銀行將部署框為需人工核定的「研究助理」。製造商以邊緣 LLM 生成視覺工作指示者，出口管制產線仍保留人工品質關卡。

長期模型更新週期仍不明：廣達何時推送破壞性分詞變更、客戶能否並跑兩版權重做回歸。廣達稱第四季起交貨的 SLA 附件將載明遷移窗口。

資訊部要求廣達在 GPU 過熱或檢索索引損壞時發出 ServiceNow 相容事件。QCT 層現轉發 SNMP trap 至 on-call 手機，把機櫃當一般機房伺服器而非實驗。

資安團隊對檢索接頭做滲透測試；兩個試點延後上線，直至廣達修補可透過錯誤訊息洩漏文件標題的路徑。廣達同週向企業客戶發布 CVE 式公告。

內湖一家保險集團採購法師稱，若邊緣機櫃在三十天試點對內部政策 PDF 達 92% 引用準確率，將不續約雲端副駕——廣達同意書面記錄此評估門檻。

對台灣企業而言，機櫃賭的是中文副駕應在薪資印表機旁——而非維吉尼亞 API 端點。