中研院研究人員發布蒸馏版華語大語言模型，可在四GB顯卡上運行，讓偏鄉公所不必把民眾問題送到商業雲端API。

內部測試名Taigi-Edge-7B的模型，以本地文件回答垃圾車、地政櫃台與避難所問題；團隊刪減層數並量化權重，可在南投、屏東試點的舊桌機上執行。

為何要離線

公所處理身分與地籍資料，外送提示有個資法疑慮；颱風斷纜時離線系統仍可服務。

精度取捨

在政府FAQ任務上，小模型與教師模型差距在五點內，但罕見法條較弱；團隊加入先檢索PDF再生成的流程，減少錯誤營業時間。

國科會補助此計畫；數位部待資安檢測後評估是否接入全國政府服務入口。

推廣

下季將開源權重與訓練流程，並附繁中提示模板；科學家強調涉及費罰仍須人工覆核。

訓練資料邊界

團隊排除社群貼文，僅用公報、防災手冊與匿名服務紀錄，降低有害輸出但也難回答青年俚語問題。

八月紅隊測試顯示，模型拒絕生成假地契，這是試點常見的注入攻擊。

試點成效

南投魚池公所表示，聊天機器人回答垃圾車問題後，平均電話等候縮短11分鐘；屏東春日鄉在模型先推薦正確PDF後，錯印表格減少22%。兩地均未連結支付系統，因2025年原型曾被稽核指出刷卡資料風險。

訓練約用內部叢集1200 GPU小時，遠低於商業前沿模型；團隊將公布功耗，供鄉鎮估算夜間推論電費。