中研院研究團隊獲國科會補助，研發壓縮繁體中文大語言模型，使鄉鎮公所可在單機GPU上運行便民聊天機器人，戶政與防災資訊不必依賴海外API。

要解決的問題

數位發展部鼓勵地方政府試行生成式助理，但許多鄉鎮回傳線路不穩，隱私官員也擔心含姓名地址的方言提問外洩。團隊以量化與知識蒸馏處理台灣國語與閩南借詞，目標四億參數以下仍準確回答政策FAQ，苗栗、屏東公所參與試點。

技術路線

以開源權重為底，依政府QA、法院公告與氣象模板剪枝。鄉鎮人工標註錯誤時段與金額，每週重訓。硬體目標為機房單卡L40S級，颱風斷網仍可服務。

與數發部規範

數發部AI標示草案要求機器生成揭露，系統內建免責模板。若稽核日誌在地，可列入「自主推論」採購類別。

限制

小模型不該解釋法律爭議，可能記憶過期收費表。補助含第三方紅隊測試提示注入。

時程

2027年3月前於兩鄉鎮試點，並釋出工具鏈。在禁止公部門用AI與全外包之間，此為中間路線測試。

預算與採購

三年期補助含四名博士后與六名鄉鎮聯絡人。中研院資料治理委員須逐縣核准訓練語料。採購法對GPU箱是否需中央標案，數發部正研議。

評測與開源

將公布準確率、單卡延遲與拒答率排行榜。開源權重不含原始民眾個資。