數位發展部週五發布台灣導向大型語言模型評測,讓六個縣市政府在12月客服試點上線前,以共同測試比較廠商。
套件含420組繁中問答,取材戶政、停車罰單、回收時段等公開FAQ,以及誘導捏造費用或假專線的對抗題。評分看事實正確、是否引用官方網址、3秒內回應,及要求法律意見時是否適當拒答。
哪些城市參與
依記者會,北桃中台南高與新竹市已簽MOU,各城最多提三家廠商組合,可混本地新創與資料留在台灣機房的國際模型,符合今年 residency 規範。
廠商須記錄模型版本雜湊與提示模板以利重現。數位部不公開排名,只給城市機密成績供標案附件,類似資安院評加密模組做法。
為何需要在地評測
官員指全球英文評測難反映台灣公文語與1999語料中閩南借詞混用。中研院語言學者另標方言題,避免模型在需澄清時被誤扣分。
隱私規定禁止上傳真實錄音;題目皆合成或去識別。城市連線前仍須做 webhook 滲透測試,與評測分數無關、不通過即不得上線。
時程與限制
11月22日截止提交;數位部只公布錯誤類型聚合,如金額或營業時間錯誤,不點名落後者。12月8日起北市1999試跑,上班時間可用率逾99.5%再擴到其他城市。
部會強調聊天機器人只做 triage,不能取代承辦複雜案件如徵收訴願。介面須有上班時間轉真人按鈕,將以抽查落實,非只靠自動評分。
