%2520.png)
AI 客服品質檢核是在客訴發生之前,用固定節奏抽查對話、找出答錯並分類的例行工作。這篇給電商與零售團隊一套不需要錄音檔、也不需要專職檢核人員的做法:先抽被倒讚的、觸發「查不到知識」話術的、轉真人後又重複問的三類對話,再決定一週抽幾筆、抽到之後改哪裡。
本段重點:一次答錯不可怕,重複兩週才可怕
AI 客服品質檢核是用固定節奏抽查對話、判斷答錯屬於哪一類,再決定要改知識庫還是改流程的例行工作,目的是在客人投訴之前先發現問題。它要回答的不是「我們家 AI 準不準」這種整體評價,而是窄很多的問題:剛剛那一筆答錯,之前已經發生過幾次。這篇講的是文字客服:對話留得下來、能用關鍵字搜尋。
小吳在一家服飾電商負責日常營運,客服也歸他管。周三下午三點,他正在排下一檔活動的頁面,手機跳出粉專留言通知。點進去是一張對話截圖,客人在底下寫「你們 AI 說可以退,現在又說不行?」小吳沒有印象。它什麼時候講過這句話。
更常見的是安靜一點的版本。周一早上,客服轉過椅子跟他說,這題它上禮拜也答錯過一次。小吳愣了一下:上禮拜?那上上禮拜呢。
他點開後台,找到那筆對話。AI 真的講錯了。接下來的問題才難:同樣這題,之前還錯過幾次?
這件事現在比以前更值得停下來處理。Gartner 在 2026 年 2 到 3 月訪問了 3,566 位 B2B 與 B2C 客戶,其中用過生成式 AI 處理服務問題的人,有 58% 讓它代為完成某件事,B2B 情境更高到 74%[1]。客人已經不只是問問題,他是照著答案直接去做。退貨期限講錯、運費門檻講錯、活動規則講錯,他不會回頭確認,他會下單,然後在收到帳單的那一刻生氣。
那個禮拜小吳試過一次。每天晚上收工前留半小時,從最新的往回翻。第一天翻了二十幾筆,全是查訂單、問運費、改地址;第二天一樣;第三天開始跳著翻,第四天就沒再打開了。
不是他不夠認真。文字對話散在 LINE、FB、IG 和官網,沒有錄音檔可以倒帶;整個客服就兩個帳號,誰都不可能專職看對話。更要命的是,他翻的是哪幾頁,跟錯答在不在那幾頁,完全沒有關係。
網路上搜得到的做法,大多是客服中心那一套:有錄音檔、有逐字稿、有專門聽通話的人,對話全部檢核一遍。小吳沒有這些條件,他只能抽樣。
抽樣的關鍵不是抽幾筆,是從哪一堆對話裡抽。先把範圍縮到最可能出事的那幾種,再開始看。
本段重點:這三類佔掉大部分的錯
抽查 AI 客服不從最近的對話開始抽,而是先抽三類帶有風險訊號的對話:被客人倒讚的、觸發「查不到知識」話術的,以及轉真人之後又重複問同一題的。先把要看的範圍縮到這三類,再談一週要抽幾筆。這個順序適用於對話量還在單人看得完的規模;大到要分工時,三類要各自指定人,不是照同一份清單輪流看。
小吳翻的那幾頁為什麼沒用?因為 AI 客服的錯答不是平均散落在所有對話裡,它集中在少數幾種狀況上。從最近的往回翻一百則,先讀到的會是九十幾則正常的訂單查詢,剩下幾則碰運氣。
這類最簡單,因為客人已經先標好了。Alta.DI 後台的按讚與倒讚可以設定觸發動作,客人按下倒讚的當下有三種處理方式:只留紀錄、自動發一句話術把人接住,或直接轉真人。做抽查用,留紀錄那個設定就夠了。
但倒讚的數量會比預期的少很多。客人不滿意多半是直接關掉視窗,不是停下來按那個拇指。所以這一類抽得很快,也很可能抽不滿;那是正常的,只代表這個訊號的覆蓋率本來就低。主力在後面兩類。
Alta.DI 的守門機制是這樣設計的:AI 在知識庫裡找不到對應內容時,依自訂的話術回覆,不自己編一段聽起來很合理的答案。這個設計有個順便的好處:每一次觸發,都等於系統舉手說「這題我不會」。
把這些對話調出來,會看到兩種情況。一種是客人問了本來就不該由 AI 回答的事,像是報價、客訴、個資,那是正常擋下來;另一種是客人問的明明是常見問題,但知識庫裡沒有,或是寫法跟客人的問法對不上。第二種就是這週要補的東西,也是知識庫怎麼寫才答得對這件事真正開始有感的地方。
這類最麻煩,所以放在最後講。
承接分三層:Flow Bot 先用按鈕把結構化的問題分流,AI Bot 處理開放式問答,兩層都處理不了才交給真人。正常情況下,轉到真人之後那一題就結束了。如果客人在真人這邊又把同一題問了一遍,代表前面兩層不只是沒答對,是給了讓客人不敢相信的答案。
為什麼這類該優先處理?Gartner 同一份調查裡,87% 的客戶認為使用生成式 AI 時必須保留轉接真人的選項,而讓原本不願意用 AI 的人改變想法的頭號因素,就是「需要的時候能轉給真人」[1]。轉真人這條路一旦走得辛苦,他下次就不會再用了。
2026 年 10 月 Frontiers in Psychology 的一份研究測了這件事:讓真人接手,能明顯緩和客人的技術挫折感,但對「這家店講的話好像不太能信」這種認知失調幾乎沒有作用[2]。那是情境實驗、用的是預寫腳本不是真實 AI,不能直接套到自家客人身上,但方向很清楚:答錯之後補救,補得回情緒,補不回信任。
本段重點:先確認手上的工具看得到哪幾類
倒讚回饋與「查不到知識」話術是基本功能,多數平台都有;轉真人之後的重複提問要靠同一個後台看得到跨通路的對話;自動替對話貼標籤分類則通常要進階方案才有。
所以在開始抽之前,先確認一件很現實的事:手上這套工具,三類訊號看得到幾類。
小吳的店當初是先在官網掛了聊天視窗,後來 IG 和 LINE 的訊息變多,就各自開了內建的自動回覆。三個地方分開長,第一類和第二類都看得到,第三類完全看不出來。客人在 IG 問了一次沒得到答案,轉到官網再問一次:這在兩個互不相通的後台裡就是兩筆各自獨立的對話,誰也看不出它們是同一題。
這種組合很常見,而且在客服量還小的時候通常夠用;會出事的時間點不是量變大,是客人開始在不同通路之間來回的時候。
Alta.DI 把 LINE、FB Messenger、Instagram、WhatsApp 與官網 Livechat 收在同一個工作台,第三類訊號才看得出來。這也是「不被通路綁住」這句話在日常作業裡實際長的樣子:重點不是多支援幾個通路,是同一個客人在不同通路做過的事能被接起來看。
方案的部分也要先講清楚,免得照著做到一半才發現做不了。按讚與倒讚、「查不到知識」的自訂話術,以及系統內建的電商場景預設意圖分類(退貨、查訂單、問規格這一類),在成長方案(每月 9,980 元、兩個客服帳號)就有,三類訊號的抽樣靠這些跑得起來。要讓系統自動把對話貼上自行定義的標籤、或是訓練自訂意圖,那是進階方案起的功能。
這篇的抽樣法刻意不建立在標籤分類上,就是因為這個。用篩選條件加上人工判讀,成長方案也跑得完整套流程;標籤分類只是讓同樣的事更快,不是前提。
真的三類都看不到的話,先只跑第二類。打開最近一週的對話,用關鍵字搜尋那句「查不到」話術裡的固定用字,有幾筆就看幾筆。這件事不需要任何進階功能,只需要一個搜尋框。
本段重點:筆數從時間回推,不是從總量
一週抽幾筆取決於週對話量與通路分布。下面這張表把對話量分成三組,各給三類訊號各自的配額;某一類抽不滿不用湊,那代表這週的風險訊號本來就少。
表上的數字不是統計出來的,是從時間回推的。一筆對話要讀完、判斷答得對不對、再歸類,平均花一到兩分鐘;一個人每週能穩定擠出來的時間大概是六十到九十分鐘。這樣算下來,上限就是六十筆。
時間多一點可以往上加,少一點往下砍。但不要砍通路配額:寧可每個通路各看三筆,也不要把六十筆全花在 LINE 上。
對話量在後台的聊天分析裡看得到:進會話統計,日期範圍設成最近七天,取「有效會話」那個數字。
小吳的店每週大約五百筆對話,落在中間那一組:一週三十五筆,倒讚的全抽(通常兩三筆),剩下的名額對半分給另外兩類,再按 LINE、IG、官網各自的對話量分配。
不用硬湊到表上的數字。抽不滿代表這週的風險訊號少,那是好事。空出來的時間拿去做回歸測試:把上週修過的那幾題,在 AI Playground(後台的測試區)重問一次,確認改完真的有效。這比多抽十筆正常對話有用得多(改過的地方,才是最可能改壞的地方)。
還有一個容易弄錯的地方:表裡的「筆」指的是對話,不是訊息。一個客人問三輪、AI 回三次,那算一筆。用訊息數去算,看起來抽了很多,實際上可能只看了七八個客人。口徑這件事不只出現在抽樣,客服報表的三個數據黑箱裡有更完整的對照。
本段重點:四類原因,四種改法
答錯先分四類再動手:知識庫根本沒有、知識庫有但過期、知識庫對但 AI 選錯、該轉真人卻沒轉。四類的改法不同,分錯類就會改錯地方。能這樣分的前提是看得到 AI 實際引了哪一則知識;看不到的話,第二類和第三類會分不開,先當成第二類處理。
第二類最容易漏掉,因為它看起來不像錯。知識庫裡那段文字當初是對的,寫得也順,讀過去不會卡住。但運費門檻去年調過、退貨天數上個月改過,那段話就從「正確」變成「過期」。小吳那題「說可以退、現在又說不行」就是這一類:政策改了,知識庫沒跟著改。同一次改動通常會牽到不只一則知識,補的時候一起搜一遍。
這裡說的提示,是後台裡寫給 AI 的那段指示:用什麼語氣、優先引哪些知識、遇到什麼狀況要怎麼做。知識庫是它能講的內容,提示是它怎麼挑、怎麼講。兩邊改的東西不一樣,所以分類分錯就會白改一輪。
第三類最難抓,因為知識庫本身沒問題。Tracing 會把那句回答攤開來:給了模型哪幾則知識、取到哪些知識片段、Agent 呼叫了哪些工具。要注意的是,給模型的知識不等於它最後採用的知識,所以看到的是範圍,不是答案的出處。但範圍對不對一眼就看得出來:該在裡面的那則根本不在,是知識庫的問題;在裡面、它卻答了別的,才是提示的問題。
線上那一筆對話本身沒有分數可以看。不會出現「這則回答 62 分」這種東西,當下的判準就是知識庫有沒有命中。好處是一定知道要改什麼;代價是沒有現成的數字可以拿去跟老闆說這個月進步多少。那個數字得自己算:最簡單的做法是每週記下四類各幾筆,連續記四週,「知識庫根本沒有」那一欄降下來,就是成績。
本段重點:同一題重複出現就別再抽了
同一題在短時間內重複出現,就不是抽查問題,直接改知識庫。抽查是用來找還不知道的錯,已經知道的錯再抽一次只是重複確認。這個門檻數的是同一題的重複次數。不同題各自累計,不要加總。
我們抓的門檻是同一題一週內出現三次以上。這個數字是從成本算的:確認同一件事三次花掉的時間,已經超過直接補一則知識的時間。團隊更忙的話,兩次就可以動手。
整套節奏也可以降頻。連續四週「知識庫根本沒有」這一類都低於總抽樣的一成,表示知識庫的覆蓋已經追上日常問題,可以從每週改成每兩週。遇到換檔期、上新產品線、改退換貨政策這種變動,再調回每週。
這件事每週會固定花掉六十到九十分鐘。如果現在已經有「每月把客服對話抽一輪來看」這種安排,可以停掉。月抽的覆蓋率更低,而且問題被看到的時候已經過了三個星期,該賠的也賠完了。用每週抽換掉每月抽,總工時沒有增加,只是把它切碎了放。
真正需要換做法的時間點有兩種。對話量長到單人看不完,大約每週三千筆以上;或者錯答開始要分給不同的人修,知識庫有人管、提示有人管、轉真人規則有人管。到那時候才值得用進階方案的對話標籤分類把歸因自動化。在那之前,多買的功能不會真的用到。
還沒上線、正在導入期的話,這套不是現在要做的事。導入期該做的是試營運的驗收,那是另一套檢查;這篇講的是上線之後的例行動作。
回到開頭的小吳。他後來沒有每天翻對話,改成每週三下午花一小時,先看倒讚、再看觸發「查不到知識」的那幾筆。第三週他發現同一個運費問題出現了四次。那題知識庫裡根本沒有,補一則花十分鐘。
這套做法的全部就是這樣:不是看得更多,是看對地方。
本週可以先做的只有一件事,三類不用一起跑。打開最近七天的對話,搜尋那句「查不到」話術裡的固定用字,把跳出來的幾筆看完,照四類記下來。一次就會知道知識庫缺的是哪一塊。
如果翻完發現訊號根本看不到,像是沒人按倒讚、轉真人之後的對話接不起來、每個通路都得另外開後台,那不是抽樣方法的問題,是手上的工具只看得到其中一段。Alta.DI 把 LINE、FB、IG、WhatsApp 與官網的對話收在同一處,也把同一位客人在不同通路做過的事串起來看,這套抽樣才跑得動。
每間店卡住的地方不一樣,要補的順序也不同。想先確認自己現在抽得到幾類訊號,Data-DI 提供30 分鐘的免費 AI 客服健檢,由顧問陪你盤目前的設定、三類訊號各自有沒有、先補哪一類最划算。不需要先準備資料,也不用開後台權限給我們,把目前用的工具告訴我們就可以。
[1] Gartner.(2026.08)。Gartner Survey Finds 87% of Customers Say Companies Using GenAI for Customer Service Must Provide Access to a Human Agent. Gartner Newsroom.
https://www.gartner.com/en/newsroom/press-releases/2026-08-04-gartner-survey-finds-87-percent-of-customers-say-companies-using-genai-for-customer-service-must-provide-access-to-a-human-agent0
[2] Chen, X., Liu, J., Chen, Q., & Li, L.(2026.10)。The impact of AI hallucination on the chatbot service quality in e-commerce: the moderating role of human agent based service recovery. Frontiers in Psychology, 17.
https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2026.1870991/full