AI 客服品質檢核:先抽這三類對話,不要從頭抽|Alta.DI

AI 客服答錯是個案還是常態?先抽這三類對話就知道。不用錄音檔與專職人力,附每週抽樣筆數表、四類歸因處置表與停損門檻,一個人也跑得完,歡迎預約免費健檢。

Alta.DI
發布日期
19 11月 2026
19 11月 2026
更新日期

AI 客服品質檢核是在客訴發生之前,用固定節奏抽查對話、找出答錯並分類的例行工作。這篇給電商與零售團隊一套不需要錄音檔、也不需要專職檢核人員的做法:先抽被倒讚的、觸發「查不到知識」話術的、轉真人後又重複問的三類對話,再決定一週抽幾筆、抽到之後改哪裡。

‍

‍

AI 客服答錯一次,怎麼知道是個案還是常態?

‍

本段重點:一次答錯不可怕,重複兩週才可怕

‍

AI 客服品質檢核是用固定節奏抽查對話、判斷答錯屬於哪一類,再決定要改知識庫還是改流程的例行工作,目的是在客人投訴之前先發現問題。它要回答的不是「我們家 AI 準不準」這種整體評價,而是窄很多的問題:剛剛那一筆答錯,之前已經發生過幾次。這篇講的是文字客服:對話留得下來、能用關鍵字搜尋。

‍

小吳在一家服飾電商負責日常營運,客服也歸他管。周三下午三點,他正在排下一檔活動的頁面,手機跳出粉專留言通知。點進去是一張對話截圖,客人在底下寫「你們 AI 說可以退,現在又說不行?」小吳沒有印象。它什麼時候講過這句話。

‍

更常見的是安靜一點的版本。周一早上,客服轉過椅子跟他說,這題它上禮拜也答錯過一次。小吳愣了一下:上禮拜?那上上禮拜呢。

‍

他點開後台,找到那筆對話。AI 真的講錯了。接下來的問題才難:同樣這題,之前還錯過幾次?

‍

這件事現在比以前更值得停下來處理。Gartner 在 2026 年 2 到 3 月訪問了 3,566 位 B2B 與 B2C 客戶,其中用過生成式 AI 處理服務問題的人,有 58% 讓它代為完成某件事,B2B 情境更高到 74%[1]。客人已經不只是問問題,他是照著答案直接去做。退貨期限講錯、運費門檻講錯、活動規則講錯,他不會回頭確認,他會下單,然後在收到帳單的那一刻生氣。

‍

那個禮拜小吳試過一次。每天晚上收工前留半小時,從最新的往回翻。第一天翻了二十幾筆,全是查訂單、問運費、改地址;第二天一樣;第三天開始跳著翻,第四天就沒再打開了。

‍

不是他不夠認真。文字對話散在 LINE、FB、IG 和官網,沒有錄音檔可以倒帶;整個客服就兩個帳號,誰都不可能專職看對話。更要命的是,他翻的是哪幾頁,跟錯答在不在那幾頁,完全沒有關係。

‍

網路上搜得到的做法,大多是客服中心那一套:有錄音檔、有逐字稿、有專門聽通話的人,對話全部檢核一遍。小吳沒有這些條件,他只能抽樣。

‍

抽樣的關鍵不是抽幾筆,是從哪一堆對話裡抽。先把範圍縮到最可能出事的那幾種,再開始看。

‍

‍

先抽哪幾筆?三類最容易出錯的對話

‍

本段重點:這三類佔掉大部分的錯

‍

抽查 AI 客服不從最近的對話開始抽,而是先抽三類帶有風險訊號的對話:被客人倒讚的、觸發「查不到知識」話術的,以及轉真人之後又重複問同一題的。先把要看的範圍縮到這三類,再談一週要抽幾筆。這個順序適用於對話量還在單人看得完的規模;大到要分工時,三類要各自指定人,不是照同一份清單輪流看。

‍

小吳翻的那幾頁為什麼沒用?因為 AI 客服的錯答不是平均散落在所有對話裡,它集中在少數幾種狀況上。從最近的往回翻一百則,先讀到的會是九十幾則正常的訂單查詢,剩下幾則碰運氣。

‍

第一類:被倒讚的對話

‍

這類最簡單,因為客人已經先標好了。Alta.DI 後台的按讚與倒讚可以設定觸發動作,客人按下倒讚的當下有三種處理方式:只留紀錄、自動發一句話術把人接住,或直接轉真人。做抽查用,留紀錄那個設定就夠了。

‍

但倒讚的數量會比預期的少很多。客人不滿意多半是直接關掉視窗,不是停下來按那個拇指。所以這一類抽得很快,也很可能抽不滿;那是正常的,只代表這個訊號的覆蓋率本來就低。主力在後面兩類。

‍

第二類:觸發「查不到知識」話術的對話

‍

Alta.DI 的守門機制是這樣設計的:AI 在知識庫裡找不到對應內容時,依自訂的話術回覆,不自己編一段聽起來很合理的答案。這個設計有個順便的好處:每一次觸發,都等於系統舉手說「這題我不會」。

‍

把這些對話調出來,會看到兩種情況。一種是客人問了本來就不該由 AI 回答的事,像是報價、客訴、個資,那是正常擋下來;另一種是客人問的明明是常見問題,但知識庫裡沒有,或是寫法跟客人的問法對不上。第二種就是這週要補的東西,也是知識庫怎麼寫才答得對這件事真正開始有感的地方。

‍

第三類:轉真人之後又重複問同一題的對話

‍

這類最麻煩,所以放在最後講。

‍

承接分三層:Flow Bot 先用按鈕把結構化的問題分流,AI Bot 處理開放式問答,兩層都處理不了才交給真人。正常情況下,轉到真人之後那一題就結束了。如果客人在真人這邊又把同一題問了一遍,代表前面兩層不只是沒答對,是給了讓客人不敢相信的答案。

‍

為什麼這類該優先處理?Gartner 同一份調查裡,87% 的客戶認為使用生成式 AI 時必須保留轉接真人的選項,而讓原本不願意用 AI 的人改變想法的頭號因素,就是「需要的時候能轉給真人」[1]。轉真人這條路一旦走得辛苦,他下次就不會再用了。

‍

2026 年 10 月 Frontiers in Psychology 的一份研究測了這件事:讓真人接手,能明顯緩和客人的技術挫折感,但對「這家店講的話好像不太能信」這種認知失調幾乎沒有作用[2]。那是情境實驗、用的是預寫腳本不是真實 AI,不能直接套到自家客人身上,但方向很清楚:答錯之後補救,補得回情緒,補不回信任。

‍

‍

如果後台看不到這三類訊號呢?

‍

本段重點:先確認手上的工具看得到哪幾類

‍

倒讚回饋與「查不到知識」話術是基本功能,多數平台都有;轉真人之後的重複提問要靠同一個後台看得到跨通路的對話;自動替對話貼標籤分類則通常要進階方案才有。

‍

所以在開始抽之前,先確認一件很現實的事:手上這套工具,三類訊號看得到幾類。

‍

小吳的店當初是先在官網掛了聊天視窗,後來 IG 和 LINE 的訊息變多,就各自開了內建的自動回覆。三個地方分開長,第一類和第二類都看得到,第三類完全看不出來。客人在 IG 問了一次沒得到答案,轉到官網再問一次:這在兩個互不相通的後台裡就是兩筆各自獨立的對話,誰也看不出它們是同一題。

‍

這種組合很常見,而且在客服量還小的時候通常夠用;會出事的時間點不是量變大,是客人開始在不同通路之間來回的時候。

‍

Alta.DI 把 LINE、FB Messenger、Instagram、WhatsApp 與官網 Livechat 收在同一個工作台,第三類訊號才看得出來。這也是「不被通路綁住」這句話在日常作業裡實際長的樣子:重點不是多支援幾個通路,是同一個客人在不同通路做過的事能被接起來看。

‍

方案的部分也要先講清楚,免得照著做到一半才發現做不了。按讚與倒讚、「查不到知識」的自訂話術,以及系統內建的電商場景預設意圖分類(退貨、查訂單、問規格這一類),在成長方案(每月 9,980 元、兩個客服帳號)就有,三類訊號的抽樣靠這些跑得起來。要讓系統自動把對話貼上自行定義的標籤、或是訓練自訂意圖,那是進階方案起的功能。

‍

這篇的抽樣法刻意不建立在標籤分類上,就是因為這個。用篩選條件加上人工判讀,成長方案也跑得完整套流程;標籤分類只是讓同樣的事更快,不是前提。

‍

真的三類都看不到的話,先只跑第二類。打開最近一週的對話,用關鍵字搜尋那句「查不到」話術裡的固定用字,有幾筆就看幾筆。這件事不需要任何進階功能,只需要一個搜尋框。

‍

‍

一週要抽幾筆對話才夠?

‍

本段重點:筆數從時間回推,不是從總量

‍

一週抽幾筆取決於週對話量與通路分布。下面這張表把對話量分成三組,各給三類訊號各自的配額;某一類抽不滿不用湊,那代表這週的風險訊號本來就少。

‍

表上的數字不是統計出來的,是從時間回推的。一筆對話要讀完、判斷答得對不對、再歸類,平均花一到兩分鐘;一個人每週能穩定擠出來的時間大概是六十到九十分鐘。這樣算下來,上限就是六十筆。

‍

時間多一點可以往上加,少一點往下砍。但不要砍通路配額:寧可每個通路各看三筆,也不要把六十筆全花在 LINE 上。

‍

對話量在後台的聊天分析裡看得到:進會話統計,日期範圍設成最近七天,取「有效會話」那個數字。

‍

AI 客服品質檢核分通路抽樣表:依每週對話量決定三類風險訊號的抽樣筆數與通路配額
每週對話量一週總抽樣被倒讚查不到知識轉真人後重複問通路怎麼分
300 筆以下20 筆全抽全抽全抽不分配額,有多少看多少
300 到 1,000 筆35 筆全抽(通常不到 5 筆)15 筆15 筆依各通路對話量占比分
1,000 筆以上60 筆全抽25 筆25 筆依占比分,但每個有在用的通路至少 5 筆

‍

小吳的店每週大約五百筆對話,落在中間那一組:一週三十五筆,倒讚的全抽(通常兩三筆),剩下的名額對半分給另外兩類,再按 LINE、IG、官網各自的對話量分配。

‍

三類都抽不滿怎麼辦

‍

不用硬湊到表上的數字。抽不滿代表這週的風險訊號少,那是好事。空出來的時間拿去做回歸測試:把上週修過的那幾題,在 AI Playground(後台的測試區)重問一次,確認改完真的有效。這比多抽十筆正常對話有用得多(改過的地方,才是最可能改壞的地方)。

‍

還有一個容易弄錯的地方:表裡的「筆」指的是對話,不是訊息。一個客人問三輪、AI 回三次,那算一筆。用訊息數去算,看起來抽了很多,實際上可能只看了七八個客人。口徑這件事不只出現在抽樣,客服報表的三個數據黑箱裡有更完整的對照。

‍

‍

抽到答錯的,該先改知識庫還是先改提示?

‍

本段重點:四類原因,四種改法

‍

答錯先分四類再動手:知識庫根本沒有、知識庫有但過期、知識庫對但 AI 選錯、該轉真人卻沒轉。四類的改法不同,分錯類就會改錯地方。能這樣分的前提是看得到 AI 實際引了哪一則知識;看不到的話,第二類和第三類會分不開,先當成第二類處理。

‍

AI 客服答錯的四類歸因表:知識庫沒有、知識庫過期、AI 選錯與該轉真人沒轉,各自的判斷方式與當週處置
歸因怎麼判斷這週怎麼處理多久見效
知識庫根本沒有在知識庫搜尋找不到這題,對話也觸發了「查不到知識」話術當週補一則,不要排進季度計畫當天生效
知識庫有但過期找得到答案,讀起來也通順,但對照現在的政策已經不對改內容,順手補上最後更新日與負責人當天生效
知識庫對但 AI 選錯知識庫的答案是對的,AI 卻引了另一則,或把兩則混著答調主提示,或把容易混淆的兩則改寫得更好分辨下週才看得出來
該轉真人卻沒轉客人已經表達不滿,或問到退款、客訴、個資,AI 還在繼續答把這個情境加進轉真人的觸發條件當天生效

‍

第二類最容易漏掉,因為它看起來不像錯。知識庫裡那段文字當初是對的,寫得也順,讀過去不會卡住。但運費門檻去年調過、退貨天數上個月改過,那段話就從「正確」變成「過期」。小吳那題「說可以退、現在又說不行」就是這一類:政策改了,知識庫沒跟著改。同一次改動通常會牽到不只一則知識,補的時候一起搜一遍。

‍

這裡說的提示,是後台裡寫給 AI 的那段指示:用什麼語氣、優先引哪些知識、遇到什麼狀況要怎麼做。知識庫是它能講的內容,提示是它怎麼挑、怎麼講。兩邊改的東西不一樣,所以分類分錯就會白改一輪。

‍

第三類最難抓,因為知識庫本身沒問題。Tracing 會把那句回答攤開來:給了模型哪幾則知識、取到哪些知識片段、Agent 呼叫了哪些工具。要注意的是,給模型的知識不等於它最後採用的知識,所以看到的是範圍,不是答案的出處。但範圍對不對一眼就看得出來:該在裡面的那則根本不在,是知識庫的問題;在裡面、它卻答了別的,才是提示的問題。

‍

線上那一筆對話本身沒有分數可以看。不會出現「這則回答 62 分」這種東西,當下的判準就是知識庫有沒有命中。好處是一定知道要改什麼;代價是沒有現成的數字可以拿去跟老闆說這個月進步多少。那個數字得自己算:最簡單的做法是每週記下四類各幾筆,連續記四週,「知識庫根本沒有」那一欄降下來,就是成績。

‍

‍

這要做到什麼時候?什麼情況可以停

‍

本段重點:同一題重複出現就別再抽了

‍

同一題在短時間內重複出現,就不是抽查問題,直接改知識庫。抽查是用來找還不知道的錯,已經知道的錯再抽一次只是重複確認。這個門檻數的是同一題的重複次數。不同題各自累計,不要加總。

‍

我們抓的門檻是同一題一週內出現三次以上。這個數字是從成本算的:確認同一件事三次花掉的時間,已經超過直接補一則知識的時間。團隊更忙的話,兩次就可以動手。

‍

整套節奏也可以降頻。連續四週「知識庫根本沒有」這一類都低於總抽樣的一成,表示知識庫的覆蓋已經追上日常問題,可以從每週改成每兩週。遇到換檔期、上新產品線、改退換貨政策這種變動,再調回每週。

‍

這件事每週會固定花掉六十到九十分鐘。如果現在已經有「每月把客服對話抽一輪來看」這種安排,可以停掉。月抽的覆蓋率更低,而且問題被看到的時候已經過了三個星期,該賠的也賠完了。用每週抽換掉每月抽,總工時沒有增加,只是把它切碎了放。

‍

真正需要換做法的時間點有兩種。對話量長到單人看不完,大約每週三千筆以上;或者錯答開始要分給不同的人修,知識庫有人管、提示有人管、轉真人規則有人管。到那時候才值得用進階方案的對話標籤分類把歸因自動化。在那之前,多買的功能不會真的用到。

‍

還沒上線、正在導入期的話,這套不是現在要做的事。導入期該做的是試營運的驗收,那是另一套檢查;這篇講的是上線之後的例行動作。

‍

‍

結語

‍

回到開頭的小吳。他後來沒有每天翻對話,改成每週三下午花一小時,先看倒讚、再看觸發「查不到知識」的那幾筆。第三週他發現同一個運費問題出現了四次。那題知識庫裡根本沒有,補一則花十分鐘。

‍

這套做法的全部就是這樣:不是看得更多,是看對地方。

‍

本週可以先做的只有一件事,三類不用一起跑。打開最近七天的對話,搜尋那句「查不到」話術裡的固定用字,把跳出來的幾筆看完,照四類記下來。一次就會知道知識庫缺的是哪一塊。

‍

如果翻完發現訊號根本看不到,像是沒人按倒讚、轉真人之後的對話接不起來、每個通路都得另外開後台,那不是抽樣方法的問題,是手上的工具只看得到其中一段。Alta.DI 把 LINE、FB、IG、WhatsApp 與官網的對話收在同一處,也把同一位客人在不同通路做過的事串起來看,這套抽樣才跑得動。

‍

每間店卡住的地方不一樣,要補的順序也不同。想先確認自己現在抽得到幾類訊號,Data-DI 提供30 分鐘的免費 AI 客服健檢,由顧問陪你盤目前的設定、三類訊號各自有沒有、先補哪一類最划算。不需要先準備資料,也不用開後台權限給我們,把目前用的工具告訴我們就可以。

‍

‍

參考文獻

‍

[1] Gartner.(2026.08)。Gartner Survey Finds 87% of Customers Say Companies Using GenAI for Customer Service Must Provide Access to a Human Agent. Gartner Newsroom.
‍https://www.gartner.com/en/newsroom/press-releases/2026-08-04-gartner-survey-finds-87-percent-of-customers-say-companies-using-genai-for-customer-service-must-provide-access-to-a-human-agent0

[2] Chen, X., Liu, J., Chen, Q., & Li, L.(2026.10)。The impact of AI hallucination on the chatbot service quality in e-commerce: the moderating role of human agent based service recovery. Frontiers in Psychology, 17.
‍https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2026.1870991/full

常見問題
Q:AI 客服質檢一定要買一套品質檢核系統嗎?
不用。市面上的質檢系統多半是為語音通話設計的,文字客服用後台既有的篩選條件就能跑,先抽被倒讚的和觸發查不到知識話術的兩類即可。
Q:AI 客服品質檢核要看哪些指標?
抽查看的是個案不是指標,但搭配三個數字會更準:人工接管率、同一題的重複進線次數、知識庫最近一次更新日。指標門檻另有專文說明。
Q:AI 客服什麼時候一定要轉真人?
四種情況不該讓 AI 繼續答:客人明確表達不滿、問到退款或賠償、涉及個資或身分確認、同一題已經來回超過三輪。這些要寫進轉真人的觸發條件。
Q:知識庫多久要更新一次?
沒有固定週期,跟著政策走。運費門檻、退貨天數、活動規則只要改過,當天就要同步知識庫,並搜一遍還有哪幾則也提到同一件事。
Q:AI 答錯被客人發現了,事後補救有用嗎?
有用但補不滿。研究顯示真人接手能緩和客人的挫折感,卻難以扭轉「這家店講的話不可信」的印象,所以抽查的重點是在客人發現前先攔下來。
< 上一頁
立即預約體驗
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.