現在要做一個 Agent,看起來好像很容易。
把產品文件和常見問題丟進某個平台,再請 ChatGPT 幫你寫一段 system prompt。沒花多少時間,一個可以對話的 Agent 就做好了。
然後呢?
你怎麼確定,它真的學會了你要交給它的專業?它講出來的話,會是你平常講的話嗎?你又怎麼確定,那些重要的問題它都有答對?
這幾個問題,其實答案都一樣:先幫它準備一份考卷。 考過了才讓它上場;上場後答錯的地方,就收進來變成新的考題。
難在哪裡
要把專業判斷放進 Agent 裡,通常會卡在兩個地方。
第一,錯不起。 專業判斷是你業務的核心資產。就算對方知道自己在跟 AI 說話,只要它答得不像你,消耗的就是你的專業信譽。
第二,說不清楚。 真正的專業,往往都裝在資深同事的腦袋裡。
假設你經營一間語言學校,想讓 Agent 先接待來詢問課程的學員。你去問最資深的課程顧問:「如果學員說不出自己是什麼程度,要怎麼推薦課程?」他多半會回你:「這要看情況耶。」
但如果你拿一段真實的對話給他看,他馬上就能指出問題:「這裡應該先問他學過多久」,或是「他下個月就要出差了,應該先推短期會話課」。而且他說得出為什麼。
這就是好消息:專家不需要學會寫 prompt,只要做他們本來就會的事:看對話,挑出哪裡不對。 那些寫不成文件的專業判斷,只要透過一段一段的實際案例,就能挖得出來。
解法:一份考卷
考卷裡的每一道題目,我們叫它測試案例。結構很簡單,就兩個部分:對方會怎麼說,以及怎麼回才算對。
學員說「我想報日文課,下個月要去日本出差」。問他程度,他說「學過一點,不知道算什麼程度,你直接推薦就好」。
- 先問一兩個簡單問題確認程度,不要直接推課
- 依出差時間推薦短期會話課,並說明理由
- 提供程度測驗或試聽
- 不可以保證「一個月就能流利」
這次 Agent 的回答 通過 3 / 4,承諾了學習成效
換個行業,也是同一張卡:
| 行業 | 情境 | 怎樣才算對(舉一條) |
|---|---|---|
| 顧問 | 客戶丟來一份策略,問「這能做嗎?」,但沒說預算和時程 | 先問目標和限制,不直接下結論 |
| 內部審查 | 同事送來一份採購申請,金額剛好超過門檻 | 指出要加簽哪一關,並且提醒要準備的東西 |
| 醫療接待 | 飼主說狗狗咳嗽想約診 | 問清楚頻率、是不是夜咳,有沒有吐東西 |
把很多題目放在一起,就成了一份考卷,也就是測試集。每次調整完 Agent,就把整份考卷拿出來重跑一遍。改考卷這件事,可以先交給另一個 AI 照著你的標準看過一輪,有疑問的地方再由你親自確認。怎麼算對、怎麼算錯,標準由你決定。
這其實就跟你帶新人的方式一模一樣。SOP 看完了、規則也教過了,你總會拿幾個實際案例考考他,看他真正上場時會怎麼應對。考卷就是這幾個案例,只是把它們白紙黑字寫下來,方便每次重考。考過了,才准上場。
這份考卷一舉兩得:出題的時候,專家腦中的判斷會在一題題案例裡浮現出來,再從中歸納出 Agent 該遵守的原則;跑考卷的時候,你也能清楚看到 Agent 到底有沒有照著做。
考不過的時候
當然,有了考卷,不代表 Agent 從此就不會答錯。以前面日文課那題為例,Agent 被判「承諾了學習成效」而沒過,原因可能有好幾種:
| 可能的原因 | 該改的地方 |
|---|---|
| 標準訂得太死:Agent 其實說了「效果因人而異」,只是沒照標準的字眼講 | 由你決定要不要放寬標準 |
| 知識庫裡的課程簡介,還留著舊文案「一個月開口說」 | 更新資料 |
| 「不承諾學習成效」的規定有寫,但 Agent 沒找到 | 調整資料的整理方式 |
| Agent 找到了,但把「短期密集」理解成「很快就學得會」 | 把你的解讀寫進指示 |
| 指示裡「要積極推薦」和「不承諾成效」兩條打架 | 改指示 |
不管改的是哪一個地方,改完都要把整份考卷再跑一次:確認這題過了,其他題也沒被改壞。上場後遇到新的問題,再收進考卷。
簡單說,有了測試案例,Agent 就從一段寫好就放著的 prompt,變成一個可以對照、可以優化的系統。
聽到「系統」兩個字,你可能已經開始頭痛,感覺很 Techy,你是不是需要找一個工程師來處理這件事情?
這是我們每天在處理的問題
不用,這些麻煩正是我們的工作。
我們是 Codeer。過去一年,我們和教育、顧問等領域的專業團隊合作設計 Agent。我們的做法是先陪著專家一起寫考卷,再一題題抓出沒考過的原因,把正確率拉到 90% 或更高。
後來,我們把這套訓練方法做進了產品裡,交給 Codeer 訓練師。從建立 Agent、出第一份考卷,到上場後從真實對話裡找出它還答不好的問題、補上新考題,再讓 Agent 重新考過,整個過程都有訓練師陪著你。
雙方的分工很單純,標準由你來定。考卷怎麼算對、某份資料該怎麼解讀,這些牽涉到業務和專業的判斷,一定是由你拍板。剩下的就交給訓練師處理。只要有一題沒考過,它會找出是資料沒抓到,還是指示沒寫清楚,修好之後再重考,試到考過為止。你只需要專心看一件事,就是 Agent 跟對方的對話,到底是不是你想要的樣子。
就算考過了,也不用急著放手。你可以先設一段觀察期:Agent 先擬好回覆,由專家或是你確認後再送出。等有足夠的信心,再讓它自己上場。
訓練師、考卷和你的 Agent,全部都在 Codeer Platform 上,而這些考卷也都會留在你們團隊自己手上。未來就算換了模型、改了指示,團隊對「好」的定義也不會跟著流失,反而能一題一題累積下來。
這些做法不是秘密。真正難的從來不是知道要寫考卷,而是每天真的去寫、去跑、一題一題查原因,這也是我們把它做進產品的原因。所以我們很樂意把在真實案子裡學到的東西寫出來。如果你也在做類似的事,歡迎跟我們分享你遇到的狀況,一起把這套方法練得更好。
接下來
考卷只是一個 Agent 從開始設計、正式上場,到上場後持續調整的其中一站:
這個系列會一站一站寫下去。下一篇先從大家最常問的開始:第一份考卷怎麼生、標準要怎麼寫。