實作系列 · 前言閱讀約 4 分鐘

我真的可以把我的專業交給一個 Agent 嗎?

做一個會對話的 Agent 不難,難的是確定它真的學會你的專業。先幫它準備一份考卷:考過才上場,上場後答錯的地方,再收進來變成新的考題

現在要做一個 Agent,看起來好像很容易。

把產品文件和常見問題丟進某個平台,再請 ChatGPT 幫你寫一段 system prompt。沒花多少時間,一個可以對話的 Agent 就做好了。

然後呢?

你怎麼確定,它真的學會了你要交給它的專業?它講出來的話,會是你平常講的話嗎?你又怎麼確定,那些重要的問題它都有答對?

這幾個問題,其實答案都一樣:先幫它準備一份考卷。 考過了才讓它上場;上場後答錯的地方,就收進來變成新的考題。

難在哪裡

要把專業判斷放進 Agent 裡,通常會卡在兩個地方。

第一,錯不起。 專業判斷是你業務的核心資產。就算對方知道自己在跟 AI 說話,只要它答得不像你,消耗的就是你的專業信譽。

第二,說不清楚。 真正的專業,往往都裝在資深同事的腦袋裡。

假設你經營一間語言學校,想讓 Agent 先接待來詢問課程的學員。你去問最資深的課程顧問:「如果學員說不出自己是什麼程度,要怎麼推薦課程?」他多半會回你:「這要看情況耶。」

但如果你拿一段真實的對話給他看,他馬上就能指出問題:「這裡應該先問他學過多久」,或是「他下個月就要出差了,應該先推短期會話課」。而且他說得出為什麼。

這就是好消息:專家不需要學會寫 prompt,只要做他們本來就會的事:看對話,挑出哪裡不對。 那些寫不成文件的專業判斷,只要透過一段一段的實際案例,就能挖得出來。

解法:一份考卷

考卷裡的每一道題目,我們叫它測試案例。結構很簡單,就兩個部分:對方會怎麼說,以及怎麼回才算對。

一張測試案例卡
情境

學員說「我想報日文課,下個月要去日本出差」。問他程度,他說「學過一點,不知道算什麼程度,你直接推薦就好」。

怎樣才算對
  • 先問一兩個簡單問題確認程度,不要直接推課
  • 依出差時間推薦短期會話課,並說明理由
  • 提供程度測驗或試聽
  • 不可以保證「一個月就能流利」

這次 Agent 的回答 通過 3 / 4,承諾了學習成效

換個行業,也是同一張卡:

行業 情境 怎樣才算對(舉一條)
顧問 客戶丟來一份策略,問「這能做嗎?」,但沒說預算和時程 先問目標和限制,不直接下結論
內部審查 同事送來一份採購申請,金額剛好超過門檻 指出要加簽哪一關,並且提醒要準備的東西
醫療接待 飼主說狗狗咳嗽想約診 問清楚頻率、是不是夜咳,有沒有吐東西

把很多題目放在一起,就成了一份考卷,也就是測試集。每次調整完 Agent,就把整份考卷拿出來重跑一遍。改考卷這件事,可以先交給另一個 AI 照著你的標準看過一輪,有疑問的地方再由你親自確認。怎麼算對、怎麼算錯,標準由你決定。

這其實就跟你帶新人的方式一模一樣。SOP 看完了、規則也教過了,你總會拿幾個實際案例考考他,看他真正上場時會怎麼應對。考卷就是這幾個案例,只是把它們白紙黑字寫下來,方便每次重考。考過了,才准上場。

這份考卷一舉兩得:出題的時候,專家腦中的判斷會在一題題案例裡浮現出來,再從中歸納出 Agent 該遵守的原則;跑考卷的時候,你也能清楚看到 Agent 到底有沒有照著做。

考不過的時候

當然,有了考卷,不代表 Agent 從此就不會答錯。以前面日文課那題為例,Agent 被判「承諾了學習成效」而沒過,原因可能有好幾種:

可能的原因 該改的地方
標準訂得太死:Agent 其實說了「效果因人而異」,只是沒照標準的字眼講 由你決定要不要放寬標準
知識庫裡的課程簡介,還留著舊文案「一個月開口說」 更新資料
「不承諾學習成效」的規定有寫,但 Agent 沒找到 調整資料的整理方式
Agent 找到了,但把「短期密集」理解成「很快就學得會」 把你的解讀寫進指示
指示裡「要積極推薦」和「不承諾成效」兩條打架 改指示

不管改的是哪一個地方,改完都要把整份考卷再跑一次:確認這題過了,其他題也沒被改壞。上場後遇到新的問題,再收進考卷。

簡單說,有了測試案例,Agent 就從一段寫好就放著的 prompt,變成一個可以對照、可以優化的系統。

聽到「系統」兩個字,你可能已經開始頭痛,感覺很 Techy,你是不是需要找一個工程師來處理這件事情?

這是我們每天在處理的問題

不用,這些麻煩正是我們的工作。

我們是 Codeer。過去一年,我們和教育、顧問等領域的專業團隊合作設計 Agent。我們的做法是先陪著專家一起寫考卷,再一題題抓出沒考過的原因,把正確率拉到 90% 或更高。

後來,我們把這套訓練方法做進了產品裡,交給 Codeer 訓練師。從建立 Agent、出第一份考卷,到上場後從真實對話裡找出它還答不好的問題、補上新考題,再讓 Agent 重新考過,整個過程都有訓練師陪著你。

雙方的分工很單純,標準由你來定。考卷怎麼算對、某份資料該怎麼解讀,這些牽涉到業務和專業的判斷,一定是由你拍板。剩下的就交給訓練師處理。只要有一題沒考過,它會找出是資料沒抓到,還是指示沒寫清楚,修好之後再重考,試到考過為止。你只需要專心看一件事,就是 Agent 跟對方的對話,到底是不是你想要的樣子。

就算考過了,也不用急著放手。你可以先設一段觀察期:Agent 先擬好回覆,由專家或是你確認後再送出。等有足夠的信心,再讓它自己上場。

訓練師、考卷和你的 Agent,全部都在 Codeer Platform 上,而這些考卷也都會留在你們團隊自己手上。未來就算換了模型、改了指示,團隊對「好」的定義也不會跟著流失,反而能一題一題累積下來。

這些做法不是秘密。真正難的從來不是知道要寫考卷,而是每天真的去寫、去跑、一題一題查原因,這也是我們把它做進產品的原因。所以我們很樂意把在真實案子裡學到的東西寫出來。如果你也在做類似的事,歡迎跟我們分享你遇到的狀況,一起把這套方法練得更好。

接下來

考卷只是一個 Agent 從開始設計、正式上場,到上場後持續調整的其中一站:

Agent 的一生
1設計
2實作
3用考卷驗收
4上場
5從真實對話持續調整

這個系列會一站一站寫下去。下一篇先從大家最常問的開始:第一份考卷怎麼生、標準要怎麼寫。

想知道你們團隊適不適合這樣做?

先約 30 分鐘線上聊聊,說說你們最常被問什麼、哪些判斷最怕出錯;聊完覺得可行,再請負責技術或營運的同事一起加入

約 30 分鐘線上聊聊
← 返回部落格