私たちは通常、AIエージェントの構築に何時間もかけます。商品仕様、よくある質問、研修資料などをアップロードし、プロらしく対応すること、できない約束をしないこと、複雑な相談では予約を案内することなどを指示します。
次に、テスト画面で「料金はいくらですか？」や「返金できますか？」といった一般的な質問を試します。エージェントは明確かつ正確に答えてくれます。そこでWebサイトにチャットウィジェットを設置し、WhatsAppと連携して公開します。
あとは、うまく動くことを願うだけです。
「うまくいくはず」に頼るリスク
10問や20問を試すだけでは十分ではありません。それらは自分たちが思いついた、答えやすい質問にすぎません。顧客は、こちらが予想しなかった何千もの質問を投げかけます。境界的なケース、独特な言い回し、質問する前から不満を表す人もいます。
大規模言語モデル（LLM）は確率的に動作します。優れたシステムプロンプトを書いても、毎回完璧に振る舞う保証はありません。プロンプトはあくまで指針です。エージェントが実際に何を答えるかを知るには、十分にテストするしかありません。専門家としての信用がかかっている以上、AIがうまく動くことを願うだけでは不十分です。
標準的な解決策：評価
顧客が話しかける前に、エージェントが正しく振る舞うかをどう確認すればよいのでしょうか。ソフトウェア開発やAIの世界では、答えは評価、略して「eval」です。信頼性を重視するAIチームは、システムを改善するためにevalを使っています。
まず、顧客がエージェントを置く可能性のある現実的なシナリオを書きます。次に、良い回答が含むべきこと、避けるべきことを定めた判断基準を組み合わせ、実際のシステムに対して実行します。たとえば、次のような形です。
シナリオ： 顧客が、当社では提供していないサービスについて尋ねる。
判断基準： エージェントは、そのサービスを提供していないことを明確に伝え、最も近い代替案を案内し、存在しない料金を決して作ってはならない。
シナリオ： 注文の遅延に顧客が怒っている。
判断基準： エージェントは相手の不満を受け止め、注文状況を確認し、「お気持ちはよく分かります」のような定型表現だけで済ませてはならない。
しかし以前は、evalを実行するためにエンジニアリングチーム、技術基盤、複雑なスプレッドシートが必要でした。ノーコードのサービスを使う業務の専門家にとって、現実的な選択肢ではありませんでした。
Codeerの方法：シナリオと判断基準
現在は、このような評価ループを作るためにエンジニアリングチームは必要ありません。AIがナレッジベースを読み、現実的なシナリオと判断基準の案を作り、エージェントがどこで失敗するかを特定できます。さらに、資料が不足しているのか、指示が矛盾しているのか、単に表現が適切でないのかなど、失敗した理由の診断も支援します。
流れは明快です。
この検証は公開前に行います。問題が起きた後や、顧客から苦情を受けてから始めるものではありません。
専門知識をシステムに入れる場所
これだけのテストを用意するには時間がかかると思うかもしれません。しかし、200件のシナリオをゼロから書くより、AIが作った例を確認して承認する方がずっと簡単です。必要なのは、「これは正しい」、または*「ここは変更が必要」*と判断することです。
この工程がなければ、エージェントの回答は一般的なものになりがちです。判断基準には、自社固有の業務基準が反映されます。苦情にどう対応するか、どこに境界線を引くかを具体的に定められます。専門知識こそが差別化の源であり、判断基準はその知識をシステムに組み込む方法です。
公開方法：安全に始め、確信を持って広げる
初日からすべての状況を網羅する必要はありません。まずは、エージェントに最も多い20〜30件の質問を担当させます。多くの場合、これだけで問い合わせ全体の大部分をカバーできます。
検証済みの範囲を外れる場合は、担当者への引き継ぎを設定します。エージェントに推測や即興をさせず、*「適切な担当者へおつなぎします」*と案内させます。
その後は、次の流れで対応範囲を広げられます。
- 担当者へ引き継がれた会話を確認する
- その会話から新しいシナリオを作る
- エージェントが正しく対応できるか検証する
- 検証済みの範囲を安全に広げる
まとめ
この仕組みによって、定型的な質問への回答時間を減らし、システムの改善に時間を使えるようになります。人間は判断が必要な難しいケースを担当し、AIエージェントは明文化された基準に沿って反復的な仕事を処理します。
信頼できるAIエージェントの構築に欠けていた工程は、体系的な行動検証だと私たちは考えています。現実的なシナリオ、明確な判断基準、顧客が使う前に繰り返し確認できる仕組みが必要です。
顧客対応に使うAIエージェントを構築するなら、Codeerを無料で始めるか、デモを予約することで、行動検証の流れを実際にご確認いただけます。