こんにちは、バフェットコード開発部の aoking です。
今回は、バフェットコードでの問い合わせ対応の改善について紹介します。何かと疲弊しやすい問い合わせ対応について、AI に補助してもらい、良いサイクルが生まれました。
TL; DR
- バフェットコードに届く問い合わせ対応の判断を補助してくれる Slack アプリ、Namazu を作った
- おかげで人間が判断する労力が減った
- 労力が減っただけでなく、Namazu が間違っていたら問い合わせ対応マニュアルを直すという良いサイクルができた
はじめに
バフェットコードの問い合わせ対応は、Googleフォームにユーザーが問い合わせを記入し、自動で社内の Slack チャンネルに投稿され、人間が対応を判断する、という運用でやっていました。
バフェットコードには毎日のように問い合わせが届きます。そして、会社の成長とともに問い合わせ種別は増えてきました。仕様確認、不具合報告、データミス指摘、機能要望、営業スパム……種類は実に多岐にわたります。
その結果、問い合わせ対応マニュアルは膨れ上がり、人間の脳のキャパを超えはじめました。問い合わせを見たときに「瞬間的に対応方針を思い出す」ことが少しずつ難しくなってきたのです。これは属人化を引き起こし、新規メンバーが問い合わせ対応しづらい状況になっていました。
Namazu の誕生
そこで作りはじめたのが Slack アプリ Namazu です。
Namazu は次のように動きます。
- 問い合わせ内容を読み取る(※メールアドレス等の個人情報は除外)
- 問い合わせ対応マニュアルを検索し最適だと思う対応方針を Slack に提示する
というものです。もう少し具体的に言うと、Slack に投稿された問い合わせに対し、その投稿のスレッドで対応方針を提示してくれます。
例えば：
企業情報の誤り
- →「パッチデータを作成する」
- →「必要なら登記簿を取得する」
使い方・仕様の質問
- →「このヘルプページを案内」
- →「開発へ仕様確認」
未知の不具合対応
- → エンジニアにエスカレーションすることを案内
スパム営業
- →「スパムなので無視」
と、初手から割と精度高く対応方針案を提示してくれることになりました。
実例を紹介します。こちらは法人とそのコーポレートサイトの紐づけが間違っているのではないか、という指摘です。正誤を確認して必要に応じて修正するというものです。
こちらはログインがうまく行かないという問い合わせでした。これは不具合報告に相当する問い合わせで、本件はマニュアルには書かれていません。その場合はエンジニアにエスカレーションして調査する必要があることと、ある程度の調査すべき項目が書かれています。
もう一つ紹介します。世の中には自動で問い合わせフォームに営業提案メールを入力して送信するツールが存在し、そのような問い合わせがしばしば来ます。これらのスパム的な問い合わせには対応していません。このような問い合わせも正しく判定してくれています。
ここまでは「まあ普通に便利なツールだね」という話なのですが、もっと良いことがありました。
Namazu が生んだ副作用: マニュアル改善が回り始めた
Namazu には「確信度（confidence）」を返す仕組みがあります。問い合わせと問い合わせ対応マニュアルを読み、対応方針を返す際に、どれくらい確信しているかその度合いを返すようプロンプトで指定しています。これは、あくまで Namazu は対応方針を提示するだけであって正しいと確定したものではなく、最終的には人間が判断するため に書かせているものです。
Namazu の確信度が低い場合や誤った対応方針を提示してきた場合、下記のサイクルに入ることができます。
- 「なんでこれを選んだ？」と疑問を持つ
- 問い合わせ対応マニュアルを見に行く
- マニュアルに不記載であったり表現が曖昧、古い対応方針が残っていることが判明する
- マニュアルを更新する
- Namazu の判断精度が上がる
- また不整合があればマニュアルが更新される
このように、Namazu の失敗がマニュアル改善のトリガーとなりました。そして結果として Namazu はより高い精度で判断を提示してくれるようになりました。
これは人間だけでは成立しにくいフローだと思います。
- 人間は「慣れ」で判断するため、マニュアルの不備に気づきにくい
- 忙しいとマニュアル更新が後回しになりがち
- すべてを新人に説明するのは不可能
となるからです。しかし Namazu は常に「論理的に一番近い選択」を返してくるため、マニュアルの表現が曖昧だとすぐにズレが表面化します。これは、人間の暗黙知を AI が可視化してくれる状態とも言えます。
また、マニュアルは「自分のため」だとなかなか書く気が起きません。AI であっても読み手が確実に存在することで、正しいマニュアルを書くモチベーションになっています。
そうして、マニュアルは「読むもの」から「育てるもの」に変わり、日々 Namazu が人間の判断を代替してくれています。
おわりに
Slack に棲みつく小さなナマズが、問い合わせ運用の仕組みそのものを進化させてくれました。単なる判断補助アプリではなく、「マニュアルを常に最新化しつづける仕組み」として機能しています。
Namazu は自動対応は行わず、最終判断は必ず人間が行います。あくまで AI は案の提示に留まり、人間が判断とマニュアルの整備をする。この分業がうまく行っているように思います。今後も折を見て機能拡張する予定です。問い合わせ返信メールの初稿生成や、過去の類似問い合わせの自動リンクなどもきっと実装できることでしょう。
今後も Namazu を育てつつ、問い合わせ運用の最適解を探していくつもりです。
最後に、なぜ「Namazu」なのか。理由はシンプルです。ナマズは可愛いからです。
バフェットコードでは Namazu 飼育係を募集しています。
