公式LINEのAIコンシェルジュ(Curtis)について、これまでお見せしていたのは自分で書いた想定問答の正答率でした。今回は実際に届いた 274 スレッド・ご用件 734 件を測り、同じご用件で人と並べています。結論から申し上げると、Curtis は人の代わりにはなりません。ただし置き換える話ではなく、一次で受ける層を作る話として見ると、入れる価値がはっきりしました。
あわせて、この夏のピークを通過したところで一段手前を測り直しました。届いたご用件の 60.3% は、どこかに書いてあれば届かなかったものです(§08・§09)。
8/03 のBMでは、Curtis の実力として想定問答44件の正答率をお見せしました。あれは自分で書いた問題です。 実際に会員様・ゲスト様から届いた文面ではありません。
そこで、AirHost に実際に届いた 274 スレッドの往復をすべて取り出し、 人が何分後に何と返したかを1件ずつ測りました。そのうえで、同じご用件を Curtis に通し、 どちらがAIか伏せた状態で第三者に採点させています。
今日お見せするのは、その実測です。良い数字も悪い数字もそのまま出します。
お問い合わせは1日中まんべんなく届くわけではありません。夕方から夜にかけて増え、 21:00〜翌9:00 に 217 件(全体の 30%)が入っています。
この時間帯は、社内の担当者が対応できる体制にありません。だから Curtis の出番をここに置いています。
上の時刻分布は 3月からの積算です。直近だけを切り出すと、景色が変わります。
6月は1日 5.5件でした。8月は 22.7件です (8/12 まで 272件)。2か月で約4倍になりました。
ここは正直に申し上げます。「Curtis が動いていたら、この1週間はどれくらい楽だったか」の答えは、 夜の分だけです。昼に届いた 218件は、いまの設計では触れません。
だからこの議題は、途中から問いが1つ増えました。 「速く答える」の先に、「そもそも聞かれないようにする」があるのではないか。 それを測ったのが §08 です。
今回いちばん重い事実です。夜間に返している 187 通のうち、 自社スタッフ様の手によるものは 11 通しかありません。
つまり「我々のスタッフが夜どう対応しているか」という問いに対する実態は、 夜はほぼ代行が受けているです。Curtis を入れるかどうかは、 スタッフ様の仕事を置き換える話ではなく、代行が受けている一次応答をどう組み直すかという話になります。
| 全体 | 夜間 21-9時 | 日中 | |
|---|---|---|---|
| 初回応答までの中央値 | 11.1分 | 13.6分 | 10.4分 |
| 1時間以内に返った割合 | 76.2% | 65.4% | 80.8% |
| 8時間超お待たせした割合 | 16.2% | 29.0% | 10.6% |
| 受けただけで答えていない割合 | 18.0% | 21.7% | 16.4% |
中央値だけを見ると夜も日中も変わりません。差が出るのは裾です。 夜に届いたご用件の 29.0% は、返事が8時間以上あとになっています。 一晩そのままお待たせした、ということです。
また、返事が返っていても 21.7% は 「確認します」「追ってご連絡します」で、その場では答えが出ていません。
同じご用件 610 件を Curtis に通しました。 その場で答えられたのは 58.9%(夜間 60.3%)です。 ただし、この平均値には意味がありません。種類によって大きく違うからです。
下の2つ(料金・予約変更)が低いのは、Curtis が答えられないからではありません。 金額と在庫は人が出すと決めたためです(8/06 の裁定)。設計どおりに止まっています。
速さだけでは「良い対応」を測れません。そこで、同じご用件への人の返信と Curtis の返信を並べ、 どちらがAIか伏せたまま第三者に採点させました。
同じご用件に対する「人の応対」と「Curtis の応対」を、どちらがAIか伏せたまま第三者に採点させました(576件)。
| 人 | Curtis | |
|---|---|---|
| 解決(0〜3) | 2.05 | 1.4 |
| 応対(0〜3) | 1.95 | 2.14 |
| 行き止まりで終わった割合 | 9.9% | 3.6% |
| 良いと判定された数 | 345 | 212(互角 19) |
差が出るのは「解けたかどうか」です。人は予約の中身・在庫・過去の経緯を知っていて、 その場で決められます。Curtis は資料に書いてあることしか言えません。
一方で、応対の丁寧さでは Curtis が上回りました。 そして「できません」で会話を終わらせてしまう割合は、Curtis のほうが少なくなっています。 これは狙って作った差です。8/06 に「行き止まりを作らない」を目標に据え直し、 断る場面でも必ず次の一手を添えるよう組み替えました。
だから、Curtis を人の代わりに置くのは違います。一次で受けて、答えられるものはその場で返し、 それ以外は受け止めて人へ渡す。この層を作る、という位置づけです。
ここまでは「届いた問いに、誰が、どれだけ速く、どう答えたか」の話でした。 夏の量を見て、その一段手前を測っておく必要があると考えました。 そもそも、なぜこの問いが届いたのか。
6/01〜8/12 に届いたご用件 759件を、 「この問いが二度と来ない状態にするには、どこに何を置けばよいか」の1点だけで仕分けました。
人の判断が要るもの(人数の変更・料金・キャンセル・個別のご事情)は 266件・35%。ここは減らすものではありません。 残りのうち 458件(60.3%)は、 どこかに書いてあれば届かなかったご用件です。
そして 161件(21%)には、 お困りの跡がありました。事前チェックインの手続き(30件)、 室内の家電の使い方(23件)、鍵の解錠( 17件)。 これは「答えが無い」ではなく「分かりにくい」です。直す先が違います。
仕分けた 458件を主題でまとめ直しました。 右端の「施設」は、同じことが何邸で聞かれたかです。
| 聞かれていること | 件数 | 施設 | 置き場所 |
|---|---|---|---|
| BBQ設備の利用予約と仕様 | 57 | 9邸 | 施設ページ・掲載面 |
| 事前チェックインの手続き | 44 | 9邸 | 手続きの画面 |
| 室内家電と設備の操作方法 | 33 | 9邸 | 現地の掲示 |
| 客室寝具と寝室レイアウト | 27 | 7邸 | 施設ページ・掲載面 |
| ペット同伴の条件と手続き | 25 | 6邸 | 施設ページ・掲載面 |
| チェックイン方法と手順案内 | 24 | 8邸 | ご到着前の案内 |
| 施設アクセスの案内と確認 | 24 | 6邸 | 施設ページ・掲載面 |
| チェックアウト手続きの確認 | 23 | 8邸 | 手続きの画面 |
| BBQ利用料金と支払い方法 | 22 | 7邸 | 施設ページ・掲載面 |
| 客室備品とアメニティ有無 | 21 | 8邸 | 施設ページ・掲載面 |
| キッチン調理器具・調味料 | 19 | 5邸 | 施設ページ・掲載面 |
| スマートロック解錠の手順 | 19 | 6邸 | 現地の掲示 |
あわせて、「あるか」と聞かれたものを数えました。聞かれたということは、 載っていないか、無いかのどちらかです。
エキストラベッド 4件 / BBQセット 4件 / ベビーベッド 3件 / BBQグリル 3件 / タオル 3件 / サウナ 2件 / BBQコンロ 2件 / 炊飯器 2件 / 領収書 2件 / 布団 2件
件数は多くありません。ただしベビーベッド・エキストラベッド・炊飯器・調味料のように、 置けば済むものが並んでいます。この名簿は、これから毎月そのまま伸びます。
ここまでが、この議題で増えたぶんです。Curtis は答える担当として置きましたが、 お困りごとが最初に触れる面でもあります。毎晩ていねいに答え続けることは、 同じ問いが来続けていることを見えなくします。そこで、答えた記録から 「今週いちばん多かった問いと、その置き場所」を1枚で出すところまでを持ち場に含めたい、というのが提案です。
第1段では、上の図で緑になっている種類(設備・アメニティ/アクセス・駐車場/ペット)に絞って開けます。 それ以外は今までどおり人へ回ります。失敗しても、いま以上に悪くはなりません (いまは夜間の 29.0% が8時間待ちだからです)。
① 第1段(夜間・種類を絞った一次応答)に進んでよいか。
あわせて、一斉通知先の社内チャンネルを1つ決めてください。ここだけは代わりに決められません。
② 先回りの打ち手を、どの面から持つか。
§09 の 458件は、置き場所が4つに分かれます。 面ごとに持ち主が違うので、全部を同時には進められません。1つ選んでいただければ、そこから着手します。
| 置き場所 | 効く件数 | やること | 持ち主(案) |
|---|---|---|---|
| 施設ページ・掲載面 | 228件 | 邸ごとの備品・仕様・ルールを1枚に揃えて公開する | 掲載面=運営部/事実=各邸 |
| ご到着前の案内 | 91件 | 予約確定〜前日の定型文に、つまずく3点を先に書く | 公式LINE運用=櫻井さん |
| 手続きの画面 | 74件 | 事前チェックインの必要書類と対象者を画面側で直す | AirHost 設定=運営部 |
| 現地の掲示 | 65件 | リモコン・スイッチ・操作手順の定位置表示を貼る | 現地=清掃・巡回 |
推奨は「施設ページ・掲載面」からです。件数が最も大きく、 一度作れば OTA 掲載・会員ポータル・Curtis の参照先の3つが同じ1枚を向きます。