概況
- Air Canada のチャットボット事件が重要なのは、ブリティッシュコロンビア州民事解決審判所が、自動化された顧客アドバイスを企業の公的コミュニケーション環境の一部とみなし、ウェブサイトの脇で話す無関係の第三者とはみなさなかった点にある。
- 説明責任の問題は、チャットボットの過誤がすべて同じ責任を生じさせるかどうかではない。そうではなく、誰がポリシーソース、回答テスト、エスカレーションパス、ウェブサイトの一貫性、顧客の信頼の証拠、払い戻し解決策、および誤り後の修正を管理していたかである。
- 公的ソースは慎重な記録を裏付けている: 裁判所の決定は紛争と救済策を説明し、Air Canada の資料はカスタマーサービスと運賃の文脈を説明し、AI ガバナンスのソースは自動化されたアドバイスが所有権、監視、人間による是正手段を必要とする理由を説明している。
- サービス自動化への広範な教訓は、ポリシー質問に答えるボットが、ユーザーが購入、返金、旅行の権利、請求、または時間に敏感な決定において合理的にそれを信頼する場合、規制された顧客接触システムになり得るということである。
紛争は自動化を顧客接触管理に変えた
Air Canada のチャットボット紛争の公的記録は異常にコンパクトで、異常に有用である。Moffatt v. Air Canada において、CanLII に索引付けされたhttps://www.canlii.org/en/bc/bccrt/doc/2024/2024bccrt149/2024bccrt149.htmlで、ブリティッシュコロンビア州民事解決審判所は、Air Canada のチャットボットが弔慰運賃の払い戻しアドバイスを提供したことに依拠した乗客の請求を審理した。争点は、顧客がチケットを購入し、旅行し、その後チャットボットの発言に基づいて弔慰運賃の返金を遡及的に請求できるかどうかであった。裁判所の決定は、この特定の少額請求紛争で認定されたことの主要な情報源である。それは、あらゆる航空会社のチャットボット、AI システム、または払い戻しシナリオに関する普遍的な判決ではない。
説明責任に対するこの決定の価値は、責任の定義にある。乗客は偶然のインターネット投稿に依存したわけではない。彼は Air Canada の顧客向け環境で提示された自動化ツールとやり取りした。Air Canada はウェブサイト、ポリシーコンテンツ、チャットボットの配備、および回答が表示された全体的な関係を管理していた。裁判所は、チャットボットが独立した法的主体であるという考えを退けた。これが核心的なリスク教訓である: 企業が顧客向けに自動化チャネルを公開する場合、そのチャネルが企業のサービス運用の一部として扱われることを期待すべきである。
Air Canada の公開カスタマーサービス資料 (https://www.aircanada.com/ca/en/aco/home/fly/customer-support.html)、連絡先ページ (https://www.aircanada.com/ca/en/aco/home/fly/customer-support/contact-us.html)、法的および運賃情報のエントリポイント (https://www.aircanada.com/ca/en/aco/home/legal/conditions-carriage-tariffs.html)、および弔慰旅行ページ (https://www.aircanada.com/ca/en/aco/home/book/special-offers/bereavement.html) は、関連する企業の文脈を提供する。これらのページは、裁判事件に関する自白として解釈されるべきではない。これらは、乗客がサービス、条件、運賃規則、請求経路を探す公的環境を示している。自動化チャネルをめぐる紛争では、顧客がすべてのページ、ボット、運賃、サポートフォームを孤立した企業サイロとして経験するわけではないため、この環境が重要である。
カナダ運輸庁の航空旅客保護規則に関するページ (https://otc-cta.gc.ca/eng/air-passenger-protection-regulations) および連邦規則テキスト (https://laws-lois.justice.gc.ca/eng/regulations/SOR-2019-150/) は、航空旅客の権利に関する広範な文脈を提供する。Canada Transportation Act (https://laws-lois.justice.gc.ca/eng/acts/C-10.4/) は法的枠組みを提供する。本稿は、裁判所の弔慰運賃問題があらゆる旅客保護規則に基づいて判断されたと主張するものではない。規制当局と法律の情報源を利用して、航空会社の顧客コミュニケーションが無造作な発言ではないことを示している。それは、運賃規則、払い戻し、請求、期限が乗客の権利と費用に影響を与える可能性がある規制された旅行環境にある。
ボットは唯一のポリシーソースではなかったが、それでも企業ソースであった
自動化ガバナンスの最も困難な問題の一つは、不整合である。ウェブサイトのあるページは別のことを言うかもしれない。ボットはそれを異なる形で要約するかもしれない。コールセンターのエージェントはスクリプトを適用するかもしれない。運賃には権威ある文言が含まれているかもしれない。サポートメールは例外を提供するかもしれない。モバイルアプリは短いバージョンを表示するかもしれない。時間に敏感な購入をしようとする顧客は、企業のポリシースタック全体を容易に精査できない。Air Canada の事例は、これがなぜ重要かを示している。乗客は、Air Canada の実際の弔慰運賃規則と矛盾する払い戻しのタイミングについてチャットボットのアドバイスを受けたとされる。法的かつ運用上の問題は、企業が別のページを参照することで責任を回避できるかどうかであった。
説明責任のあるシステムは、顧客向けのすべてのポリシーチャネルを証拠セットの一部として扱う。企業は、ボットがどのソースを使用しているか、ソースが最後に更新されたのはいつか、回答がどのようにテストされたか、回答が権威ある条件を参照しているか、リスクの高い回答が人間によるエスカレーションを必要とするか、顧客が依拠した回答を保存できるかを把握すべきである。ボットの回答は、生成、取得、スクリプト化、または知識ベースからコンパイルされる場合がある。消費者にとっての結果は同じである: 乗客は航空会社のチャネルを介して回答を受け取り、それに基づいて行動できる。
裁判所の決定は限定的だが、運用上の教訓は広い。自動化チャネルは、管理されたコンテンツパイプラインなしに、結果の大きいポリシー関連の質問に答えるべきではない。弔慰運賃の資格、払い戻し期限、乗り継ぎ失敗の解決策、搭乗拒否補償、手荷物請求、医療旅行、アクセシビリティ対応、一人旅の未成年者、キャンセルポリシーはすべて、金銭、期限、書類、精神的ストレスを伴う可能性がある。自動化システムがこれらの分野で確信のある回答を与える場合、企業はその回答が最新のポリシーに基づいていること、または人間による引き継ぎが必要であることを示せなければならない。
この証明は紛争後に即興で行えるものではない。ワークフローに組み込まれていなければならない。ログには、質問、回答、ソースバージョン、ポリシートピック、信頼度またはルーティングルール(該当する場合)、および顧客が人間または権威ある条件に誘導されたかどうかが記録されるべきである。企業は、信頼性を評価するのに十分な取引データを保持しつつ、プライバシーとデータ最小化の原則を尊重すべきである。企業が回答を再構築できない場合、顧客がチャネルを誤解したことを容易に証明できない。顧客がスクリーンショットを持ち、企業にソーストレースがない場合、証拠の不均衡は予測可能である。
ここで、エンタープライズソフトウェアの自動化は顧客の信頼と交差する。多くの企業は、サポート量を減らし、応答時間を短縮し、ルーティン質問を誘導するためにチャットボットを導入している。これらは正当な目的である。しかし、システムが単に転送するのではなく回答する場合、アドバイスのリスクを負う。ポリシー回答を提供することで電話を減らすボットは、装飾的な検索機能としてではなく、ポリシー回答システムとして管理されなければならない。コスト削減とサービスの利便性には、管理義務が伴う。
顧客の信頼が中心的な証拠テーマである
裁判所の事件は信頼を中心に展開した: 乗客は何を見たのか、見た後に何をしたのか、そしてその回答を Air Canada のものとみなすことは合理的だったのか。信頼は自動的に生じるものではない。明確な警告を無視したり、スクリーンショットを偽造したり、ページを選択的に読んだ顧客は、強い請求権を持たないかもしれない。しかし、ツールをカスタマーサービスチャネルとして提示する企業は、一部のユーザーがそれに依存することを想定すべきであり、特に回答が具体的で購入またはサービスパスに表示される場合はなおさらである。
したがって、信頼の証拠は自動化ガバナンスに組み込まれるべきである。企業は、ボットの回答が購入前、購入後、チェックイン時、混乱時、または請求ワークフローで表示されたかどうかを把握すべきである。回答にポリシーページへのリンク、免責条項、エージェントへの連絡を促すメッセージ、またはルールが異なる可能性があるという警告が含まれていたかどうかを把握すべきである。顧客が回答を保存または参照する簡単な方法を持っていたかどうかを把握すべきである。ボットが払い戻しの質問に回答することを許可されていたか、それとも転送すべきだったかを把握すべきである。
カナダ民事解決審判所の公開情報 (https://civilresolutionbc.ca/) およびその少額請求手続き (https://civilresolutionbc.ca/tribunal-process/small-claims/) は、この種の紛争がなぜ公になるのかを理解するのに役立つ。審判所は、特定の民事紛争をより低コストのオンラインフォーラムで解決するように設計されている。このフォーラムは、比較的少額の払い戻し紛争を、はるかに大規模な業界に対するガバナンスシグナルに変えることができる。金額は控えめかもしれないが、説明責任の原則はそうではない。
顧客の信頼には、不正接触の経済学という側面もある。企業は、人間による接触が高コストでボリュームが多いため、部分的にサポートを自動化する。顧客は、利用可能で迅速であり、多くの場合最初に見える経路であるため、自動化サポートを利用する。企業が自動化された回答を、それが金銭を伴う場合に信頼できないものとして扱うと、負担は顧客に移る: 顧客はボットの回答を隠れた条件と照合し、エージェントに電話し、スクリーンショットを保存し、遅延を受け入れなければならない。これは、企業がチャネルの使用を促進してきた場合、不公平な設計である。責任あるアプローチは、リスクの高いトピックを分類し、より強力な管理のもとに転送することである。
答えは必ずしもすべてのチャットボットを削除することではない。適切に設計されたボットは、乗客が手荷物フォーム、アクセシビリティの連絡先、ステータス更新、ポリシーページを見つけるのを支援できる。リスクは、ボットが信頼できる根拠やエスカレーションなしに、法的または金銭的な権利を明確にするように見えるときに発生する。その違いは明示的であるべきだ。リスクの低いナビゲーションは広く自動化できる。リスクの高いアドバイスは、ソースに基づき、テストされ、記録され、不確実性が重大な場合は引き継がれるべきである。
自動化されたアドバイスには真実の情報源が必要である
Air Canada の事例は、AI ワークフローの信頼性に関する広範な議論に属する。なぜならチャットボットはワークフローコンポーネントであり、孤立した新規性ではないからである。ボットはユーザーから入力を受け取り、その入力をポリシートピックにマッピングし、回答を取得または生成し、ユーザーの次のステップに影響を与える。回答が払い戻しに関する場合、ワークフローは資金を動かす可能性がある。旅行書類に関する場合、搭乗に影響を与える可能性がある。アクセシビリティ対応に関する場合、公民権に影響を与える可能性がある。信頼性要件は結果に対応すべきである。
カナダ政府の自動意思決定に関する指令 (https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=32592) は連邦システムを対象としており、Air Canada の民間カスタマーサービスボットを対象としていない。それにもかかわらず、自動化システムに対する影響評価、透明性、品質保証、人間の関与を強調しているため、公共のカナダのガバナンス用語として有用である。財務委員会のアルゴリズム影響評価に関するページ (https://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-use-ai/algorithmic-impact-assessment.html) も同じ理由で関連性がある: 公的機関が自動化システムの結果と管理についてどのように考えているかを示している。
プライバシーと AI ガバナンスに関する情報源はさらに文脈を提供する。カナダプライバシーコミッショナーのプライバシーと生成 AI に関するガイド (https://www.priv.gc.ca/en/privacy-topics/technology/artificial-intelligence/gd_principles_ai/) は、AI システムのプライバシー保護的な使用を強調している。NIST の AI リスク管理フレームワーク (https://www.nist.gov/itl/ai-risk-management-framework) およびその出版物 AI RMF 1.0 (https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf) は、有効性、信頼性、説明責任、透明性、リスク管理に関する広く使用される用語を提供する。OECD AI 原則 (https://oecd.ai/en/ai-principles) は、もう一つの公共ガバナンス参照を提供する。これらの情報源は Air Canada 紛争を判断するものではない。それらは、責任ある自動化ガバナンスがどのようなものかを定義するのに役立つ。
航空会社のチャットボットにとって、真実の情報源の問題は直接的である。運賃規則は変更される。払い戻し規則は、市場、チケットタイプ、旅行日、混乱の理由、乗客のステータス、書類によって異なる。弔慰旅行には独自の資格および手続き規則がある。ボットが古いコンテンツ、一般的な FAQ、不完全なトレーニングセット、または条件のないページ要約から情報を取得する場合、もっともらしいが誤った回答を生成する可能性がある。企業は最悪の組み合わせに直面する: 顧客はブランドからの回答であるため信頼するが、従業員は後で権威あるポリシーに一致しないとして回答を否定する。
したがって、管理設計はポリシーインベントリから始めるべきである。どのトピックについてボットが直接回答できるか?どのトピックが権威ある条件へのリンクを必要とするか?どのトピックが人間による確認を必要とするか?どの回答に日付やソースバージョンを含める必要があるか?どの回答がプライベートな予約詳細に依存するためブロックされるべきか?どの市場に異なる法的義務があるか?どの言語がサポートされているか?紛争解決のためにどのアーカイブされた回答を保持する必要があるか?これらは同時に、製品、法律、カスタマーサービス、技術の問題である。
免責条項はガバナンスに代わるものではない
多くの自動化システムは免責条項を使用している。免責条項は、ツールが何をできて何ができないかをユーザーに明確に伝える場合に有用である。しかし、免責条項は完全な管理ではない。企業が顧客にポリシー質問を促し、自信を持った回答を提供し、サポート負荷の軽減から利益を得ている場合、一般的な免責条項が結果の大きいトピックに関する誤った回答を治癒することを期待すべきではない。Air Canada 事件における裁判所の論理は、この実用的な見解と一致している: 顧客が合理的にそれをサービスの一部として利用している場合、企業は自らの公的チャネルが企業から分離していると単に宣言することはできない。
免責条項は、デザインと矛盾する場合に最も弱い。ボットが目立つ場所に配置され、企業のブランド環境を使用し、権威ある言語で回答し、ヘルプパスに表示される場合、顧客はそれを公式とみなす。企業がボットを単なる検索アシスタントにしたいのであれば、そのように振る舞うべきである: ソースを参照し、断定的な請求言語を避け、リスクの高い質問を転送する。エージェントのように振る舞うのであれば、企業はそれをエージェントとして管理すべきである。
より良い管理は段階的である。第一に、質問をリスクで分類する。第二に、承認されたコンテンツに回答を基づかせる。第三に、既知のエッジケースに対して回答をテストする。第四に、ポリシー回答にソースリンクと日付を提供する。第五に、曖昧または高リスクの質問を人間に転送する。第六に、紛争に備えて回答ログを保持する。第七に、苦情と払い戻しを監視する。第八に、エラーが見つかった場合に知識ベースをタイムリーに修正する。第九に、既知の誤った回答が決定に影響を与えた可能性がある場合、影響を受けた顧客に通知する。第十に、自動化のインセンティブが回避可能な顧客被害を引き起こしていないか監査する。
この段階的モデルは従業員も保護する。サポートエージェントは、自分たちが閲覧できないボットの回答について謝罪するために残されるべきではない。法務チームは、製品チームが保存なしにポリシーアドバイスを開始したことを事後的に知るべきではない。製品責任者は、隠れたコストが払い戻し責任である場合、単なる電話回避率で評価されるべきではない。エンジニアは、非構造化ページから法的ポリシーを推測するよう求められるべきではない。管理されたチャットボットは、各グループに定義された役割を与える。
航空会社の自動化には時間に敏感な結果がある
航空会社のカスタマーサービスは、自動化されたアドバイスにとって特にリスクの高い分野である。なぜなら乗客はしばしば時間的プレッシャーの下で行動するからである。家族の死亡により迅速にチケットを購入する必要があるかもしれない。キャンセル、変更、バウチャーの受け入れ、払い戻しの請求、クレームの提出、または後で旅行して払い戻しを求めるかを決定する必要があるかもしれない。誤った回答は、取り消しが困難な購入決定を固定する可能性がある。弔慰運賃の文脈では、顧客は感情的にストレスを感じている可能性もある。
時間的切迫性は公平性の分析を変える。顧客は、チケットを購入する前に、電話待ち行列で待ち、運賃条項を比較し、法的助言を求めることができるとは限らない。航空会社のボットが決定時点で具体的な回答を提供する場合、顧客は合理的にそれを十分とみなすことができる。企業は、自動化サポートがこれらの瞬間に利用されることを知っているか、知っているべきである。したがって、設計は時間に敏感な金銭的アドバイスについてはより慎重であるべきである。
カナダ運輸庁の苦情と旅客権利に関するリソース (https://otc-cta.gc.ca/eng/air-travel-complaintsおよびhttps://rppa-appr.ca/eng) は、航空旅行紛争がしばしば請求プロセス、証拠、期限を含むことを示している。繰り返しになるが、これらのページは裁判所の決定ではない。それらは、乗客が救済を求める規制エコシステムを示している。このエコシステム内で権利または払い戻しの質問に答えるチャットボットは、乗客が正しい請求を提出するか、正しい書類を保持するか、期限を逃すかに影響を与える可能性がある。
自動化は、適切に管理されていれば一貫性の利点も生み出すことができる。ボットは毎回同じ承認された回答を提供し、ログを保持し、現在のポリシーにリンクし、例外を転送できる。人間のエージェントも一貫性がない可能性がある。問題は人間対自動化サービスではない。それは、企業が回答が管理され、テストされ、結果に対して十分に正確であったことを証明できるかどうかである。悪い人間のスクリプトと悪いボットのスクリプトは、同様の説明責任の問題を提起する。ボットは問題をよりスケーラブルにし、より再現可能にする。
リスクの高いトピックには、より良い表現だけでなくルーティングルールが必要である
インシデント後の最も簡単な解決策は、回答を書き換えることである。それは必要かもしれないが、十分ではない。永続的な管理は、誤った回答が表示される前にリスクの高いトピックを検出するルーティングルールである。弔慰運賃は良い例である。なぜなら、金銭、時間的プレッシャー、書類、感情的ストレスを組み合わせているからである。より安全なボットは、短いナビゲーション回答を提供し、現在の弔慰ページにリンクし、資格が特定の条件に依存することを示し、人間の連絡先を提供するかもしれない。現在のポリシーがその約束を明確にサポートしていない限り、旅行後の払い戻しを約束することを避けるべきである。
ルーティングルールは、製品責任者と法務責任者に見えるべきである。それらはベンダー設定やプロンプトライブラリにのみ存在すべきではない。ポリシー責任者は、ボットが回答できるトピックのリストを確認できるべきである: 払い戻し、バウチャー、医療旅行、アクセシビリティ、未成年者、ペット、手荷物、混乱、マイレージポイント、運賃差別、弔慰旅行。各トピックについて、企業はボットが回答を許可されるか、リンクする必要があるか、明確化の質問をする必要があるか、または転送する必要があるかを決定すべきである。この決定には日付が付けられ、ソースに結び付けられるべきである。
テストは、理想的な表現だけでなく、敵対的な顧客の質問を使用すべきである。乗客はポリシー質問を法的言語で行うわけではない。彼らは、今購入して後で返金してもらえるか、死亡診断書で十分か、運賃差別が適用されるか、旅行後に書類を提出できるか、親族が資格があるかを尋ねる。テストスイートにはこれらの自然な質問を含めるべきである。チャネルがサポートする場合、多言語または簡易言語バリアントを含めるべきである。コストのかかる信頼を生み出しそうなエッジケースを含めるべきである。
同じフレームワークは航空会社以外にも適用される。銀行、保険会社、病院、大学、公益事業、政府請負業者はすべて自動化された顧客接点を利用している。トピックの結果が小さい場合、誤った回答は迷惑である。トピックが金銭、資格、健康、期限、身分証明、法的権利に関する場合、回答は管理である。Air Canada 紛争は公的な例である。なぜなら金額は審判所にとって十分小さかったが、設計問題はあらゆるサービス組織にとって十分一般的だからである。
所有権は消えるまで分割されるべきではない
自動化リスクはしばしば所有権のギャップに隠れる。デジタルチームがインターフェースを所有し、カスタマーサービスチームがチャネルを所有し、法務チームがポリシーを所有し、エンジニアリングチームが統合を所有し、ベンダーがモデルまたはボットプラットフォームを所有し、運用が苦情を所有する。誤った回答が表示されると、各チームは他のチームが関連する層を管理していたと主張する可能性がある。まさにそのため、展開前に取締役会レベルの所有者を指名しなければならない。
所有者は個人的にすべての回答を書く必要はない。所有者は、テスト、ソース管理、保持、引き継ぎ、是正措置を要求する権限を持つ必要がある。所有者は、自動化パフォーマンスと顧客被害を組み合わせた指標を受け取るべきである: リスクの高いトピック別の回答精度、引き継ぎ率、ボット会話に関連する苦情率、誤った自動化アドバイスによる払い戻しまたは取り消し、ソース更新の遅延、ボットの回答を再構築できなかった未解決ケース。電話回避率だけの指標は不完全である。なぜなら、ボットがリスクを顧客に転嫁しただけでも、人間の接触が少ないことを報いるからである。
ベンダーガバナンスはこの所有権の一部である。企業がサードパーティのチャットボット製品を使用する場合、契約にはデータ保持、監査アクセス、ソース設定、テスト責任、変更管理、インシデント対応、紛争のための会話記録のエクスポートを規定すべきである。企業は、ベンダーがスタックの一部を提供したという理由だけで、ボットが分離していると顧客に伝えることはできない。顧客の観点からは、チャネルは航空会社のものである。ガバナンスの観点からは、航空会社はベンダーの証拠がこの責任をサポートできることを確認すべきである。
ポリシー変更管理は、もう一つの所有権テストである。運賃規則と払い戻し手続きは変更される。ボットのソースがウェブサイト、運賃ページ、コールセンタースクリプト、エージェントの知識ベースと同時に更新されない場合、不整合は予測可能である。管理されたワークフローは、あるチャネルでポリシーが有効になりながら、別のチャネルに古いアドバイスが残るのを防ぐべきである。変更記録には、影響を受けるページ、ボットインテントまたは知識エントリ、テストケース、承認、展開日が表示されるべきである。これは、ルーチンのエンタープライズソフトウェアの規律を顧客コミュニケーションに適用したものである。
是正措置には影響を受けるチャネルのレビューを含めるべきである
裁判所または審判所が顧客が誤った自動化アドバイスに依拠したと認定した場合、その顧客に対する救済は最初のステップに過ぎない。企業は、チャネルが他者に対して同様のアドバイスを生成したかどうかも調査すべきである。これは広範な被害を想定する必要はない。レビューが必要である。適切に保持されたログは、他の乗客が同様の質問をしたか、同様の回答を受け取ったか、同様のリンクをクリックしたか、誤った回答を受け取った後に会話を終了したかを示すことができる。ログが利用できない場合、証拠の欠如自体が管理上の発見事項である。
影響を受けるチャネルのレビューは比例するべきである。リスクの高いページでの単一の曖昧な回答は、コンテンツ修正のみを必要とするかもしれない。払い戻し資格に関する誤った回答は、最近のインタラクションの検索、未処理の請求のマーキング、サポートチームへの通知、トピックの一時的な人間への転送を必要とするかもしれない。企業が影響を受けた顧客を特定できる場合、レビューを提供するかどうかを決定すべきである。特定できない場合、その理由を文書化すべきである。このプロセスは、公的紛争を一度きりの訴訟として扱うのではなく、学習に変える。
レビューでは、顧客が証拠を保存するようどのように指示されたかも調査すべきである。自動化された回答が重要である可能性がある場合、顧客はトランスクリプトまたは参照番号にアクセスできるべきである。多くの企業は、顧客がチャットを簡単に行えるようにする一方で、トランザクションを保存するのを困難にしている。この設計は、後の紛争で企業に有利に働く。なぜなら顧客は証拠を失う可能性があるからである。バランスの取れた設計は、リスクの高いトピックについては顧客にトランスクリプトまたは要約を提供し、カジュアルな質問については不必要な保持を最小限に抑える。
最後に、是正措置はテストスイートにフィードするべきである。Air Canada 紛争からの正確な障害モードは回帰テストケースになるべきである: 顧客が、紛争と同様の事実に基づいて、旅行後に弔慰運賃の調整を請求できるかどうかを尋ねる。システムは、ソースリンク付きで正確に回答するか、質問を転送するかのいずれかである。将来のポリシー変更はこのケースを再実行するべきである。これにより、ソフトウェア組織は古いエラーが新しい表現で戻ってくるのを防ぐ。
証拠ファイルは紛争を生き残るべきである
Air Canada 事件では、乗客のスクリーンショットと裁判所の決定が自動化された回答を可視化した。成熟した企業は、顧客のスクリーンショットだけに依存するべきではない。会話記録、ソースポリシー、ボットバージョン、回答テンプレートまたは取得パス、および当時有効だったエスカレーションルールを取得できるべきである。これらの証拠は顧客と企業の両方を保護する。顧客は自分に何が言われたかを証明できる。企業はシステムが何のために設計されていたか、顧客が制限を見たかどうかを証明できる。
証拠ファイルは比例するべきである。不必要な個人データを永久に保存すべきではない。顧客の問い合わせの包括的な監視を作成すべきではない。しかし、リスクの高い金銭的または法的アドバイスについては、紛争期限に合わせた保持期間が適切である。ファイルには、日付、チャネル、ポリシートピック、ソースバージョン、回答、表示されたリンク、顧客の予約コンテキスト(必要な場合)、人間によるエスカレーションが提供されたかどうかを含めるべきである。また、その後の知識ベースの修正も記録すべきである。
ファイルは3種類のエラーを区別すべきである。第一はコンテンツエラー: ソースポリシーが誤っていた、古かった、または不完全だった。第二は取得または生成エラー: 正しいソースが存在したが、ボットが誤った回答を生成した。第三は設計エラー: ボットはそもそも質問に直接答えるべきではなかった。各エラータイプには異なる是正措置が必要である。コンテンツエラーにはポリシーメンテナンスが必要である。取得エラーにはモデル、検索、またはテンプレートの修復が必要である。設計エラーにはルーティングとリスク分類が必要である。
企業は顧客への被害是正も追跡すべきである。ボットが乗客に誤った払い戻しアドバイスを提供した場合、その回答パターンは他にも表示されたか?ログは類似の回答について検索されたか?影響を受けた顧客に通知されたか、またはレビューの申し出が行われたか?ボットは修正されるまでこのトピックについて無効化されたか?運賃またはヘルプページは明確にされたか?コールセンターのガイダンスは更新されたか?製品パフォーマンスは回避率のみ、または紛争結果も考慮して測定されたか?裁判所の決定は、カスタマーサービス自動化を展開するすべての企業でこれらの質問を引き起こすべきである。
事例が証明しないこと
Air Canada の決定は過大評価されるべきではない。それは、あらゆる企業のチャットボットの回答がすべての状況で拘束力を持つことを証明するものではない。生成的 AI システムが本質的に安全でないことを証明するものではない。すべての自動化カスタマーサービスに対する全国的なクラス責任ルールを確立するものではない。Air Canada の完全なチャットボットアーキテクチャ、ベンダー契約、テスト記録、または事後是正措置を明らかにするものではない。何人の顧客が同様のアドバイスを見たかを公に示すものではない。関連システムが純粋にスクリプトベースであったか、検索ベースであったか、生成的であったか、ハイブリッドであったかを示すものではない。
これらの未知の要素は重要である。なぜなら自動化の説明責任は設計に依存するからである。承認された回答テンプレートを持つ単純なルールベースのボットは、ポリシーページを要約する生成システムとは異なるリスクを持つ。リンクを返す検索アシスタントは、請求ルールを明確にする会話エージェントとは異なるリスクを持つ。記録されテストされた高リスクワークフローは、広く開放されたボットとは異なるリスクを持つ。内部アーキテクチャなしに、一般が根拠のない技術的主張をすべきではない。
確認された教訓はより狭く、より強力である: 企業が自動化カスタマーサービスチャネルを提供する場合、そのチャネルが企業のサービス環境内で提供するアドバイスに対して責任を負うことを期待すべきである。企業が信頼を制限したい場合、それに応じてチャネルを設計しなければならない。チャネルにポリシー質問に答えてほしい場合、それに応じてチャネルを管理しなければならない。エラーを発見した場合、チャネルを修正し、影響を受けた顧客に対応しなければならない。
この教訓で十分である。それは議論を新規性から運用へとシフトさせる。問題は、ボットが刺激的か効率的かではない。問題は、所有者、真実の情報源、テストスイート、保持ポリシー、エスカレーションパス、監視プロセス、是正パスが存在するかどうかである。これらは通常の管理である。自動化はそれらをより緊急にする。なぜなら、誤った回答が誰も気づかないうちに多くのユーザーに拡大される可能性があるからである。
限定的な決定でも広範な管理期待を設定できる
裁判所の決定を読む最も有用な方法は、広範な技術ルールではなく、管理期待としてである。決定は、自動化チャネルがサービス環境内に位置し、特定の顧客アドバイスを提供する場合、企業責任を負う可能性があることを示している。この期待は慎重な境界と両立可能である。企業は引き続き自動化を展開できる。ソースリンクを引き続き含めることができる。複雑な質問を転送できる。不適切な信頼に異議を唱えることができる。安全にできないことは、サービスアドバイスに自動化を使用し、アドバイスが誤っていた場合にチャネルを外部として扱うことである。
取締役会にとって、この期待はリスク選好に現れるべきである。取締役会は、軽い監視でリスクの低いナビゲーションの自動化を受け入れることができる。金銭的権利については人間による引き継ぎを要求できる。規制対象トピックについてはソースベースの回答を要求できる。法的権利に対する自由回答を禁止できる。開始前に独立したテストを要求できる。これらはガバナンスの決定である。顧客がスクリーンショットを生成した後ではなく、紛争の前に行われるべきである。
製品チームにとって、この期待はリリースゲートに現れるべきである。払い戻しアドバイスを変更するチャットボットのアップデートは、色の変更のようにリリースされるべきではない。ポリシーレビュー、テスト証拠、バージョン管理、ロールバック機能、監視が必要である。開始チェックリストでは、チャネルが顧客の信頼を生み出す可能性があるか、その信頼にどのように対応するかを尋ねるべきである。チームがそれに答えられない場合、その機能はリスクの高いサービスアドバイスの準備ができていない。
法務およびコンプライアンスチームにとって、この期待は免責条項から証拠へと注意をシフトさせるべきである。自動化紛争に対する最強の防御は、ボットが間違う可能性があるという一文ではない。それは、ボットが結果の大きい誤った回答を避けるように設計されたこと、不確実性が重要な場合に顧客が転送されたこと、エラーが修正されたこと、影響を受けた顧客が救済を受けたことの証拠である。これらの証拠は、損害の運用上の原因に対処するため、より説得力がある。
読者のための証拠ファイル
本稿は、Air Canada のチャットボット払い戻し紛争、航空会社のカスタマーサービス文脈、旅客権利の環境、自動化ガバナンスの用語に関する証拠ファイルとして、以下の公開情報源を使用している。法的および司法情報源は紛争記録の証拠として扱われる。企業情報源は公的文脈に使用される。AI ガバナンス情報源は管理用語として使用され、Air Canada に対する認定としてではない。
- 証拠ファイルの公開情報源:https://www.canlii.org/en/bc/bccrt/doc/2024/2024bccrt149/2024bccrt149.html
- 証拠ファイルの公開情報源:https://decisions.civilresolutionbc.ca/crt/crtd/en/item/525448/index.do
- 証拠ファイルの公開情報源:https://civilresolutionbc.ca/
- 証拠ファイルの公開情報源:https://civilresolutionbc.ca/tribunal-process/small-claims/
- 証拠ファイルの公開情報源:https://www.aircanada.com/ca/en/aco/home/fly/customer-support.html
- 証拠ファイルの公開情報源:https://www.aircanada.com/ca/en/aco/home/fly/customer-support/contact-us.html
- 証拠ファイルの公開情報源:https://www.aircanada.com/ca/en/aco/home/legal/conditions-carriage-tariffs.html
- 証拠ファイルの公開情報源:https://www.aircanada.com/ca/en/aco/home/book/special-offers/bereavement.html
- 証拠ファイルの公開情報源:https://otc-cta.gc.ca/eng/air-passenger-protection-regulations
- 証拠ファイルの公開情報源:https://otc-cta.gc.ca/eng/air-travel-complaints
- 証拠ファイルの公開情報源:https://rppa-appr.ca/eng
- 証拠ファイルの公開情報源:https://laws-lois.justice.gc.ca/eng/regulations/SOR-2019-150/
- 証拠ファイルの公開情報源:https://laws-lois.justice.gc.ca/eng/acts/C-10.4/
- 証拠ファイルの公開情報源:https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=32592
- 証拠ファイルの公開情報源:https://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-use-ai/algorithmic-impact-assessment.html
- 証拠ファイルの公開情報源:https://www.priv.gc.ca/en/privacy-topics/technology/artificial-intelligence/gd_principles_ai/
- 証拠ファイルの公開情報源:https://www.nist.gov/itl/ai-risk-management-framework
- 証拠ファイルの公開情報源:https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf
- 証拠ファイルの公開情報源:https://oecd.ai/en/ai-principles
- 証拠ファイルの公開情報源:https://www.cbc.ca/news/canada/british-columbia/air-canada-chatbot-lawsuit-1.7116416
取締役会への質問
決定的な質問は依然として残る: 誰がチャットボットのポリシーソース、回答テスト、エスカレーションパス、ウェブサイトの一貫性、顧客の信頼の証拠、払い戻し処理、法的立場、自動化サービスチャネルが公式の顧客コミュニケーションとして管理されていることの証明を実際に管理していたのか?完全な回答は、製品責任者、ポリシー責任者、法務レビュー担当者、サポート責任者、エンジニアリング責任者、データ保持責任者、是正責任者を特定すべきである。
レビューは5つの証拠レベルを分離すべきである。第一レベルは法的証拠: 裁判所の決定、請求記録、払い戻し解決策、および保存された顧客コミュニケーション。第二レベルはポリシー証拠: 弔慰運賃規則、運賃、ウェブサイトページ、ソースバージョン。第三レベルは自動化証拠: ボット設計、トレーニングまたは取得ソース、テストケース、回答ログ、エスカレーションしきい値。第四レベルは顧客証拠: 信頼、時間的プレッシャー、スクリーンショット、連絡試行、是正パス。第五レベルはガバナンス証拠: エラー後の修正、監視、影響を受けた顧客のレビュー、取締役会指標。
航空会社および他のサービス企業にとって、修復の兆候は単にチャットボットの回答を削除することではない。それは、どのトピックに回答が許可されるか、どのトピックが転送されなければならないか、どのソースが回答を制御するか、どのように信頼が記録されるか、どのようにエラーが修正されるか、自動化チャネルが企業の実質的な権限で話す場合にどのように顧客が保護されるかを把握している管理された自動化プログラムである。したがって、Air Canada 紛争は、大きな運用メッセージを持つ少額請求である: 顧客のポリシー質問に答える自動化は、企業の外部ではない。それは企業の一部である。
自動化ガバナンスは顧客がテストセットになる前にテストされるべきである
カスタマーサービス自動化における運用上の危険は、企業が顧客が信頼した後にのみポリシーエラーを発見する可能性があることである。これは、払い戻し、運賃、保険、信用、健康、旅行、または法関連のアドバイスにとって間違ったテストモデルである。重要性の高いトピックは、乱雑な実際の言語で一般的な質問をし、回答を承認されたソースと比較し、システムが不確実なケースを人間に転送することを確認する事前テストを持つべきである。顧客が最初の有意義な回帰テストスイートになるべきではない。
テストスイートには矛盾を含めるべきである。同じ質問を異なる日付、運賃タイプ、旅行ステータス、顧客所在地、証拠制約で行うべきである。サービスがすでに利用された後の例外、期限、救済手段、払い戻しについて尋ねるべきである。ボットが直接拒否しなければならない質問を含めるべきである。すべての質問に自信を持って答えるシステムは成熟していない。単に不確実性を隠している可能性がある。管理されたシステムは、いつ話すべきでないかを知っている。
リリースガバナンスはソースのドリフトもカバーすべきである。弔慰ページが変更された場合、運賃が更新された場合、規制当局が旅客権利の表現を変更した場合、ポリシーチームが例外を明確にした場合、ボットの管理ソースは同時に変更されなければならない。企業は、更新されたソースがボットに到達したこと、古い矛盾した回答が撤回されたこと、リスクの高いテストケースが変更後に合格したことを示せなければならない。これは、自動化コミュニケーションに適用された通常の変更管理である。
自動化の価値はこれらの管理によって無効にされない。優れた自動化は待ち時間を短縮し、顧客が正確な情報を見つけるのを支援できる。しかし、価値はシステムが信頼できる場合にのみ存在する。信頼できる自動化は流暢な回答によって定義されない。それは、ソース管理、テスト、エスカレーション、証拠保持、および企業が管理するチャネルが顧客に誤った指示を与えた場合の是正措置によって定義される。

