AIの導入後は誰が面倒を見る？運用・故障・変更の担当の決め方

AIを業務で使い始めた際、最も重要なのは「回答が変になった時に誰が止めるか」を決めておくことです。システムが動いていても、回答の質が落ちていれば業務に支障が出ます。まずは、トラブルを「入力ミス」「回答の質」「接続トラブル」の3つに分けて整理しましょう。その上で、業務の正しさを判断する「業務責任者」と、システムの動きを直す「保守担当」の役割を明確に分けることが、運用の第一歩となります。

なぜAIの運用は従来のシステムと分けて考える必要があるのか？

「回答の質が落ちた」は故障ではなく品質の問題として扱う

従来のシステムにもデータの不備はありますが、生成AIは「動いているけれど、回答が微妙に違う」という問題が起こります。例えば、昨日まで正しく要約していたものが、今日は少し言葉が強くなっている、といった具合です。これはシステムの故障ではなく「品質の低下」です。この場合、システムの修理ではなく、業務のルールや指示文を見直す必要があります。そのため、システムの故障担当者に「回答が変だ」と伝えても、技術面の確認だけでは業務上の問題を把握できないことがあります。業務の正しさを判断できる人が、この問題の責任を持つことが重要です。

外部サービスの更新が自社の業務に影響を与える仕組みを知る

AIは、インターネットの向こう側にある巨大な仕組み（外部サービス）を利用して動いています。この仕組みは、提供元によって予告なく中身が更新されることがあります。例えば、AIの「頭脳」にあたる部分が新しくなったとき、今まで使えていた指示文（プロンプト）が、期待通りの動きをしなくなることがあります。これは自社のプログラムのミスではなく、外部環境の変化によるものです。この変化を察知し、指示文を調整し直す作業が必要になるため、いつ、誰が、どのような変更を行ったのかを記録しておく仕組みが欠かせません。

業務の判断者とシステムの保守担当を分けるべき理由

AIの運用では、「業務の正しさ」と「システムの正常動作」を分けて考える必要があります。業務の責任者は、AIの回答が業務ルールに沿っているかを判断し、必要であれば「今日は使わない」と決断します。一方で、システムの保守担当は、AIとの接続（通信）が切れていないか、プログラムがエラーを起こしていないかを調査します。小さな会社では同じ人が兼任しても構いませんが、品質確認と技術調査を別の項目として記録します。担当者だけで解決できない場合の相談先も決め、システムが動くことと業務に使えることを別々に確かめましょう。

業務側とシステム側の役割をどのように分担すればよいか？

業務責任者が担うべき「利用を止める」という決断

業務責任者の役割は、AIが出した結果が「実務に使えるレベルか」を判定することです。例えば、顧客へのメール案を作成するAIが、急に丁寧すぎる表現や、逆に失礼な表現を使い始めた場合、そのAIを使い続けてよいかを判断するのは、システムの専門家ではなく業務の責任者です。また、異常を感じた際に「一旦、AIの使用を止めて、これまでの手作業に戻そう」と指示を出す権限も、業務責任者が持っておくべきです。この判断基準をあらかじめ決めておくことで、誤った情報が外に出るリスクを抑えられます。

システム保守担当が調査すべき「接続と動作」の範囲

システム保守担当の役割は、AIが動くための「通り道」を守ることです。具体的には、インターネット接続が安定しているか、AIとの橋渡しをする仕組み（API）が正しく動いているか、といった技術的な側面を調査します。例えば、「AIの回答が遅い」という報告があったとき、それがAI自体の処理待ちなのか、自社のネットワークの問題なのかを切り分けるのが仕事です。業務の正しさについては判断を下さず、あくまで「システムが設計通りに動いているか」を確認し、問題があれば技術的な修正や復旧作業を行います。

担当者を決める際に現場へ確認すべき3つの質問

役割を分ける際、現場の担当者へ以下の質問を投げかけてみてください。まず「AIの回答が明らかに間違っていると気づいた時、誰が利用者に『今は使わないで』と伝えられますか？」という質問です。次に「AIとの接続が切れた時、誰が原因を調べて報告しますか？」と聞きます。最後に「AIが使えない時、これまでの手作業に戻る手順は全員が知っていますか？」と確認します。これらの回答が曖昧な場合は、まだ運用体制が整っていないサインです。回答が明確になれば、それがそのまま役割分担の基礎となります。

トラブルが起きた際に混乱を防ぐための具体的な手順は？

発生した問題の種類を「入力・品質・接続」に分類する

トラブルが起きたときは、まずその原因がどこにあるのかを分類することから始めます。一つ目は「入力の失敗」で、使い手が指示を間違えたケースです。二つ目は「品質の低下」で、AIの回答が期待と異なるケースです。三つ目は「接続のトラブル」で、システム自体が止まったケースです。例えば、「回答が重複して登録された」という問題は、単なる入力ミスではなく、システムの不具合かもしれません。このように、症状ごとに「誰に連絡し、どう対応するか」をあらかじめ決めておくことで、現場の混乱を最小限に抑えられます。

指示文や参照データの変更履歴を記録し管理する方法

AIの動きを変えるには、指示文（プロンプト）や、AIが読み込む資料（参照データ）を書き換える必要があります。この変更は、システムのプログラム変更と同じくらい重要です。例えば、指示文を少し変えただけで、回答の質が大きく変わってしまうことがあります。そのため、「いつ」「誰が」「どの資料を」「どのように変えたか」を記録に残す必要があります。変更した後は、必ず「以前の指示文に戻せる状態」を確保した上で、新しい指示文が正しく動くかを確認してから公開する手順を徹底しましょう。

異常時に「元の手順」へ戻すための準備と練習

AIが正常に動かなくなったとき、最も大切なのは「業務を止めないこと」です。そのため、AIが使えない場合に備えて、これまでの手作業や別の方法へすぐに切り替えられる準備をしておきましょう。例えば、AIによる自動入力が止まった場合に備え、手動で入力する手順書を常に最新にしておくことです。また、実際に「AIが止まった」と仮定して、どのように元の手順へ戻るのかを定期的に練習しておくことも有効です。この「戻るための練習」が、不測の事態における業務の継続性を支えます。

自社の運用体制が整っているかをどう判断すればよいか？

業務への影響を最小限にするための必要書類を揃える

運用をスムーズにするためには、言葉だけでなく、判断基準を記した書類を用意しましょう。具体的には、どのような症状が出たら「停止」とするのかという判断基準表や、トラブル発生時の連絡先リスト、そして変更履歴の記録簿です。例えば、「回答の根拠が間違っている場合は即座に停止し、業務責任者に報告する」といった具体的なルールを書き留めておきます。これらの書類が揃っていることで、担当者が変わった際や、緊急時でも迷わずに正しい行動を取れるようになります。

外部ベンダーに任せる範囲と社内で引き継ぐ範囲を見極める

AIの開発を外部の会社に依頼した場合、契約内容を細かく確認する必要があります。例えば、「システムを作って納品するだけ」の契約なのか、「作った後の微調整や不具合対応も含む」契約なのかで、その後の負担が大きく変わります。もし保守費用が含まれていない場合は、AIの指示文を書き換えたり、参照する資料を更新したりする作業を、自社の誰が担当するのかを事前に決めておかなければなりません。どこまでを外注し、どこからを自社で行うかの境界線を明確にすることが、コストと責任の管理に繋がります。

専門家へ相談を検討すべき判断基準とは

自社での対応に限界を感じたら、専門家への相談を検討しましょう。例えば、「指示文を何度も書き直しているのに、回答の質が安定しない」場合や、「外部サービスの仕様変更が頻繁に起き、対応が追いつかない」といった状況です。これらは単なる操作ミスではなく、AIの特性に合わせた高度な管理が必要なサインです。今の運用で「何が原因で、何が分かっていないのか」を整理した上で、専門家へ状況を伝えると、より的確なアドバイスを得やすくなります。まずは自社の状況を整理し、必要に応じて相談の選択肢を検討してください。