社内AIが古い規程を答えてしまう。資料を直した後に確認すること

社内の規程やマニュアルを最新版に書き換えたのに、社内AIが以前の古いルールを回答し続けることがあります。この問題の結論は、「資料を書き換えたこと」と「AIが使う検索用のデータが更新されたこと」は別物である、ということです。まずは、書き換えたファイルが正しく保存されているかを確認し、次にAIの検索システムにその変更が反映（取り込み）されているかを調べることから始めてください。

なぜ資料を更新したのにAIの回答が変わらないのか？

資料の更新と検索用データの更新は別物である

資料をパソコンのフォルダやクラウドストレージ上で書き換えても、それだけでAIの知識が即座にアップデートされるわけではありません。多くの社内AIは、資料をそのまま読んでいるのではなく、あらかじめ資料の内容を「検索しやすい形」に変換して、専用のデータベースに保管しています。例えば、図書館の棚にある本を新しいものに差し替えても、図書目録（カタログ）を書き換えない限り、利用者は古い情報のまま本を探してしまう状況に似ています。資料を直した後は、その変更をAIの検索用データベースへ反映させる作業が必要になることを理解しておきましょう。

AIが情報を探す仕組み「RAG」の仕組みを理解する

社内AIが資料を参照して回答する仕組みを「RAG（ラグ）」と呼びます。これは「検索拡張生成」と訳され、AIが回答を作る前に、関連する資料を「検索」して、その内容を「参考資料」として読み込む仕組みです。AIが情報を探しやすくするための設定が適切に行われていても、検索対象となるデータの更新が漏れていると、AIは古い資料を「正しい情報」として拾い上げてしまうことがあります。AI自体が間違っているのではなく、AIが参照している「教科書」が古いままになっていることが、回答がズレる主な原因の一つです。

複数の古い資料が検索対象に残っていないか確認する

検索対象となるフォルダの中に、古いバージョンの資料が残っていると、AIがどちらを優先すべきか判断できず、誤った回答を導くことがあります。例えば、「旅費規程_2023.pdf」と「旅費規程_2024.pdf」が両方とも検索対象に入っている場合、AIは古い方の内容を引用してしまう可能性があります。資料を更新する際は、単に新しいファイルを置くだけでなく、古いファイルを検索対象から外す、あるいは削除するといった「整理」の作業もセットで行う必要があります。情報の重複は、AIの回答精度を下げる大きな要因となります。

どこに原因があるかを見極めるための3つの確認手順

まずは「正本」のファイルが最新版かを確認する

トラブルが起きたら、まずはAIが参照している元となるファイル（正本）そのものが、本当に最新の状態であるかを確認します。ファイルの保存場所を間違えていないか、あるいは上書き保存が正しく完了しているかをチェックしてください。例えば、共有サーバー上のファイルを直したつもりでも、実は自分のパソコン内の古いファイルを直していただけ、というケースは珍しくありません。ファイルの「最終更新日時」や「ファイル名」を、規程の改訂履歴と照らし合わせて、確実に最新版が正しい場所に存在することを確認しましょう。

次にAIの「検索用データ」への取り込み状況を調べる

正本のファイルが最新であっても、AIのシステム側で「データの取り込み（インデックス作成）」が行われていなければ、回答は変わりません。AIの管理画面などで、資料の取り込み日時を確認してください。例えば、資料を更新したのが今日の午前中であっても、AIのデータ更新が昨日の夜のままであれば、AIは昨日の古い情報を使い続けます。システムによっては、手動で「更新ボタン」を押す必要があるものや、定期的なスケジュールでしか更新されないものがあります。更新作業が正常に完了し、エラーが出ていないかを確認することが重要です。

最後にAIへの「指示（プロンプト）」を見直す

資料も検索データも正しいのに回答が古い場合は、AIへの指示出しである「プロンプト」に原因があるかもしれません。プロンプトとは、AIに対して「どのように回答してほしいか」を伝える命令文のことです。例えば、「常に基本規程に基づいて回答してください」という指示が強く設定されていると、新しく追加した特例ルールよりも、基本規程にある古い記述を優先して読み取ってしまうことがあります。指示の内容が、新しい資料の内容を正しく引き出せるようになっているか、指示文の書き方を見直してみましょう。

正しい情報を回答させるための運用ルール

過去の規程を履歴として残す場合の整理術

規程は、過去の経緯を確認するために旧版を保管しておく必要があります。しかし、これらを無造作に同じ場所に置いておくと、AIが混乱します。履歴として残す場合は、検索対象となるメインのフォルダとは別の「アーカイブ用フォルダ」に移動させるなど、AIが読みに行く範囲を明確に分ける工夫をしましょう。もし同じ場所に置く必要がある場合は、ファイル名に「【旧版】」や「【廃止】」と明記するだけでなく、資料の本文内にも「本規程は2024年3月31日をもって失効しました」といった一文を加えておくと、AIが情報の新旧を区別しやすくなります。

施行日（ルールが始まる日）をAIに意識させる

新しいルールが「来月から適用される」という場合、AIが今日時点での質問に対して、まだ施行されていない新ルールを答えてしまうことがあります。これを防ぐには、資料の中に「適用開始日」を明確に記載しておくことが有効です。例えば、「本規定は2024年4月1日より施行する」と記載されていれば、AIは日付の情報を手がかりに、現在の状況に適した回答を選びやすくなります。AIに「今日の日付」を意識させるような指示をプロンプトに含めることも、将来の変更を正しく答え分けるための手段の一つです。

更新作業の記録をどのように残しておくべきか

「いつ、どの資料を、どのように更新したか」という記録を残すことは、トラブル時の原因究明に役立ちます。単に「ファイルを置き換えた」だけでなく、「検索用データの更新も完了した」「旧版をアーカイブフォルダへ移動した」といった、AIの仕組みに踏み込んだ記録を残しておきましょう。具体的には、更新したファイル名、適用開始日、AIシステムへの取り込み完了日時をセットで管理することをお勧めします。これにより、AIの回答が変だと思われたときに、「資料は直したが、システムの取り込みがまだだった」といった判断が迅速にできるようになります。

担当者が迷ったときに判断すべき基準と相談先

自社で対応できる範囲と専門家に任せる範囲を分ける

AIの回答トラブルが起きたとき、どこまでを自社の担当者が行い、どこからをシステム会社やIT部門に任せるべきかを整理しておきましょう。一般的に、規程の内容そのものやファイルの書き換えは、人事や総務などの業務担当者の範囲です。一方で、AIの管理画面の設定変更や、検索用データの取り込みエラーの解消、システムの根本的な挙動の調査などは、IT担当者や導入ベンダーの専門領域となります。自分の作業が「中身の更新」なのか「仕組みの管理」なのかを区別することで、スムーズな連携が可能になります。

検索結果が正しいのに回答がズレる場合の判断基準

「AIの検索機能を使って、該当する資料のテキストが表示されているのに、AIの回答文だけが古い」という状況は、問題の所在を特定する大きなヒントになります。検索結果に表示されるテキストが最新であれば、データ（資料）や取り込み（インデックス）には問題がありません。この場合は、AIへの指示（プロンプト）や、AIが情報を要約する際の解釈に影響している可能性が高いと考えられます。逆に、検索結果に表示されるテキスト自体が古い場合は、資料の置き換えミスか、データの取り込み漏れが原因であると切り分けられます。

解決しない場合に専門家へ確認すべき具体的な質問

自分たちで確認しても原因がわからない場合は、迷わず専門家へ相談しましょう。その際、「AIが間違っています」とだけ伝えるのではなく、以下のポイントを整理して質問すると解決が早まります。例えば、「正本のファイルは最新版に更新済みで、最終更新日も確認しました」「AIの管理画面では、データの取り込みは成功と表示されています」「検索結果には新しい規程の文章が出てくるのですが、回答だけが古いままです」といった具合です。状況を具体的に伝えることで、専門家は「プロンプトの調整が必要か」「データベースの再構築が必要か」といった的確なアドバイスを出しやすくなります。

更新の方法や反映までの時間は、使っているサービスと構成によって異なります。資料を保存しただけで検索対象も変わるのか、手動の取り込みや定期処理が必要かを管理担当へ確認してください。