AI導入より先に顧客台帳を整えたい。重複・表記揺れの直し方

まずは顧客台帳全体を俯瞰し、どこに重複や表記揺れが潜んでいるかを把握します。問題点が見えると、AIに渡す前のデータクレンジング作業がスムーズに進むので、最初のステップは「現状把握と課題リスト化」です。

---

顧客台帳の現状把握と課題整理

全体構造と項目の確認

顧客台帳に含まれる項目（顧客ID、氏名、住所、電話番号など）を一覧化し、必須項目と任意項目を区別します。まずはエクセルやデータベースのスキーマを確認し、項目名が統一されているかをチェックします。項目が散在していると、後の重複検出や表記統一が困難になるため、担当者に「現在の項目一覧とその定義を教えてもらう」ことが重要です。

次に、各項目のデータ型や入力規則（数値のみ、全角半角の統一など）を確認し、ルールが曖昧な項目は社内で統一ルールを策定します。例えば電話番号がハイフンあり・なしで混在しているケースは、入力時に統一フォーマットを設定すれば、後の正規化が楽になります。

データ取得範囲の決定

顧客台帳はシステムが複数ある場合や、過去に別システムからインポートしたデータが混在していることがあります。まずは「どのシステム・ファイルから顧客情報を取得するか」を決め、対象範囲を明確にします。担当者に「最新の顧客情報はどこに保管されているか」や「過去データの保管場所は？」と質問し、取得対象をリスト化します。

取得範囲が決まったら、バックアップを取得し、作業用のコピーを作成します。元データは万が一の復元に備えて、読み取り専用で保存しておくと安心です。この段階で「バックアップの保存先と保存期間」を決め、担当者に確認してもらうと、後のトラブル防止につながります。

課題リストの作成方法

現状把握が終わったら、重複や表記揺れなどの課題を一覧にします。例えば「同一顧客が複数レコードに分散」「氏名の全角・半角混在」「住所の表記揺れ（○○市 vs ○○市）」といった具体的な項目を列挙します。課題リストはエクセルのシートに「課題」「影響範囲」「優先度」「担当者」の列を設け、担当者と共有します。

このリストをもとに、次のステップである重複抽出や表記統一の作業計画を立てます。課題の優先度は、AI活用時に最も影響が大きい項目（顧客IDの重複など）を上位に設定し、担当者に「どの課題がAI導入に直結するか」をヒアリングすると、作業の効率化が図れます。

---

重複レコードの抽出と評価

重複候補の抽出基準

重複レコードを抽出する際は、顧客ID、氏名、電話番号、メールアドレスなど、複数のキー項目を組み合わせて条件を設定します。まずは「完全一致」だけでなく「部分一致」や「類似度」も考慮し、抽出基準を段階的に緩めていく方法が有効です。担当者に「どの項目が最も信頼できるか」や「過去に重複が見つかったパターンは？」を聞き、基準をカスタマイズします。

抽出ツールはエクセルの関数やデータベースのSQL、あるいは専用の重複検出ツールを利用できますが、まずは手軽に実装できるエクセルの「COUNTIF」や「VLOOKUP」で候補を洗い出し、件数が多すぎないかを確認します。基準が緩すぎると膨大な候補が出て作業が滞るため、段階的に絞り込むことがポイントです。

類似度計算の実務例

氏名や住所の類似度は、文字列比較アルゴリズム（Levenshtein距離やJaro‑Winkler距離）を利用すると精度が上がります。実務では、まずは「全角・半角・スペースの正規化」を行い、次に「ひらがな・カタカナの統一」を行うことで、比較対象をシンプルにします。

担当者に「正規化後のサンプルデータは？」と依頼し、実際に数件でテストすると、閾値（例：0.85以上）を決めやすくなります。

テスト結果を踏まえて、類似度が閾値以上のレコードを「重複候補リスト」にエクスポートします。このリストは担当者が手動で確認できるよう、顧客ID・氏名・類似度スコアの列を付与し、優先度別に並べ替えておくと、レビューがスムーズです。

誤統合の復元手順

過去に誤って統合されたレコードは、元の情報が失われていることがあります。まずは「統合履歴」や「変更ログ」が残っているかを確認し、バックアップから元データを復元できるかを検討します。ログが残っていない場合は、統合前のレコードを推測するために、類似度が高いが統合後に欠落している項目（電話番号やメール）を手掛かりにします。

復元作業は、元データを別シートにコピーし、統合前の状態を再現します。その上で、担当者に「復元したレコードは正しいか」確認してもらい、承認を得たら正式に元台帳に戻します。復元作業の履歴は必ず記録し、次回同様のミスが起きないように手順書に追記しておくことが重要です。

---

表記揺れの統一手順

表記揺れのパターン把握

表記揺れは、全角半角、ひらがなカタカナ、略称・正式名称の混在などが典型です。まずは「代表的な項目（氏名・住所・電話番号）を抽出し、サンプルデータで頻出パターンを洗い出す」作業を行います。担当者に「過去に顧客から指摘された表記の例」はないかをヒアリングし、リスト化します。

次に、抽出したパターンをカテゴリ別に整理し、例えば「全角数字→半角数字」「〇〇株式会社→〇〇(株)」といった変換ルールを表にまとめます。このルール表は、後の自動置換スクリプトやエクセルの置換機能で活用できるよう、正規表現の形式でも用意しておくと便利です。

正規化ルールの策定

正規化ルールは、社内で統一したフォーマットを決めることが目的です。まずは「全角・半角」「大文字・小文字」「スペースの有無」など、基本的な正規化項目を定義します。続いて、業界特有の略称や住所の表記（例：丁目・番地の表記揺れ）についてもルール化します。担当者に「どの表記が社内で標準とされているか」を確認し、ルール案を共有します。

ルールが決まったら、エクセルの「置換」やPythonの「pandas」ライブラリを使ってバッチ処理を作成します。まずはテストデータで実行し、変換結果を担当者にレビューしてもらい、誤変換がないかをチェックします。問題がなければ本番データに適用し、変換前後の差分レポートを作成して保存します。

自動置換と手動チェック

自動置換は大量データを短時間で統一できる利点がありますが、例外ケースが必ず存在します。そのため、置換後は必ず「手動チェックリスト」を作成し、担当者がサンプル抽出して確認できる仕組みを用意します。チェック項目は「氏名の全角・半角」「住所の丁目表記」「電話番号のハイフン有無」など、ルールで定めたポイントに絞ります。

手動チェックの結果、例外的な表記が見つかった場合は、ルール表に例外項目として追記し、次回以降の自動置換に反映させます。また、チェック結果は「修正履歴」として保存し、将来的に同様の表記揺れが再発しないように管理します。自動化と手動確認を組み合わせることで、精度の高いデータ統一が実現します。

---

整備結果の承認と保存

承認フローの設計

データクレンジングが完了したら、社内での承認フローを設定します。まずは「担当者→部門長→情報管理責任者」の三段階承認を想定し、各ステップで確認すべき項目（重複削除数、表記統一率、復元レコード数）をチェックリスト化します。担当者に「承認に必要な情報は何か」を確認し、テンプレートを作成します。

承認依頼は、メールや社内のタスク管理ツールで行い、承認者がコメントできるようにします。承認が得られたら、承認日時と担当者名をメタデータとして台帳に付与し、変更履歴として残します。これにより、後から誰がいつどのような変更を行ったかが追跡可能になります。

元データの保存方法

クレンジング前の元データは、復元や監査のために必ず保存しておく必要があります。保存場所はアクセス制限がかかる共有フォルダや、バージョン管理ができるストレージを選びます。保存形式は、元のCSVやエクセルに加えて、変更履歴を含むJSONやXMLでも保存すると、後から差分解析がしやすくなります。

保存時には「保存期間」「保存権限」「バックアップ頻度」を定め、情報管理責任者に承認を得ます。担当者には「保存したファイルのパスとアクセス方法」を周知し、必要時にすぐに参照できるようにしておくと、トラブル時の対応が迅速になります。

整備完了後のAI活用準備

データが整備され、承認・保存が完了したら、AI導入の準備に移ります。まずは「クレンジング済み台帳をAI向けのデータセットに変換」し、必要な項目だけを抽出します。担当者に「AIで利用したい分析項目やモデルの要件」をヒアリングし、データフォーマット（例：CSV、Parquet）を決定します。

次に、AIベンダーや社内のデータサイエンティストと共有する際の「データ提供手順書」を作成します。手順書には、データの受け渡し方法、機密保持契約（NDA）の有無、利用範囲の制限などを明記し、関係者全員の合意を得ます。これで、顧客台帳の整備が完了し、AI活用への土台が整ったことになります。