AIは人間とは異なる方法でデータを読み取ります。適切な形式で提供すれば、より良い結果が得られます。
データ形式ランキング
| 形式 | AIへの親和性 | 備考 |
|---|---|---|
| JSON | ✅ 非常に優れている | 構造化されており明確 |
| CSV | ✅ 非常に優れている | 表形式でシンプル |
| プレーンテキスト | ✅ 良好 | きれいなフォーマットが必要 |
| Markdown | ✅ 良好 | 構造が維持される |
| XML | ⚠️ 中程度 | 冗長だが解析可能 |
| PDF (テキスト形式) | ⚠️ 抽出が必要 | まず変換が必要 |
| PDF (スキャン済み) | ❌ 不向き | OCRが必要 |
| 画像 | ❌ ビジョンAIなしでは不可 | 特別な処理が必要 |
最良：構造化データ
AIはJSONとCSVを好みます：
- JSON：明確な構造、ネストされたデータ、解析が容易
- CSV：表形式のデータに最適、シンプルで汎用的
- 理由：AIが構造を明確に把握でき、推測の必要がないため
良好：整理されたテキストドキュメント
適切にフォーマットされたドキュメント：
- 明確な見出し：AIがトピックの切り替わりを認識できる
- 一貫した段落：チャンク分割（分割）が容易
- Markdown：テキスト内のフォーマットを維持できる
- 文字化けのないフォーマット：クリーンなエンコーディング
処理が必要：PDF
PDFの取り扱い：
- テキストPDF：テキストを抽出すればAIが読み取り可能
- スキャン済みPDF：まずOCRを行い、その後にAIへ
- PDF内の表：CSVに抽出してからAIに読み取らせる
- レイアウトの維持：フォーマットが崩れる可能性がある
構造化の原則
データのフォーマット方法：
| 原則 | 意味すること |
|---|---|
| 一貫したラベル | "customer_name"を常に使用し、"cust_name"を混ぜない |
| 明確な値 | "2024-01-15"を使用し、"Jan 15"や"1/15/24"は避ける |
| 適切なサイズ | 妥当なチャンクサイズ（一度に1000ページのドキュメントを渡さない） |
| メタデータの付与 | 日付、ソース、データの種類など |
データ準備のステップ
- 抽出：ソースシステムからデータを取得する
- クリーニング：重複の削除、エラーの修正
- フォーマット：AIフレンドリーな形式に変換する
- ラベル付け：コンテキスト（文脈）となるメタデータを追加する
- チャンク分割：大きなファイルを適切に分割する
チャンク分割戦略
大きなドキュメントの分割方法：
- セクションごと：各セクションを個別に分割
- 段落ごと：密度の高いテキストの場合
- 固定サイズ：一般的には1000〜2000トークン
- オーバーラップあり：境界での情報の断絶を防ぐ
日本語データの考慮事項
- UTF-8エンコーディング：日本語テキストには不可欠
- 文字の取り扱い：漢字、かな、混在文字への対応
- 改行：日本語ドキュメントでは仕様が異なる場合がある
- Excelの普及：日本のビジネスデータはExcel形式が多い
悪いデータの警告サイン
以下の問題は避けてください：
- 不一致なエンコーディング：文字化け
- 欠損値：ランダムな空白
- フォーマットの混在：電話番号の形式が5種類もあるなど
- 構造の欠如：改行のない、ただのテキストの塊
例：顧客データ
良いフォーマット：
{
"customer_id": "C12345",
"name": "田中太郎",
"email": "[email protected]",
"segment": "enterprise",
"last_purchase": "2026-04-20",
"total_value": 1500000
}
悪いフォーマット： "顧客 田中 / tanaka@ex / 大口顧客 / 最近購入 / おそらく約150万円"