「AIの性能はデータで決まる」——AI開発の現場では、こう言われることがあります。
どれだけ優れたアルゴリズムを使っても、学習させるデータが偏っていたり、質が低かったりすれば、AIは正しく学べません。
逆に、良質なデータがあれば、シンプルなモデルでも驚くほどの精度を発揮することがあります。
データはAIにとっての「食べ物」です。何を食べて育つかが、AIの知性の質を決める——この章では、AIの学習データをどこから集め、どう整えるかを見ていきます。
オープンデータセット
オープンデータセットとは、誰でも自由に利用できる形で公開されているデータの集まりです。
研究機関・政府・企業・コミュニティなどが公開しており、AI開発の出発点として広く活用されています。
代表的なオープンデータセットをいくつか見てみましょう。
画像認識の分野では、100万枚以上の画像が含まれるImageNetが有名で、多くの画像認識モデルの学習・評価に使われてきました。自然言語処理の分野では、Wikipediaのテキストデータが広く使われています。医療分野では、胸部X線画像のデータセットが公開されており、診断AIの研究に活用されています。
オープンデータセットを使う際には、ライセンスの確認が欠かせません。
「自由に使える」といっても、商用利用が禁止されているもの、改変が禁止されているもの、利用時にクレジット表記が必要なものなど、条件はデータセットによって異なります。利用規約を確認せずに使うと、法的な問題になることがあります。
コーパス
コーパス（Corpus）とは、自然言語処理の学習に使われる、大量のテキストデータの集まりです。
ラテン語で「身体・集積」を意味する言葉で、言語の「体系的な蓄積」というニュアンスを持ちます。
コーパスには様々な種類があります。
新聞記事・書籍・ウェブページ・会話の書き起こし・法律文書——それぞれ異なる文体・語彙・表現が含まれています。
ChatGPTやClaudeのような大規模言語モデルは、こうした多様なコーパスを大量に学習することで、幅広い文脈に対応できる言語能力を身につけています。
コーパスの質は、言語AIの性能に直結します。
偏ったコーパス——たとえば特定の政治的立場の記事ばかり、あるいは差別的な表現を含む文章ばかりで学習させると、AIはその偏りを「正しい言語」として学んでしまいます。
多様で均衡のとれたコーパスを用意することが、公平で信頼性の高い言語AIを作るための土台となります。
オープンデータセットとコーパスの関係
ここで一度、二つの言葉の関係を整理しておきましょう。
オープンデータセットは「公開されているデータの集まり」全般を指す広い概念です。画像・音声・テキスト・数値データなど、あらゆる種類のデータが含まれます。
一方、コーパスは「テキストデータの集まり」に特化した言葉で、自然言語処理の分野で使われる専門用語です。
つまり、公開されているテキストデータセットは、オープンデータセットでもあり、コーパスでもある——両方の言葉が当てはまります。
アノテーション
アノテーション（Annotation）とは、AIの学習データに正解ラベルや付加情報を付与する作業のことです。
「アノテーション」とは「注釈を付ける」という意味で、生のデータをAIが学習できる形に整える、重要な工程です。
具体的にはどんな作業でしょうか。
画像認識AIを作るなら、写真の中の猫に「猫」というラベルを付ける、物体の周囲を枠で囲んで「これが検出すべき物体だ」と示す。自動運転AIなら、道路画像の中の歩行者・車・信号を一つひとつ識別してラベルを付ける。感情分析AIなら、レビュー文章に「ポジティブ」「ネガティブ」という感情ラベルを付ける——こうした作業がアノテーションです。
アノテーションは、AIの学習の質を直接左右します。
ラベルが間違っていれば、AIは間違った答えを「正解」として学んでしまいます。
しかし大量のデータに一つひとつラベルを付けるのは、膨大な時間と人手がかかる作業です。現在のAI開発の現場では、アノテーション作業を専門とするアノテーターが大きな役割を担っており、AIの性能を支える「見えない労働」として注目されています。
アノテーションの品質を高めるために、複数人が同じデータにラベルを付けて一致率を確認する、曖昧なケースのガイドラインを整備する——といった工夫が行われています。
データの収集・利用における注意点
データを集めるとき、技術的な問題だけでなく、倫理的・法的な問題にも向き合う必要があります。
個人情報を含むデータを収集する場合、プライバシーの保護が最優先です。
日本では個人情報保護法、欧州ではGDPRという法律が、個人データの収集・利用を厳しく規制しています。本人の同意なく個人データを収集・利用することは、法的な問題になります。
また、インターネット上のデータを収集する際には、著作権の問題があります。
ウェブページの文章・画像・動画には著作権が存在することが多く、無断で収集・利用することは著作権侵害になる可能性があります。
さらに、収集したデータにバイアス（偏り）が含まれていないかを確認することも重要です。
特定の性別・人種・年齢層のデータが偏って多い場合、AIはその偏りを学んでしまいます。
採用AIが特定の属性の人を不当に低く評価する、顔認識AIが特定の人種の認識精度が低い——こうした問題は、データのバイアスが原因で起きることがあります
まとめ
オープンデータセット → 誰でも自由に利用できる形で公開されているデータの集まり。利用する際はライセンスの確認が必要
コーパス → 自然言語処理の学習に使われる大量のテキストデータの集まり。多様で均衡のとれたコーパスが公平な言語AIの土台となる
アノテーション → AIの学習データに正解ラベルや付加情報を付与する作業。データの質を直接左右する重要な工程
バイアス → データに含まれる偏り。特定の属性のデータが偏って多い場合、AIがその偏りを学んでしまい、不公平な判断につながることがある
next ▶ データリーケージとは何か データ共有と共同開発の注意点