人間は、何かを学ぶとき、いつもゼロから始めるわけではありません。
自転車に乗れる人は、バイクの乗り方を覚えるのが早い。ピアノが弾ける人は、別の鍵盤楽器にすぐ馴染める。クロールができる人は、別の泳法を習得しやすい——すでに持っている知識や経験が、新しい学びの土台になるのです。
AIも同じです。あるタスクで学んだ知識を、別のタスクに活かす——この発想が、転移学習と事前学習の出発点です。
事前学習
事前学習（Pre-training） とは、特定のタスクに取り組む前に、大量のデータを使ってAIに幅広い知識を身につけさせる学習のことです。いわば、AIの「下積み期間」です。
たとえば、文章を読んで内容を要約するAIを作りたいとします。
いきなり「要約する」という作業を学ばせるより、まず膨大なテキストデータ——ニュース記事、書籍、ウェブページなど——を読み込ませて、言葉の意味、文章の構造、世界に関する幅広い知識を身につけさせます。これが事前学習です。
料理人にたとえるなら、特定のレストランで働く前に、まず調理の基礎技術を徹底的に叩き込まれる修行期間のようなものです。
包丁の使い方、火加減の調整、素材の扱い方——その下積みがあってはじめて、どんなジャンルの料理にも対応できる土台が生まれます。
事前学習済みモデル
事前学習を終えたAIのことを、事前学習済みモデル（Pre-trained Model） と呼びます。
事前学習には、膨大なデータと莫大な計算コストが必要です。
大規模な言語モデルの事前学習には、数百億円規模のコストがかかることもあります。
しかし一度作られた事前学習済みモデルは、様々な目的に再利用できます。
代表的なモデルをいくつか見てみましょう。
GPT（Generative Pre-trained Transformer） は、OpenAIが開発した、文章生成を得意とする大規模言語モデルです。膨大なテキストデータから言語のパターンを学んでおり、ChatGPTの土台となっているモデルとして広く知られています。
BERT（Bidirectional Encoder Representations from Transformers） は、Googleが開発した言語モデルです。文章を前後両方向から読んで文脈を理解することを得意としており、文章の意味理解・感情分析・質問応答などのタスクに強みを持ちます。GPTが「文章を生成する」方向に強いのに対して、BERTは「文章を理解する」方向に強いモデルといえます。
CLIP（Contrastive Language-Image Pre-training） は、OpenAIが開発した、テキストと画像を結びつけるモデルです。「夕暮れの海辺」という言葉と実際の夕暮れの海辺の写真をセットで大量に学習することで、言葉の意味と画像の視覚的な特徴を同じ空間の中で理解できるようになっています。拡散モデルの章でも登場した、画像生成AIの重要な部品です。▶マルチモーダルにおけるCLIP
これらの事前学習済みモデルは、ニュートンの言葉を借りるなら「巨人」のような存在です。
ニュートンはかつて「私が遠くを見渡せたのは、巨人の肩の上に立っていたからだ」と語りました。
先人たちの膨大な知識の積み上げの上に立つことで、自分はさらに遠くを見渡せる——事前学習済みモデルという「知識の巨人」の上に乗っかることで、開発者は少ないコストで新しいタスクに挑戦できるのです。
転移学習
ここで一度、整理しましょう。事前学習と転移学習は混同されやすいですが、こう考えると区別しやすくなります。
事前学習 → 大量のデータで幅広い知識を身につける「何をするか」という学習の段階
転移学習 → その知識を別のタスクに活かす「どう使うか」という考え方・手法
事前学習が「下積みそのもの」だとすれば転移学習は「その下積みを別の仕事に活かすという発想」です。
この二つはセットで語られることが多く、「事前学習済みモデルを使って転移学習する」という形が、現在のAI開発の典型的なスタイルになっています。
転移学習（Transfer Learning） の具体的な例を見てみましょう。
大量の画像データで学習した画像認識モデルがあるとします。このモデルはすでに「輪郭とは何か」「テクスチャとは何か」「形の特徴とは何か」を知っています。このモデルを出発点として、「医療画像からがんを検出する」という新しいタスクに取り組むとき——ゼロから学ばせるより、はるかに少ないデータと時間で高い精度を達成できます。一般的な「画像を見る力」が、医療という専門領域でそのまま活かされるのです。
料理人のたとえで続けるなら、フランス料理の修行を積んだ料理人が、和食の店に転職したとき——包丁さばきや火加減の感覚という下積みは、そのまま和食の世界でも活きます。最初から和食だけを学んだ人より、早く、高いレベルに達せる可能性があります。これが転移学習の本質です。
転移学習が特に力を発揮するのは、学習データが少ない場面です。
医療・法律・特定の産業分野など、専門的なデータを大量に集めることが難しい領域では、転移学習は欠かせない技術になっています。
まとめ
事前学習（Pre-training） → 特定のタスクに取り組む前に、大量のデータを使ってAIに幅広い知識を身につけさせる学習。AIの「下積み期間」にあたる
事前学習済みモデル（Pre-trained Model） → 事前学習を終えたAIモデル。膨大なコストをかけて作られた知識の集積であり、様々なタスクに再利用できる
GPT → OpenAIが開発した文章生成を得意とする大規模言語モデル。ChatGPTの土台となっている
BERT → Googleが開発した、文章を前後両方向から読んで文脈を理解することを得意とする言語モデル。文章理解・感情分析・質問応答などに強い
CLIP → OpenAIが開発した、テキストと画像を結びつけるモデル。言葉の意味と画像の視覚的特徴を同じ空間の中で理解する
転移学習（Transfer Learning） → あるタスクで学んだ知識を別のタスクに転用する手法。事前学習済みモデルを出発点として新しいタスクに適応させることが典型的な形
next ▶ ファインチューニングと破壊的忘却 AIを専門家に育てる