ChatGPTやClaudeのような大規模AIは、巨大なデータセンターのサーバー上で動いています。
私たちがスマートフォンから質問を送ると、その問いははるか遠くのサーバーに届き、処理されて返ってきます。インターネットがつながっている限り、この仕組みはうまく機能します。
しかし、こんな場面を想像してみてください。
救急車の中で患者の状態をリアルタイムで診断するAI。
工場の生産ラインで不良品を瞬時に検出するカメラ。
山岳地帯を走る自動運転車——これらはすべて、インターネットにつながっていない、あるいはつながっていても遅延が許されない環境です。サーバーに問い合わせて返事を待つ余裕はありません。AIはその場で、即座に動かなければならない。
この「その場で動くAI」を実現するために生まれた発想が、モデルの軽量化です。
エッジAIとは何か
エッジAIとは、クラウド（遠くのサーバー）ではなく、デバイスそのもの（エッジ）の上でAIを動かすという考え方です。
スマートフォン、監視カメラ、医療機器、自動車、工場の機械——これらのデバイス上で直接AIが処理を行います。
「エッジ」とは「端」という意味で、ネットワークの中心（クラウド）に対して、末端のデバイスを指します。クラウドAIがネットワークの中心で動くのに対して、エッジAIはネットワークの端、つまり私たちの手元や現場で動きます。
エッジAIには、クラウドAIにはない大きなメリットがあります。
通信遅延がないこと、インターネット接続が不要なこと、そしてプライバシーを守りやすいこと——個人の顔や声などのデータをサーバーに送らず、デバイス上だけで処理できます。
iPhoneの顔認証や、スマートスピーカーのウェイクワード検出（「Hey Siri」と呼びかけたときの反応）は、エッジAIの身近な例です。
なぜ軽量化が必要なのか
しかし、エッジAIには大きな制約があります。
スマートフォンや組み込み機器は、データセンターのサーバーと比べると、計算能力・メモリ・バッテリーのすべてが限られています。
現代のディープラーニングモデルは巨大です。GPT-4のようなモデルは数千億のパラメータを持ち、そのまま動かすには膨大な計算資源が必要です。そのような巨大なモデルを、限られたリソースしか持たないエッジデバイスの上で動かすことは、そのままではできません。
たとえるなら、プロの料理人が使う業務用の巨大なオーブンを、一般家庭のキッチンに持ち込もうとしているようなものです。性能は素晴らしくても、スペースも電力も足りない。だから、家庭用のコンパクトなオーブンに作り直す必要がある——それがモデルの軽量化です。
精度をできるだけ保ちながら、モデルを小さく・速く・軽くする。この挑戦が、軽量化技術の出発点です。
軽量化が求められるユースケース
モデルの軽量化が特に重要な場面を見てみましょう。
スマートフォン・ウェアラブル端末では、カメラによるリアルタイム翻訳、健康状態のモニタリング、音声アシスタントなど、AIを使った機能が増えています。バッテリーと計算能力が限られる中で、いかに高品質なAIを動かすかが課題です。
医療機器では、手術室や救急現場など、インターネット接続が安定しない環境でもAIが動く必要があります。患者のバイタルサインをリアルタイムで解析し、異常を即座に検知する——遅延は許されません。
自動運転では、車が障害物を認識して緊急ブレーキをかけるまでの時間は、コンマ数秒単位です。サーバーに問い合わせて返事を待つ時間はなく、車載コンピュータ上でリアルタイムに処理しなければなりません。
製造業・工場では、生産ラインの不良品検出や設備の異常検知を、インターネット接続なしで行う必要がある場面が多くあります。
まとめ
エッジAI → クラウド（遠くのサーバー）ではなく、スマートフォンや医療機器などのデバイス上で直接AIを動かす考え方。通信遅延がなく、インターネット接続が不要で、プライバシーを守りやすいメリットがある
モデルの軽量化 → 精度をできるだけ保ちながら、AIモデルを小さく・速く・軽くする技術の総称。エッジデバイスの限られた計算資源でAIを動かすために必要
クラウドAI → データセンターのサーバー上でAIを動かす方式。高い計算能力を使える反面、通信遅延が生じる、インターネット接続が必要といった制約がある