学習を助ける工夫と技術

ディープラーニングでは、層を積み重ねるだけでなく、学習を安定させたり、表現力を高めたりするためのさまざまな工夫も用いられます。ここでは、そうしたモデルをよりよく働かせるための技術を見ていきます。

5-6 スキップ結合

スキップ結合は、情報を途中の層でそのまま先へ渡すことで、深いネットワークの中でも情報を伝えやすくする仕組みです。▶続きを読む

スキップ結合は ResNet を代表例として広く知られていますが、DenseNet や U-Net など、ほかのさまざまなモデルでも活用されています。▶続きを読む

Attentionは、たくさんの情報の中から、その場で特に重要な部分に注目するための仕組みです。▶続きを読む

Attention は、長い系列データを扱うときに、RNNが遠くの情報をうまく保てないという問題を補うために生まれた考え方です。▶続きを読む

Attentionには、自分自身の中で注目先を決める方法と、別の系列の中から必要な情報を取り出す方法があり、それぞれ役割が異なります。▶続きを読む

Transformerは、Attentionを中心に組み立てられたモデルで、自然言語処理をはじめとする多くの分野に大きな影響を与えました。▶続きを読む

オートエンコーダは、入力データをいったん小さく圧縮し、そこから元のデータをできるだけ再現するように学習するモデルです。▶続きを読む

◆代表的なオートエンコーダの発展形

オートエンコーダには、よりよい特徴を学んだり、生成に役立てたりするために、さまざまな発展形が提案されています。▶続きを読む