自然言語処理のモデルは、言葉をただ数えたり並べたりするところから始まり、やがて文を別の文へ変換し、文脈を深く読み、さらに自然な文章を生み出す方向へと発展してきました。ここでは、翻訳モデルからBERT、そしてGPTや大規模言語モデルへと続く流れをたどりながら、機械が言葉をどのように扱えるようになってきたのかを見ていきます。
GPTやPaLM、ChatGPTに代表されるモデルは、膨大な言葉のデータを学ぶことで、自然な文章を続けて生成できるようになった大規模言語モデルの流れにあります。▶続きを読む
6-2-3 自然言語処理モデルの発展
