3-3-2-5 Actor-Critic

方策勾配法は「どう動くか」を直接学べますが、REINFORCEのような素朴な方法だと、学習が不安定になりやすい、たまたまの報酬に振り回されやすい、という弱点がありました。
そこで生まれたのが、Actor–Criticです。
これは名前の通り、役割を二つに分けます。

・Actor（アクター）：行動する役
・Critic（クリティック）：評価する役

Actorは、「この状態では、こう動こう」と方策に従って行動を選びます。
Criticは、「その行動、将来的にどれくらい良さそう？」と価値関数を使って評価します。

Actorが一歩踏み出し、Criticがそれを見て、「うん、それは良かった」「そこは、もう少し違うかも」とフィードバックを返すのです。
このやりとりを繰り返しながら、
・方策（どう動くか）
・価値（どれくらい良いか）
を同時に育てていきます。

つまり、
・方策勾配の柔軟さ
・価値関数による安定性
この二つを合わせ持つ、ハイブリッド型と言えるでしょう。
REINFORCEよりも学習が安定しやすく、実用的な強化学習の中心的な枠組みになっています。

まとめると、Actor：行動を決める（方策）と、Critic：その行動を評価する（価値）の両者が協力して学習する方法ということになります。

A３C

A3C（Asynchronous Advantage Actor-Critic）は、Actor–Criticをさらに進化させた手法です。
ポイントは、複数のエージェントが、同時並行で学習する、というところです。

それぞれのエージェントが別々の環境で経験を積み、その結果を共有しながら、一つのモデルを更新していきます。
だから、誰かが失敗しても、別の誰かが成功している……そんな分散した経験をまとめて使えます。

さらにA3Cでは、Advantage（アドバンテージ）という考え方を使って、「平均より、どれくらい良かったか」を基準に更新します。
これによって、学習のブレを抑え、より効率よく成長できます。