確率的勾配降下法(SGD)とは?Adam・モーメンタムとの違い
どーも、りけーこっとんです。
「SGD、モーメンタム、AdaGrad、Adam…似た名前が多すぎて覚えられない」「Adamって、何と何を組み合わせたんだっけ?」
このような、G検定の最適化手法で混乱している方はいないでしょうか?
この記事では、ニューラルネットワークの重みを更新する「最適化手法」を解説します。
すべての基本である勾配降下法から、確率的勾配降下法(SGD)、そこから改良されていったモーメンタム、AdaGrad、RMSprop、AdaDelta、Adam、AdaBoundまで、発表年順に「何を改良したのか」で整理しました。
(2026年10月更新:G検定の現行シラバス(2024年第6回から適用)に合わせて内容を見直しました。)
この記事の要点
- 勾配降下法とは、誤差関数の傾き(勾配)を下る方向にパラメータを少しずつ動かして、誤差を小さくしていく方法
- 最急降下法は全データで、確率的勾配降下法(SGD)はランダムに選んだ一部のデータで勾配を計算する
- モーメンタムはSGDに慣性を加え、AdaGrad・RMSpropはパラメータごとに学習率を自動調整する
- AdamはモーメンタムとRMSpropを組み合わせた手法(2014年)。AdaBoundは序盤Adam・終盤SGDのいいとこ取り
手元に公式テキストが1冊あると、この記事で扱う用語をシラバスの言葉づかいのまま確かめられます。
深層学習教科書 ディープラーニング G検定(ジェネラリスト)公式テキスト 第3版
JDLA(日本ディープラーニング協会)監修の公式テキスト。用語の意味を正確に確かめたいときの辞書がわりになります。
|
|
この記事は、現行シラバスでは第4章「ディープラーニングの概要」の「最適化手法」の範囲です(シラバスはJDLAの公式ページで確認できます)。G検定の範囲全体を一覧で見たい方はG検定チートシートもどうぞ。
この記事では、文字の装飾を次の3段階にそろえています。試験直前は赤太字だけ拾い読みしても要点がつかめます。
- 赤太字(超重要):試験で正解を決める決め手。年号・人物・数字・違いのポイント
- 青色マーカー+太字(重要):用語の定義。「〇〇とは」の一文
- 太字(覚えておきたい):あわせて覚えたい関連用語や覚え方
- これから勉強を始める方は → G検定とは?合格ライン・難易度・勉強法で、まず試験の全体像と勉強の進め方をつかめます
- 用語をサッと確かめたい方・試験当日が近い方は → G検定カンペ(チートシート)の分野別の用語一覧から、各解説記事にすぐ飛べます
- 紙で手元に置きたい方は → G検定カンペの印刷用PDF(無料・A4・15ページ)をダウンロードできます
勾配降下法とは
勾配降下法とは、誤差関数の勾配(傾き)を計算して、傾きを下る方向にパラメータを少しずつ動かしていくことで、誤差が最小になるパラメータを探す方法です。
パラメータを更新する目的は何だったか、覚えているでしょうか。
ディープラーニングの基本は教師あり学習なので、予測値と教師データの誤差(誤差関数)を最小にすることが目的でしたね。
つまり、誤差関数を最小にできるパラメータを求めたいのです。
勾配というのは関数の傾きのことで、微分で求めます。G検定合格に向けては、微分は次の式くらいを知っておけば問題ないかと思います。
「’」は「f(x)という式を微分するよ」という意味です。xの累乗の数をそのまま掛け算して、累乗の数は1減らす、という式ですね。
イメージとしては、関数の線上にボールを置いたことを考えると分かりやすいです。
ボールは坂を転がって、最終的には坂がないところ、つまり勾配が0のところに行き着きますよね。
この記事で出てくる似たようなアルファベットの手法は、すべてこの勾配降下法が基本です。
学習率とは
学習率とは、勾配降下法で1回の更新ごとに、パラメータをどれだけ動かすかを決めるハイパーパラメータのことです。
パラメータの更新式は次のようになっています。
(新しいパラメータ)=(今のパラメータ)−(学習率)×(勾配)
勾配を何倍するかを決めるのが学習率ですね。学習率が大きいと、1回の更新でパラメータは大きく動きます。
学習率が小さければ、1回の更新ではあまり動きません。
- 学習率が小さすぎる:最適なパラメータにたどり着くまでに時間がかかりすぎる
- 学習率が大きすぎる:最小値を飛び越えて行ったり来たりし、パラメータが発散して学習が終わらない
大きすぎず小さすぎず、ちょうど良い学習率を決めるのは難しいので、学習率を自動で調整する手法がたくさん考えられてきました。
それが、この後に出てくる最適化手法たちです。
最急降下法と確率的勾配降下法(SGD)の違い
最急降下法とは
最急降下法とは、すべての訓練データを使って勾配を計算する、最も基本的な勾配降下法です。具体的な手順は次の通りです。
- モデルのパラメータ(重み)を誤差関数に入れる
- パラメータに対する誤差関数の勾配を計算する
- 勾配が「+」なら重みを小さく、「−」なら重みを大きくするように更新する
- 2と3を繰り返して、誤差がなるべく小さくなる重みを見つける
確率的勾配降下法(SGD)とは
確率的勾配降下法(SGD)とは、訓練データの中からランダムに選んだ一部のデータだけで勾配を計算して、パラメータを更新する勾配降下法です。
Stochastic Gradient Descentの略です。
最急降下法はすべてのデータを使うので、データが大量になってくると1回の更新に時間がかかってしまいます(特に最近は)。
そこで、ランダムに選んだ一部のデータで更新を繰り返すようにしたのがSGDです。
1回の計算が軽くなり、ビッグデータにも対応しやすくなりました。
選ぶデータが毎回変わるので、更新の向きが少しぶれます。
でも、そのぶれのおかげで、浅いくぼみ(局所最適解)から抜け出しやすいという利点もあるんですね。
データの使い方(バッチ学習・ミニバッチ学習)はハイパーパラメータとミニバッチ学習の記事で解説しています。
ここまでの勉強で「やっぱり独学は難しい…」と思っているのであれば、実際に手を動かして学べる講座で一歩先に進むのも一つの手です。
最適化手法の進化(発表年順)
ここからは、SGDを改良していった手法を、登場した年代順に見ていきます。
モーメンタム
モーメンタムとは、SGDに「慣性」の考え方を加えて、それまで進んできた方向に進みやすくした手法です。
SGDは、最適なパラメータにたどり着くまでに、ジグザグに曲がりくねりながら進んでしまいます。
最急降下法のところで、ボールが坂を下っていくイメージを話しましたよね。
モーメンタムは、そのボールに勢い(慣性)を付けたようなイメージです。特徴は次の2つです。
- 同じ方向に進み続けると加速するので、最小値に着くまでの無駄なジグザグが減る
- 傾きが緩やかで止まりやすい場所でも、勢いで進めるので学習が止まりにくい
AdaGrad(2011年)
AdaGradとは、パラメータごとに学習率を自動で調整し、学習が進むほど学習率が小さくなるようにした手法です。
モーメンタムでは、学習率は一定のハイパーパラメータのままでした。
AdaGradは、これまでの勾配の大きさをパラメータごとに記録して、たくさん動いたパラメータほど学習率を小さくします。
学習が進むほど学習率が小さくなるので、「いつまでも学習が終わらない」という事態を避けられます。
ただし、学習率が小さくなり続けるので、途中で学習率がほぼ0になり、学習が止まってしまうことがあるのが欠点です。
RMSprop(2012年)
RMSpropとは、AdaGradの改良版で、過去の勾配よりも直近の勾配を重視して学習率を調整する手法です。
AdaGradは過去の勾配をすべて同じように積み上げていたので、学習率が小さくなりすぎました。
RMSpropは「直近の勾配ほど強く影響する」ようにして、古い勾配の影響を少しずつ忘れていくので、学習率が0に近づきすぎるのを防げます。
AdaDelta(2012年)
AdaDeltaとは、AdaGradの欠点を改良し、学習率というハイパーパラメータそのものを使わずに済むようにした手法です。
最初のパラメータの更新式、覚えているでしょうか。実は、この式では単位がそろっていないんです。
(新しいパラメータ)=(今のパラメータ)−(学習率)×(勾配)
「勾配」は元の関数を微分したものなので、パラメータとは単位が変わってしまいます(例えば「m(長さ)」を時間で微分すると「m/s(速さ)」に変わります。G検定合格には「そんなもんなのね」くらいでOKです)。
そこで、単位をそろえるように調整した手法がAdaDeltaです。学習率を持たないことが特徴ですね。
Adam(2014年)
Adamとは、モーメンタムとRMSpropを組み合わせた最適化手法です。
モーメンタムの「勢い(過去の勾配の平均)」と、RMSpropの「パラメータごとの学習率の調整(過去の勾配の大きさ)」は、どちらも効率よく最小値にたどり着くための工夫でしたよね。
「それなら2つを組み合わせれば性能が良くなるじゃん」と考えられたのがAdamです。
モーメンタム+RMSprop、と覚えておけば十分です。多くの場面で安定して学習できるので、今のディープラーニングでは最もよく使われる最適化手法の1つになっています。
AdaBoundとAMSBound(2019年)
AdaBoundとは、学習の序盤はAdamのように速く進み、終盤はSGDのように安定して進むように、学習率の範囲を少しずつ狭めていく手法です。
Adamは学習が速い一方で、最終的な汎化性能(未知のデータへの強さ)はSGDの方が良いことがある、と言われていました。
そこで、序盤はAdamの速さ、終盤はSGDの汎化性能といういいとこ取りをしたのがAdaBoundです。
AMSBoundとは、Adamを改良したAMSGradに、AdaBoundと同じ「学習率の範囲を狭めていく」工夫を加えた手法です。
AMSGradは、Adamで重要な勾配の情報がすぐに消えてしまわないように改良したものです。
AdaBoundとAMSBoundは似ているので、「AdaBoundはAdamベース、AMSBoundはAMSGradベース」と区別しておきましょう。
最適化手法の比較表
G検定では、発表年の順番と「何を改良したか」がよく問われます。
| 手法 | 年 | 何を改良したか |
|---|---|---|
| 確率的勾配降下法(SGD) | ― | ランダムに選んだ一部のデータで勾配を計算 |
| モーメンタム | ― | SGDに慣性を加えて、ジグザグを減らす |
| AdaGrad | 2011年 | パラメータごとに学習率を自動調整(だんだん小さく) |
| RMSprop | 2012年 | AdaGradの改良。直近の勾配を重視 |
| AdaDelta | 2012年 | AdaGradの改良。学習率が不要 |
| Adam | 2014年 | モーメンタム+RMSprop |
| AdaBound | 2019年 | 序盤はAdam、終盤はSGDのように動く |
| AMSBound | 2019年 | AMSGradをベースにAdaBoundと同じ工夫 |
現行シラバスの「最適化手法」には、ほかにも鞍点・エポック・ミニバッチ学習などのキーワードがあります。全キーワードは次の表で確認できます。
| 用語 | 一言でいうと | 詳しい解説 |
|---|---|---|
| AdaBound | 学習初期はAdamのように、後半はSGDのように振る舞うよう学習率に上限と下限を設けた手法(2019年) | この記事 |
| AdaDelta | AdaGradを改良し、学習率の初期値を設定しなくてもよくした手法(2012年) | この記事 |
| AdaGrad | よく更新されたパラメータほど学習率を小さくする手法(2011年)。後半は更新がほぼ止まる | この記事 |
| Adam | モーメンタムとRMSpropの考え方を組み合わせた手法(2014年)。現在もよく使われる | この記事 |
| AMSBound | AMSGradに学習率の上限と下限を設けた手法。AdaBoundと同じ論文で提案(2019年) | この記事 |
| RMSprop | 直近の勾配を重視して、AdaGradの学習率が小さくなりすぎる欠点を改善した手法(2012年) | この記事 |
| 鞍点 | ある方向では最小、別の方向では最大になっている点。勾配が0になり学習が停滞しやすい | 解説記事 |
| イテレーション | 重みを1回更新すること。ミニバッチ1つ分の学習が1イテレーション | 解説記事 |
| エポック | 訓練データ全体を1周学習すること | 解説記事 |
| オンライン学習 | データを1件ずつ使って、そのたびに重みを更新する学習方法 | 解説記事 |
| 学習率 | 1回の更新でどれだけ重みを動かすかを決める値。大きすぎると発散、小さすぎると遅い | この記事 |
| 確率的勾配降下法(SGD) | ランダムに選んだデータで勾配を計算して重みを更新する方法。局所解から抜け出しやすい | この記事 |
| グリッドサーチ | ハイパーパラメータの候補をすべての組み合わせで試す方法 | 解説記事 |
| 勾配降下法 | 誤差関数の傾き(勾配)を下る方向に、少しずつ重みを更新する方法 | この記事 |
| 局所最適解 | 周りの中では最も良いが、全体で見ると最良ではない解 | 解説記事 |
| 早期終了 | 検証データの誤差が上がり始めたところで学習を打ち切り、過学習を防ぐ方法 | 解説記事 |
| 大域最適解 | 全体で見て最も良い(誤差が最小の)解 | 解説記事 |
| 二重降下現象 | モデルを大きくすると誤差が一度上がった後、再び下がる現象 | 解説記事 |
| ノーフリーランチの定理 | どんな問題にも最も良い万能なアルゴリズムは存在しないという定理 | 解説記事 |
| ハイパーパラメータ | 学習率や層の数など、人が学習の前に決める設定値 | 解説記事 |
| バッチ学習 | 訓練データ全体を使って勾配を計算し、まとめて重みを更新する学習方法 | 解説記事 |
| ミニバッチ学習 | 訓練データを小さなまとまり(ミニバッチ)に分け、まとまりごとに重みを更新する学習方法 | 解説記事 |
| モーメンタム | 前回の更新方向を慣性として加え、振動を抑えて速く収束させる手法 | この記事 |
| ランダムサーチ | ハイパーパラメータの組み合わせをランダムに選んで試す方法 | 解説記事 |
よくある質問
Q. SGDとAdamはどちらを使えばいい?
最初に試すなら、学習が速く調整も少なくて済むAdamがよく使われます。
一方で、時間をかけてでも汎化性能を高めたい場面ではSGD(モーメンタム付き)が選ばれることもあります。
G検定では「Adamはモーメンタム+RMSprop」と押さえておけば十分です。
Q. AdaGradの欠点は?
過去の勾配をすべて積み上げて学習率を小さくしていくため、学習が進むと学習率がほぼ0になり、学習が止まってしまうことです。
この欠点を改良したのがRMSpropとAdaDeltaです。
Q. 学習率はどう決める?
ハイパーパラメータなので、分析者が決めます。
0.01や0.001などから試して、学習が発散するなら小さく、遅すぎるなら大きくするのが基本です。
AdaGradやAdamのように、学習率を自動で調整してくれる手法を使う方法もあります。
よくある質問の内容までスラスラ答えられたら、次は問題形式で解いてみるのがおすすめです。選択肢を見比べると、どこで引っかけられるのかが分かってきます。
徹底攻略ディープラーニングG検定ジェネラリスト問題集 第3版
分野ごとの問題と解説がまとまった問題集。記事で覚えた用語を、本番と同じ選択式で解いて確かめられます。
|
|
まとめ
- 勾配降下法:誤差関数の傾きを下る方向にパラメータを動かして、誤差を最小にする
- 学習率:1回の更新でパラメータを動かす量。大きすぎると発散、小さすぎると遅い
- 最急降下法は全データ、確率的勾配降下法(SGD)はランダムに選んだ一部のデータで勾配を計算
- モーメンタムは慣性を加える。AdaGrad(2011年)・RMSprop・AdaDelta(2012年)は学習率を自動調整
- Adam(2014年)はモーメンタム+RMSprop。AdaBound・AMSBound(2019年)は序盤Adam・終盤SGDのいいとこ取り
次回は、学習がうまく進まなくなる原因(局所最適解・鞍点・プラトー)と、ハイパーパラメータの探し方(グリッドサーチ・ランダムサーチ)、データの使い方(ミニバッチ学習など)をハイパーパラメータと鞍点の記事で解説していきます。
G検定の試験範囲をまとめて見直したい方は、シラバスの全キーワードを一行でまとめたG検定チートシートをどうぞ。分野ごとに読み進めたい方はG検定の解説記事一覧からどうぞ。
お子さんと一緒にAIを学びたい方には、親子で生成AIの使い方を学べる講座もあります。
G検定の勉強で身につけた知識は、データ分析やAI関連の仕事でそのまま使う土台になります。データ系の求人は職種名がバラバラで自分では探しにくいので、どんな求人があるのかを一度眺めておくと、次に学ぶべきことがはっきりしてきます。
20代で未経験からIT職を目指す方、すでに経験があってフリーランスの案件を探したい方は、それぞれ専門のサービスを使うと探す手間が省けます。



