どーも、りけーこっとんです。

「誤差逆伝播法って、何を“逆に”伝えているの?」「勾配消失問題と勾配爆発問題、なぜ起きるのか説明できない」このような、G検定のディープラーニングの範囲に入ったばかりの方はいないでしょうか?

この記事から、大項目「ディープラーニングの概要」に入っていきます。

単純パーセプトロンから多層パーセプトロンへの流れ、隠れ層、信用割当問題、そしてそれを解決した誤差逆伝播法と、その計算の土台の連鎖律、層を深くすると起きる勾配消失問題までを解説します。

(2026年10月更新:G検定の現行シラバス(2024年第6回から適用)に合わせて内容を見直しました。)

この記事の要点

  • 多層パーセプトロンは、入力層と出力層の間に1つ以上の隠れ層を持つニューラルネットワーク
  • 信用割当問題とは、どの重みが出力の誤差の原因なのか分からない問題。これを解決したのが誤差逆伝播法
  • 誤差逆伝播法は、出力層の誤差を、連鎖律を使って入力層の方向へ逆向きに伝えながら重みを更新する方法
  • 勾配消失問題は層を重ねるほど勾配が0に近づいて学習が進まなくなる問題。勾配爆発問題はその逆

手元に公式テキストが1冊あると、この記事で扱う用語をシラバスの言葉づかいのまま確かめられます。

深層学習教科書 ディープラーニング G検定(ジェネラリスト)公式テキスト 第3版

JDLA(日本ディープラーニング協会)監修の公式テキスト。用語の意味を正確に確かめたいときの辞書がわりになります。

この記事は、現行シラバスでは第4章「ニューラルネットワークとディープラーニング」「誤差逆伝播法」の範囲です(シラバスはJDLAの公式ページで確認できます)。

G検定の範囲全体を一覧で見たい方はG検定チートシートもどうぞ。

この記事では、文字の装飾を次の3段階にそろえています。試験直前は赤太字だけ拾い読みしても要点がつかめます。

  • 赤太字(超重要):試験で正解を決める決め手。年号・人物・数字・違いのポイント
  • 青色マーカー+太字(重要):用語の定義。「〇〇とは」の一文
  • 太字(覚えておきたい):あわせて覚えたい関連用語や覚え方
G検定の勉強シリーズ この記事は、G検定の出題範囲を分野ごとに解説する勉強シリーズのうちの1記事です。

📄 印刷用PDFをダウンロード(無料)

入力層・隠れ層・出力層と多層パーセプトロン

単純パーセプトロン

単純パーセプトロンとは、入力層と出力層の2層だけからなるニューラルネットワークのことです。

全てのディープラーニングの基礎となる考え方で、線形分離可能な問題しか解けないという弱点がありました。単純パーセプトロンのイメージ図は次のような感じです。

単純パーセプトロンの構造図。入力層と出力層の2層だけ

ニューラルネットワークは、主に教師あり学習で使われるモデルでした。ディープラーニングの位置づけとしては、次の図のようなイメージになります。

機械学習・教師あり学習・ニューラルネットワーク・ディープラーニングの位置づけを示した図

このように「教師あり学習」の中の「ニューラルネットワーク」の中の「ディープラーニング」という位置づけが基本です。

単純パーセプトロンの限界(XORが解けない理由)はパーセプトロンの記事で解説しています。

多層パーセプトロンとは

多層パーセプトロンとは、入力層と出力層に加えて、1層以上の「隠れ層」を持つニューラルネットワークのことです。イメージとしては次の図の通りです。

入力層・隠れ層・出力層からなる多層パーセプトロンの図

単純パーセプトロンの構造に「隠れ層」が追加されていますね。隠れ層を加えることで、非線形な問題(XORなど)も解けるようになりました。

隠れ層・入力層・出力層とは

隠れ層とは、入力層と出力層の間に挟まれた層のことです。

外から直接見えない(入力も出力もしない)層なので「隠れ」層と呼ばれます。

  • 入力層:データ(特徴量)を受け取る層
  • 隠れ層:受け取った値を変換して、次の層に渡す層
  • 出力層:最終的な予測結果を出す層

隠れ層では、受け取った値を活性化関数という関数で変換してから、次の層に伝えます。

例えば、活性化関数を「入力が0未満なら0、0以上なら1」を返す関数だとしましょう。

データは左から右へ流れていくので、隠れ層に「3」というデータが入ってきたら「1」を、「−1」というデータが入ってきたら「0」を右へ伝えます。

活性化関数にはいろいろな種類があり、活性化関数の記事で解説しています。

ディープラーニング

ディープラーニングとは、ニューラルネットワークの隠れ層の数を増やして、層を深くしたものです。

隠れ層の増やし方には、次の図のように2種類のイメージがあります。

隠れ層の中のノードを増やしたニューラルネットワークの図 隠れ層の数を増やして層を深くしたニューラルネットワークの図

隠れ層が1層だけだと、入力のデータを1回しか変換しないので、分類に限界があるのは想像できるのではないでしょうか。

そこで、隠れ層をたくさん重ねることで、より複雑な分類ができるようになりました。

画像分類のような、膨大な情報量かつ複雑な分類を可能にしたというわけですね。

信用割当問題とは

信用割当問題とは、ニューラルネットワークの中のどのパラメータ(重み・バイアス)が、出力の正解に貢献しているのか、誤差を生じさせているのかが分からない問題のことです。

この問題は、出力が間違っていたときに困ります。出力が間違っていると、それを修正するために原因を探しますよね。

でも、層が深くて重みが何千、何万とあると、「どの重みをどれだけ直せばいいのか」が分かりません。

サッカーで試合に負けたとき、11人のうち誰のどのプレーが原因だったのかを決めるのが難しいのと同じですね。

この問題を解決するために生まれたのが、次の誤差逆伝播法です。

誤差逆伝播法(バックプロパゲーション)とは

誤差逆伝播法(バックプロパゲーション)とは、出力層で出た誤差を、出力層に近い層から入力層に向かって順番に逆向きに伝えながら、各パラメータをどれだけ直せばよいか(勾配)を求める方法です。

出力と正解ラベル(教師データ)との誤差を小さくするために行います。

1986年に、デビッド・ラメルハート、ジェフリー・ヒントンらが発表して広く知られるようになりました。誤差逆伝播法のイメージは次のような感じです。

誤差逆伝播法のイメージ。出力層から入力層の方向へ誤差を伝えてパラメータを求める

データは入力層から出力層へ流れますが、誤差はその逆向きに伝わってパラメータを求めているように見えるため、「誤差逆伝播法」と呼ばれます。

これで「どの重みが誤差にどれだけ影響したか」が分かるので、信用割当問題を解決できたんですね。

勾配が分かったら、勾配降下法などの最適化手法で、誤差が小さくなる方向に重みを少しずつ更新します。最適化手法は最適化手法の記事で解説しています。

ここまでの勉強で「やっぱり独学は難しい…」と思っているのであれば、実際に手を動かして学べる講座で一歩先に進むのも一つの手です。

連鎖律とは(誤差逆伝播法の計算の土台)

連鎖律とは、関数が何重にも組み合わさっている(合成関数の)とき、その全体の微分は、それぞれの関数の微分を掛け合わせて求められる、という微分のルールのことです。

ニューラルネットワークは、「入力→1層目の計算→2層目の計算→…→出力」と、関数を何重にも重ねた形をしています。

出力の誤差が、ある1層目の重みにどれだけ影響しているかを知りたいとき、連鎖律を使えば「出力層の勾配×その前の層の勾配×…」のように、各層の勾配の掛け算で求められます。

出力層に近い層から順に勾配を計算して、その結果を次(入力層側)の計算に使い回せるので、効率よく計算できるのが誤差逆伝播法の強みです。

G検定では、式を覚えるより「誤差逆伝播法は連鎖律を使って勾配を掛け合わせていく」という仕組みを押さえておきましょう。

勾配消失問題と勾配爆発問題

勾配消失問題とは

勾配消失問題とは、誤差逆伝播法で層を重ねるごとに勾配が小さくなっていき、入力層に近い層で勾配がほぼ0になって学習が進まなくなる現象のことです。

教師あり学習で誤差を小さくするときは、「勾配」という微分して得られる値を求めます。

勾配は関数の傾きのことで、傾きをたどって下っていくと、誤差が最小のところにたどり着けるんですね。

連鎖律では、各層の勾配を掛け合わせていきました。ここで、1より小さい値を何回も掛けると、どんどん0に近づいてしまいますよね(0.5を10回掛けると約0.001)。

0に近づいてしまうと、パラメータがほとんど更新されず、学習が進まなくなるというわけです。

勾配爆発問題とは

勾配爆発問題とは、勾配消失問題とは逆に、層を重ねるごとに勾配が大きくなりすぎて、パラメータの更新が極端になり学習が不安定になる現象のことです。

1より大きい値を何回も掛けると、どんどん大きくなってしまうのが原因です。

原因

勾配消失問題の大きな原因は、昔よく使われていた活性化関数のシグモイド関数です。

シグモイド関数の微分の最大値は0.25しかないので、層を重ねるたびに勾配が4分の1以下になってしまいます。

層を深くするほど学習が難しくなり、これがディープラーニングがなかなか実用化されなかった理由の1つでした。

RNN(時系列を扱うニューラルネットワーク)では、同じ重みを時間の数だけ何度も掛けるので、勾配消失と勾配爆発がどちらも起きやすくなります。

対策(ReLU・スキップ結合・勾配クリッピングなど)

対策 内容 主に効く問題
ReLU関数 正の範囲で微分が1なので、勾配が小さくなりにくい活性化関数 勾配消失
スキップ結合(ResNet) 層を飛ばして入力を後ろに足す近道を作り、勾配を直接伝える 勾配消失
バッチ正規化 各層の出力のばらつきをそろえて、学習を安定させる 勾配消失・勾配爆発
LSTM RNNに「ゲート」を付けて、必要な情報を長く伝えられるようにする 勾配消失(RNN)
勾配クリッピング 勾配が一定の大きさを超えたら、上限で切りそろえる 勾配爆発
重みの初期値の工夫 XavierやHeの初期値で、最初の勾配が極端にならないようにする 勾配消失・勾配爆発

ReLU関数は活性化関数の記事、スキップ結合はResNetの記事、LSTMはRNNとLSTMの記事で詳しく解説しています。

ニューラルネットワークと誤差逆伝播法の早見表

現行シラバスの「ニューラルネットワークとディープラーニング」と「誤差逆伝播法」のキーワードを一言でまとめておきます。

用語 一言でいうと 詳しい解説
CPU コンピュータの中心となる処理装置。複雑な処理を順番にこなすのが得意 解説記事
GPU 画像処理用の装置。単純な計算を大量に並列で処理するのが得意で、ディープラーニングの学習に使われる 解説記事
TPU Googleが開発した、テンソル計算(ディープラーニング)専用のプロセッサ 解説記事
隠れ層・入力層・出力層 データを受け取る入力層、途中で特徴を変換する隠れ層(中間層)、結果を出す出力層 この記事
多層パーセプトロン 入力層と出力層の間に隠れ層を持つニューラルネットワーク。非線形な問題も解ける この記事
単純パーセプトロン 入力層と出力層だけのニューラルネットワーク。1958年ローゼンブラット提案。線形分離可能な問題しか解けない 解説記事
勾配消失問題 誤差逆伝播で、入力層に近づくほど勾配が小さくなり学習が進まなくなる問題 この記事
勾配爆発問題 誤差逆伝播で勾配が大きくなりすぎ、学習が不安定になる問題 この記事
信用割当問題 どの重みが結果にどれだけ貢献したかを決める問題。誤差逆伝播法で解決した この記事
連鎖律 合成関数の微分は、各関数の微分の掛け算で求められるという法則。誤差逆伝播法の計算の土台 この記事

よくある質問

Q. 誤差逆伝播法は誰が提案しましたか?

1986年にデビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズが発表した論文で広く知られるようになりました。考え方自体はそれ以前から研究されていましたが、G検定ではこの1986年の発表とセットで覚えておけば十分です。

Q. 勾配消失問題はなぜ起きる?

誤差逆伝播法では、各層の勾配を掛け合わせていくためです。シグモイド関数のように微分の値が小さい(最大0.25)活性化関数を使うと、層を重ねるたびに勾配が小さくなり、入力層に近い層ではほぼ0になってしまいます。

Q. 勾配爆発とは?

勾配消失とは逆に、勾配を掛け合わせるうちに値が大きくなりすぎて、パラメータの更新が極端になる現象です。RNNで起きやすく、勾配が一定の大きさを超えたら切りそろえる勾配クリッピングで対策します。

よくある質問の内容までスラスラ答えられたら、次は問題形式で解いてみるのがおすすめです。選択肢を見比べると、どこで引っかけられるのかが分かってきます。

徹底攻略ディープラーニングG検定ジェネラリスト問題集 第3版

分野ごとの問題と解説がまとまった問題集。記事で覚えた用語を、本番と同じ選択式で解いて確かめられます。

まとめ

  • 多層パーセプトロン:入力層・隠れ層・出力層を持ち、非線形な問題も解ける。隠れ層を深くしたものがディープラーニング
  • 信用割当問題:どの重みが誤差の原因か分からない問題。誤差逆伝播法が解決した
  • 誤差逆伝播法:出力層の誤差を入力層の方向へ逆に伝えて勾配を求める(1986年、ラメルハート・ヒントンら)
  • 連鎖律:合成関数の微分は各関数の微分の掛け算。誤差逆伝播法の計算の土台
  • 勾配消失問題は勾配が0に近づく、勾配爆発問題は勾配が大きくなりすぎる。ReLU・スキップ結合・勾配クリッピングなどで対策

ディープラーニングは細かく学習しようとするとキリがないので、「それぞれの手法の特徴」「何が行われているか(数式ではなく仕組み)」「何に使われているか」の3つを中心に押さえていきましょう。

次回は「ディープラーニングのアプローチ」として、事前学習とオートエンコーダをオートエンコーダの記事で解説していきます。

G検定の試験範囲をまとめて見直したい方は、シラバスの全キーワードを一行でまとめたG検定チートシートをどうぞ。分野ごとに読み進めたい方はG検定の解説記事一覧からどうぞ。

お子さんと一緒にAIを学びたい方には、親子で生成AIの使い方を学べる講座もあります。

G検定の勉強で身につけた知識は、データ分析やAI関連の仕事でそのまま使う土台になります。データ系の求人は職種名がバラバラで自分では探しにくいので、どんな求人があるのかを一度眺めておくと、次に学ぶべきことがはっきりしてきます。

20代で未経験からIT職を目指す方、すでに経験があってフリーランスの案件を探したい方は、それぞれ専門のサービスを使うと探す手間が省けます。

ABOUT ME
りけーこっとん
小学生と関わり始めて、10年。最初は学童アルバイト、現在は小学生向けにプログラミングを教えています!日々、小学生のプログラミングに関する情報の発信をしています。小学生のお子さんがいて、プログラミングに興味のある親御さん・お子さん必見です!