多腕バンディットとは?UCB方策やマルコフ決定過程・A3Cを解説
どーも、りけーこっとんです。
「ε-greedy方策とUCB方策、どっちが何をしているの?」「マルコフ性って、名前は聞くけど説明できない」このような、G検定の強化学習の最後の範囲で迷っている方はいないでしょうか?
この記事では、強化学習で「どの行動を選ぶか」の考え方を、多腕バンディット問題を例に解説します。
ε-greedy方策とUCB方策の違い、マルコフ性とマルコフ決定過程、そして深層強化学習のA3Cまで、比較表で整理しました。
(2026年10月更新:G検定の現行シラバス(2024年第6回から適用)に合わせて内容を見直しました。)
この記事の要点
- 多腕バンディット問題は、当たりやすさの分からないスロットマシンから、報酬の合計が最大になるように選ぶ問題
- 今いちばん良いものを選ぶ「活用」と、まだ試していないものを試す「探索」のバランスが大事
- ε-greedy方策は確率εでランダムに探索、UCB方策は試した回数が少ない行動ほど高く評価して探索する
- マルコフ性とは、次の状態が「今の状態」だけで決まり、過去の経緯によらない性質
手元に公式テキストが1冊あると、この記事で扱う用語をシラバスの言葉づかいのまま確かめられます。
深層学習教科書 ディープラーニング G検定(ジェネラリスト)公式テキスト 第3版
JDLA(日本ディープラーニング協会)監修の公式テキスト。用語の意味を正確に確かめたいときの辞書がわりになります。
|
|
この記事は、現行シラバスでは第3章「機械学習の概要」の「強化学習」、第6章「深層強化学習」の範囲です(シラバスはJDLAの公式ページで確認できます)。G検定の範囲全体を一覧で見たい方はG検定チートシートもどうぞ。
この記事では、文字の装飾を次の3段階にそろえています。試験直前は赤太字だけ拾い読みしても要点がつかめます。
- 赤太字(超重要):試験で正解を決める決め手。年号・人物・数字・違いのポイント
- 青色マーカー+太字(重要):用語の定義。「〇〇とは」の一文
- 太字(覚えておきたい):あわせて覚えたい関連用語や覚え方
- これから勉強を始める方は → G検定とは?合格ライン・難易度・勉強法で、まず試験の全体像と勉強の進め方をつかめます
- 用語をサッと確かめたい方・試験当日が近い方は → G検定カンペ(チートシート)の分野別の用語一覧から、各解説記事にすぐ飛べます
- 紙で手元に置きたい方は → G検定カンペの印刷用PDF(無料・A4・15ページ)をダウンロードできます
多腕バンディット問題とバンディットアルゴリズム|探索と活用のジレンマ
多腕バンディット問題とは
多腕バンディット問題とは、当たりの確率が分からない複数のスロットマシンの中から、どれを引けば報酬の合計が最大になるかを考える問題です。
スロットマシンは「片腕の盗賊(one-armed bandit)」とも呼ばれるので、腕(レバー)がたくさんあるイメージから「多腕バンディット」と名付けられました。
例えば、スロットマシンが3台あって、引ける回数は全部で100回だとします。
最初の数回でAの台がよく当たったら、Aばかり引きたくなりますよね。
でも、まだあまり引いていないBの台の方が、本当は当たりやすいかもしれません。
探索と活用
ここで出てくるのが、次の2つの考え方です。
- 活用:今までの結果から、報酬が一番多いと分かっている行動を選ぶこと
- 探索:今まで知らなかった情報を得るために、報酬が一番多い行動以外も試すこと
活用ばかりだと、もっと良い選択肢を見逃してしまいます。
逆に探索ばかりだと、せっかく見つけた良い選択肢を使えません。
この探索と活用のジレンマをうまく解決するのが、バンディットアルゴリズムです。
バンディットアルゴリズムとは
バンディットアルゴリズムとは、探索と活用のバランスを取りながら、報酬の合計が最大になるように行動を選んでいく方法のことです。
強化学習で、エージェント(学習する主体)の行動の選び方として使われます。具体的な流れは次の通りです。
- まず1回目の試行で、ある行動を選ぶ
- その行動で得られた報酬を記録する
- これまでの報酬から、次にどの行動を選ぶか決める
- 次の試行を行い、2から繰り返す
このように、行動を選択した結果得られる報酬を毎回反映して、次の選択に活かしています。どの選択肢が良いか、事前に情報がなくても学習できるのが特徴ですね。
実務では、Webサイトの広告やボタンのデザインを出し分けて、反応の良いものに少しずつ寄せていくA/Bテストの自動化にも使われています。
囲碁AIのAlphaGoの探索(モンテカルロ木探索)にも、後で出てくるUCBの考え方が使われました。
ε-greedy方策とUCB方策の違い
バンディットアルゴリズムには「探索」と「活用」があるように、行動の選び方の具体的な方策がいくつかあります。
greedy方策
greedy方策とは、今の時点で価値(報酬の見積もり)が最大の行動だけを選ぶ方策のことです。
greedyは「貪欲な」という意味ですね。先ほどの「活用」だけを行う方針で、一度良さそうな行動を見つけると、ほかの行動をまったく試さなくなってしまいます。
ε-greedy方策
ε-greedy方策とは、確率εでランダムに行動を選び(探索)、それ以外の確率1−εでは価値が最大の行動を選ぶ(活用)方策のことです。
greedy方策のように最適な行動だけを選んでいると、別の行動を学ぶ可能性がなくなってしまいますよね。
ボードゲームなどでも、あえて最適「ではない」行動を取ることが勝利につながったりします。
そこで、εの確率で別の行動を取れば、多様な行動を試せるのではないか、と考えられて出てきたのがε-greedy方策です。
εが大きいほど探索が増え、小さいほど活用が増えます。最初は大きめにして、学習が進むにつれて小さくしていく方法もよく使われます。
UCB方策
UCB方策とは、行動ごとに「報酬の平均」と「まだあまり試していないことへのボーナス」を足したスコアを計算し、スコアが最大の行動を選ぶ方策のことです。
UCBはUpper Confidence Bound(信頼区間の上限)の略です。
単純に報酬の平均だけで選ぶと、1つの行動ばかり選んでしまいかねません。
そこで、選択回数が少ない行動ほどスコアを高くなるように補正して、自然に探索も行われるようにしています。
「よく分からないものは、良いかもしれないと楽観的に考える」方策なので、楽観的な方策とも呼ばれます。
ε-greedy方策の探索はランダムですが、UCB方策は「まだ試していない度合い」に応じて計画的に探索するのが違いです。
ソフトマックス方策(ボルツマン方策)
ソフトマックス方策とは、各行動の価値をもとに、価値が高い行動ほど選ばれやすくなるような確率で行動を選ぶ方策のことです。
選ぶ確率の計算にボルツマン分布(ソフトマックス関数)を使うので、ボルツマン方策とも呼ばれます。
考え方はε-greedy方策に似ていますが、価値が低い行動ほど選ばれにくくなる点が違いますね。
| 方策 | 探索のしかた | 特徴 |
|---|---|---|
| greedy方策 | 探索しない | 最善と思った行動だけを選ぶ(活用のみ) |
| ε-greedy方策 | 確率εでランダムに選ぶ | シンプル。εで探索の量を調整する |
| UCB方策 | 試した回数が少ない行動にボーナス | 楽観的。計画的に探索する |
| ソフトマックス方策 | 価値に応じた確率で選ぶ | 価値の低い行動ほど選ばれにくい |
マルコフ性とマルコフ決定過程
マルコフ性とは
マルコフ性とは、次の状態の確率が「今の状態」だけで決まり、それより前の過去の状態には影響されない性質のことです。
ちょっと難しいですよね。例えばすごろくなら、次にどのマスに進むかは「今いるマス」とサイコロの目だけで決まり、それまでどんな道のりで来たかは関係ありません。
これがマルコフ性です。
実際の世界(囲碁など)では、「前々から打っていた手が、後になって効いてくる」ことがありますよね。
これは「今の状態からしか影響を受けない」とは言えません。
ただ、最初から過去の経緯まで全部考える計算は、とても大変です。
なので強化学習では、「今の状態だけで次が決まる」と仮定することで、計算を簡単にしているんですね。
マルコフ決定過程とは
マルコフ決定過程とは、マルコフ性を満たす環境の中で、エージェントが行動を選び、その行動によって次の状態と報酬が確率的に決まる、という強化学習の問題の枠組みのことです。
今の状態から次の状態に変わるときに、何%でAの状態、何%でBの状態、という風に確率で次の状態が決まり、その変わり方が今の状態と行動だけで決まる、ということです。
強化学習の多くの手法(Q学習など)は、このマルコフ決定過程を前提にしています。
状態・行動・報酬・方策の関係は強化学習とQ学習の記事で解説しています。
ここまでの勉強で「やっぱり独学は難しい…」と思っているのであれば、実際に手を動かして学べる講座で一歩先に進むのも一つの手です。
A3Cとは
A3Cとは、Asynchronous Advantage Actor-Criticの略で、複数のエージェントを非同期に並列で学習させるActor-Criticの手法です。
2016年にDeepMindが発表しました。名前の通り、次の3つの技術を組み合わせたものです。
- Asynchronous(非同期):複数のエージェントが、それぞれ環境のコピーの中で勝手に(非同期に)経験を集め、共有のネットワークを更新する分散学習
- Advantage(アドバンテージ):ある行動の価値が、その状態での平均的な価値よりどれだけ良いかを表す値。1ステップ先だけでなく、数ステップ先までの報酬を使って見積もる
- Actor-Critic:行動を選ぶActorと、その行動を評価するCriticを同時に学習する手法
複数のエージェントがバラバラの経験を集めるので、データの偏りが減って学習が安定し、速く学べるのが特徴です。
A3CはAlphaGoとは別に発表された手法なので、混同しないようにしましょう。
DQNなどほかの深層強化学習は深層強化学習の記事で解説しています。
G検定での問われ方
この記事の用語は、「探索のしかた」と「マルコフ性の意味」がよく問われます。
| 用語 | 一言でいうと | 覚えるポイント |
|---|---|---|
| バンディットアルゴリズム | 探索と活用のバランスを取る方法 | 多腕バンディット問題 |
| ε-greedy方策 | 確率εでランダムに探索 | εが大きいほど探索が多い |
| UCB方策 | 試した回数が少ない行動にボーナス | 楽観的な方策 |
| マルコフ決定過程 | マルコフ性を満たす強化学習の枠組み | Q学習などの前提 |
| マルコフ性 | 次の状態は今の状態だけで決まる | 過去の経緯によらない |
| A3C | 非同期・並列のActor-Critic | 2016年・DeepMind |
よくある質問
Q. ε-greedyのεはどう決めますか?
分析者が決めるハイパーパラメータです。0.1(10%の確率で探索)のような小さめの値がよく使われ、学習の最初は大きく、進むにつれて小さくしていく方法もあります。
Q. UCB方策はなぜ「楽観的」と言われる?
あまり試していない行動を「まだ分からないけど、良い可能性がある」と高めに見積もって選ぶからです。この楽観的な見積もりによって、自然に探索が行われます。
Q. マルコフ性とは簡単に言うと?
「次に何が起きるかは、今の状態だけで決まる」という性質です。
すごろくで、次に進むマスが今いるマスとサイコロの目だけで決まり、それまでの道のりに関係ないのと同じです。
よくある質問の内容までスラスラ答えられたら、次は問題形式で解いてみるのがおすすめです。選択肢を見比べると、どこで引っかけられるのかが分かってきます。
徹底攻略ディープラーニングG検定ジェネラリスト問題集 第3版
分野ごとの問題と解説がまとまった問題集。記事で覚えた用語を、本番と同じ選択式で解いて確かめられます。
|
|
まとめ
- 多腕バンディット問題:当たりやすさの分からない選択肢から、報酬の合計が最大になるように選ぶ問題
- 探索(試す)と活用(良いものを使う)のバランスを取るのがバンディットアルゴリズム
- ε-greedy方策は確率εでランダムに探索、UCB方策は試した回数が少ない行動にボーナスを与える
- マルコフ性は次の状態が今の状態だけで決まる性質。それを前提にした枠組みがマルコフ決定過程
- A3C:複数のエージェントを非同期・並列に学習させるActor-Critic(2016年、DeepMind)
今回で「強化学習」の章は終了です。次回からは、作ったモデルをどう選び、どう評価するかに入っていきます。まずはモデルの良し悪しを測るAICとオッカムの剃刀をAICとオッカムの剃刀の記事で解説していきます。
G検定の試験範囲をまとめて見直したい方は、シラバスの全キーワードを一行でまとめたG検定チートシートをどうぞ。分野ごとに読み進めたい方はG検定の解説記事一覧からどうぞ。
お子さんと一緒にAIを学びたい方には、親子で生成AIの使い方を学べる講座もあります。
G検定の勉強で身につけた知識は、データ分析やAI関連の仕事でそのまま使う土台になります。データ系の求人は職種名がバラバラで自分では探しにくいので、どんな求人があるのかを一度眺めておくと、次に学ぶべきことがはっきりしてきます。
20代で未経験からIT職を目指す方、すでに経験があってフリーランスの案件を探したい方は、それぞれ専門のサービスを使うと探す手間が省けます。



