価値関数
① 物語性を取り入れた説明: 「価値関数」
生成AIに関心を持つ中学生のアイは、放課後に先生に「価値関数」という言葉について質問しました。
アイ: 先生、「価値関数」ってよく強化学習で出てくる言葉みたいですが、どういう意味なんでしょうか？
先生: 良い質問だね、アイ！価値関数は、ある状況や行動が「どれだけ良いか」を数値で示すものなんだ。強化学習では、エージェントが「今後どれくらいの報酬を得られるか」を予測するために使うんだよ。
アイ: へぇ、なんだかゲームでのスコアみたいですね。
先生: そうだね。実は強化学習も似たような感じで、エージェントが「この行動を選べば、より多くの報酬がもらえるかもしれない」と学んでいくんだよ。ここで、価値関数には「状態価値関数」と「行動価値関数」という2つの種類があるんだ。
アイ: 状態価値関数と行動価値関数？違いを教えてください！
先生: まず「状態価値関数」から説明しよう。状態価値関数というのは、「特定の状態にいること自体がどれだけの価値があるか」を示しているんだ。例えば、ゲームの中で安全な場所にいる時、その状態にいる価値が高いと感じるよね？それが状態価値関数だよ。
アイ: なるほど、状態そのものが「良いかどうか」を見ているんですね。
先生: そう。そして、もう一つの「行動価値関数」は、「ある状態で特定の行動を取ることがどれくらいの価値があるか」を示しているんだ。例えば、「左に進む」や「右にジャンプする」など、ある行動を取った場合にどれくらいの報酬がもらえるかを考えるんだ。
アイ: 状態だけじゃなく、行動も含めて価値を考えているんですね！
先生: その通り。そして、この「行動価値関数」をQ値とも呼ぶんだよ。Q値というのは、特定の状態である行動を取ると将来どれだけの報酬が期待できるかを数値化したもので、エージェントが「どの行動を取るか」を決める基準にもなるんだ。
アイ: じゃあQ値が高い行動が、いい行動ってことですか？
先生: そうだね。Q値が高い行動は、その状況で良い結果が得られる可能性が高いと判断される行動だよ。エージェントはこのQ値を元にして、最適な行動を選ぼうとするんだ。これを使って行動を学習していく方法の一つが「Q学習」と呼ばれる手法なんだよ。
アイ: ふむふむ、Q学習では、エージェントがそのQ値をもとにどんどん賢くなっていくんですね！
先生: その通り！Q学習では、エージェントが行動するたびに得た報酬と次の状態を使ってQ値を更新していくんだ。Q値は「ある状態でどの行動を取ればどれくらいの報酬が得られるか」という期待値だから、エージェントは経験を通じてQ値を正確にしていくんだよ。
アイ: なるほど！学習しながらQ値をアップデートしていくんですね。他にはどんな方法があるんですか？
先生: 他には「SARSA」という方法もあるよ。Q学習と似ているけど、ちょっと違うんだ。SARSAは、ある状態にいるときの行動とその行動の後に移った状態での行動を使ってQ値を更新していくんだ。だから「State-Action-Reward-State-Action」の頭文字をとって「SARSA」と呼ばれているんだよ。
アイ: へぇ、エージェントが連続して行動していく様子がよくわかりますね！
先生: そうだね。Q学習は理論上「どの行動が最適か」を学習する手法だから、時に現実的ではない行動を取ることもあるんだ。一方で、SARSAは実際の行動に基づいてQ値を更新するから、現実に近い行動を学びやすいと言われているんだよ。
アイ: なるほど、それぞれに特徴があるんですね！
実際のIT用語の定義
価値関数とは、ある状態や行動において得られる報酬の期待値を表すもので、強化学習における最適な行動の選択に利用される。特に、状態価値関数は特定の状態にいることの価値を、行動価値関数（Q値）は特定の状態である行動を取る価値を示す。Q学習とSARSAは、それぞれQ値の更新に異なるアプローチを用いる強化学習の手法である。
| 用語 | 説明 |
|---|---|
| 価値関数 | 状態や行動がもたらす将来の報酬の期待値を表す。強化学習で最適な行動を選ぶ際に使われる。 |
| 状態価値関数 | 特定の状態にいること自体の価値を示し、報酬の期待値として計算される。 |
| 行動価値関数（Q値） | 特定の状態である行動を取ることの価値を示し、将来得られる報酬の期待値を表す。 |
| Q学習 | Q値を更新しながら、最適な行動を学ぶ強化学習の手法。将来の報酬を最大化する行動を学ぶ。 |
| SARSA | 連続する行動と状態をもとにQ値を更新する強化学習の手法。現実的な行動を学びやすい特徴がある。 |
| 強化学習 | 試行錯誤を通じて最適な行動を学ぶ機械学習の一種。エージェントが報酬をもとに学習を行う。 |
| エージェント | 強化学習における学習主体で、報酬を得るために行動を選択するシステムやモデル。 |
| 報酬 | エージェントが行動を取った結果として得られるフィードバック。学習を促進する指標として用いられる。 |
| 探索と利用 | 新しい選択肢を試す「探索」と、既知の有効な選択肢を使う「利用」のバランスを取る強化学習の概念。 |
② 実際の事例: 価値関数の使用例
例えば、価値関数は広告表示の最適化に使われています。
オンライン広告のプラットフォームは、ユーザーがどの広告をクリックする可能性が高いかを予測し、表示する広告を決定します。エージェントがユーザーの行動を観察し、クリックされやすい広告をQ値として定義します。報酬は「クリック」や「購入」などで、価値関数を活用して利益を最適化します。
また、自動運転車にも価値関数は使われています。
車が交差点で「どちらの方向に進むか」を判断するとき、価値関数を使ってそれぞれの道の選択肢に対するリスクと報酬を計算し、安全かつ最適なルートを選びます。このように、価値関数は幅広い分野で使われています。
③ クイズや小テスト: 「価値関数」
クイズ1 価値関数は何を表していますか？
A. 行動の期待報酬
B. データの平均値
C. 学習速度
クイズ2 Q学習ではどのように行動が学習されますか？
A. ランダムに行動する
B. 行動の期待報酬を最大化するための値を学習する
C. 一つの行動を繰り返す
クイズ3 SARSAの「A」は何を意味していますか？
A. アクション（行動）
B. エージェント
C. アナリティクス
回答
クイズ1: A. 行動の期待報酬
解説: 価値関数は、ある状態や行動がもたらす将来の報酬の期待値を示しています。
クイズ2: B. 行動の期待報酬を最大化するための値を学習する
解説: Q学習は行動の期待報酬を学習し、最適な行動を選びます。
クイズ3: A. アクション（行動）
解説: SARSAは「State-Action-Reward-State-Action」の略です。
