2024年7月24日（水）にコロキウムを開催し、2023年4月から2024年3月の1年間、学外研究員として研究を行った情報理工学部　岡田 英彦 教授が研究成果について講演しました。開催形態は対面およびオンラインによるハイブリッド形式にて行い、約40人の学生や教職員が参加しました。

ニューラルネットの代表的な学習手法である勾配降下法は「教師あり学習」の1つであり、正解が既知の事例データを必要とする。これに対し、事例データを用いない「強化学習」の方法として進化計算アルゴリズムの応用も研究されている。一方、ニューラルネットのモデルサイズ低減を目的として、結合重みを2値などの離散値に量子化したニューラルネットも提案されている。しかし、離散ニューラルネットは内部パラメータが連続変数ではないため勾配降下法が適していない。進化計算アルゴリズムは勾配情報が不要であり、離散ニューラルネットの学習に適している。

このような背景から、報告者は学外研究員期間中に、離散ニューラルネットの強化学習における進化計算アルゴリズムの応用について研究を行った。ニューラルネットの適用対象課題として、OpenAI Gymが提供する制御タスクを用いた。例えばPendulumタスクを用いた実験では以下のことがわかった。

1. 進化戦略アルゴリズムと遺伝的アルゴリズムのいずれも、振り子を素早く倒立・静止させるように2値ニューラルネットを学習できた。
2. 進化戦略アルゴリズムと遺伝的アルゴリズムの間には学習性能に有意な差はなかったが、遺伝的アルゴリズムのほうがより良く学習できることがわかった。
3. 今回の実験設定では、離散値として{-1,1}を用いた場合、{0,1}や{-1,0,1}よりも有意に良い性能が得られた。

今後は他の制御タスクや進化計算アルゴリズムを用いた評価を行う。また、離散ニューラルネットの強化学習に適した新しい進化計算アルゴリズムの開発も進める。