Posts Taged optuna

機械学習向けハイパーパラメータ自動最適化フレームワーク Optuna (β版)をオープンソースソフトウェアとして公開

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長:西川徹、プリファードネットワークス、以下、PFN)は、オープンソースのハイパーパラメータ自動最適化フレームワークOptuna™(オプチュナ)のβ版を公開しました。

機械学習、深層学習において、アルゴリズムの挙動を制御するハイパーパラメータの調整は不可欠です。特に深層学習は、学習率やバッチサイズ、学習イテレーション数、ニューラルネットワークの層数、チャンネル数といった様々なものがハイパーパラメータとなり、その数が多い傾向がある上に、その調整がモデル精度を大きく左右します。また、深層学習を用いる多くの研究者・エンジニアは、かなりの時間を費やしてハイパーパラメータを手動で調整しているのが現状でした。

Optunaは、ハイパーパラメータの値に関する試行錯誤を自動化し、優れた性能を発揮するハイパーパラメータの値を自動的に発見します。オープンソースの深層学習フレームワークChainer™をはじめ、様々な機械学習ソフトウェアと一緒に使用することが可能です。

 

 

Optunaの主な特長は次の通りです。

  • Define-by-Run スタイルの API

高いモジュール性を保ったまま複雑なハイパーパラメータの最適化が可能

 

  • 学習曲線を用いた試行の枝刈り

反復アルゴリズムが学習に用いられる場合、学習曲線から学習結果を予測。良い結果が見込まれない試行を早期終了し、最適化を効率化

 

  • 並列分散最適化

複数ノードを用い複数の試行を同時に行う非同期分散最適化をサポート

 

Optuna は、物体検出コンペティションGoogle AI Open Images 2018– Object Detection Trackなど、既にPFNの各プロジェクトで活用され、成果をあげています。PFNは今後もOptunaの開発を活発に続け、先進的な機能の試作・実装を精力的に進めていきます。

 

 

*Chainer™ およびOptuna™は、株式会社Preferred Networksの日本国およびその他の国における商標または登録商標です。