Posts on Dec 2018

深層学習に特化した ディープラーニング・プロセッサー MN-Coreを発表。2020年春、MN-Coreによる大規模クラスターMN-3を稼働予定

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長:西川徹、プリファードネットワークス、以下、PFN)は、深層学習に特化したディープラーニング・プロセッサー MN-Core (TM) (エムエヌ・コア)を発表します。東京ビッグサイトで開催中の SEMICON Japan 2018において、MN-Coreチップ、ボード、サーバーなど、PFNが独自開発した深層学習向けのハードウェアを展示します。

PFNは、深層学習の実世界への応用を目指し、オープンソースの深層学習フレームワークChainer (TM)(チェイナー)の開発や、研究開発を支える大規模GPUクラスターMN-1(エムエヌ・ワン)、MN-1b(エムエヌ・ワン・ビー)の構築を進めてきました。これらを活用した大規模な分散深層学習により、自動運転、ロボットの高度化、がん診断などの分野で研究開発を加速させ、実用化に向けた取り組みを強化しています。

現在PFNでは、深層学習の「学習」フェーズの高速化に向け、深層学習の特徴である「行列演算」に最適化した専用チップMN-Coreを開発しています。MN-Coreは、近年のチップ開発で特に重要視される電力性能(消費電力あたりの演算性能)において、世界最高クラスの1 TFLOPS/W(半精度)を実現できる見込みです。最小限の機能に特化することで、コストを抑えながら、深層学習における実効性能を高めることが可能です。

  • MN-Coreチップのスペック
    • 製造プロセス : TSMC 12nm
    • 消費電力 (W、予測値) : 500
    • ピーク性能 (TFLOPS) :  32.8(倍精度) / 131(単精度) / 524 (半精度)
    • 電力性能(TFLOPS / W、予測値) : 0.066 (倍精度)/ 0.26(単精度) / 1.0(半精度)

https://projects.preferred.jp/mn-core/

今後、より複雑な未解決課題に取り組んでいくには、深層学習の学習済みモデルの精度と演算速度をさらに向上させる必要があり、継続的な計算資源の確保と効率化が重要になります。PFNでは、2020年春の稼働に向け、MN-Coreによる新しい大規模クラスターMN-3を構築する予定です。1000 nodeを超える専用サーバーからなるMN-3の計算速度は、最終的に2 EFLOPSまで拡大することを目標にしています。

MN-3以降では、それぞれ得意分野の異なるMN-CoreとGPGPU(General-purpose computing on GPU;GPUによる汎用計算)を組み合わせて利用することで、より効率的な計算環境の構築を目指します。

PFNは、深層学習フレームワークChainerにおいて、MN-Coreをバックエンドとして選択できるように開発を進め、ソフトウェアとハードウェア両方向からのアプローチにより、深層学習によるイノベーションを推進していきます。

MN-Coreをはじめ、自社開発した深層学習向けハードウェアは、SEMICON Japan 2018のPFNブースに展示します。

  • SEMICON Japan 2018  PFN展示ブースについて

 

* MN-Core (TM) およびChainer (TM) は、株式会社Preferred Networksの日本国およびその他の国における商標または登録商標です。

機械学習向けハイパーパラメータ自動最適化フレームワーク Optuna (β版)をオープンソースソフトウェアとして公開

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長:西川徹、プリファードネットワークス、以下、PFN)は、オープンソースのハイパーパラメータ自動最適化フレームワークOptuna™(オプチュナ)のβ版を公開しました。

機械学習、深層学習において、アルゴリズムの挙動を制御するハイパーパラメータの調整は不可欠です。特に深層学習は、学習率やバッチサイズ、学習イテレーション数、ニューラルネットワークの層数、チャンネル数といった様々なものがハイパーパラメータとなり、その数が多い傾向がある上に、その調整がモデル精度を大きく左右します。また、深層学習を用いる多くの研究者・エンジニアは、かなりの時間を費やしてハイパーパラメータを手動で調整しているのが現状でした。

Optunaは、ハイパーパラメータの値に関する試行錯誤を自動化し、優れた性能を発揮するハイパーパラメータの値を自動的に発見します。オープンソースの深層学習フレームワークChainer™をはじめ、様々な機械学習ソフトウェアと一緒に使用することが可能です。

 

 

Optunaの主な特長は次の通りです。

  • Define-by-Run スタイルの API

高いモジュール性を保ったまま複雑なハイパーパラメータの最適化が可能

 

  • 学習曲線を用いた試行の枝刈り

反復アルゴリズムが学習に用いられる場合、学習曲線から学習結果を予測。良い結果が見込まれない試行を早期終了し、最適化を効率化

 

  • 並列分散最適化

複数ノードを用い複数の試行を同時に行う非同期分散最適化をサポート

 

Optuna は、物体検出コンペティションGoogle AI Open Images 2018– Object Detection Trackなど、既にPFNの各プロジェクトで活用され、成果をあげています。PFNは今後もOptunaの開発を活発に続け、先進的な機能の試作・実装を精力的に進めていきます。

 

 

*Chainer™ およびOptuna™は、株式会社Preferred Networksの日本国およびその他の国における商標または登録商標です。

N次元配列の自動微分をC++で実装したChainerXをリリース。Chainer v6(β版)に統合し、計算パフォーマンスを向上

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長:西川徹、プリファードネットワークス、以下、PFN)は、オープンソースの深層学習フレームワークChainer™(チェイナー)v6に、N次元配列の自動微分をC++で実装したChainerX(チェイナー・エックス)を統合してリリースします。Chainer v6では、v5までのコードをほとんど変更することなくそのまま動作させることが可能です。

Chainerは2015年のオープンソース公開以来、現在に至るまで活発に開発が続けられ、フレキシブルで直感的な深層学習フレームワークのパイオニアとして、多くのユーザーに使われてきました。その後、多くの深層学習フレームワークがChainerと同じDefine-by-Run方式を採用したことからも、Chainerの先見性は証明されています。一方、ChainerがPure Python実装にこだわってきたことは、コードの可読性やシンプルさに貢献していたものの、パフォーマンスが向上するに従ってPython実行系自体が持つオーバーヘッドが全体の実行時間に占める割合が相対的に増え、ボトルネックとなりつつありました。

今回、C++製のChainerXをChainer本体に統合してリリースすることは、多くのユーザーから見たChainerのフレキシブルさや後方互換性をほとんど失うことなく、より高いパフォーマンスを実現する方向への第一歩となります。

 

ChainerXの主な特長は次の通りです。

  • Pythonと密に結合した実装で、Pythonによる記述の割合も大きかったNumPy、CuPy™および自動微分(autograd)をC++で実装

行列計算や画像の畳込みなどの演算、および誤差逆伝播のロジックをすべてC++で実装することにより、PythonによるCPUオーバーヘッドを最大 87% 削減(脚注:オーバーヘッドのみを計測した場合の比較)

 

  • CPU、GPU、その他のハードウェアのバックエンドにも簡単に対応可能

バックエンドを差し替え可能とすることでデバイス間の移植性が向上

 

図:NumPy/CuPy に相当する多次元配列実装に Define-by-Run 方式の自動微分機能を加えた範囲を ChainerX が新たにカバーする。

 

 

ChainerXは今後性能向上やバックエンドの拡充とともに、ChainerXで記述したモデルをPython以外の環境からも呼び出せるよう開発を進める予定です。

なお、ChainerXの詳細は、カナダ・モントリオールで12月開催予定の機械学習のトップカンファレンスNeurIPS(旧名NIPS)において、開発者の得居誠也が発表する予定です。

12月7日12:50-02:55 Open Source Software Showcase

http://learningsys.org/nips18/schedule.html

 

Chainerの開発は、外部コントリビュータの開発成果を数多く取り入れています。PFNは今後も、最新の深層学習研究の成果を迅速に取り入れ、サポート企業やOSSコミュニティと連携しながらChainerの開発・普及を推進してまいります。

 

  • オープンソースの深層学習フレームワークChainerについて

PFNが開発・提供するChainerは、Pythonベースのディープラーニング向けフレームワークとして、“Define-by-Run”の手法を通じてユーザーが簡単かつ直感的に複雑なニューラルネットワークを設計するための高い柔軟性とパフォーマンスを兼ね備えています。2015年6月にオープンソース化されたChainerは、最も普及しているディープラーニング向けフレームワークの1つとして、学術機関だけでなく、ディープラーニングがもたらすメリットを現実世界のアプリケーションや研究に活用するための柔軟なフレームワークを求める産業界の多くのユーザーに支持されています。

Chainerは、最新の深層学習研究の成果を迅速に取り入れ、ChainerRL(強化学習)/ChainerCV(コンピュータ・ビジョン)/ChainerUI(学習ログの可視化)/Chainer Chemistry(化学、生物学分野のための深層学習ライブラリ)などの追加パッケージ開発、Chainer開発パートナー企業のサポートなどを通して、各分野の研究者や実務者の最先端の研究・開発活動を支援していくことを目指しています。(http://chainer.org/

 

*Chainer™ およびCuPy™は、株式会社Preferred Networksの日本国およびその他の国における商標または登録商標です。