Posts Taged chainermn

世界454チームが参加した物体検出コンペティション Google AI Open Images – Object Detection Trackで準優勝

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長CEO:西川徹、以下、PFN)は、Kaggleの物体検出コンペティション「Google AI Open Images – Object Detection Track」に挑戦し、出場した454チーム中で2位になりました。

物体検出(Object Detection)技術は、コンピュータビジョン分野の主要研究課題の一つであり、自動運転、ロボティクスの基礎技術としても非常に重要です。これまでもImageNetやMS COCOなどの大規模データセットを使った検出精度を競う大会が研究コミュニティーの求心力となって、そのアルゴリズムや物体検出技術を飛躍的に向上させています。

2018年7月3日~8月30日の期間で開催された、Kaggleの物体検出コンペティション「Google AI Open Images – Object Detection Track」は、今年Googleが新たに公開したOpen Images V4※2が使用され、これまでにない大規模かつ複雑なデータセットでのコンペティションとして、多くの研究者の注目を集め、世界各国から454チームが参加しました。

PFNは分散深層学習ライブラリChainerMNの開発チームを中心に、深層学習による画像処理ライブラリChainerCV開発チーム、自動運転、ロボティクス分野の有志メンバーが集まり、チーム「PFDet」としてこのコンペティションに挑戦しました。今回、今年7月に新しく構築したNVIDIA(R) Tesla(R) V100 32GB 512基の大規模クラスター「MN-1b」を初めてフル稼働させ、さらに、深層学習を並列化して大規模データセットでの学習を高速化する技術や、自動運転、ロボティクスの各分野で培ってきた研究成果を総合的に投入しました。その結果、最終順位は1位チームと0.023%の僅差のスコアで準優勝することができました。

 

本コンペティションの解法に関する論文「PFDet:2nd Place Solution to Open Images Challenge 2018 Object Detection Track」を公開しました。https://arxiv.org/abs/1809.00778

その内容は、ドイツで開催されるEuropean Conference on Computer Vision (ECCV)2018の併設ワークショップにおいて発表します。

また、本コンペティションで開発した技術の一部はChainerMNおよびChainerCVの機能として公開予定です。

 

PFNでは、今後も画像解析や物体検出技術の研究開発に取り組み、PFNが重点事業領域とする交通システム、製造業、バイオヘルスケア分野などでの実用化を推進していきます。

 

※1:機械学習コンペティションのプラットフォーム

※2:170万枚の画像からなる大規模データセット(500種類の物体を計1200万個含む)

Preferred Networks、深層学習の学習速度において世界最速を実現

大規模な並列コンピュータを活用し、分散学習パッケージChainerMNでImageNetの学習を15分で完了

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長:西川徹、プリファードネットワークス、以下、PFN)は、大規模な並列コンピュータ「MN-1※1」を活用し、深層学習(ディープラーニング)の学習速度において世界最速を実現しました。

 

深層学習モデルの精度を向上させるため、学習データのサイズやモデルのパラメータ数が増加し、それにともなって計算時間も増大しています。1回の学習に数週間かかることも稀ではありません。複数のコンピュータを連携させて学習を高速化することは、新たなアイディアの試行錯誤や検証に要する時間を圧縮し、素早く研究成果をあげていくために非常に重要です。

一方で、複数のコンピュータを使った並列分散学習においては、通常、GPU数を増やすほどバッチサイズが大きくなることに加え、GPU間の通信にオーバーヘッドが存在することで、得られるモデルの精度や学習スピードが徐々に下がっていくことが知られています。

今回、これらの課題を克服するため、学習アルゴリズムと並列化性能の改善をおこない、1,024GPUで構成される民間企業で国内最大級の並列コンピュータMN-1と、分散学習パッケージ ChainerMN※2(チェイナー・エムエヌ)を用いて学習を行いました。

その結果、ImageNet※3の画像分類データセットを利用したResNet-50※4の学習を15分で完了し、同様の研究報告※5としてこれまで最速とされていた学習時間を大幅に短縮しました。

今回の研究成果は「Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes」というタイトルで、次のURLで公開しました。 (https://www.preferred-networks.jp/docs/imagenet_in_15min.pdf)

PFNはこの研究成果をいかして、大規模な深層学習を必要とする交通システム、製造業、バイオ・ヘルスケア分野での研究開発をより一層加速させていきます。

 

■ オープンソースの深層学習フレームワークChainerについて

PFNが中心となって開発・提供するChainerは、Pythonベースのディープラーニング向けフレームワークであり、“Define-by-Run”の手法を通じて簡単かつ直感的に複雑なニューラルネットワークを設計できる高い柔軟性とパフォーマンスを兼ね備えています。2015年6月にオープンソース化され、最も普及しているディープラーニング向けフレームワークの1つとして、学術機関だけでなく、ディープラーニングがもたらすメリットを現実世界のアプリケーションや研究に活用するための柔軟なフレームワークを求める産業界の多くのユーザーに支持されています。

Chainerは、最新の深層学習研究の成果を迅速に取り入れ、ChainerMN(分散深層学習)/ChainerRL(強化学習)/ChainerCV(コンピュータ・ビジョン)などの追加パッケージ開発、Chainer開発パートナー企業のサポートなどを通して、各分野の研究者や実務者の最先端の研究・開発活動を支援していくことを目指しています。(http://chainer.org/

 

■ 株式会社Preferred Networksについて

IoTにフォーカスした深層学習技術のビジネス活用を目的に、2014年3月に創業。デバイスが生み出す膨大なデータを、ネットワークのエッジで分散協調的に処理する「エッジヘビーコンピューティング」を提唱し、交通システム、製造業、バイオ・ヘルスケアの3つの重点事業領域において、トヨタ自動車株式会社、ファナック株式会社、国立がん研究センターなどの世界をリードする組織と協業し、イノベーションの実現を目指しています。(https://www.preferred-networks.jp/ja/

 

*Chainer(R) は、株式会社Preferred Networksの日本国およびその他の国における商標または登録商標です。

 

※1 NVIDIA(R) Tesla(R) P100を1,024基搭載。民間企業のプライベートな計算環境で国内最大級 https://www.preferred-networks.jp/ja/news/pr20170920

※2 オープンソースの深層学習フレームワークChainer(チェイナー) にマルチノードでの分散学習機能を追加するパッケージ

※3 一般に広く使われている画像分類データセット

※4 画像認識の分野で多用されるネットワーク

※5 Intel(R) Xeon(R) Platinum 8160を1,600台使用して31分で学習完了(Y. You et al. ImageNet Training in Minutes. CoRR,abs/1709.05011, 2017)

Preferred Networks、民間企業の計算環境として 国内最大級のプライベート・スーパーコンピュータを9月から稼働

NTT Comグループのマルチノード型GPUプラットフォームを採用

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長 最高経営責任者:西川 徹、以下:PFN)は、自動運転技術やがん診断をはじめとした深層学習(ディープラーニング)などの研究開発用プライベート・スーパーコンピュータを、2017年9月より稼働しました。このスーパーコンピュータは、NTTコミュニケーションズ株式会社(本社:東京都千代田区、代表取締役社長:庄司 哲也、以下:NTT Com)と株式会社NTTPCコミュニケーションズ(本社:東京都港区、代表取締役社長:田中 基夫、以下:NTTPC)の高速演算処理(GPU)プラットフォームを採用し、計算ノードにはNVIDIA(R)製 Tesla(R) P100 GPUを1,024基搭載しています。民間企業のプライベートな計算環境としては、国内最大級となります。

 

1. 背景と狙い

PFNでは、深層学習の研究開発や関連技術の迅速な実用化のため、最新GPUによる、高速かつ潤沢な計算環境が必要でした。また、GPUの稼働にあたっては高電力の確保、排熱処理、ネットワークの高速化が課題でした。これらの課題を解決するため、PFNは、GPUサーバーにおける高い技術力と豊富な実績、最先端のデータセンター構築ノウハウを持つNTT Comグループのマルチノード型GPUプラットフォームを採用し、PFN独自の並列分散学習技術ChainerMN※1を活用するための大規模なマルチノードの深層学習用研究開発基盤※2を構築しました。

 

2. PFNのプライベート・スーパーコンピュータの概要

(1)民間企業のプライベートな計算環境として国内最大級

最先端のマルチノード技術を活用しており、NVIDIA(R)製 Tesla(R) P100 GPUが1,024基稼働しています。理論上のピーク性能は4.7ペタフロップス※3で、これは、民間企業のプライベートな計算環境として、国内最大級です。

(2) NTT Comグループならではの実現力

NTT Comグループは、GPUのパフォーマンスを最大化するための豊富な構築ノウハウや、世界トップレベルの信頼性を誇るデータセンターサービス「Nexcenter™」および「Enterprise Cloud」の構築実績を活かし、マルチノード型GPUプラットフォームを実現・提供しています。

 

3. 今後の展開について

PFNは今回構築したプライベート・スーパーコンピュータを活用し、オープンソースの深層学習フレームワークChainer(R)の高速化を進めます。さらに、大量の計算資源を必要とする交通システム、製造業、バイオ・ヘルスケア分野での研究開発をより一層加速させます。また今後は、次世代GPU「Volta」ベースのNVIDIA(R)製Tesla(R) V100の導入も検討予定です。

NTT Comグループは、今後もAI関連技術やそれを支えるインフラの提供を通して、深層学習技術の研究や商用での積極的な利活用をサポートし、PFNのAIビジネスを支援していきます。

 

4. NVIDIA 日本代表 兼 米国本社副社長 大崎 真孝のコメント

現代AIのコアテクノロジーであるディープラーニングにおいて、計算パワーは競争力の源であり、NTT Comグループ様との協業によりPreferred Networks様がこのようなプライベート・スーパーコンピュータを構築されたことは、Preferred Networks様をはじめとして、日本の国力強化にも大いに貢献するものと期待しております。

 

※1: 複数ノードを並列協調動作させることにより、深層学習の速度を飛躍的に高めることができる技術

※2: 複数のサーバーをあたかも仮想的に1台の大規模サーバーに見立て、PFN独自の技術(ChainerMN)を活用するためのプラットフォーム

※3: コンピュータの処理能力を表す単位の一つ。peta (ペタ) は1000兆(10の15乗)、FLOPS (フロップス) は1秒間に行える浮動小数点演算の回数を表すので、1ペタフロップスは毎秒1000兆回の浮動小数点演算を行えることを意味する。

※Chainer(R)は、株式会社Preferred Networksの日本国およびその他の国における商標または登録商標です。その他、記載されている会社名、製品名は、各社の登録商標または商標です。

 

■ 株式会社Preferred Networksについて

IoTにフォーカスした深層学習技術のビジネス活用を目的に、2014年3月に創業。デバイスが生み出す膨大なデータを、ネットワークのエッジで分散協調的に処理する「エッジヘビーコンピューティング」を提唱し、交通システム、製造業、バイオ・ヘルスケアの3つの重点事業領域において、イノベーションの実現を目指しています。

オープンソースの深層学習フレームワークChainer(チェイナー)の開発・提供をはじめ、トヨタ自動車株式会社、ファナック株式会社、国立がん研究センターなどの世界をリードする組織と協業し、先進的な取り組みを推進しています。(https://www.preferred-networks.jp/ja/

 

■ NTTコミュニケーションズ株式会社について

1999年に設立。全世界40以上の国/地域、110以上の都市に拠点を持ち、190以上の国/地域でグローバルネットワークサービスを提供。通信事業者ならではの高品質なインフラと技術を活かし、クラウド、コロケーション、アプリケーション、セキュリティなどの多岐にわたるICTサービスを展開しています。また、Software Defined技術を活用した新たなサービスとマネージドサービスの提供によって、お客さまのデジタルトラスフォーメーションに貢献するとともに、AIやIoTを用いた新たなビジネスの創出に取り組んでいます。(http://www.ntt.com/)

 

■ 株式会社NTTPCコミュニケーションズについて

株式会社NTTPCコミュニケーションズ(NTTPC)は、1985年に設立されたNTTコミュニケーションズのグループ会社であり、日本の通信市場におけるネットワークサービスおよび通信ソリューションプロバイダーです。NTTPCは、1995年にNTTグループの第1世代ISPサービス「InfoSphere」を開始し、1997年に日本の第1世代インターネットデータセンターとサーバーホスティングサービス「WebARENA」を開始しました。NTTPCは、NTTグループの企業向けインターネットサービスの先駆者として常にICT市場に対して、新しいサービス・ソリューションを開拓しています。(http://www.nttpc.co.jp/)

マルチノードでの分散学習パッケージChainerMN 正式版 v1.0.0 をリリース

データ並列のコア機能の安定化と、さらなる高速化を実現

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長 最高経営責任者:西川徹、以下、PFN)は、オープンソースの深層学習フレームワークChainer(チェイナー) に、マルチノードでの分散学習機能を追加するパッケージ ChainerMN ※1(チェイナー・エムエヌ)正式版 v 1.0.0 をリリースしました。

機械学習・深層学習技術の実用化に向け、より大きなデータを活用し、より精度の高い学習モデルを実現するために、学習に使われるモデルのパラメータ数や計算量が増大しています。

ChainerMNは、1ノード内の複数GPUまたは複数ノード間の両方での高速な通信により大規模分散深層学習を実現する、Chainer の追加パッケージです。PFNは2017年5月9日にChainerMN のβ版をリリースしており、今回は初の正式版のリリースとなります。ChainerMN v1.0.0 は、以下の機能が追加されています。

 

● ChainerMN v1.0.0 の特長

1. データ並列のコア機能の安定

安定性が向上したことにより、安心してご利用いただけます。

 

2. マルチGPUの集合通信ライブラリNVIDIA NCCL 2.0 をサポート

最新バージョンに対応したことで、より高速化しました。

 

3. サンプルコードの拡充(機械翻訳、DCGAN)

より先進的なChainerMN の使い方をサンプルを見て学ぶことが可能になりました。

 

4. 対応環境の拡充(非CUDA-AwareなMPIへの対応)

これまではOpen MPI, MVAPICH など、CUDA-Aware MPIの対応が必要でしたが、それ以外の環境でもChainerMN をご利用いただけます。

 

5. モデル並列機能の実験的サポート

複数GPUをこれまでと異なるモデル並列で連携させることで、より複雑な分散学習ができるようになりました。従来の手法(データ並列)では、精度を保ったまま使用ノード数を上げていこうとすると、実質的なバッチサイズに限界があることが知られています。これを克服して、さらなる速度向上を図るため、より挑戦的な手法であるモデル並列の一部を実験的に実装しています。

 

これらの機能により、ChainerMN での学習の安定化と、さらなる高速化の実現、ユーザビリティの改善を行っています。

以下は、ImageNetの画像分類データセットを使ったChainerMN の性能測定の結果です。今年1月の発表時からは約1.4倍、5月に公開したβ版からは1.1倍高速という結果になりました。実験設定の詳細についてはこちらをご覧ください。

https://chainer.org/general/2017/02/08/Performance-of-Distributed-Deep-Learning-Using-ChainerMN.html

また、ChainerMN は2017年10月より、エクストリームデザイン株式会社(本社:東京都品川区、代表取締役:柴田 直樹)が提供するクラウドスパコン構築運用無人化サービス「XTREME DNA」で利用できるようになります。従量課金のパブリッククラウド Microsoft Azure のGPUインスタンスの分散並列環境テンプレートにChinerMN が追加されるため、大規模分散深層学習に必要なインフラ周りの環境構築が不要になるだけでなく、研究開発コストの管理も容易になります。

ChainerMN は、深層学習研究者・開発者がニューラルネットワークの設計にはじまる研究開発の主要部分に注力しやすい環境の提供を目指し、今後も継続的に機能追加、対応環境の拡充を進めてまいります。

 

■ オープンソースの深層学習フレームワークChainerについて  http://chainer.org/

PFNが開発・提供するChainerは、Pythonベースのディープラーニング向けフレームワークとして、“Define-by-Run”アプローチによりユーザーが簡単かつ直感的に複雑なニューラルネットワークを設計し、学習させるための高い柔軟性とパフォーマンスを兼ね備えています。2015年6月にオープンソース化されたChainerは、最も普及しているディープラーニング向けフレームワークの1つとして、学術機関だけでなく、ディープラーニングの最新研究成果をいち早く現実世界のアプリケーションに活用するためのフレームワークを求める産業界においても、多くのユーザーに支持されています。