Posts Taged cupy

オープンソースの深層学習フレームワークChainer および 汎用配列計算ライブラリCuPy の最新版となるv4をリリース

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長:西川徹、プリファードネットワークス、以下、PFN)は、オープンソースの深層学習フレームワークChainerTM(チェイナー)および汎用配列計算ライブラリ CuPyTM(クーパイ) のメジャーアップデート版となるv4 をリリースしました。

Chainer とCuPyは、最新の深層学習研究の成果を取り入れ、6ヶ月ぶりにメジャーバージョンアップをしました。今回リリ―スした最新版 v4では、ほとんどのコードを変更することなくそのまま動作可能です。

 

Chainer およびCuPy v4の主な特長は次の通りです。

● NVIDIA(R) GPU上での高速・省メモリな学習のための機能追加※1

NVIDIA TensorCoreをサポートし、畳込み演算を高速化しました。また、ロススケーリングを実装し、半精度浮動小数点数を用いることによる勾配消失を緩和しました。

● CuPy のインストールが高速化

CuPyのバイナリパッケージの提供を開始し、これまで約10分かかっていたインストール時間を約10秒に高速化しました。

● Intel(R)アーキテクチャ向け最適化

Intel Deep Learning Package (iDeep)※2バックエンドを追加して、Intel CPUでの学習および推論の高速化を実現しました。これにより、当社のベンチマークにおいて、GoogLeNet(画像認識用のニューラルネットワークのひとつ)でのCPU使用時の推論速度が従来比8.9倍に向上※3しました。

● 二階微分をサポートする関数をさらに追加

v3から導入された二階微分のサポート範囲が広がり、最新のネットワークやアルゴリズムを記述する自由度がさらに向上しました。

Chainerでの学習結果をCaffe 形式でエクスポートする機能を追加

Chainerの計算手順と学習した重みをCaffe形式でエクスポートする機能を実験的に追加しました。これにより、Pythonが動かない環境でもChainerの学習結果の利用が容易になります。(ONNX形式へのエクスポートは引き続きonnx-chainerパッケージにて利用可能です)

 

 

ChainerおよびCuPyの開発は、外部コントリビュータの開発成果を数多く取り入れています。PFNは今後も、サポート企業やOSSコミュニティと連携しながらChainerとCuPyの開発・普及を推進してまいります。

 

※1:http://docs.nvidia.com/deeplearning/sdk/mixed-precision-training/index.html

※2:Intel CPU上で深層学習の一般的な演算を高速に実行するためのNumPy互換のライブラリ   https://github.com/intel/ideep

※3:1枚の画像に対する処理時間をiDeep有効時・無効時で比較した結果。いずれの条件でもMKL(Intel Math Kernel Library)は有効。CPUは Intel Xeon(R) CPU E5-2623 v3 を使用。

 

 

  • オープンソースの深層学習フレームワークChainerについて

PFNが開発・提供するChainerは、Pythonベースのディープラーニング向けフレームワークとして、“Define-by-Run”の手法を通じてユーザーが簡単かつ直感的に複雑なニューラルネットワークを設計するための高い柔軟性とパフォーマンスを兼ね備えています。2015年6月にオープンソース化されたChainerは、最も普及しているディープラーニング向けフレームワークの1つとして、学術機関だけでなく、ディープラーニングがもたらすメリットを現実世界のアプリケーションや研究に活用するための柔軟なフレームワークを求める産業界の多くのユーザーに支持されています。

Chainerは、最新の深層学習研究の成果を迅速に取り入れ、ChainerMN(分散深層学習)/ChainerRL(強化学習)/ChainerCV(コンピュータ・ビジョン)などの追加パッケージ開発、Chainer開発パートナー企業のサポートなどを通して、各分野の研究者や実務者の最先端の研究・開発活動を支援していくことを目指しています。(http://chainer.org/

オープンソースの深層学習フレームワークChainer v3 およびNVIDIA GPU向け行列計算ライブラリCuPy v2をリリース

株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長:西川徹、プリファードネットワークス、以下、PFN)は、オープンソースの深層学習フレームワークChainer(R)(チェイナー)のメジャーアップデート版となる Chainer v3 およびNVIDIA(R) GPU向け行列計算ライブラリ CuPy™(クーパイ) v2 をリリースしました。

Chainer は、最新の深層学習研究の成果を迅速に取り入れ、3ヶ月ごとにメジャーバージョンアップをしています。今回リリ―スした Chainer v3では、ほとんどのコードを変更することなくそのまま動作可能です。

Chainer v3およびCuPy v2の主な特長は次の通りです。

1. 二階以上の自動微分をサポート
Chainer が自動微分を提供する多くの関数で、二階以上の微分もサポートしました。深層学習において二階微分が必要となる一部の手法が、論文にかかれている数式の通り簡単に実装できるようになります。

2. CuPy のメモリアロケータが改善
多くのニューラルネットにおいてGPU 利用時のメモリ使用効率が大幅に改善され、場合によってはメモリの再アロケーションが抑えられ速度も向上します。

3. CuPy に疎行列のサポートを追加
これまで GPU 上で実装するコストが高かった大規模なグラフ解析や自然言語処理をより簡単に実装することができます。

 

◆ Chainer ReleaseNote: https://github.com/chainer/chainer/releases/tag/v3.0.0

 

Chainer v3においても、これまで同様に外部コントリビュータの開発成果を数多く取り入れさせていただきました。PFNは今後も、サポート企業やOSSコミュニティと連携しながらChainerの開発と普及を推進してまいります。

 

◆ オープンソースの深層学習フレームワークChainerについて
PFNが開発・提供するChainerは、Pythonベースのディープラーニング向けフレームワークとして、“Define-by-Run”の手法を通じてユーザーが簡単かつ直感的に複雑なニューラルネットワークを設計するための高い柔軟性とパフォーマンスを兼ね備えています。2015年6月にオープンソース化されたChainerは、最も普及しているディープラーニング向けフレームワークの1つとして、学術機関だけでなく、ディープラーニングがもたらすメリットを現実世界のアプリケーションや研究に活用するための柔軟なフレームワークを求める産業界の多くのユーザーに支持されています。
Chainerは、最新の深層学習研究の成果を迅速に取り入れ、ChainerMN(分散深層学習)/ChainerRL(強化学習)/ChainerCV(コンピュータ・ビジョン)などの追加パッケージ開発、Chainer開発パートナー企業のサポートなどを通して、各分野の研究者や実務者の最先端の研究・開発活動を支援していくことを目指しています。(http://chainer.org/

 

*Chainer(R) およびCuPy™は、株式会社Preferred Networksの日本国およびその他の国における商標または登録商標です。