参考
メモ
AI and Compute は、ムーアの法則を超えるペースで、計算量が増大していることを示すブログ。 以下にポイントを示す。
導入
2012年ころからAIの学習に用いられる計算量は3.5か月あたり2倍に増えてきた。 （ムーアの法則では18か月あたりに2倍）
学習に用いる計算量をペタフロップス/dayで表したグラフ に計算量増加のグラフが載っている。 AlexNetから始まり、AlphaGo Zeroまで。 30万倍になった。
概要
AIを進化させた3要素。
- アルゴリズムの進化
- データの改善
- 計算可能量の増大
ここでは計算可能量の増大に着目。 特にひとつのモデルを学習するのに用いられる計算量に着目。 概ね10倍/年ペース。 これにはそれ用のカスタムハードウェア（GPU、TPUなど）の導入に加え、 計算リソースを並列処理で使い切る手法の改善も寄与している。
時代
- 2012年より前
- 機械学習向けにGPUを使っていなかった
- 2012年〜2014年
- 1〜8個程度のGPUを使用
- 1〜2TFLOPS
- 2014〜2016年
- 10〜100GPUを使用
- 5〜10TFLOPS
- 2016〜2017年
- TPUなどが登場
- アルゴリズム上も並列度がとても高まった。
将来展望
多くのベンチャーがHWを開発。例えばFLOPSあたりの単価を下げる効果が期待される。 アルゴリズム側も進化を続けている。
一方で費用と物理制約の影響は大きい。 例えば、最も大きなモデルを学習するのに必要な計算リソースは100万ドル＝1億円である。 一方で、現在の多くの企業が支払っているのは、学習よりも推論側である。したがって、バランスを考えると 学習にもっと支払えるはず。 世の中のHW購入のバジェットは1兆ドルといわれており、その数字に照らし合わせるとまだまだ拡大の余地が残っている。
付録
計算方法についての補足が載っている。 FLOPSを直接計算可能な場合にはそうしたし、そうでない場合は使用したGPU数などから算出した、とのこと。 多くのケースで著者にも確認したそうだ。