:format(webp)/cdn0.vox-cdn.com/uploads/chorus_asset/file/8497259/631041028.jpg)
Nvidia は、AI の未来を変える可能性のある新しいスーパーコンピューターを発表しました。 DGX GH200 は、現在私たちがよく知っているシステムの 500 倍近くのメモリを搭載しており、まもなく Google、Meta、Microsoft の手に渡ることになります。
目標？これまでに見たことのない規模で、 生成 AI 、レコメンダー システム、およびデータ処理に革命をもたらします。 GPT のような言語モデルはメリットをもたらしますか? それは通常のユーザーにとって何を意味しますか?
Nvidia の DGX GH200 を説明するには、ほとんどのユーザーが決して扱う必要のない用語を使用する必要があります。たとえば、「エクサフロップス」とは、スーパーコンピューターが 1 エクサフロップスのパフォーマンスと 144 テラバイトの共有メモリを提供するためです。 Nvidia は、これは 1 台の Nvidia DGX A100 システムのメモリのほぼ 500 倍を意味すると述べています。
1 エクサフロップスの数値に戻って、それを少し分析してみましょう。 1 エクサフロップは 1 秒あたり 1 京の浮動小数点演算 (FLOP) に相当します。比較のために、Nvidia の RTX 4090 は、 オーバークロックすると約 100 テラフロップス (TFLOP) に達します。 TFLOP は、1 秒あたり 1 兆回の浮動小数点演算に相当します。その違いは驚くべきものですが、もちろん、 RTX 4090 はデータセンター用の GPU ではありません。一方、DGX GH200 には、コンシューマー PC の範疇には属さないこれらの高性能 GPU が多数組み込まれています。
このコンピューターには、Nvidia の GH200 Grace Hopper スーパーチップが搭載されています。それらは合計 256 個あり、Nvidia の NVLink 相互接続テクノロジーのおかげで、すべてが統合システムとして連携して動作し、実質的に 1 つの巨大な GPU を作成できます。
ここで使用されている GH200 スーパーチップも、CPU と GPU の間に従来の PCIe 接続を必要としません。 Nvidia は、ARM ベースの Nvidia Grace CP,U と H100 Tensor Core GPU をすでに搭載していると述べています。 Nvidia はここでも、NVLink-C2C を使用して、いくつかの派手なチップ相互接続を実行しています。その結果、プロセッサーと グラフィックス カード 間の帯域幅が大幅に改善され (最大 7 倍)、電力効率も向上 (最大 5 倍) されると言われています。
200 個を超えるこれらのチップを 1 つの強力なスーパーコンピューターに詰め込むことは十分に印象的ですが、以前は一度に 8 つの GPU しか NVLink に接続できなかったことを考慮すると、さらに優れています。 8 チップから 256 チップへの飛躍は、確かに Nvidia にいくつかの自慢の権利を与えます。
DGX GH200 が Bard、ChatGPT、Bing Chat の改善に貢献する可能性があることを想像しないのは難しいでしょう。
さて、DGX GH200 は最終的にどこに到達し、世界に何を提供できるのでしょうか? Nvidia は、AI 研究開発を進める手段として独自の Helios スーパーコンピューターを構築しています。これには 4 つの DGX GH200 システムが含まれ、すべて Nvidia の Quantum-2 InfiniBand で相互接続されます。年末までにオンライン化される予定だ。
Nvidia はまた、Google Cloud、Meta、Microsoft を始めとして、その新しい開発を世界と共有しています。目的はほぼ同じで、生成的な AI ワークロードを探索することです。
Google と Microsoft に関して言えば、DGX GH200 が Bard 、 ChatGPT 、および Bing Chat の 改善に貢献する可能性があることを想像せずにはいられません。
単一の DGX GH200 システムによって提供される大幅な計算能力により、高度な言語モデルのトレーニングを進めるのに最適です。関係者からのコメントがなければ、それが何を意味するのかを正確に言うのは難しいですが、少し推測することはできます。
より強力なモデルはより大きなモデルを意味し、より微妙で正確なテキストと、それらをトレーニングするためのより広範囲のデータを意味します。文化の理解が深まり、背景の知識が深まり、一貫性が向上するかもしれません。特化した AI チャットボットも出現し始め、テクノロジーなどの分野でさらに人間に取って代わられる可能性があります。
私たちは潜在的な雇用の喪失を懸念すべきでしょうか、それともこれらのスーパーコンピューターがもたらす可能性のある進歩に興奮すべきでしょうか?答えは簡単ではありません。 1 つ確かなことは、Nvidia の DGX GH200 が AI の世界に大きな変革をもたらす可能性があり、Nvidia が AMD に対する AI のリードをさらに広げたことです 。