Nvidia の 数週間以内に登場しますが、すべてのハードウェアの改善の中に、Nvidia の金の卵となり得るもの、 DLSS 3 があります。これは、Nvidia の人気のある DLSS (ディープ ラーニング スーパー サンプリング) 機能の単なるアップデートをはるかに超えており、最終的にはグラフィック カード自体よりも Nvidia の次世代をはるかに定義する ものになる可能性があります。
AMD は、 FidelityFX 超解像度 (FSR) を DLSS と同等にするために懸命に取り組んできましたが、過去数か月間、成功を収めてきました。 DLSS 3 はその力学を変えることになるようです。そして今回、FSR はすぐには追いつけないかもしれません。
DLSS 3 がどのように機能するのか (そしてどのように機能しないのか)
DLSS 3 が DLSS の完全に新しいバージョンであると考えるのも無理はありませんが、そうではありません。少なくとも、まったく新しいものではありません。 DLSS 3 のバックボーンは、現在 DLSS タイトルで利用可能なものと同じ超解像度テクノロジーであり、Nvidia はおそらく新しいバージョンでそれを改良し続けるでしょう。 Nvidia によると、DLSS 3 の超解像度部分はグラフィック設定の別のオプションとして表示されるようになります。
新しい部分はフレーム生成です。 DLSS 3 は、1 フレームおきに完全に固有のフレームを生成し、基本的に、表示される 8 ピクセルごとに 7 ピクセルを生成します。以下のフローチャートでその例を確認できます。 4K の場合、GPU は 1080p のピクセルのみをレンダリングし、その情報を現在のフレームだけでなく次のフレームにも使用します。
Nvidiaによると、フレーム生成は超解像度とは別の切り替えになるという。これは、フレーム生成は今のところ RTX 40 シリーズ GPU でのみ機能する一方、超解像度は DLSS 3 に更新されたゲームであってもすべての RTX グラフィックス カードで引き続き機能するためです。フレームが完全に生成されるため、パフォーマンスが 大幅に向上します。
ただし、フレーム生成は単なる AI の秘密のソースではありません。 DLSS 2 や FSR などのツール では、動きベクトルがアップスケーリングの重要な入力となります。モーション ベクトルは、オブジェクトがあるフレームから次のフレームに移動する場所を記述しますが、モーション ベクトルはシーン内のジオメトリにのみ適用されます。影、反射、パーティクルなどの 3D ジオメトリを持たない要素は、視覚的なアーティファクトを避けるために、従来、アップスケーリング プロセスからマスクされてきました。
AI が完全に固有のフレームを生成している場合、マスキングはオプションではありません。ここで、RTX 40 シリーズ GPU のオプティカル フロー アクセラレータが活躍します。これはモーション ベクトルに似ていますが、グラフィック カードがあるフレームから次のフレームへの個々のピクセルの動きを追跡する点が異なります。このオプティカル フロー フィールドは、動きベクトル、深度、色とともに、AI によって生成されたフレームに寄与します。
良いことばかりのように聞こえますが、AI によって生成されたフレームには大きな問題があります。それは、遅延が増加するということです。 AI によって生成されたフレームは PC を通過しません。これは「偽の」フレームであるため、ゲームや FRAPS などのツールの従来の fps 読み出しには表示されません。したがって、非常に多くの追加フレームがあるにもかかわらずレイテンシーは下がらず、オプティカル フローの計算オーバーヘッドにより、レイテンシーは実際には増加します。そのため、DLSS 3 では、高い遅延を相殺するために 必要です。
通常、CPU はグラフィックス カードのレンダリング キューを保存して、GPU が作業を待機しないようにします (これにより、途切れやフレーム レートの低下が発生します)。 Reflex はレンダー キューを削除し、GPU と CPU を同期します。これにより、CPU が命令を送信できるようになるとすぐに、GPU が命令の処理を開始します。 Nvidia によれば、Reflex を DLSS 3 の上に適用すると、場合によっては遅延の短縮につながる可能性もあります。
AI が変化をもたらす場所
AMDのFSR 2.0はAIを使用しておらず、少し前にも書きましたが、機械学習ではなくアルゴリズム を使用してもDLSSと同等の品質が得られる ことを証明しています。 DLSS 3 は、独自のフレーム生成機能とオプティカル フローの導入により、この状況を変えます。
オプティカル フローは新しいアイデアではありません。何十年も前から存在しており、ビデオ編集アプリケーションから自動運転車に至るまで、あらゆる分野に応用されています。ただし、AI モデルをトレーニングするデータセットが増加しているため 、機械学習を使用したオプティカル フローの計算 は比較的新しいものです。 AI を使用する理由は単純です。十分なトレーニングを行っていれば視覚的なエラーが少なく、実行時のオーバーヘッドもそれほど大きくありません。
DLSS は実行時に実行されます。機械学習を使わずに、各ピクセルがあるフレームから次のフレームにどのように移動するかを推定するアルゴリズムを開発することは可能ですが、計算コストが高くつき、そもそもスーパーサンプリングの本質に反します。多くの馬力と十分なトレーニング データを必要としない AI モデルを使用すれば、Nvidia には使用できるトレーニング データが豊富にあるので安心してください。高品質で実行時に実行できるオプティカル フローを実現できます。
これにより、CPU に制限があるゲームでもフレーム レートの向上につながります。スーパーサンプリングは解像度にのみ適用され、解像度はほぼ GPU にのみ依存します。 CPU 処理をバイパスする新しいフレームにより、DLSS 3 は、完全な CPU ボトルネック がある場合でも、ゲームのフレーム レートを 2 倍にすることができます。これは驚くべきことであり、現時点では AI によってのみ可能です。
FSR 2.0が（今のところ）追いつけない理由
AMD は、FSR 2.0 でまさに不可能を実現しました。見た目も素晴らしく、ブランドに依存しないという事実はさらに優れています。 Deathloop で初めて DLSS を見たときから、私は DLSS を捨てて FSR 2.0 を導入する つもりでした。しかし、私は FSR 2.0 を楽しんでおり、AMD の素晴らしいキットだと思っていますが、すぐに DLSS 3 に追いつくことはありません。
まず、アーティファクトのないフレーム間の各ピクセルを追跡できるアルゴリズムを開発することは、特に緻密で細かいディテールを持つ 3D 環境では十分に困難です ( サイバーパンク 2077 が その代表的な例です)。可能ですが、難しいです。しかし、より大きな問題は、そのアルゴリズムをどの程度肥大化する必要があるかということです。 3D 空間で各ピクセルを追跡し、オプティカル フロー計算を実行し、フレームを生成し、途中で発生した問題を解決するなど、やるべきことはたくさんあります。
ゲームの実行中にこれを実行しながら、FSR 2.0 または DLSS レベルでのフレーム レートの向上を実現するには、さらに多くのことが求められます。 Nvidia は、専用プロセッサーとトレーニング済みモデルを使用している場合でも、オプティカル フローによって課せられる高い遅延を相殺するために Reflex を使用する必要があります。そのハードウェアまたはソフトウェアがなければ、FSR はフレームを生成するために非常に多くの遅延を犠牲にする可能性があります。
AMD や他の開発者が最終的にはそこに到達するか、あるいは問題を回避する別の方法を見つけるだろうということに私は疑いの余地がありませんが、それは数年先になる可能性があります。今は言うのが難しいです。
簡単に言えるのは、DLSS 3 は非常にエキサイティングであるということです。もちろん、Nvidia のパフォーマンスの主張を検証し、画質がどの程度維持されるかを確認するには、この製品が登場するまで待つ必要があります。今のところ、DLSS 3 の映像を紹介する Digital Foundry からの短いビデオ (上) が公開されているだけです。サードパーティによるさらなるテストが行われるまで、このビデオを視聴することを強くお勧めします。ただし、現在の観点から見ると、DLSS 3 は確かに有望に見えます。
この記事は、 の一部です。ReSpec は、PC ゲームの背後にある技術に関するディスカッション、アドバイス、詳細なレポートを含む隔週の継続的なコラムです。