ディープ・ラーニング・スーパー・サンプリング(英語: Deep learning super sampling(DLSS))は、NVIDIAによって開発され、一部のビデオゲームでリアルタイムに使用するためのNvidiaグラフィックカード専用の画像アップスケーリングテクノロジーである。本項では略称である『DLSS』を用いて記述する。

概要

DLSSはその名の通り、ディープラーニング(深層学習)を使用して、低解像度の画像を高解像度にアップスケールし、高解像度のコンピューターモニターに表示する超解像技術の一つである。

NVIDIAによればこの技術は、ネイティブ画像と同等の品質・高解像度レンダリング並のアップスケールを実現する上、ビデオカードによる負荷(計算・性能)が少なくてすむため、特定の解像度ではより高いグラフィック設定とフレームレートが可能になるとしている。バージョンが進んだ2.0に置いてNVIDIAは、「ネイティブ解像度に匹敵する画質を提供する」と発表した。以降もバージョンの更新は継続されている。

2025年2月の時点で、このテクノロジーはGeForce RTX 20・GeForce RTX 30・GeForce RTX 40・GeForce RTX 50シリーズGPUでのみ利用可能である。

歴史

NVIDIAは、2018年9月に発売されたGeForce RTX20シリーズGPUの主要機能としてDLSSを追加した。当時は、限られた少数のゲームタイトル(『バトルフィールドV 』と『メトロエクソダス』)においてのみ対応されていた。またアルゴリズムを対応された各ゲームで個別に調整する必要があり、平時の効果は単純な解像度のアップスケーリングと比較して大きな差はなかった。

2019年、ゲームタイトル『コントロール』において、レイトレーシングとTensorCoreを使用しなかったDLSSの改良版が対応されていた。

2020年4月、NVIDIAはドライバーバージョン445.75を提供し、DLSS 2.0へのバージョンアップが行われた。これは前述の『コントロール』『ウルフェンシュタイン:ヤングブラッド』などのいくつかの既存のゲームで利用でき、今後発売されるゲームでも対応し利用可能になるとしている。2.0ではTensor Coreを再び使用することでAI学習データを用いる事で、初期のバージョンで必要だった各ゲーム毎での個別調整する必要はなくなった。ただし、ゲーム側の対応と実装は引き続き個別に必要となる。
2.0のデメリットとしてはMSAAやTSAAなどのアンチエイリアス手法が、適切に効果が発揮されない点がある。この設定の場合DLSSを有効にすると、パフォーマンスに大きな悪影響がある。

2021年11月に2.3へとバージョンアップ。動きの激しい場面で発生するゴーストを、モーションベクトルをより高度に利用するよう改善したことで軽減に成功したとしている。

2022年12月に3.0がリリース、通常のレンダリングと比べて性能が最大で4倍増、更に従来のアップスケールに加えてオプティカルマルチフレーム生成機能が追加された。また、CPUがボトルネックとなっていてもフレームレートを高めることが可能となる。レイテンシを軽減するためにNVIDIA Reflexが搭載。フレーム生成機能はGeForce RTX 40シリーズのみで対応しており、アップスケーリング機能は従来のGeForce RTX 20・RTX 30シリーズでにも対応している。

2023年9月に3.5がリリース、「Ray Reconstruction(光線再構築)」と呼ばれる新技術が追加され、この機能はRTX 20シリーズからRTX 30を含めた全てのRTXシリーズに対応する。

リリース履歴

ゲーム画質モード(2.0以降)

バージョン

DLSS 1.0

NVIDIAはDLSS 1.0について、従来のスーパーサンプリングを使用して「完璧なフレーム」を生成することで、各ゲーム画像毎にニューラルネットワークで学習する必要があると説明した。 2番目のステップでは、初期結果でアンチエイリアシングやVRSといった映像処理をAIの処理に任せるという調整がなされた。

DLSS 2.0

  • ニューラルネットワークは、スーパーコンピューターでの超高解像度のビデオゲームの「理想的な」画像と同じゲームの低解像度画像を使用して、NVIDIAによって学習され、ビデオカードドライバに保存される。 NVIDIAはDEX-1サーバーを使用してネットワークのトレーニングを実行すると言われている。
  • ドライバーに保存されているニューラルネットワークは、実際の低解像度画像を参照と比較し、完全な高解像度の結果を生成するもの。調整されたニューラルネットワークによって使用される入力は、ゲームエンジンによってレンダリングされた低解像度のエイリアス画像と、同じくゲームエンジンによって生成された同じ画像からの低解像度の動きベクトルである。モーションベクトルは、次のフレームがどのように見えるかを推定するために、シーン内のオブジェクトがフレーム間を移動している方向をネットワークに通知している。

DLSS 3.0

  • 全く新しいフレームを生成するオプティカルマルチフレーム生成を追加し、最適な応答性を実現するNVIDIA Reflex低遅延技術を統合している。
  • DLSS フレーム生成畳み込みオートエンコーダーは、現在と前のゲームのフレーム、オプティカルフローアクセラレータで生成されたオプティカルフローフィールド、モーションベクターや深度などのゲームエンジンのデータの4つの入力を受け取る。アクセラレータは、連続した2つのゲーム内フレームを解析しフローフィールドを計算、フレーム1からフレーム2へピクセルが移動する方向と速度を捉える。
  • アクセラレータは、ゲーム エンジンのモーションベクター計算には含まれないパーティクル、リフレクション、シャドウ、ライティングなどのピクセルレベルの情報を取得することが可能であるとしている。

DLSS 4.0

アーキテクチャ

DLSSは、GeForce RTXシリーズのGPUで、Tensor Coresと呼ばれる専用の AIアクセラレータでのみ使用できる。

Tensor Coreは、Tesla V100の製品ラインで最初に使用されたNVIDIA Volta GPUのマイクロアーキテクチャ以降に利用可能。それらの特異性は、各Tensorコアが16ビット浮動小数点4 x 4マトリックスで動作し、コンパイラレベルでもCUDA C レベルで使用されるように設計されているように見えることである。

Tensor Coreは、32の並列スレッドでCUDA ワープレベルプリミティブを使用して、並列アーキテクチャを活用する。ワープは、同じ命令を実行するように構成された32スレッドのセットである。

3.0はNVIDIA Ada Lovelaceアーキテクチャの新しい第4世代Tensor Coreとオプティカルフローアクセラレータによってのみ動作する。

他社の競合技術

  • AMD FSR
  • Intel XeSS

脚注

関連項目

  • 画像スケーリング
  • ディープラーニング
  • スーパーサンプリング
  • GeForce
  • Nvidia DGX
  • テンソル・プロセッシング・ユニット - Googleが開発したAIアクセラレータ特定用途向け集積回路(ASIC)
  • 忠実度の高い画像のアップスケーリングをサポートするゲームのリスト

外部リンク

  • NVIDIA DLSS (Deep Learning Super Sampling)

ディープラーニングのスーパーサンプリングについて

ディープラーニングの代表的な手法について

ディープラーニング 株式会社カオピーズ ニュース

ディープラーニングとは AI/データサイエンス ソーバル株式会社

超美品の 深層学習 = Deep Learning