専用の AI ハードウェアを PC に搭載することを正当化することは困難でした。 Nvidia は、 Chat with RTX でこの状況を変えようとしています。これは、Nvidia GPU 上のハードウェアを利用して AI モデルを実行するローカル AI チャットボットです。
これには ChatGPT などに比べていくつかの独自の利点がありますが、このツールにはまだ奇妙な問題がいくつかあります。ここには AI チャットボットで発生する典型的な癖がありますが、RTX とのチャットには何らかの工夫が必要であることを証明する大きな問題もあります。
RTX とチャットする
Chat with RTX に関する最も明らかな質問は次のとおりです。これは ChatGPT とどう違うのですか? RTX とのチャットは、 ローカルの 大規模言語モデル (LLM) です。 TensorRT-LLM 互換モデル (Mistral と Llama 2 がデフォルトで含まれています) を使用し、それらをローカル データに適用します。さらに、実際の計算はクラウドではなく、 グラフィック カード 上でローカルに行われます。 RTX とのチャットには、Nvidia RTX 30 シリーズまたは 40 シリーズ GPU と少なくとも 8 GB の VRAM が必要です。
ローカル モデルでは、いくつかのユニークな機能が利用可能になります。まず、RTX を使用して独自のデータを Chat にロードします。ドキュメントが詰まったフォルダーをまとめて、Chat with RTX をそのフォルダーにポイントし、そのデータに基づいてモデルを操作できます。これにより、より近いレベルの特異性が提供され、モデルは、 Bing Chat や ChatGPT などで見られるより一般的な回答ではなく、詳細なドキュメントに関する情報を提供できるようになります。
そしてそれはうまくいきます。私は、Nvidia の DLSS 3、AMD の FSR 2、Intel の XeSS について詳しく説明したさまざまな研究論文が入ったフォルダーを読み込み、それらがどのように違うのかについて具体的な質問をしました。インターネットをスクレイピングして違いを説明する記事を言い換える (Bing Chat などの一般的な戦術) のではなく、Chat with RTX は実際の研究論文に基づいた詳細な回答を提供することができました。
Chat with RTX がいくつかの研究論文から情報を引き出すことができたことにはショックを受けませんでしたが、その情報を非常にうまく抽出できたことにはショックを受けました。私が提供した文書は、まあ、学術的な話、頭がくらくらするような方程式、そして論文自体では説明されていない詳細への言及が満載の研究論文でした。それにもかかわらず、Chat with RTX は論文を理解しやすい情報に分割しました。
Chat with RTX を YouTube ビデオまたはプレイリストに向けることもでき、トランスクリプトから情報が削除されます。このツールの尖った性質が本当に優れており、ChatGPT のように何かについて質問するのではなく、セッションを単一の方向に集中させることができます。
もう 1 つの利点は、すべてがローカルで行われることです。クエリをサーバーに送信したり、ドキュメントをアップロードしたりする必要がなく、モデルをさらにトレーニングするためにそれらのドキュメントが使用されるのではないかと心配する必要もありません。これは、AI モデルを操作するための合理化されたアプローチです。モデルの反対側で何が起こっているかを気にすることなく、PC 上でデータを使用し、必要な質問をすることができます。
ただし、RTX を使用したチャットのローカル アプローチにはいくつかの欠点があります。最も明らかなのは、最新の Nvidia GPU と少なくとも 8GB の VRAM を搭載した強力な PC が必要であるということです。さらに、約 100GB の空き容量が必要です。 Chat with RTX は実際に使用するモデルをダウンロードするため、かなりのディスク容量を消費します。
幻覚
RTX を使用したチャットに問題がないとは思いませんでしたね?ほぼすべての AI ツールで わかっている ように、AI からの完全な不正確な応答には一定の許容範囲があり、Chat with RTX はそれを超えていません。 Nvidia は、新しいインストールとともに最近の Nvidia ニュース記事のサンプルを提供していますが、それでも、AI は常に利益を得ていたわけではありませんでした。
たとえば、上記のモデルでは、 Counter-Strike 2 が DLSS 3 をサポートしていることがわかります。そうではありません。このモデルは、参照している DLSS 3.5 の記事と、 Counter-Strike 2 について言及している含まれているデータセット内の別の記事との間に、ある種の関係を作成したとしか考えられません。
さらに差し迫った制限は、RTX とのチャットにはサンプル データしか存在しないことです。これにより、小さなデータセット内のバイアスが不正確な答えにつながるという奇妙な状況が発生します。たとえば、上記のモデルでは、ある応答では DLSS フレーム生成によってゲームプレイに追加の遅延が発生しないと述べている一方、次の応答では、フレーム補間によってゲームプレイに追加の遅延が発生すると述べていることがわかります。 DLSS フレーム生成ではフレーム補間を使用します。
別の回答 (上記) で、Chat with RTX は、DLSS 3 が動作するために Nvidia Reflex を必要としないと述べましたが、それは真実ではありません。もう一度言いますが、モデルは私が提供したデータから外れており、完璧ではありません。これは、Chat with RTX が許可するように焦点が狭い場合でも、AI モデルが真顔で間違っている可能性があることを思い出させてくれます。
これらの奇妙なことのいくつかは予想していましたが、Chat with RTX はそれでも私を驚かせることができました。さまざまなセッションのさまざまな時点で、私は提供したデータとはまったく関係のないランダムな質問をしました。ほとんどの状況では、モデルが答えを提供するのに十分な情報がないことを示す応答が返されます。理にかなっています。
ある状況を除いて、モデルは答えを提供しました。デフォルトのデータを使用して、靴紐の結び方を尋ねると、モデルは段階的な手順を示し、ACE に関する Nvidia のブログ投稿を参照しました (Nvidia は、このプレリリース バージョンでは参照ファイルが時々間違っていると述べています)。直後にもう一度尋ねると、コンテキスト情報が不足しているという同じ標準的な応答が返されました。
ここで何が起こっているのかわかりません。モデル内にこの質問に答えることを可能にする何かがあるか、あるいは他の場所から詳細を取得している可能性があります。いずれにせよ、Chat with RTX が提供したデータを 単に 使用しているわけではないことは明らかです。少なくとも、他の場所から情報を取得する機能はあります。 YouTube 動画について質問し始めてから、そのことがさらに明確になりました。
YouTube事件
Chat with RTX の興味深い側面の 1 つは、YouTube ビデオからトランスクリプトを読み取ることができることです。このアプローチにはいくつかの制限があります。重要なのは、モデルは実際のビデオではなくトランスクリプトのみを参照するということです。トランスクリプトに含まれていない何かがビデオ内で発生した場合、モデルはそれを見ることはありません。そのような制限があるとはいえ、これは非常にユニークな機能です。
しかし、それには問題がありました。 Chat with RTX でまったく新しいセッションを開始した場合でも、以前にリンクしたビデオが記憶されます。 Chat with RTX は現在または以前の会話のコンテキストを記憶することを想定していないため、そのようなことは起こらないはずです。
少し複雑になる可能性があるため、何が起こったのかを説明します。最初のセッションでは、YouTube チャンネル Commander at Home のビデオにリンクしました。これは Magic: the Gathering チャンネルです。ビデオでは説明されていない複雑なトピックに Chat with RTX がどのように応答するかを確認したかったのです。当然のことながら、うまくいきませんでしたが、重要なのはそこではありません。
私は古いビデオを削除し、Nvidia の CEO である Jensen Huang との 1 時間にわたるインタビューにリンクしました。リンクを入力した後、専用のボタンをクリックしてデータベースを再構築し、基本的に Chat with RTX に新しいデータについてチャットしていることを伝えました。この会話も前回と同じように「このビデオは何についてですか?」と尋ねることから始めました。私がリンクした Nvidia ビデオに基づいて回答するのではなく、以前の Commander at Home ビデオに基づいて回答しました。
さらに 3 回データベースの再構築を試みましたが、結果は常に同じでした。最終的に、まったく新しいセッションを開始し、RTX とのチャットを完全に終了して、新たに開始しました。もう一度、Nvidia ビデオをリンクしてトランスクリプトをダウンロードし、ビデオの内容を尋ねることから始めました。コマンダー・アット・ホームのビデオについて再び回答した。
Nvidia ビデオについて特定の質問をしたときにのみ、RTX とのチャットで回答を得ることができました。少し雑談した後でも、ビデオの内容を尋ねると、その答えはコマンダー・アット・ホームのビデオに関するものでした。このセッションでは、Chat with RTX でそのビデオ リンクが表示され なかったこと を思い出してください。
Nvidia によれば、これは Chat with RTX がダウンロードしたトランスクリプトを すべて 読み取るためであるとのことです。これらはローカルのフォルダーに保存され、新しいセッションを開始した場合でも、入力したすべてのビデオに関する質問に回答し続けます。トランスクリプトを手動で削除する必要があります。
さらに、複数のビデオトランスクリプトがある場合、Chat with RTX は一般的な質問に苦労します。私がビデオの内容を尋ねると、Chat with RTX は私が Commander at Home ビデオについて質問していると判断し、それが参照されているビデオであると判断しました。少し混乱しますが、特に以前に YouTube リンクを入力したことがある場合は、チャットしたいトランスクリプトを手動で選択する必要があります。
有用性がわかります
何と言っても、Chat with RTX は、ローカル ハードウェアを活用して AI モデルを使用する方法をデモンストレーションするものであり、これは過去 1 年間 PC に大きく欠けていたものです。複雑なセットアップは必要なく、開始するために AI モデルに関する深い知識も必要ありません。これをインストールすると、最新の Nvidia GPU を使用している限り、動作します。
ただし、Chat with RTX がどれほど便利かを正確に把握するのは困難です。多くの場合、ChatGPT のようなクラウドベースのツールの方が、アクセスできる情報の範囲が広いため、厳密には優れています。あなたはそれの有用性を見つけなければなりません。解析するドキュメントの長いリストがある場合、または見る時間がない YouTube ビデオのストリームがある場合、Chat with RTX はクラウドベースのツールでは見つからないものを提供します (固有の癖を尊重することを前提としています)。あらゆる AI チャットボットに。
ただし、これは単なるデモです。 Nvidia は、RTX との Chat を通じて、ローカル AI モデルで何ができるかを実証しており、開発者が独自にローカル AI アプリを探索することに興味を集めるのに十分であることを願っています。