NVIDIAは、ユーザーが最小8GBのビデオランダムアクセスメモリ（VRAM）を備えたローカルNVIDIA GeForce RTX 30シリーズGPU以上に加速されたコンテンツでチャットボットをパーソナライズできる技術であるChat with RTXデモを披露します。
Chat with RTXは、RAG（検索拡張生成）、NVIDIA TensorRT-LLMソフトウェア、およびNVIDIA RTXアクセラレーションを使用して、ローカルのGeForceベースのWindows PCに生成AI機能を提供します。ユーザーは、PCのローカルファイルをMistralやLlama 2などのオープンソースの大規模言語モデルにデータセットにすばやく簡単に関連付けることができ、すばやくコンテキスト対応の答えを照会できます。
ユーザーはメモや保存されたコンテンツを検索するのではなく、単にクエリを入力できます。たとえば、「ラスベガスにいる間にパートナーが推薦したレストランは何でしたか？」と尋ねることができます。Chat with RTXは、ユーザーが指すローカルファイルをスキャンし、状況に応じた回答を提供します。
このツールは、.txt、.pdf、.doc/.docx、および.*!*を含むさまざまなファイル形式をサポートしています。これらのファイルを含むフォルダをアプリケーションに割り当てると、ツールはファイルを数秒以内にそのライブラリにロードします。
ユーザーはYouTubeの動画やプレイリストの情報を含めることもできます。RTXを使用したチャットにビデオURLを追加すると、ユーザーはコンテキストクエリのためにこの知識をチャットボットに統合できます。たとえば、お気に入りのインフルエンサー動画のコンテンツに基づいて旅行の紹介をリクエストしたり、最高のトレーニングリソースに基づいたクイックチュートリアルと方法を取得したりできます。
Chat with RTXはWindows RTX PCおよびワークステーションでローカルに実行されるため、提供される結果は速く、ユーザーのデータはデバイスに保持されます。クラウドベースのLLMサービスに頼るのではなく、Chat with RTXを使用すると、ユーザーは機密データを第三者と共有したり、インターネットに接続したりせずにローカルPCで処理できます。
8GB以上のVRAMを搭載したGeForce RTX 30シリーズGPU以上に加えて、Chat with RTXにはWindows 10または11と最新のNVIDIA GPUドライバが必要です。Chat with RTXの詳細をご覧ください。
Sorce:
