Chatbot AI baru Nvidia berjalan secara lokal di PC Anda, dan gratis

Punya GPU GeForce RTX 30 Series atau lebih tinggi? Aplikasi demo ini dapat memberikan konten yang dipersonalisasi, tidak memerlukan koneksi internet.

GPU seri GeForce RTX 40 Nvidia.

Nvidia telah merilis versi demo chatbot AI baru yang berjalan secara lokal di PC tertentu dengan GeForce RTX. Aplikasi demo, yang disebut Chat with RTX, dapat diunduh gratis dan memungkinkan pengguna menjalankan chatbot AI di PC mereka, yang dipersonalisasi dengan konten mereka.

Didukung oleh perangkat lunak Nvidia TensorRT-LLM, aplikasi ini dapat menghasilkan konten dan dilatih tentang konten pilihan pengguna, termasuk file .txt, .pdf, .doc/.docx, dan .xml dan bahkan URL ke video YouTube.

Setelah memilih konten untuk melatih bot, pengguna dapat mengajukan pertanyaan yang dipersonalisasi tentang konten yang mereka berikan. Misalnya, bot dapat meringkas petunjuk langkah demi langkah dalam video petunjuk dari YouTube atau memberi tahu pengguna jenis baterai apa yang mereka miliki di daftar belanjaannya.

Melatih bot pada konten pilihan pengguna membuat pengalaman benar-benar dipersonalisasi, namun fakta bahwa semuanya terjadi secara lokal menjaga kerahasiaan data pengguna. Obrolan dengan RTX dapat memberikan respon yang cepat sekaligus menjaga seluruh informasi pengguna tetap aman karena tidak bergantung pada layanan berbasis cloud, yang berarti juga dapat berjalan tanpa koneksi internet.

Bot memerlukan GPU Nvidia GeForce RTX 30 Series atau lebih tinggi, dengan VRAM minimal 8 GB. Chat dengan RTX juga memerlukan Windows 10 atau 11 dan driver GPU Nvidia terbaru.

Nvidia mengatakan perangkat lunak TensorRT-LLM-nya, dikombinasikan dengan retrieval-augmented generation (RAG) dan akselerasi RTX, memungkinkan Chat dengan RTX memberikan jawaban yang relevan dengan menggunakan file lokal sebagai kumpulan data dan menghubungkannya ke LLM sumber terbuka seperti Mistral dan Llama 2.