Topthemen

Chat with RTX: Nvidia bringt lokale KI für PCs mit GeForce-Grafikkarte

Nvidia AI
© sdx15 / AdobeStock
Dieser Beitrag ist von unserem Partner:

Nvidia hat heute eine erste Vorabversion des neuen Tools Chat with RTX veröffentlicht, mit dem aktuelle Grafikkartenmodelle des Herstellers für den lokalen Betrieb eines KI-Chatbots auf dem eigenen PC verwendet werden können.

Rohe Beta-Software

Chat with RTX bietet vor allem eines: einen einfachen Weg, ein "Large Language Model" (LLM) auf dem eigenen PC laufen zu lassen und einen damit befeuerten Chatbot lokal zu nutzen. Sämtliche Rechenarbeit wird dabei auf dem eigenen PC durchgeführt und nicht von Servern im Internet. Noch ist das Tool ein experimentelles Werkzeug, auch wenn bereits viel Potenzial erkennbar ist.

Voraussetzung ist, dass man einen aktuellen PC mit einer Nvidia-Grafikkarte aus der GeForce RTX 30- oder RTX 40-Serie verwendet, bei der mindestens acht Gigabyte Grafikspeicher vorhanden sind. Außerdem werden mindestens 40 Gigabyte Speicherplatz und natürlich eine ausreichend leistungsfähige CPU benötigt - und ausreichend Zeit.

Da es sich um eine Betaversion handelt, ist natürlich noch mit einigen mehr oder weniger schwerwiegenden Fehlern zu rechnen. Nvidia hat bei Chat with RTX die Möglichkeit integriert, verschiedene LLMs zu verwenden, um lokale Dateien oder Weblinks zu analysieren. Das Tool liefert in einem simplen Browser-Fenster ein Interface, wie man es von Windows Co-Pilot kennt. Der Nutzer interagiert also zum Beispiel über einfache, in natürlicher Sprache formierte Anfragen. Vorerst wird nur Englisch unterstützt.  

Massenhafte Auswertung von lokal gespeicherten Inhalten

Bei den zu analysierenden Inhalten kann es sich auch um online abrufbare Inhalte wie etwa YouTube-Videos handeln, zu denen Chat with RTX schnell und einfach Zusammenfassungen liefern kann und Fragen zum Inhalt beantwortet. Das Gleiche ist auch mit lokalen Dateien möglich, wobei man das Tool auch mit ganzen Ordnern an Dateien füttern kann.

Wer also Zusammenfassungen auf Basis von großen Datensätzen benötigt, kann diese mithilfe von Chat with RTX einfach und ohne großen eigenen Aufwand analysieren lassen und dann per Chatbot Antworten zu Fragen über den Inhalt erhalten. Auf diese Weise lassen sich Fragen zu komplizierten oder umfangreichen Datensätzen schnell beantworten, wobei das Tool auch immer einen Link zur jeweiligen Referenzdatei ausspuckt.

Da es sich um eine Vorabversion handelt, gibt es natürlich noch diverse Baustellen und Fehler. So ist die Nutzeroberfläche alles andere als aufgeräumt, weil im Hintergrund Kommandozeilen geöffnet werden, JSON-Dateien in den zu analysierenden Ordnern angelegt werden und kein Kontext gesammelt wird - man also keine Folgefragen zu einer früheren Anfrage stellen kann. Insgesamt dürfte das Tool aber zeigen, was zumindest theoretisch mit lokal laufender KI auf PCs möglich ist.


Zusammenfassung

  • Nvidia veröffentlicht Vorabversion von Chat with RTX
  • Tool ermöglicht Betrieb eines KI-Chatbots auf dem PC
  • Erfordert GeForce RTX 30/40 mit mindestens 8 GB VRAM
  • Mindestens 40 GB Speicherplatz und starke CPU nötig
  • Unterstützt verschiedene LLMs für Analyse lokaler Inhalte
  • Nur Englisch wird in der Betaversion unterstützt
  • Nutzung für Zusammenfassungen und Inhaltserklärungen möglich

 

Die besten Smartphones bis 500 Euro

  Redaktionsempfehlung Beste Alternative Bestes Kamera-Smartphone Bester Software-Support Bestes Preis-Leistungs-Verhältnis Beste Performance
Produkt
Abbildung Xiaomi Redmi Note 13 Pro+ 5G Product Image Nothing Phone (1) Product Image Google Pixel 7 Product Image Samsung Galaxy A54 Product Image Motorola Edge 40 Neo Product Image Xiaomi Poco F5 Pro Product Image
Bewertung
Bewertung: Xiaomi Redmi Note 13 Pro+ 5G
Bewertung: Nothing Phone (1)
Bewertung: Google Pixel 7
Bewertung: Samsung Galaxy A54
Bewertung: Motorola Edge 40 Neo
Bewertung: Xiaomi Poco F5 Pro
Zum Angebot*
Zu den Kommentaren (0)

Dieser Inhalt kommt von unserem Partner WinFuture und ist am 2024-02-14 unter dem Titel erschienen. Hat er euch gefallen? Dann schaut doch bei unseren lieben Kollegen von WinFuture vorbei und findet weitere großartige Inhalte wie diesen!

Hat Dir der Artikel gefallen? Jetzt teilen!
Empfohlene Artikel
Neueste Artikel
Push-Benachrichtigungen Nächster Artikel
Keine Kommentare
Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!
Neuen Kommentar schreiben:
Alle Änderungen werden gespeichert. Änderungen werden nicht gespeichert!
VG Wort Zählerpixel