Nvidia představila chatbota, který běží pouze na vašem počítači, na grafické kartě GeForce RTX. Tedy bez nutnosti externí služby, bez posílání osobních nebo firemních dat mimo váš počítač.
Audioverze článku načtená virtuálním hlasem Martina
Tato aplikace, nazvaná "Chat with RTX", vyžaduje k fungování grafickou kartu řady RTX 30 nebo RTX 40, případně GPU RTX generace Ampere nebo Ada. Využívá techniky zvané retrieval-augmented generation (RAG), TensorRT-LLM a RTX akceleraci k vytvoření personalizovaného jazykového modelu (LLM GPT) založeného na vašem jedinečném obsahu.
Ale to není vše. Můžete do něj také vložit videa z webu, včetně odkazů na videa z YouTube. Stačí zadat URL adresu zdrojového videa a poté se chatbota zeptat na jakoukoli otázku související s obsahem videa.
Vše běží lokálně, ne jako ostatní služby v cloudu. Stejně tak trénování vašich osobních nebo interních dokumentů. Díky tomu by měl být chatbot rychlý a kontextově relevantní. Nvidia také tvrdí, že díky tomu poskytuje bezpečné výsledky, což je pravděpodobné, vzhledem k tomu, že nepřenáší citlivá data přes internet.
Pokud máte grafickou kartu GeForce řady 30 nebo 40 a máte zájem Chat with RTX vyzkoušet, stačí zajít na webové stránky Nvidia a stáhnout instalační soubor.
Pokud hledáte alternativu k lokálnímu "chatGPT", měli byste vyzkoušet Chat4All. Tento program je možné snadno nainstalovat na váš notebook. Pak stačí označit složky, z nichž má Chat4All čerpat informace, a můžete si užívat vlastního lokálního chatbota. Na rozdíl od Chat with RTX tento nástroj nepotřebuje k fungování grafickou kartu.
Je však třeba mít na paměti, že pokud očekáváte dokonalou češtinu, jakou jste možná zvyklí z Google Gemini nebo chatGPT, může vás výsledek zklamat.