Umělá inteligence je dnes všude. Právníci analyzují smlouvy, novináři si nechávají shrnovat články, analytici pracují s daty a lékaři vyhodnocují zdravotní záznamy. Většina těchto úloh ale probíhá v cloudu, což znamená jediné – data opouštějí vaše zařízení a končí někde na serverech velkých technologických firem. Pro mnohé profese to může být zásadní problém. Jednou z alternativ je lokální AI, která běží přímo na vašem počítači nebo mobilním zařízení.
Nejde přitom o sci-fi. Moderní jazykové modely jsou dnes dostatečně optimalizované na to, aby běžely i bez připojení k internetu. Menší AI modely lze dokonce spustit i na nejnovějších iPhonech, kde Apple využívá výkon svého Neural Engine. Pro složitější úlohy je ale nutné mít silnější hardware, ale pokud máte třeba tuto konfiguraci, vyzkoušejte:
- Minimálně 16 GB RAM
- Výkonný procesor (ideálně řady i7, Apple M1/M2/M3 nebo ekvivalent)
- Dedikovaná grafická karta minimálně s 8 GB VRAM (výrazně urychluje zpracování)
Vlastní testy jsem dělal na MacBooku, na Windows notebooku s 16 GB RAM (“outdoor” model od Dusana) a na PC stanici s NVIDIA RTX 4060 Ti (běžně pro Flight simulator).
Nejlépe mi fungovala #Gemma od Googlu, což je menší bratříček modelu Gemini. Modelů jsou tisíce, např.#Llama od Meta nebo#Phi-2 od Microsoftu; některé se specializují na technické úlohy, jiné na běžné psaní textů, analýzy či generování kódu.
Za zmínku stojí i#DeepSeek a jejich model R1, který ve větší verzi běží dobře na MacBooku a na rozdíl od online varianty (kterou jsem zmiňoval v předchozím příspěvku) neposílá žádná data do Číny - funguje čistě lokálně.
Lokální AI můžete navíc “relativně snadno” natrénovat na konkrétní zadání. Ať už jde o pochopení firemních smluv, nebo třeba psaní personalizovaných básní, dá se model dovybavit vašimi vlastními daty, aby byl přesnější a přizpůsobil se vašemu oboru. O tom ale příště.
Slunce září na nebi,
Vítr šeptá do trávy,
Listí tančí v zahradě,
Tichý večer přichází.
Společně s Dušanem teď testujeme notebooky vhodné pro práci s lokální AI. Kromě výkonu se soustředíme i na fyzickou odolnost a rozumnou cenu. Notebook by měl vydržet "intenzivní" přenášení, být spolehlivý, bezpečný a navrhnutý pro provozu AI aplikací.
Lokální AI dává smysl všude tam, kde je bezpečnost a soukromí na prvním místě. Právníci tak mohou analyzovat důvěrné smlouvy, aniž by riskovali jejich únik. Lékaři mohou zpracovávat zdravotní záznamy bez připojení k internetu. Novináři mohou AI využívat k rychlému zpracování dat bez obav z cenzury. Analytici a manažeři mohou efektivně pracovat s firemními daty, aniž by je nahrávali do cloudu.
Pokud vás lokální AI zaujala a chcete se o ní dozvědět víc, napište mi do komentáře nebo do zprávy. Rád se s vámi podělím o další postřehy z testování a pomůžu vybrat vhodné řešení.