AI vlastními silami

Pokud používáte ChatGPT nebo jiné cloudové AI služby, možná řešíte otázky typu: jaká data je ještě v pořádku sdílet a co už je příliš citlivé? Vadí vám, že se modely mohou učit z uživatelských dat? Nebo máte pocit, že vám některá starší verze vyhovovala více než ta aktuální?

Právě v těchto (a mnoha dalších) ohledech může být lokální AI zajímavou alternativou.

Jednoduchý začátek: LM Studio

Za zmínku stojí především LM Studio, které je pro experimentování s lokální AI velmi pohodlné. Nevyžaduje hlubší znalosti ani speciální přípravu – aplikaci stačí stáhnout, nainstalovat a základní nastavení provede za vás. Následně už jen vyberete a stáhnete konkrétní model a můžete začít.

Odkaz na aplikaci: https://lmstudio.ai/

Pro mnoho lidí může být LM Studio finálním a plně dostačujícím řešením. Co ale v situaci, kdy nechcete být vázaní na konkrétní počítač – například když chcete AI používat i z telefonu, tabletu nebo odkudkoliv mimo domov?

Robustnější řešení: Ollama + Open WebUI

V takovém případě se nabízí komplexnější přístup, který bych zde rád sdílel. V mém případě vše běží na domácím serveru s Linuxem, nicméně stejné principy lze aplikovat i na klasickém Windows počítači. Pro základní funkční sestavu je potřeba rozběhnout dvě komponenty:

• Ollama – služba, na které poběží lokální modely
• Open WebUI – webové rozhraní, přes které s modely komunikujete

Pokud je vše správně nainstalované a propojené, výsledkem je uživatelské rozhraní přístupné jak na desktopu, tak na mobilu.

Výběr modelu: nejdůležitější (a často nejtěžší) část

Než začnete psát první prompty, je potřeba vybrat model, který bude odpovídat vašim potřebám. Právě výběr vhodného modelu – a jeho případné doladění – bývá často nejnáročnější část celého procesu.

Modely lze stahovat přímo ze stránek Ollamy. Vhodnost konkrétního modelu závisí zejména na:

• vašem hardwaru (výkon CPU/GPU, velikost RAM),
• cíli použití (psaní textů, kód, analýza dokumentů, čeština, multimodalita apod.),
• požadované rychlosti a kvalitě odpovědí.

Pro představu níže uvádím svou aktuální sadu modelů, kde každý má trochu jiný účel.

Výběr modelu: nejdůležitější (a často nejtěžší) část

Než začnete psát první prompty, je potřeba vybrat model, který bude odpovídat vašim potřebám. Právě výběr vhodného modelu – a jeho případné doladění – bývá často nejnáročnější část celého procesu.

Modely lze stahovat přímo ze stránek Ollamy. Vhodnost konkrétního modelu závisí zejména na:

• vašem hardwaru (výkon CPU/GPU, velikost RAM),
• cíli použití (psaní textů, kód, analýza dokumentů, čeština, multimodalita apod.),
• požadované rychlosti a kvalitě odpovědí.

Pro představu níže uvádím svou aktuální sadu modelů, kde každý má trochu jiný účel.

Proč jich mám tolik?

Každý model se hodí na něco jiného:

Aurora, Mosaic, Colossus
Hlavní pracovní modely vycházející z modelu od OpenAI. Liší se především velikostí kontextu, tedy tím, s jak velkým objemem dat dokážou efektivně pracovat. (Šedý model gpt-oss:20b je model, ze kterého jsem při úpravách vycházel.)

Atlas a Lexi
Malé pomocné modely, které zajišťují podpůrné činnosti okolo hlavních modelů – například automatické pojmenovávání chatů nebo vyhledávání v souborech.

Amos a Vistas
Úzce specializované modely: Amos je jediný, který v mém setupu spolehlivě zvládá češtinu, a Vistas je zase jediný multimodální model, který umí pracovat s obrazem („vidí“).

Chybějící dílek: aktuální informace a internet

Po zprovoznění a doladění modelů se ale objevuje typické omezení: lokální offline modely nemají aktuální data a bez doplnění neumí vyhledávat na internetu.

To lze řešit napojením na vyhledávací službu. Já konkrétně zvolil SearXNG. Po jeho zprovoznění a propojení s Open WebUI získají modely možnost pracovat s informacemi z webu – a odpovídat i na otázky, které přesahují jejich původní tréninková data.

Praktické využití a možnosti

Lokální AI není uzavřený produkt, ale spíše ekosystém komponent, které lze skládat podle potřeby. To je podle mě její hlavní síla.

Příklady použití:

• Máte stovky faktur a potřebujete v nich najít konkrétní informace?
  → Nahrajete dokumenty do lokálního řešení a zeptáte se.
• Chcete každý den ráno stručný přehled z vybraných zdrojů?
  → Lze nastavit automatizované shrnutí.
• Potřebujete asistenta, který běží u vás doma a máte nad ním kontrolu?
  → Lokální řešení to umožňuje.

Možnosti jsou v zásadě otevřené – záleží hlavně na tom, jaké workflow si kolem modelů postavíte.

Závěr: nahradil jsem cloudového ChatGPT?

Zda se experiment podařil? Z velké části ano. V praxi jsem došel k tomu, že naprostou většinu běžných věcí zvládnu lokálně, a proto jsem přestal platit „plus“ variantu cloudové služby.

Zároveň ale platí, že lokální řešení není stoprocentní náhrada ve všech případech. Existují situace, kdy jsou špičkové cloudové modely (např. ChatGPT 5.2, Gemini 3 Pro a další) stále lepší – typicky v kvalitě odpovědí, v nejnovějších schopnostech nebo v některých specializovaných úlohách. Open-source modely často nejsou nejnovější, ale ani to nebývá jejich primární cíl: jejich výhoda je jinde, zejména v kontrole, soukromí a možnosti přizpůsobení.

Autor: Jan Marušák