Spýtate sa firemného AI chatbota na podmienky vašej záručnej politiky. Chatbot odpoveď vygeneruje — sebaisto, plynulo, gramaticky bezchybne. A úplne si to vymyslí. Tento problém má meno: halucinácia. A má riešenie: RAG. Ak uvažujete o AI, ktorá bude pracovať s vašimi skutočnými dátami — internými dokumentmi, produktovým katalógom, zmluvami, FAQ — toto je technológia, ktorú potrebujete pochopiť ako prvú.
Prečo bežná AI halucinuje nad firemými dátami
Veľké jazykové modely ako GPT-4 alebo Claude sú trénované na obrovskom množstve verejne dostupného textu. Poznajú encyklopedické fakty, programovacie jazyky, vzorce správania v texte. Ale nepoznajú vašu firmu.
Keď sa GPT spýtate na váš interný proces schvaľovania faktúr, model nemá žiadnu relevantnú informáciu — a napriek tomu odpoveď vygeneruje. Jazykový model je štatistický stroj: predpovedá najpravdepodobnejšie pokračovanie textu. Keď chýbajú fakty, dosadí plausibilnú náhražku. Výsledkom je text, ktorý znie správne, ale obsah je vymyslený.
Bežné riešenie — dať modelu celý firemný dokument ako súčasť dotazu — funguje len do určitej veľkosti. Kontext modelu má limit. Ak má vaša dokumentácia 500 strán, do kontextu ju nevložíte.
Čo je RAG a ako funguje krok za krokom
RAG (Retrieval-Augmented Generation) rieši tento problém kombináciou dvoch krokov: najprv vyhľadá relevantné časti vašich dát, potom ich odovzdá modelu ako kontext na generovanie odpovede.
Celý proces vyzerá takto:
1. Indexovanie dát (prebieha raz, priebežne sa aktualizuje)
Vaše dokumenty — PDF, Word súbory, záznamy z databázy, webové stránky — sa rozdelia na menšie úseky (chunky). Každý úsek sa prevedie na numerický vektor pomocou tzv. embedding modelu. Tento vektor zachytáva sémantický obsah textu — nie presné slová, ale ich význam. Vektory sa uložia do vektorovej databázy.
2. Vyhľadanie relevantných úsekov (pri každom dotaze)
Používateľ napíše otázku. Tá sa tiež prevedie na vektor. Vektorová databáza nájde úseky, ktorých vektory sú matematicky najbližšie vektoru otázky — teda úseky s najpodobnejším obsahom.
3. Generovanie odpovede
Nájdené úseky sa spolu s pôvodnou otázkou odovzdajú jazykovému modelu. Model dostane inštrukciu: odpovedaj len na základe týchto podkladov. Výsledkom je odpoveď, ktorá je ukotvená vo vašich skutočných dátach.
Praktický tip: Kvalita RAG závisí zo 70 % od kvality dát a spôsobu ich rozdelenia na chunky. Zle štruktúrovaná dokumentácia produkuje zlé odpovede aj pri technicky správnej implementácii.
Reálne prípady z praxe
Príklad z praxe: Česká poisťovacia maklérska firma Kovářík & Partneři mala zákaznické centrum, ktoré denne vybavovalo stovky dopytov na podmienky produktov rôznych poisťovní. Operátori museli prepínať medzi desiatkami PDF dokumentov. Po nasadení RAG chatbota nad produktovými dokumentmi (celkovo 3 400 strán) sa priemerná doba vybavenia dopytu skrátila zo 4 minút na 40 sekúnd. Chatbot vždy odcitoval konkrétnu sekciu dokumentu, z ktorej odpoveď vychádza.
Príklad z praxe: Výrobná firma Strojmetal Příbram implementovala RAG nad svojou technickou dokumentáciou — manuálmi strojov, servisnými postupmi, bezpečnostnými listami. Technici v prevádzke môžu cez mobilnú aplikáciu okamžite zistiť postup pre konkrétny typ závady bez hľadania v papierových šanónoch.
V BASAD Studios sme vyvinuli vlastný produkt LawyerAI — AI právneho asistenta postaveného na RAG architektúre. LawyerAI umožňuje právnikom a firemným právnym oddeleniam klásť otázky nad vlastnou zbierkou zmlúv, rozsudkov a právnych predpisov. Systém odpovedá s presnou citáciou zdroja, z ktorého informáciu čerpá, čo je v právnej oblasti kľúčové. Model neháda — odpovedá len vtedy, ak príslušný text skutočne vo vašej dokumentácii existuje.
RAG vs. fine-tuning: prečo RAG vyhráva pre firemné dáta
Alternatívou k RAG je fine-tuning — dotrénovaný model na vašich dátach. Prečo je pre väčšinu firemných aplikácií RAG lepšou voľbou?
| Kritérium | RAG | Fine-tuning |
|---|---|---|
| Náklady na implementáciu | Nízke až stredné | Vysoké |
| Aktualizácia dát | Okamžitá | Vyžaduje nový tréning |
| Sledovateľnosť odpovedí | Cituje zdroj | Nedohľadateľné |
| Riziko halucinácií | Nízke (ukotvené v dátach) | Vyššie |
| Vhodné pre | Dokumenty, FAQ, katalógy | Štýl, tone of voice, doménový jazyk |
Fine-tuning dáva zmysel, keď chcete model naučiť špecifický štýl komunikácie alebo odborný žargón. Na zodpovedanie otázok z firemnej dokumentácie je RAG rýchlejší, lacnejší a bezpečnejší.
Zásadná výhoda RAG: dáta sa nestávajú súčasťou modelu. Ak aktualizujete ceny v katalógu, stačí znovu zaindexovať katalóg. Pri fine-tuningu by ste museli model pretrénovať celý.
Čo potrebujete na implementáciu RAG
Technická architektúra RAG sa skladá z troch komponentov:
Embedding model prevádzá text na vektory. Príklady: OpenAI text-embedding-3-large, Cohere Embed, alebo open-source modely ako nomic-embed-text. Výber závisí od jazyka dokumentov — pre slovenčinu alebo češtinu je treba model otestovať na reálnych vzorkách.
Vektorová databáza ukladá vektory a umožňuje rýchle vyhľadanie podobných úsekov. Najrozšírenejšie možnosti: Pinecone (cloud, ľahko škálovateľný), Qdrant (open-source, možnosť self-hostu), pgvector (rozšírenie PostgreSQL, ak PostgreSQL už používate).
Jazykový model (LLM) generuje finálnu odpoveď. GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro — alebo open-source alternatívy ako Llama 3.3 pre on-premise nasadenie.
K tomu potrebujete orchestračnú vrstvu — kód, ktorý tieto komponenty spája, spravuje kontext, filtruje výsledky a zabezpečuje, že model neprekračuje zadané fakty.
Praktický tip: Začnite s najmenšou rozumnou sadou dokumentov — jednou kategóriou FAQ alebo jedným produktovým katalógom. Overte kvalitu odpovedí na reálnych otázkach predtým, než zaindexujete celú firemnú dokumentáciu.
Náklady a časový rámec základnej implementácie
Orientačný prehľad pre firmu s dokumentáciou do 1 000 strán:
| Fáza | Čas | Náklady |
|---|---|---|
| Analýza dát a návrh architektúry | 1–2 týždne | 600–1 200 € |
| Implementácia a indexovanie | 2–4 týždne | 1 600–3 200 € |
| Testovanie a ladenie | 1–2 týždne | 600–1 000 € |
| Prevádzkové náklady (API, hosting) | mesačne | 80–320 €/mes. |
Náklady sa výrazne líšia podľa objemu a kvality dát, požiadaviek na integráciu s existujúcimi systémami a toho, či volíte cloudové alebo on-premise riešenie.
Príklad z praxe: E-shop s elektronikou ElektroPlus Praha implementoval RAG chatbota nad produktovým katalógom (8 500 produktov s technickými špecifikáciami). Chatbot zodpovedá technické otázky zákazníkov a porovnáva produkty. Celková implementácia trvala 6 týždňov, prevádzkové náklady sú okolo 180 € mesačne. Kontakt s podporou klesol o 28 % pri technických otázkach.
Bezpečnosť dát: čo sa deje s vašimi dokumentmi
Toto je legitímna obava, najmä v regulovaných odvetviach alebo pri dokumentoch obsahujúcich obchodné tajomstvo.
Vaše dáta netrénujú modely OpenAI. Ak používate OpenAI API (nie webové rozhranie ChatGPT), dokumenty odoslané ako súčasť dotazu sa nepoužívajú na tréning — platí to pre API prístup od roku 2023. Rovnako to platí pre Anthropic API a Google Cloud.
Pre citlivé dáta existuje variant private deployment: open-source LLM (Llama, Mistral) nasadený na vlastnej infraštruktúre alebo privátnom cloude. Dáta v tomto prípade neopustia vaše prostredie vôbec. Kompromis je nižší výkon modelu oproti proprietárnym alternatívam — ale pre mnohé use cases je tento rozdiel prijateľný.
Vektorová databáza môže bežať tiež on-premise — Qdrant alebo pgvector bez závislosti na externých cloudových službách.
Praktický tip: Pred implementáciou RAG vykonajte klasifikáciu svojich dokumentov. Dokumenty s obchodne citlivými informáciami môžu vyžadovať iné zaobchádzanie než verejné FAQ alebo všeobecné produktové informácie.
Kedy RAG dáva zmysel a kedy nie
RAG je správna voľba, ak:
- Máte rozsiahlu dokumentáciu, ktorú zamestnanci alebo zákazníci ťažko prehľadávajú
- Potrebujete odpovede ukotvené v konkrétnom firemnom kontexte, nie všeobecné informácie
- Dáta sa priebežne aktualizujú a potrebujete, aby AI reagovala okamžite
- Potrebujete sledovateľnosť — vedieť, z ktorej časti dokumentu odpoveď pochádza
RAG nie je správna voľba, ak:
- Vaša "dokumentácia" je v skutočnosti tabuľka s 50 riadkami — stačí jednoduchý SQL dotaz
- Potrebujete model, ktorý vykonáva akcie (RAG len odpovedá — pre akcie potrebujete agentnú architektúru)
- Kvalita vašich zdrojových dokumentov je veľmi nízka — garbage in, garbage out
V BASAD Studios implementujeme AI automatizácie vrátane RAG riešení pre firmy naprieč odvetviami. Ak chcete vedieť, či má RAG zmysel pre váš konkrétny prípad, ozvite sa nám alebo sa pozrite na našu službu AI automatizácie.