Bezplatná konzultácia

RAG / Knowledge base

AI asistent nad firemnými dátami

Asistent, ktorý odpovedá z vašich dokumentov — a pri každej odpovedi ukáže, z ktorého dokumentu ju má. Pre firmy, kde sa odpoveď dá nájsť, len to trvá pridlho.

Autor: Maksym Kamenchuk, Nexflow — Banská Bystrica Publikované Aktualizované

RAG (retrieval-augmented generation) je postup, pri ktorom jazykový model neodpovedá z toho, čo sa naučil pri tréningu, ale z vašich dokumentov. Otázka najprv vyhľadá relevantné pasáže vo vašej dokumentácii a model odpovie iba z nich — s odkazom na zdroj.

Tým sa rieši hlavný problém bežných chatbotov: keď model nemá podklad, nemá si čo vymyslieť. Typické nasadenie: interný asistent nad postupmi, zmluvami, technickou dokumentáciou alebo cenníkmi. Rozsah aj cena závisia od objemu a poriadku v dokumentoch — reálne projekty začínajú od 1 200 €.

Kedy to má zmysel

RAG asistent nerieši nedostatok informácií. Rieši situáciu, keď informácia existuje, ale nájsť ju trvá dlhšie, než by malo:

Interné postupy

Zamestnanci sa pýtajú na to isté — postupy, výnimky, kto čo schvaľuje. Odpoveď je v smernici, ktorú nikto nečíta celú.

Technická dokumentácia

Manuály, špecifikácie, katalógové listy. Podpora aj obchod potrebujú rýchlu a presnú odpoveď.

Zmluvy a podmienky

Otázky typu „čo sme sľúbili tomuto klientovi“ sa dnes riešia otváraním PDF súborov.

Onboarding

Nový človek sa prvý mesiac pýta na veci, ktoré sú niekde napísané — len nevie kde.

Ak sa vaše otázky netýkajú dokumentov, ale zákazníkov a produktov, pravdepodobne hľadáte skôr AI chatbota. Ak treba na základe odpovede aj konať, ide o AI agenta.

Ako to funguje

  1. Dokumenty sa spracujú. Súbory sa načítajú a rozdelia na zmysluplné časti — nie mechanicky po znakoch, ale podľa štruktúry dokumentu.
  2. Vytvorí sa index. Každá časť dostane vektorovú reprezentáciu, ktorá umožní vyhľadávať podľa významu, nie podľa presného slova.
  3. Otázka vyhľadá podklad. Pri otázke sa nájdu najrelevantnejšie pasáže z vašich dokumentov.
  4. Model odpovie z nájdeného. Jazykový model dostane otázku spolu s nájdenými pasážami a odpovie iba z nich.
  5. Odpoveď ukáže zdroj. Pri každej odpovedi je vidieť, z ktorého dokumentu a z ktorej časti pochádza — aby sa dala overiť.

Posledný krok je pri firemnom nasadení zásadný. Odpoveď bez zdroja sa nedá overiť, a čo sa nedá overiť, tomu ľudia po prvej chybe prestanú veriť.

Podrobne — ako sa dokumenty delia na časti, čo robí vektorová databáza, ako vybrať model a kde sú limity — to rozoberám v článku AI asistent nad firemnými dátami: ako funguje a čo potrebuje.

Čo rozhoduje o kvalite

Pri RAG projektoch nerozhoduje výber modelu ani nástroja. Rozhoduje toto:

Čo RAG nerieši

Nenahradí poriadok v dokumentoch. Ak nikto nevie, ktorá verzia platí, asistent to nevyrieši — len to zviditeľní. To je mimochodom často najužitočnejší výstup prvého týždňa.

Negarantuje bezchybnosť. Model sa môže pomýliť aj pri správne nájdenom podklade. Preto odpoveď vždy ukazuje zdroj a pri dôležitých veciach je určená na overenie, nie na slepé prevzatie.

Nie je to právne ani daňové stanovisko. Asistent nájde, čo je vo vašich dokumentoch. Neposudzuje, či je to správne alebo v súlade so zákonom.

Má prevádzkový náklad. Každá otázka znamená vyhľadanie a volanie modelu. Pri veľkom objeme to treba počítať dopredu.

Kam idú vaše dokumenty

Toto je pri RAG projektoch najčastejšia a najoprávnenejšia otázka, tak ju riešim hneď v návrhu:

Nexflow neposkytuje právne poradenstvo. Pri spracúvaní osobných údajov alebo citlivej dokumentácie odporúčam posúdenie s vaším DPO ešte pred nasadením — a rád k tomu dodám technický popis toho, kam dáta reálne putujú.

Koľko to stojí

RAG je jediná zo služieb, pri ktorej odmietam dať rozpätie „od 390 €“. Poctivé nasadenie zahŕňa prípravu dokumentov, testovanie odpovedí na reálnych otázkach a vyriešenie prístupov — a to sa nedá spraviť za pár hodín. K nasadeniu treba pripočítať prevádzku indexu a náklady na API modelu.

Odporúčam začať pilotom nad jednou agendou. Ukáže sa na ňom kvalita vašich podkladov aj reálna užitočnosť — a je to výrazne lacnejšie než zistiť to na projekte pre celú firmu.

Časté otázky

Čo je RAG?

RAG (retrieval-augmented generation) je postup, pri ktorom jazykový model odpovedá na základe dokumentov, ktoré sa k otázke vyhľadajú, namiesto toho, aby odpovedal z tréningových dát. Vďaka tomu pozná vaše interné informácie a pri odpovedi vie ukázať zdroj.

Ako sa to líši od bežného chatbota?

Bežný chatbot odpovedá z toho, čo mu vložíte do pokynov, prípadne z tréningu modelu. RAG asistent pri každej otázke prehľadá vašu dokumentáciu a odpovie z nájdených pasáží — takže zvládne rozsah, ktorý sa do pokynov nezmestí, a vie povedať, odkiaľ odpoveď má.

Aké dokumenty to zvládne?

Bežné firemné formáty — dokumenty, PDF, tabuľky, interné stránky. Kľúčové nie je, v akom sú formáte, ale či sú aktuálne a jednoznačné. Naskenované dokumenty bez textovej vrstvy treba najprv spracovať.

Môže si asistent vymyslieť odpoveď?

Riziko sa výrazne znižuje tým, že model odpovedá len z nájdených pasáží a ukazuje zdroj. Úplne ho vylúčiť nemožno, preto sa asistent nasadzuje ako pomôcka na rýchle nájdenie informácie, nie ako konečná autorita pri rozhodnutiach s dôsledkami.

Musia naše dokumenty ísť do cloudu?

Vyhľadávaciu časť je možné prevádzkovať vo vašej infraštruktúre. Pri použití externého modelu sa nájdené pasáže posielajú poskytovateľovi — v návrhu dostanete presne opísané, čo sa posiela a čo sa dá vylúčiť.

Koľko to stojí?

Asistent nad jednou vymedzenou agendou začína od 1 200 €. Rozsiahlejšie riešenia s prístupovými právami a prevádzkou vo vašej infraštruktúre sa oceňujú individuálne. K tomu treba počítať prevádzku indexu a náklady na API modelu podľa počtu otázok.

Ako sa to udržiava aktuálne?

Súčasťou nasadenia je proces obnovy — keď sa dokument zmení, index sa aktualizuje. Bez toho by asistent po čase odpovedal zo starých verzií, čo je horšie než nemať ho vôbec.

Odkiaľ začať, ak si nie sme istí?

Pilotom nad jednou agendou — napríklad interné postupy alebo technická dokumentácia jedného produktu. Na ňom sa ukáže kvalita podkladov aj reálna užitočnosť, bez investície do riešenia pre celú firmu.

Zdroje

Súvisiace články

Ako to fungujeAI asistent nad firemnými dátami: ako funguje, čo potrebuje a aké sú limity RozhodovanieAI agent vs chatbot vs automatizácia CenyAI chatbot pre firmu: koľko stojí a kedy sa oplatí

Súvisiace riešenia

Ukážkové riešenieAI analýza predajných hovorov Ukážkové riešenieAI analýza YouTube komentárov

Súvisiace služby

SlužbaAI chatbot pre firmu SlužbaAI agent pre firmu Služban8n automatizácia

Máte agendu, kde sa odpoveď dá nájsť — len to trvá pridlho?

Napíšte mi, akých dokumentov sa to týka a kto sa pýta. Poviem vám, či je to vhodné pre RAG, a čo by bolo treba upraviť v podkladoch ešte predtým.

Chcem bezplatnú konzultáciu →