arrow

Prečo váš AI chatbot odpovedá nezmysly

Kontaktujte nás: helloidea@vizion.sk

Viac info

„Produkt máme skladom a doručíme vám ho do dvoch pracovných dní.“

Znie to dobre. Až na to, že produkt je už tri mesiace vypredaný.

A čo ak chatbot zákazníkovi oznámi, že reklamáciu môže uplatniť do 30 dní, ale aktuálne obchodné podmienky hovoria o 14 dňoch?

Keď sa niečo takéto stane, prvá reakcia býva takmer vždy – Tá AI je zlá. Často však nie je.

Problém môže byť v tom, z akých informácií AI odpovedá.

Firemný chatbot môže byť napojený na kvalitný jazykový model, môže používať RAG a môže mať technicky dobre postavenú architektúru. Ak mu však dáte neaktuálne dokumenty, duplicitné informácie alebo produktové dáta bez štruktúry, výsledkom bude chatbot, ktorý dokáže veľmi presvedčivo povedať niečo, čo nie je pravda.

A práve tu sa začína väčšina problémov s firemnou AI.

AI nevie, čo je vo vašej firme „pravda“

Predstavte si, že zákazník sa opýta – „Koľko stojí tento produkt?„

  • v databáze máte cenu 149 €
  • v starom PDF je 129 €
  • v exceli obchodného oddelenia 139 €
  • na webovej stránke 149 €
  • v akciovom letáku 119 €

Človek, ktorý pozná firmu, pravdepodobne vie, ktorá informácia je aktuálna, AI to však automaticky vedieť nemusí. Ak jej systém sprístupní viacero týchto zdrojov a nedá jej jasné pravidlá, podľa ktorých má rozhodovať, môže vybrať nesprávny údaj. Nie preto, že by sa „pokazila“, iba jednoducho dostala protichodné informácie.

Preto pri firemnom AI projekte nestačí riešiť iba to, aký model použijete. Rovnako dôležité je, aké dáta model dostane a ako sa k nim dostane.

RAG problém s dátami nevyrieši

Pri firemných chatbotov sa dnes často používa prístup RAG – Retrieval-Augmented Generation. Princíp sme podrobnejšie vysvetlili v našom článku RAG: Prepojenie vyhľadávania s generovaním textu a jeho biznis potenciál. RAG umožňuje chatbotovi pred vytvorením odpovede vyhľadať relevantné informácie vo firemných dokumentoch a použiť ich ako kontext pre jazykový model.

To je veľká výhoda, zároveň však vzniká jeden dôležitý omyl = RAG neznamená, že AI automaticky začne rozumieť vašim firemným dátam.

  • ak sú dáta nekvalitné, RAG ich iba efektívnejšie vyhľadá
  • ak je v znalostnej báze starý cenník, môže ho systém nájsť
  • ak existujú tri protichodné verzie smernice, môže pracovať s nesprávnou
  • ak je dôležitý produktový parameter iba v obrázku, nemusí ho vôbec nájsť
  • a ak je dokument rozdelený na nesprávne časti, chatbot môže dostať iba polovicu potrebného kontextu

Kvalitný výsledok preto začína kvalitnými dátami.

5 dôvodov, prečo váš chatbot odpovedá zle

1. V znalostnej báze máte staré alebo duplicitné informácie

Toto je jeden z najčastejších problémov. Firma môže mať desiatky alebo stovky dokumentov, ktoré vznikali postupne počas rokov. Nikto ich však nikdy systematicky neprešiel.

Výsledkom býva napríklad:

  • starý cenník aj nový cenník,
  • pôvodné aj aktuálne obchodné podmienky,
  • niekoľko verzií internej smernice,
  • staré produktové katalógy,
  • dokumenty, ktoré už dávno nemali byť používané.

Človek vie, že „smernica_final_v3_OLD.pdf“ už nie je relevantná. AI to však netuší a preto je pred nasadením chatbota dôležité nielen zozbierať dokumenty, ale aj určiť:

  • ktorý zdroj je aktuálny
  • ktorý je nadradený
  • a ktoré dokumenty už nemajú byť použité vôbec

2. Produktové dáta nemajú štruktúru

Ďalší problém sa objavuje najmä pri e-shopoch a firmách s veľkým množstvom produktov. Informácie o jednom produkte môžu byť roztrúsené na viacerých miestach.

  • názov a popis sú v e-shope
  • technické parametre v PDF
  • rozmery na produktovej fotografii
  • kompatibilita v samostatnej tabuľke
  • dostupnosť v ERP
  • výnimka k produktu je niekde v internej poznámke obchodníka

Pre človeka to môže byť zvládnuteľné – pre AI je to problém.

Ak sa používateľ opýta „Je tento produkt kompatibilný s modelom X?„, chatbot potrebuje nájsť správny produkt, správny parameter a správnu informáciu o kompatibilite. Ak je ktorákoľvek z týchto informácií nedostupná alebo nejednoznačná, môže vzniknúť odpoveď, ktorá znie logicky, ale nie je správna.

Preto pri AI projekte nestačí mať veľa dát – potrebujete mať použiteľné dáta.

3. Chatbot nemá povedané, čo nevie

Toto je možno ešte dôležitejšie než samotná kvalita dokumentácie. Ak chatbot dostane otázku, na ktorú nemá dostatočné podklady, má dve možnosti. Môže povedať:

  1. „Túto informáciu nemám“
  2. alebo sa môže pokúsiť odpoveď nejako zostaviť

A práve druhá možnosť vedie k halucináciám. Pri firemnom chatbotovi preto nechcete systém, ktorý má za každú cenu odpovedať. Chcete systém, ktorý vie rozpoznať hranice svojich znalostí. To znamená jasne definovať:

  • z akých zdrojov môže čerpať,
  • ktoré zdroje majú prioritu,
  • na aké otázky môže odpovedať,
  • na ktoré otázky odpovedať nemá,
  • kedy má priznať neistotu,
  • kedy má konverzáciu odovzdať človeku.

„Neviem“ je niekedy lepšia AI odpoveď ako sebavedomý nezmysel.

4. Dokumenty sú rozdelené na nesprávne časti

Pri RAG sa dokumenty spravidla rozdeľujú na menšie časti, s ktorými potom vyhľadávanie pracuje. A práve tu sa môže stať zdanlivo malá technická chyba veľkým problémom.

Predstavte si nasledovný dokument:

  • Zákazník môže tovar vrátiť do 14 dní od jeho prevzatia.
  • O niekoľko riadkov ďalej stojí napísané – Výnimku tvoria produkty vyrobené podľa individuálnych požiadaviek zákazníka.

Ak systém dokument rozdelí nevhodne, pri otázke zákazníka môže nájsť prvú informáciu bez druhej.

Chatbot potom odpovie – „Tovar môžete vrátiť do 14 dní.“

Odpoveď je založená na reálnom dokumente, len jej chýba dôležitá časť kontextu.

Preto pri RAG nestačí dokumenty jednoducho nahrať do systému. Dôležité je aj to, ako sa dokumenty spracujú, rozdelia a vyhľadávajú.

5. Chatbot nevie, kedy má zavolať človeka

Posledný problém je jednoduchý – Chatbot sa snaží vyriešiť úplne všetko.

To nemusí byť dobrý cieľ.

Ak zákazník položí otázku, na ktorú systém nemá dostatočné informácie, kvalitný chatbot by mal vedieť konverzáciu odovzdať človeku, napríklad „K tejto otázke nemám dostatok informácií na spoľahlivú odpoveď. Spojím vás preto s kolegom.“

Pre používateľa je to často lepšie ako dostať sebavedomú, ale nesprávnu odpoveď.

Dobrá AI totiž nemusí odpovedať na všetko. Musí vedieť, kedy odpovedať nemá.

Ako vyzerá dátový audit?

Práve preto má pred nasadením AI zmysel urobiť dátový audit. Nie je to komplikovaná teória. V praxi ide o systematickú kontrolu toho, z akých informácií bude chatbot vychádzať.

1. Zmapovanie zdrojov

Najskôr treba zistiť, kde sa firemné znalosti nachádzajú.

Môže ísť o:

  • web a e-shop,
  • produktové databázy,
  • PDF dokumentáciu,
  • internú wiki,
  • Google Drive alebo SharePoint,
  • CRM a ERP,
  • FAQ,
  • obchodné podmienky,
  • interné smernice,
  • tabuľky a ďalšie databázy.

Často už samotné mapovanie ukáže, že firma má jednu informáciu uloženú na piatich rôznych miestach.

2. Kontrola aktuálnosti

Pri každom zdroji treba vedieť – Je toto informácia, ktorú má chatbot používať dnes?

Ak nie, treba ju odstrániť, archivovať alebo jasne označiť.

3. Odstránenie duplicít

Rovnaká informácia na piatich miestach nemusí byť problém.

Problém nastane vtedy, keď je na každom mieste trochu iná.

Treba preto identifikovať konfliktné verzie a určiť zdroj pravdy.

4. Kontrola štruktúry

Pri produktových dátach sa kontroluje napríklad:

  • či nechýbajú parametre,
  • či sú jednotky konzistentné,
  • či sú správne kategórie,
  • či sú varianty jednoznačne prepojené,
  • či dôležité informácie nie sú iba v obrázkoch,
  • či sú dáta dostupné v použiteľnej forme.

5. Nastavenie pravidiel

Nakoniec treba určiť, ako sa má systém správať.

  • Ktorý zdroj má prednosť?
  • Čo sa stane, keď si dva zdroje odporujú?
  • Čo má chatbot urobiť, keď odpoveď nenájde?
  • A kedy má konverzáciu odovzdať človeku?

Výstupom dobrého auditu nie je len zoznam problémov. Je to jasnejší základ pre AI systém, ktorý má fungovať v reálnej prevádzke.

Checklist: Ste pripravení na AI chatbota?

Pred nasadením si skúste odpovedať na týchto 8 otázok:

  1. Vieme, z akých zdrojov má chatbot čerpať?
  2. Vieme, ktoré informácie sú aktuálne?
  3. Máme odstránené alebo vyradené staré verzie dokumentov?
  4. Vieme, ktorý zdroj je autoritatívny, ak sa informácie rozchádzajú?
  5. Sú naše produktové dáta kompletné a štruktúrované?
  6. Vie chatbot povedať „neviem“?
  7. Vieme, kedy má chatbot odovzdať konverzáciu človeku?
  8. Máme proces na pravidelnú aktualizáciu dát?

Ak ste pri niektorej z otázok zaváhali, je dobré vyriešiť ju ešte pred nasadením.

Ako zistíte, či chatbot naozaj funguje?

„Chatbot sme spustili“ nie je metrika úspechu. Po nasadení treba sledovať, čo sa reálne deje.

Miera eskalácií na človeka

Koľko konverzácií musí chatbot odovzdať operátorovi?

Nie každá eskalácia je zlyhanie. Ak systém správne rozpozná situáciu, ktorú nedokáže vyriešiť, je to žiadané správanie.

Podiel nezodpovedaných otázok

Na koľko otázok chatbot nemá dostatočné dáta?

Táto metrika môže odhaliť, kde máte v znalostnej báze medzery.

Spokojnosť používateľov

Pomohla odpoveď používateľovi?

Dostal informáciu na prvýkrát?

Musel otázku opakovať alebo preformulovať?

Presnosť odpovedí

Pri kritických informáciách sa oplatí pravidelne testovať odpovede oproti aktuálnym zdrojom.

Pretože chatbot, ktorý bol presný pri spustení, nemusí byť presný o šesť mesiacov neskôr.

Firemné dáta sa menia. A s nimi sa musí meniť aj znalostná báza AI.

Dobrý AI chatbot nezačína pri modeli

Pri nasadzovaní AI je lákavé začať otázkou – Použijeme GPT, Claude alebo iný model?

Je to dôležitá otázka, avšak nie je prvá. Prvá otázka by mala znieť – „Máme dáta, z ktorých môže AI spoľahlivo odpovedať?„

Môžete mať výborný model, kvalitnú RAG architektúru aj dobre navrhnutý chatbot. Ak však systému dáte staré cenníky, protichodné smernice, neúplné produktové informácie a dokumenty bez jasnej štruktúry, výsledkom môže byť len veľmi presvedčivý spôsob, ako hovoriť nezmysly.

Preto sa pri firemnej AI oplatí začať tam, kde problém často skutočne vzniká = pri dátach.

Máte chatbota, ktorý odpovedá mimo?

Pozrieme sa naň a povieme vám, či je problém v dátach, v spôsobe ich vyhľadávania alebo v samotnom nastavení AI.

Niekedy totiž netreba meniť model.

Treba najskôr upratať to, čo mu dávate.

Zdroje

Dátum publikovania: 25.09.2026