Každá nová technologie s sebou nese rizika a AI není výjimkou. Při zapojení AI do procesu sběru a analýzy požadavků by si business analytik měl být vědom omezení a možných úskalí, aby dokázal zavést potřebná opatření (mitigaci). Níže uvádíme přehled hlavních rizik a navrhujeme způsoby, jak je řešit
Bias a předsudky v modelech
AI modely se učí z historických dat, která mohou obsahovat systematické biasy (zkreslení, předsudky). Generativní AI má tendenci tyto biasy přenášet a někdy i zesilovat. V praxi to může znamenat, že např. prioritizační model zvýhodní určitý typ požadavků, protože trénovací data pocházela z prostředí, kde byly tyto požadavky preferovány, nikoli protože to objektivně dává smysl. Nebo jazykový model může při shrnování opomenout perspektivu minoritního stakeholdera.
Mitigace: Je nutné vybírat trénovací data opatrně a průběžně testovat výstupy AI na známých případech, abychom odhalili případnou podjatost. Ideální je, když AI řešení umožňuje fine-tuning na vlastních datech, čímž se model přizpůsobí vašemu kontextu (a můžete do něj vnést vyváženější datasety). Dále je vhodné do procesu zahrnout lidskou kontrolu fairness – BA by měl výstupy AI přezkoumat z hlediska nestrannosti a v případě odhalení zkreslení upravit parametry či pravidla používání modelu. Organizace by měly nastavit i etické mantinely pro AI, aby se vyvarovaly diskriminačních či neférových doporučení.
Halucinace aneb smyšlené výstupy AI
Generativní modely (jako GPT) fungují na principu predikce pravděpodobně následujícího slova v textu, což znamená, že si někdy mohou vymýšlet věrohodně znějící, leč nepravdivé informace – tento jev se nazývá halucinace. V kontextu business analýzy to může mít neblahé důsledky: Např. AI asistent shrnující schůzku může do souhrnu přidat údaj, který na schůzce vůbec nezazněl, nebo při generování user stories model doplní neexistující požadavek, protože mu „zapadá do vzoru“. Takové výmysly mohou uvést tým v omyl, pokud by jim důvěřoval.
Mitigace: Zcela eliminovat halucinace nelze, ale lze jejich dopad minimalizovat. Zaprvé, BA by měl používat AI primárně tam, kde může výstupy rychle ověřit vůči zdrojům – například shrnutí schůzky porovnat s vlastnoručními poznámkami nebo syrovým přepisem. Zadruhé, je užitečné preferovat AI nástroje, které umožňují tzv. „retrieval-augmented generation“ – model při generování odpovědi současně poskytne odkazy na zdrojové dokumenty či místa v textu, odkud čerpá. Tím lze dohledat, zda informace skutečně pochází z dat, nebo si je model „cucá z prstu“. Dále je vhodné nastavovat jasné hraniční podmínky: např. použít AI ke generování draftu, ale nikdy ne k finálnímu odsouhlasení požadavku bez lidského přezkoumání. Business analytik musí udržovat zdravou skepsi – brát AI jako návrháře, který občas chybuje, nikoli jako neomylnou autoritu.
Nesprávná nebo nepřesná klasifikace a shrnutí požadavků
AI se může mýlit i méně nápadně – například špatně pochopí kontext a zařadí požadavek do chybné kategorie anebo ve shrnutí vynechá některý důležitý aspekt. Takové chyby nejsou úmyslné (jako halucinace), ale pramení z omezení porozumění. Model může mít „povrchní“ porozumění textu (hledá klíčová slova namísto hlubšího významu) a tím pádem udělá závěr, který člověk při pozorném čtení vyvrátí. Riziko je, že BA nebo tým vezme tyto výstupy jako bernou minci a opomene provést vlastní analýzu.
Mitigace: Hlavním opatřením je udržet člověka ve smyčce (human-in-the-loop). AI by měla fungovat jako podpora, nikoli jako autonomní rozhodčí. Business analytik musí veškeré automatické kategorizace a shrnutí reviewovat – v ideálním případě by nástroj měl umožnit snadné porovnání s původními daty (např. kliknutím si zobrazit původní text, který AI shrnula). Dále pomůže, když se modely trénují na specifickém oborovém jazyce: obecný model může zaměnit význam termínu, zatímco model vyladěný na danou doménu bude přesnější. Organizace by také měly měřit výkon AI (např. shoda AI kategorizace s ruční kategorizací na vzorku dat) a podle toho dolaďovat nastavení. Pokud je chyba způsobena tím, že požadavek byl formulován nejednoznačně, je to signál pro BA, že je třeba lépe definovat zadání – i to je užitečná zpětná vazba z AI.
Přetížení stakeholderů (stakeholder overload)
Přestože AI slibuje úsporu času, při nesprávném použití může paradoxně zvýšit zátěž stakeholderů. Například pokud by BA začal generovat příliš mnoho variant požadavků či dotazů a všechny je posílal k připomínkám stakeholderům, ti mohou být zahlceni množstvím informací a požadavků na reakcikeylabs.ai. AI také umožňuje snadno sbírat zpětnou vazbu průběžně (např. automatizované průzkumy, chatbot dotazy), ale velký počet těchto podnětů může vést k únavě respondentů a klesající ochotě spolupracovat.
Mitigace: Důležitá je moderace ze strany BA. I když AI dokáže generovat výstupy rychle, neznamená to, že je všechny musíme okamžitě sdílet. Analytik by měl fungovat jako kurátor – vybrat z AI výstupů to podstatné a prezentovat to stakeholderům srozumitelně a dávkovaně. Při používání chatbotů či automatizovaných dotazníků je vhodné plánovat frekvenci interakcí a možná je i koordinovat, aby se více AI požadavků nesešlo najednou. Zkrátka, udržet rozumnou míru komunikace. Kromě toho transparentně vysvětlit stakeholderům, proč se jich ptáme a jak jejich odpovědi (případně trpělivost s AI výstupy) pomohou – když lidé vidí smysl, snáze přijmou i nové formy interakce. V neposlední řadě platí, že klíčová setkání a rozhodnutí by měla stále probíhat osobně (byť s podporou AI), aby se neztratila osobní vazba a důvěra.
Obavy o bezpečnost a důvěrnost dat
Mnoho AI nástrojů funguje v cloudu a pro kvalitní analýzu se jim musí poskytnout citlivá data (např. popisy interních procesů, informace o zákaznících). To vyvolává rizika ohledně ochrany informací – unik dat, zneužití AI ke získání citlivých požadavků apod. Některé firmy již zcela zakázaly svým zaměstnancům vkládat data do veřejných AI služeb typu ChatGPT z důvodu ochrany obchodního tajemství.
Mitigace: Před nasazením AI je nutné provést právní a bezpečnostní analýzu – zjistit, jak nástroj nakládá s daty (šifrování, sdílení, možnost smazání historií) a jestli je v souladu s regulacemi (GDPR apod.). Optimální je využívat firemní instance AI modelů, kde jsou data ukládána pouze v infrastruktuře organizace, případně řešení od vendorů s doloženými certifikacemi bezpečnosti. Někdy stačí data anonymizovat – např. nahradit reálná jména a čísla v požadavcích placeholdery, než je předáme AI k analýze. Business analytik by měl spolupracovat s IT bezpečnostním týmem na nastavení jasných pravidel, jaké údaje se do AI zadávat smějí a jaké ne. Součástí mitigace je i vzdělávání uživatelů AI nástrojů, aby si byli těchto rizik vědomi a postupovali obezřetně.
Z výše uvedeného je patrné, že klíčovým prvkem mitigace je lidský dohled a rozum. AI je mocný nástroj, ale bez správného vedení může být i „kontraproduktivní“
Business analytik by měl průběžně vyhodnocovat, kde AI pomáhá a kde případně škodí, a podle toho upravovat způsob jejího využití. V dalším oddíle se zaměříme na doporučené postupy, jak AI do práce BA zavádět tak, aby přínosy převažovaly nad riziky.