S nástupom generatívnej umelej inteligencie (ďalej len ako „GenAI“)[1] sme si ako ľudské bytosti zvykli pracovať s predpokladom, že dokážeme ľahko odhaliť a vidieť chyby vo finálnej verzii dokumentov, ktoré nám LLM modely[2] generujú. Nová štúdia z dielne Carnegie Mellon University (Pittsburg, USA) s názvom „The More You Automate, the Less You See: Hidden Pitfalls of AI Scientist Systems“,[3] však odhaľuje nový paradox, v ktorom ak čím viac GenAI automatizuje celý pracovný postup, tým menej sme schopní overiť a pochopiť, čo sa deje v takomto procese. Práve tento fenomén menej vidíš môže byť obzvlášť zradný a riskantný v oblastiach akou je právo či compliance,[4] v ktorých dokonale vyzerajúci výstup môže skrývať určité metodologické chyby. Takáto chybovosť sa môže skrývať napríklad v uprednostňovaní úspešných dát pred tými menej favorizovanými, v neúmyselnom opakovaní testovacích vzoriek či napríklad vo výbere výsledkov, ktoré sú založené iba na ich vizuálne najlepšom variante.
Samotná štúdia vytvorená tímom vedcov sa zamerala na kritické preskúmanie takzvaných systémov AI Scientist,[5] ktoré predstavujú akýsi pomyselný vrchol GenAI v automatizácii práce. Predmetom ich testovania boli rozsiahle modely navrhnuté tak, aby autonómne riadili a vykonávali celý komplexný pracovný postup. Tento proces začína pri prvotnom generovaní vedeckej hypotézy a pokračuje cez navrhovanie konkrétnych metód, až po už finálne spracovanie zozbieraných dát a vytvorenie komplexného písomného dokumentu, akým môže byť napríklad vedecká správa a iné.[6] Hlavným cieľom štúdie bolo preverenie, či tieto plne automatizované systémy dokážu v neprítomnosti ľudského dohľadu dodržať základné normy vedeckej praxe, ako sú prínos v konkrétnej oblasti výskumu, transparentnosť či samotná validita uskutočneného výskumu. Vedci si pri realizácii štúdie museli položiť nasledovnú otázku: Akonáhle sa z procesu odstráni človek, ktorý bežne kontroluje a koriguje metodologické rozhodnutia, prenesie AI do celého procesu nezámerné metodologické chyby alebo dokonca akési etické prešľapy?[7] Predostretá štúdia sa tak nesústredila primárne len na viditeľné chyby vo faktických dátach obsiahnutých vo finálnej verzii vygenerovaného dokumentu, ale taktiež sa zamerala aj na interný a automatizovaný proces rozhodovania umelej inteligencie a jeho vnútornú zraniteľnosť voči špecifickým kategóriám zásadných zlyhaní.
Kontrolované experimenty v rámci štúdie boli vykonané na dvoch systémoch AI Scientist, ktoré odhalili pomerne znepokojivý výsledok, ktorý zároveň potvrdzuje hlavný paradox tejto štúdie, a to ten, že dokonalá uhladenosť finálneho výstupu maskuje jednotlivé závažné interné metodologické zlyhania systémov. Vedci, ktorí na štúdii participovali, identifikovali štyri skryté nástrahy, ktoré narúšajú integritu samotného procesu. Prvou nástrahou bol nevhodný výber tzv. benchmarkov,[8] ktoré zapríčinili situáciu, kedy mali testované systémy tendenciu selektívne vybrať tie testovacie sady alebo metriky, ktoré zabezpečili akési „umelé nafúknutie“ výkonu, čím bol skreslený reálny obraz o úspešnosti systémov. Druhou nástrahou bol únik dát, kde dochádzalo k neúmyselnému opätovnému použitiu testovacích dát v tréningovom procese, čo viedlo k situácii, v ktorej úspech bol výsledkom zapamätania si odpovedí namiesto skutočného analytického myslenia. Zaznamenaná bola aj tretia nástraha v podobe zneužitia metrík, pri ktorom AI operatívne predefinovala hodnotiace kritériá počas experimentu, aby dosiahla priaznivejšie výsledky. Napokon, štvrtou nástrahou sa stala post-hoc výberová zaujatosť, ktorá odhalila, že interný mechanizmus AI selektívne uprednostňoval a publikoval len tie experimenty, ktoré generovali najvyššiu koncovú výkonnosť, pričom ignoroval metodologickú validitu alebo slabé výsledky z iných fáz testovania.[9] Toto všetko vedie k najdôležitejšiemu zisteniu, a to k poznatku, že kým kontrola len finálneho dokumentu má presnosť detekcie chýb len 51 %, kompletný prístup ku kódu celého automatizovaného procesu je jedinou efektívnou cestou k odhaleniu týchto tichých a skrytých podvodov.[10]
Hoci sa štúdia „The More You Automate, the Less You See: Hidden Pitfalls of AI Scientist Systems“ zamerala primárne na vedecké systémy, jej zistenia možno chápať ako priame varovanie taktiež aj pre oblasť práva, ktorá si vyžaduje odôvodnenosť každého rozhodnutia, a zároveň aj absolútnu verifikovateľnosť. Paradoxom je práve to, že dokonalý výstup, ktorý nám AI systém vytvorí, sa prenáša plynulou cestou do právnej praxe, kde únik dát, zneužitie metrík či selektívna zaujatosť môžu pomaly, ale isto podkopávať dôveryhodnosť dokumentov. V prípade, že GenAI vytvára napríklad rozsiahle právne analýzy, robí tie isté chyby. GenAI môže selektovať len tie argumenty a súdne prípady, ktoré ju privedú k akémusi „víťaznému“ záveru, čim nám predostrie presvedčivý právny dokument, no to len preto, že vážne ignorovala protichodné informácie a fakty. Práve následkom toho je nutné prijať dve požiadavky:
1. spoľahlivá detekcia chýb je možná len vďaka prístupu ku kompletným záznamom a kódu celého automatizovaného procesu, čo značí, že regulačné a súdne orgány budú musieť vyžadovať úplnú stopu pre akýkoľvek AI generovaný dôkaz tak, aby bolo možné overenie, či nedošlo k metodologickému „podvodu“,
2. učenie čítania AI, vďaka ktorému sa už teraz môžu právnici učiť kontrolovať a verifikovať nielen finálny vygenerovaný dokument, ale aj využité metódy, čo si v konečnom dôsledku v súčasnej dobe vyžaduje nové školenia, ktoré by dopomohli zvýšiť gramotnosť v AI sfére tvorenia potrebných dokumentov a zvýšila by sa tým tak spravodlivosť v digitálne generovanom práve.
Uskutočnenú štúdiu treba preto chápať nielen ako akademické varovanie, ale predovšetkým ako dôležitý moment vhodný pre prehodnotenie miery dôvery, ktorú do AI mnohí ľudia vkladajú. Predmetná štúdia odhalila, že v prípade, ak necháme GenAI pracovať bez zásahov ľudského faktora, jej výstup je síce na prvý pohľad dokonalý, uhladený a presvedčivý, avšak tým väčšiu námahu si vyžaduje naša skutočná kontrola celého procesu. Takáto, na prvý pohľad badateľná bezchybnosť finálneho dokumentu sa ale stáva efektívnym maskovaním pre metodologické chyby, či už ide o selektívne uprednostňovanie spektra určitých dát, opakovanie vykonania rovnakých testov alebo dokonca priamo o zmenu zadaných inštrukcií, ktoré boli systému zadané. Výzva, ktorú nám GenAI prináša, už nestojí len na pilieri efektivity, ale aj integrity, a tak ako avizovali aj autori štúdie, je nutnosťou, aby vedecká komunita zaviedla technické bezpečnostné opatrenia, podporovala väčšiu transparentnosť a zaviedla inštitucionálny dohľad, čím automatizácia len doplní vedecký pokrok jednotlivcov.
Autorka je dennou doktorandkou na Katedre medzinárodného práva a medzinárodných vzťahov, Právnickej fakulty Univerzity Komenského v Bratislave. E-mail: ema.krkoskova@flaw.uniba.sk
[1] Generatívna umelá inteligencia, k termínu GenAI pozri: BAHN, L. a STROBEL, G. Generative artificial intelligence. In: Electronic Markets, vydanie 33, číslo 1, príspevok č. 63. 2023.
[2] Large language model – veľký jazykový model, ktorý predstavuje nástroj umelej inteligencie (napr. LLM model GPT-x v rozličných verziách od OpenAI, Gemini od Google, či prípadne Nova od Amazonu). O LLM modeloch pozri bližšie: YIFAN, Y. et al. A survey on large language model (llm) security and privacy: The good, the bad, and the ugly. In: High-Confidence Computing, vydanie 4, číslo 2, 2024, ISSN 2667-2952 alebo SIINO, M. et al. Exploring LLMs Applications in Law: A Literature Review on Current Legal NLP Approaches. In: IEEE Access, 2025, ISSN 2169-3536.
[3] Uskutočnená štúdia s celým názvom „The More You Automate, the Less You See: Hidden Pitfalls of AI Scientist Systems“ zverejnená autormi LUO, Z. KASIRZADEH, A. SHAH, N. B. na Carnegie Mellon University, 10. september 2025, dostupná na webovom sídle: https://arxiv.org/pdf/2509.08713. Predmetná štúdia je taktiež zverejnená na profile EDER, S. Na sociálnej sieti LinkedIN, dostupné na webovom sídle: https://www.linkedin.com/feed/update/urn:li:activity:7383367604880617472/.
[4] Compliance možno chápať ako súbor pravidiel, procesov či kontrol vo firme, ktoré zabezpečujú, že celá organizácia predmetnej firmy koná v súlade s právnou úpravou, vrátane právnych predpisov, zároveň v súlade s etickými normami a jej vlastnými internými pravidlami.
[5] K tomu pozri napr.: GOTTWEIS, J. et al. Towards an AI co-scientist,2025, dostupné na webovom sídle: https://arxiv.org/pdf/2502.18864, taktiež aj štúdiu „The More You Automate, the Less You See: Hidden Pitfalls of AI Scientist Systems“ zverejnená autormi LUO, Z. KASIRZADEH, A. SHAH, N. B. na Carnegie Mellon University, 10. september 2025, dostupná na webovom sídle: https://arxiv.org/pdf/2509.08713, s. 1-2,
[6] Dôraz kladený práve na automatizáciu celého vedeckého cyklu, ktorý končí písaním záverečného výstupu dokumentu v podobe záverečnej správy.
[7] „This lack of scrutiny poses a risk of introducing flaws that could undermine the integrity, reliability, and trustworthiness of their research outputs.“ Abstrakt štúdie „The More You Automate, the Less You See: Hidden Pitfalls of AI Scientist Systems“ zverejnená autormi LUO, Z. KASIRZADEH, A. SHAH, N. B. na Carnegie Mellon University, 10. september 2025, dostupná na webovom sídle: https://arxiv.org/pdf/2509.08713.
[8] Inappropriate Benchmark Selection– výber testov, ktoré už dopredu zvýhodňujú výsledok, ktorý subjekt očakáva. Viac k termínu pozri: PETELIN, G. a CENIKJ, G. The Pitfalls of Benchmarking in Algorithm Selection: What We Are Getting Wrong. In: GECCO ’25: Proceedings of the Genetic and Evolutionary Computation Conference, 2025, s. 1181-1189, ISBN: 979-8-4007-1465-8.
[9] Štúdia „The More You Automate, the Less You See: Hidden Pitfalls of AI Scientist Systems“ zverejnená autormi LUO, Z. KASIRZADEH, A. SHAH, N. B. na Carnegie Mellon University, 10. september 2025, dostupná na webovom sídle: https://arxiv.org/pdf/2509.08713, s. 5-14.
[10] Ibid, s. 3.
Image by Gerd Altmann from Pixabay