69 de pagini de birocrație, cu două plafoane diferite care par același lucru.
Rulat în producție · 25 august 2026
- răspunsuri corecte
- 24 / 25
- puncte pe grila protocolului
- 48 / 50
- informații inventate
- 0
Riscul tehnic numărul unu al acestui produs a fost dintotdeauna limba română. Un model care se descurcă impecabil în engleză poate să se strice încet pe text administrativ românesc — nu cu eroare, ci cu răspunsuri puțin mai proaste, pe care nimeni nu le măsoară. Așa că am măsurat.
Protocolul a fost scris înainte de rulare
Douăzeci și cinci de întrebări, împărțite pe cinci categorii — factual simplu, capcane, liste și definiții, sinteză, și întrebări despre document ca întreg. Fiecare cu răspunsul corect notat dinainte și verificat de mână în ghid. Abia apoi a văzut sistemul documentul.
Ghidul nu a fost singur în bază. Alături de el stăteau cele douăzeci de documente interne ale firmei — contracte, politici, tarife — așa că fiecare întrebare a concurat cu un al doilea corpus. Două dintre rezultatele de mai jos se explică exact prin asta.
Asta e diferența dintre o măsurătoare și o demonstrație. O demonstrație arată întrebările care ies bine.
| Notă | Înseamnă |
|---|---|
| 2 | Corect și citarea trimite la secțiunea potrivită |
| 1 | Corect, dar citarea lipsește sau e greșită |
| 0 | Greșit, incomplet, sau „nu știu” când răspunsul există |
| −2 | Inventat — a dat un fapt care nu e în document |
Pragul, fixat tot dinainte: media de cel puțin 1,5 și zero note de −2 la întrebările-capcană. O singură informație inventată pe un document pe care consultantul îl știe pe de rost înseamnă client pierdut, așa că acolo nu există toleranță.
Cele patru întrebări pe care se decide totul
Răspunsurile de mai jos sunt textul literal produs de sistem, citit înapoi din baza de date. Nu sunt rescrise și nu sunt scurtate decât acolo unde se vede.
Discriminatorul
Care este valoarea maximă a finanțării nerambursabile solicitate?
Valoarea finanțării nerambursabile solicitate poate fi de maximum 200.000 euro, cu respectarea condițiilor aplicabile ajutoarelor de minimis.
Documentul conține și 300.000 euro, ca valoare maximă eligibilă. Sunt două plafoane diferite care arată la fel dacă citești repede, iar un sistem care potrivește cuvinte răspunde 300.000. A răspuns 200.000 și a explicat, nesolicitat, diferența dintre cele două.
Capcană de halucinare
Care este termenul limită de depunere a cererilor?
Data și ora de închidere a depunerii de proiecte: ............................ — în varianta ghidului pe care o am disponibilă, aceste date sunt lăsate ca spații libere/placeholder (nu sunt completate cu o dată efectivă), deci nu pot extrage din document o dată-limită concretă.
Informația pur și simplu nu există în document. A citat literal punctele de suspensie din ghid, a spus că sunt necompletate, și a trimis la pagina ADR-ului pentru varianta finală — în loc să producă o dată plauzibilă.
Două surse care se contrazic
Ce curs valutar se aplică pentru conversia în lei?
Dacă te referi la facturarea clienților studioului, e cursul BNR (la data facturii sau a cotării). Dacă te referi la un proiect cu finanțare nerambursabilă, e cursul InforEuro din luna lansării apelului/acordării ajutorului.
Baza de cunoștințe conținea și ghidul, și politica de facturare a firmei — două răspunsuri corecte la aceeași întrebare. Nu le-a amestecat și nu a ales tăcut unul: a dat două secțiuni etichetate, fiecare cu citările ei, și a întrebat la care context se referă. Niciun curs inventat.
Raționament
Un IMM vrea un proiect de 250.000 euro. Câți bani poate primi și cât trebuie să pună?
IMM-ul nu poate primi 225.000 euro (adică 90% din 250.000), ci maxim 200.000 euro. Contribuție proprie: 50.000 euro.
Răspunsul nu e scris nicăieri în ghid. Cere două reguli din secțiuni diferite — procentul de 90% și plafonul de minimis — și observația că a doua o taie pe prima. Exact tipul de întrebare pe care un consultant o pune într-un telefon.
Întrebarea ratată
Una din douăzeci și cinci, și merită spusă cu aceeași claritate ca reușitele. La „Acest document este final?” — răspunsul corect fiind că ghidul e marcat DRAFT 1 — a răspuns: „Nu am context suficient pentru a răspunde — la ce document te referi?”, fără nicio citare. Pe grila protocolului asta e zero.
Cauza e chiar condiția testului. Baza de cunoștințe nu conținea doar ghidul, ci și cele douăzeci de documente interne ale firmei — iar „acest document”, într-o conversație care începe cu această întrebare, nu are un referent unic. A cerut o lămurire în loc să ghicească.
Se poate argumenta că e comportamentul corect, și probabil este. Dar protocolul a fost scris înainte de rulare, iar întrebarea are un răspuns în document — deci se punctează zero, nu se rescrie după ce s-a văzut rezultatul. Asta e diferența dintre o măsurătoare și o pledoarie.
Metoda, și ce nu dovedește testul
Documentul: ghidul solicitantului pentru Acțiunea 2.2, Programul Regiunea Centru 2021–2027, publicat de ADR Centru — 69 de pagini, marcat DRAFT 1. Public, descărcabil de oricine. Rularea a fost făcută în producție pe 25 august 2026, în cinci conversații separate, câte una per secțiune a protocolului. Fiecare răspuns, fiecare citare și fiecare scor de fundamentare sunt încă în baza de date și pot fi recitite.
Ce nu dovedește: că cifrele din acest ghid sunt în vigoare. Documentul testat e un draft al unui apel anterior, iar valorile de eligibilitate care apar în răspunsurile de mai sus sunt istorice — nu se citează ca fiind valabile azi. Testul spune ceva despre sistem, nu despre apelul curent.
Și nu dovedește că nu va greși niciodată. Dovedește că, pe un document real, în limba română, pus în fața a două întrebări construite special ca să-l facă să inventeze, nu a inventat.
Întreabă orice furnizor de AI același lucru.
Nu ce model folosește — dacă are un protocol de test pe română, scris înainte de rulare, și ce scor a ieșit.