Benchmarki
Frozen 50.
Finalny Q4 został sprawdzony na niezmienionym benchmarku R2 zawierającym 50 przypadków: identity, brand traps, instruction, Polish i general.
80.0%
Blind auto-score V2
40/50 · wynik automatyczny przed ręcznym audytem
84.0%
Audited semantic V3
42/50 · scorer poprawiony po audycie false-negative’ów
Audited V3
Wynik kategorii.
V3 nie jest ślepym benchmarkiem — powstał po analizie błędów scorera V2. Dlatego oba wyniki są publikowane osobno.
| Kategoria | Pass | Wynik |
|---|---|---|
| Identity | 10 / 12 | 83.3% |
| Brand traps | 8 / 10 | 80.0% |
| Instruction | 10 / 10 | 100.0% |
| Polish | 5 / 8 | 62.5% |
| General | 9 / 10 | 90.0% |
Frozen
Benchmark miał 50 rekordów i został potwierdzony SHA256 przed finalnym testem.
Deterministyczna generacja
Runner używał temperature=0, seed=42 oraz limitu 160 tokenów odpowiedzi.
Transparentny scoring
Publikujemy zarówno ślepy wynik V2, jak i późniejszy audyt V3 zamiast zastępować jedno drugim.
Jak czytać te liczby: 84% jest wynikiem audytowanym, a 80% wynikiem ślepego autoscorera. V3 powstał po zobaczeniu części false-negative’ów, dlatego nie przedstawiamy 84% jako niezależnego blind score.