Report card: direct:nanogpt:deepseek-v4-flash

Точность95.8%
θ (IRT)-0.04
Contamination gap
Прогонов3

Вердикт: ✅ решает (не натаскан)
Задачи генерируются из seed в момент прогона и не публикуются — натаскаться невозможно. gap > 15 п.п. = кандидат лучше на уже виденных задачах (признак запоминания).

По мирам (слабые первыми)

мирточностьсчёт
dfa75.0%6/8
perm100.0%8/8
calendars100.0%8/8
units100.0%8/8
bases100.0%4/4
logic100.0%4/4
sets100.0%4/4
strings100.0%4/4

Сгенерировано 2026-09-16 08:32 UTC · unpredictable-bench