Dal 2024, il group di ottimizzazione delle prestazioni di Anthropic sottopone i candidati a un check da portare a casa per assicurarsi che sappiano il fatto loro. Ma man mano che gli strumenti di codifica dell’intelligenza artificiale sono migliorati, il check ha dovuto cambiare molto per stare al passo con gli imbrogli assistiti dall’intelligenza artificiale.
Il caposquadra Tristan Hume ha descritto la storia della sfida in un post sul blog mercoledì. “Ogni nuovo modello Claude ci ha costretto a riprogettare il check”, scrive Hume. “Quando è stato assegnato lo stesso limite di tempo, Claude Opus 4 ha sovraperformato la maggior parte dei candidati umani. Ciò ci ha comunque permesso di distinguere i candidati più forti, ma poi Claude Opus 4.5 ha eguagliato anche quelli.”
Il risultato è un serio problema di valutazione del candidato. Senza una supervisione di persona, non c’è modo di garantire che qualcuno non utilizzi l’intelligenza artificiale per imbrogliare il check e, se lo fa, raggiungerà rapidamente i vertici. “Sotto i vincoli del check da portare a casa, non avevamo più modo di distinguere tra il risultato dei nostri migliori candidati e il nostro modello più capace”, scrive Hume.
Il problema degli imbrogli dell’IA è già presente seminando il panico nelle scuole e nelle università in tutto il mondo, ed è così ironico che anche i laboratori di intelligenza artificiale debbano affrontarlo. Ma Anthropic è anche particolarmente ben attrezzata per affrontare il problema.
Alla tremendous, Hume progettò un nuovo check che aveva meno a che fare con l’ottimizzazione dell’{hardware}, rendendolo sufficientemente innovativo da mettere in discussione gli strumenti di intelligenza artificiale contemporanei. Ma come parte del put up, ha condiviso il check originale per vedere se qualcuno che leggesse potesse trovare una soluzione migliore.
“Se riesci a migliorare l’Opus 4.5”, si legge nel put up, “ci piacerebbe sentire la tua opinione”.
