Avviso ironia: citazioni allucinate trovate nei documenti di NeurIPS, la prestigiosa conferenza sull’intelligenza artificiale

Avvio del rilevamento AI GPZero scansionato tutto 4.841 documenti accettato dalla prestigiosa Conferenza sui sistemi di elaborazione delle informazioni neurali (NeurIPS), che ha avuto luogo il mese scorso a San Diego. La società ha trovato 100 citazioni allucinate in 51 documenti che ha confermato come false, ha detto la società a TechCrunch.

Avere un articolo accettato da NeurIPS è un risultato degno di curriculum nel mondo dell’intelligenza artificiale. Dato che queste sono le menti principali della ricerca sull’intelligenza artificiale, si potrebbe supporre che utilizzerebbero gli LLM per il compito catastroficamente noioso di scrivere citazioni.

Quindi abbondano gli avvertimenti su questo risultato: 100 citazioni di allucinazioni confermate in 51 articoli non sono statisticamente significative. Ogni articolo ha decine di citazioni. Quindi su decine di migliaia di citazioni, questo è, statisticamente, zero.

È anche importante notare che una citazione imprecisa non annulla la ricerca dell’articolo. Come ha raccontato NeurIPS Fortunache per primo ha riferito sulla ricerca di GPTZero: “Anche se l’1,1% degli articoli ha uno o più riferimenti errati a causa dell’uso di LLM, il contenuto degli articoli stessi [is] non necessariamente invalidato.”

Ma detto questo, neanche una citazione falsa è una cosa da niente. NeurIPS è orgoglioso della sua “rigorosa pubblicazione accademica nel campo dell’apprendimento automatico e dell’intelligenza artificiale”, dice. E ogni documento viene sottoposto a revisione paritaria da più persone a cui viene chiesto di segnalare le allucinazioni.

Le citazioni sono anche una sorta di valuta per i ricercatori. Sono utilizzati come metrica di carriera per mostrare quanto sia influente il lavoro di un ricercatore tra i suoi colleghi. Quando l’intelligenza artificiale li crea, ne diminuisce il valore.

Nessuno può criticare i revisori peer per non aver colto alcune citazioni fabbricate dall’intelligenza artificiale, dato l’enorme quantity coinvolto. Anche GPTZero si affretta a sottolinearlo. L’obiettivo dell’esercizio period quello di offrire dati specifici su come il rallentamento dell’intelligenza artificiale si insinua attraverso “uno tsunami di sottomissioni” che ha “messo a dura prova i canali di revisione di queste conferenze fino al punto di rottura”, ha affermato. startup afferma nel suo rapporto. GPTZero fa riferimento addirittura a un documento del maggio 2025 intitolato “La crisi della peer review della Conferenza sull’intelligenza artificiale” che hanno discusso il problema nelle principali conferenze, incluso NeurIPS.

Tuttavia, perché i ricercatori stessi non hanno potuto verificare l’accuratezza del lavoro del LLM? Sicuramente devono conoscere l’elenco effettivo dei documenti utilizzati per il loro lavoro.

Ciò che tutto ciò indica davvero è un grande, ironico asporto: se i principali esperti mondiali di intelligenza artificiale, con la loro reputazione in gioco, non possono garantire che il loro utilizzo LLM sia accurato nei dettagli, cosa significa questo per il resto di noi?