LinkedIn è chief nei sistemi di raccomandazione basati sull’intelligenza artificiale, avendoli sviluppati negli ultimi 15 e più anni. Ma arrivare a uno stack di raccomandazioni di nuova generazione per le persone in cerca di lavoro di domani ha richiesto una tecnica completamente nuova. L’azienda ha dovuto guardare oltre i modelli normal per raggiungere precisione, latenza ed efficienza di livello superiore.
“Non c’period proprio modo di riuscire a farlo attraverso i suggerimenti”, afferma Erran Berger, vicepresidente dell’ingegneria del prodotto presso LinkedIn, in un nuovo Oltre il pilota podcast. “Non l’abbiamo nemmeno provato per i sistemi di raccomandazione di nuova generazione perché ci siamo resi conto che non sarebbe stato un buon inizio.”
Invece, il suo workforce ha deciso di sviluppare un documento di politica di prodotto altamente dettagliato per mettere a punto un modello inizialmente massiccio di 7 miliardi di parametri; che è stato poi ulteriormente distillato in ulteriori modelli per insegnanti e studenti ottimizzati per centinaia di milioni di parametri.
La tecnica ha creato un libro di ricette ripetibile ora riutilizzato nei prodotti AI di LinkedIn.
“L’adozione di questo processo di valutazione end-to-end porterà a un sostanziale miglioramento della qualità che probabilmente non vedevamo da anni qui a LinkedIn”, afferma Berger.
Perché la distillazione multi-insegnante è stata una “svolta decisiva” per LinkedIn
Berger e il suo workforce hanno deciso di costruire un LLM in grado di interpretare le singole domande di lavoro, i profili dei candidati e le descrizioni del lavoro in tempo reale e in un modo che rispecchiasse la politica di prodotto di LinkedIn nel modo più accurato possibile.
Collaborando con il workforce di gestione del prodotto dell’azienda, gli ingegneri hanno infine creato un documento di 20-30 pagine assegnando un punteggio alla descrizione del lavoro e alle coppie di profili “su molte dimensioni”.
“Abbiamo fatto molte, molte iterazioni su questo”, cube Berger. Quel documento sulla politica del prodotto è stato poi abbinato a un “set di dati d’oro” comprendente migliaia di coppie di question e profili; il workforce ha inserito questi dati in ChatGPT durante la generazione e la sperimentazione dei dati, spingendo il modello nel tempo advert apprendere le coppie di punteggi e infine a generare un set di dati sintetici molto più ampio per addestrare un modello insegnante da 7 miliardi di parametri.
Tuttavia, afferma Berger, non è sufficiente avere un LLM in produzione solo sulla base della politica di prodotto. “In fin dei conti, si tratta di un sistema di raccomandazione e dobbiamo effettuare una certa quantità di previsione e personalizzazione dei clic.”
Pertanto, il suo workforce ha utilizzato il modello iniziale dell’insegnante incentrato sulla politica del prodotto per sviluppare un secondo modello dell’insegnante orientato alla previsione dei clic. Utilizzando i due, hanno ulteriormente distillato un modello da 1,7 miliardi di parametri a scopo di formazione. Il modello finale dello studente è stato sottoposto a “molte, molte sessioni di formazione” ed è stato ottimizzato “in ogni punto” per ridurre al minimo la perdita di qualità, afferma Berger.
Questa tecnica di distillazione multi-docente ha permesso al workforce di “raggiungere molta affinità” con la politica di prodotto originale e la previsione dei clic “atterrati”, afferma. Sono stati anche in grado di “modularizzare e componentizzare” il processo di formazione per lo studente.
Consideralo nel contesto di un agente di chat con due diversi modelli di insegnante: uno sta addestrando l’agente sull’accuratezza delle risposte, l’altro sul tono e su come dovrebbe comunicare. Queste due cose sono obiettivi molto diversi, ma critici, osserva Berger.
“Mischiandoli ora, si ottengono risultati migliori, ma si possono anche ripetere in modo indipendente”, afferma. “È stata una svolta per noi.”
Cambiare il modo in cui i workforce lavorano insieme
Berger afferma di non poter sottovalutare l’importanza di ancorarsi a una politica di prodotto e a un processo di valutazione iterativo.
Per ottenere una “politica di prodotto davvero, davvero buona” è necessario tradurre le competenze del dominio del product supervisor in un documento unificato. Storicamente, osserva Berger, il workforce di gestione del prodotto period concentrato sulla strategia e sull’esperienza dell’utente, lasciando gli approcci di iterazione della modellazione agli ingegneri ML. Ora, però, i due workforce lavorano insieme per “collegarsi” e creare un modello di insegnante allineato.
“Il modo in cui i product supervisor lavorano oggi con gli ingegneri del machine studying è molto diverso da qualsiasi cosa abbiamo fatto in precedenza”, afferma. “Ora è un modello per praticamente tutti i prodotti di intelligenza artificiale che realizziamo su LinkedIn.”
Guarda il podcast completo per saperne di più su:
-
In che modo LinkedIn ha ottimizzato ogni fase del processo di ricerca e sviluppo per supportare la velocità, portando a risultati reali in giorni o ore anziché in settimane;
-
Perché i workforce dovrebbero sviluppare pipeline per la collegabilità e la sperimentazione e provare diversi modelli per supportare la flessibilità;
-
La continua importanza del debugging ingegneristico tradizionale.
Puoi anche ascoltare e iscriverti Oltre il pilota SU Spotify, Mela o ovunque trovi i tuoi podcast.
