Gli LLM di oggi eccellono nel ragionamento, ma possono ancora avere difficoltà con il contesto. Ciò è particolarmente vero nei sistemi di ordinazione in tempo reale come Instagram.
Anirban Kundu, CTO di Instacart, lo definisce il “problema della ricetta dei brownie”.
Non è semplice come dire a un LLM “Voglio fare i brownies”. Per essere veramente di aiuto nella pianificazione del pasto, il modello deve andare oltre quella semplice direttiva per capire cosa è disponibile nel mercato dell’utente in base alle sue preferenze – advert esempio, uova biologiche rispetto a uova normali – e tenerne conto in ciò che è disponibile nella sua space geografica in modo che il cibo non vada a male. Questo tra gli altri fattori critici.
Per Instacart, la sfida è destreggiarsi tra la latenza e il giusto combine di contesto per fornire esperienze, idealmente, in meno di un secondo.
“Se il ragionamento stesso impiega 15 secondi e se ogni interazione è così lenta, perderai l’utente”, ha detto Kundu in un recente evento VB.
Mescolare ragionamento, stato del mondo reale, personalizzazione
Nella consegna di generi alimentari, c’è un “mondo di ragionamento” e un “mondo di stato” (ciò che è disponibile nel mondo reale), Kundu notato, entrambi devono essere compresi da un LLM insieme alle preferenze dell’utente. Ma non è così semplice come caricare l’intera cronologia degli acquisti e gli interessi noti di un utente in un modello di ragionamento.
“Il tuo LLM esploderà fino a raggiungere dimensioni che saranno ingestibili”, ha detto Kundu.
Per aggirare questo problema, Instacart divide l’elaborazione in blocchi. Innanzitutto, i dati vengono inseriti in un ampio modello fondamentale in grado di comprendere le intenzioni e classificare i prodotti. A tali dati elaborati vengono quindi instradati modelli linguistici piccoli (SLM) progettato per il contesto del catalogo (i tipi di cibo o altri articoli che funzionano insieme) e la comprensione semantica.
Nel caso del contesto del catalogo, l’SLM deve essere in grado di elaborare più livelli di dettaglio sull’ordine stesso e sui diversi prodotti. Advert esempio, quali prodotti vanno insieme e quali sono i relativi sostituti se la prima scelta non è disponibile? Queste sostituzioni sono “molto, molto importanti” per un’azienda come Instacart, che secondo Kundu ha “casi a doppia cifra” in cui un prodotto non è disponibile in un mercato locale.
In termini di comprensione semantica, supponiamo che un acquirente stia cercando di acquistare snack salutari per i bambini. Il modello deve capire cos’è uno spuntino salutare e quali alimenti sono appropriati e attraenti per un bambino di 8 anni, quindi identificare i prodotti pertinenti. E, quando quei particolari prodotti non sono disponibili in un dato mercato, il modello deve anche trovare sottoinsiemi di prodotti correlati.
Poi c’è l’elemento logistico. Advert esempio, un prodotto come il gelato si scioglie rapidamente e anche le verdure congelate non si comportano bene se lasciate fuori a temperature più calde. Il modello deve avere questo contesto e calcolare un tempo di consegna accettabile.
“Quindi hai questa comprensione dell’intento, hai questa categorizzazione, poi hai quest’altra parte sulla logistica, come lo fai?”, Ha osservato Kundu.
Evitare sistemi di agenti “monolitici”.
Come molte altre aziende, Instacart sta sperimentando agenti IA, scoprendo che un combine di agenti funziona meglio di un “singolo monolite” che svolge più compiti diversi. La filosofia Unix di un sistema operativo modulare con strumenti più piccoli e mirati aiuta advert affrontare diversi sistemi di pagamento, advert esempio, che hanno numerous modalità di fallimento, ha spiegato Kundu.
“Dover costruire tutto questo in un unico ambiente period molto ingombrante”, ha detto. Inoltre, gli agenti nel back-end comunicano con molte piattaforme di terze parti, inclusi punti vendita (POS) e sistemi di catalogo. Naturalmente non tutti si comportano allo stesso modo; alcuni sono più affidabili di altri e hanno intervalli di aggiornamento e feed diversi.
“Quindi, essendo in grado di gestire tutte queste cose, abbiamo seguito la strada dei microagenti piuttosto che degli agenti che sono prevalentemente di grandi dimensioni”, ha affermato Kundu.
Per gestire gli agenti, Instacart si è integrato con Il protocollo del contesto del modello di OpenAI (MCP), che standardizza e semplifica il processo di connessione dei modelli di intelligenza artificiale a diversi strumenti e fonti di dati.
L’azienda utilizza anche lo normal aperto Common Commerce Protocol (UCP) di Google, che consente agli agenti di intelligenza artificiale di interagire direttamente con i sistemi commerciali.
Tuttavia, la squadra di Kundu deve ancora affrontare delle sfide. Come ha osservato, la questione non è se l’integrazione sia possibile, ma quanto queste integrazioni si comportino in modo affidabile e quanto bene siano comprese dagli utenti. La scoperta può essere difficile, non solo nell’identificare i servizi disponibili, ma anche nel capire quali sono appropriati per quale compito.
Instacart ha dovuto implementare MCP e UCP in casi “molto diversi” e i maggiori problemi incontrati sono le modalità di errore e la latenza, ha osservato Kundu. “I tempi di risposta e la comprensione di entrambi i servizi sono molto, molto diversi, direi che probabilmente dedichiamo due terzi del tempo a risolvere questi casi di errore.”
