Gli strumenti ETL tradizionali come dbt o Fivetran preparano i dati per il reporting: analisi strutturate e dashboard con schemi stabili. Le applicazioni di intelligenza artificiale hanno bisogno di qualcosa di diverso: preparare dati operativi disordinati e in evoluzione per l’inferenza del modello in tempo reale.
Empromptu chiama questa distinzione “integrità dell’inferenza” e “integrità del reporting”. Invece di trattare la preparazione dei dati come una disciplina separata, le pipeline dorate integrano la normalizzazione direttamente nel flusso di lavoro dell’applicazione AI, riducendo in meno di un’ora ciò che in genere richiede 14 giorni di ingegneria manuale, afferma l’azienda. L’approccio “golden pipeline” di Empromptu è un modo per accelerare la preparazione dei dati e garantire che i dati siano accurati.
L’azienda lavora principalmente con clienti di fascia media e aziendali in settori regolamentati in cui l’accuratezza e la conformità dei dati non sono negoziabili. Il fintech è il settore verticale in più rapida crescita di Empromptu, con ulteriori clienti nel settore sanitario e legale. La piattaforma è conforme HIPAA e certificata SOC 2.
“L’intelligenza artificiale aziendale non si rompe a livello del modello, si rompe quando dati disordinati incontrano utenti reali”, ha detto a VentureBeat Shanea Leven, CEO e co-fondatrice di Empromptu, in un’intervista esclusiva. “Le pipeline dorate portano l’acquisizione, la preparazione e la governance dei dati direttamente nel flusso di lavoro dell’applicazione AI in modo che i crew possano creare sistemi che funzionino effettivamente in produzione.”
Come funzionano le condutture dorate
Le pipeline dorate funzionano come un livello automatizzato che si trova tra i dati operativi grezzi e le funzionalità dell’applicazione AI.
Il sistema gestisce cinque funzioni principali. Innanzitutto, acquisisce dati da qualsiasi fonte, inclusi file, database, API e documenti non strutturati. Quindi elabora tali dati attraverso l’ispezione e la pulizia automatizzate, la strutturazione con definizioni di schemi, l’etichettatura e l’arricchimento per colmare le lacune e classificare i report. I controlli integrati di governance e conformità includono audit path, controlli di accesso e applicazione della privateness.
L’approccio tecnico combina la preelaborazione deterministica con la normalizzazione assistita dall’intelligenza artificiale. Invece di codificare ogni trasformazione, il sistema identifica le incoerenze, deduce la struttura mancante e genera classificazioni basate sul contesto del modello. Ogni trasformazione viene registrata e collegata direttamente alla valutazione AI a valle.
Il ciclo di valutazione è fondamentale per il funzionamento delle pipeline dorate. Se la normalizzazione dei dati riduce la precisione a valle, il sistema lo rileva attraverso una valutazione continua rispetto al comportamento di produzione. Secondo Leven, l’accoppiamento del suggestions tra la preparazione dei dati e le prestazioni del modello distingue le pipeline d’oro dagli strumenti ETL tradizionali.
Le pipeline dorate sono combine direttamente nell’Empromptu Builder e vengono eseguite automaticamente come parte della creazione di un’applicazione AI. Dal punto di vista dell’utente, i crew stanno sviluppando funzionalità di intelligenza artificiale. Sotto il cofano, le pipeline dorate garantiscono che i dati che alimentano tali funzionalità siano puliti, strutturati, governati e pronti per l’uso in produzione.
Integrità del reporting e integrità dell’inferenza
Leven ritiene che le pipeline dorate risolvano un problema fondamentalmente diverso rispetto ai tradizionali strumenti ETL come dbt, Fivetran o Databricks.
“Dbt e Fivetran sono ottimizzati per l’integrità del reporting. Le pipeline dorate sono ottimizzate per l’integrità dell’inferenza”, ha affermato Leven. “Gli strumenti ETL tradizionali sono progettati per spostare e trasformare dati strutturati in base a regole predefinite. Presumono stabilità dello schema, trasformazioni word e logica relativamente statica.”
“Non stiamo sostituendo dbt o Fivetran, le aziende continueranno a utilizzarli per l’integrità del magazzino e il reporting strutturato”, ha affermato Leven. “Le pipeline dorate si trovano più vicine al livello dell’applicazione AI. Risolvono il problema dell’ultimo miglio: come prendere dati operativi imperfetti del mondo reale e renderli utilizzabili per le funzionalità AI senza mesi di discussioni manuali?”
L’argomento di fiducia a favore della normalizzazione guidata dall’intelligenza artificiale si basa sulla verificabilità e sulla valutazione continua.
“Non è magia senza supervisione. È rivedibile, verificabile e continuamente valutata rispetto al comportamento di produzione”, ha affermato Leven. “Se la normalizzazione riduce l’accuratezza a valle, il ciclo di valutazione la rileva. L’accoppiamento di suggestions tra la preparazione dei dati e le prestazioni del modello è qualcosa che le pipeline ETL tradizionali non forniscono.”
Distribuzione del cliente: VOW affronta i dati degli eventi advert alto rischio
L’approccio del “golden pipeline” sta già avendo un impatto nel mondo reale.
Piattaforma per la gestione degli eventi VOTO gestisce eventi di alto profilo per organizzazioni come FELICE così come molteplici organizzazioni sportive. Quando GLAAD pianifica un evento, i dati vengono inseriti negli inviti degli sponsor, negli acquisti di biglietti, nei tavoli, nei posti e altro ancora. Il processo avviene rapidamente e la coerenza dei dati non è negoziabile.
“I nostri dati sono più complessi rispetto alla piattaforma media”, ha dichiarato a VentureBeat Jennifer Brisman, CEO di VOW. “Quando GLAAD pianifica un evento, i dati vengono inseriti negli inviti degli sponsor, nell’acquisto di biglietti, nei tavoli, nei posti e altro ancora. E tutto deve avvenire molto rapidamente.”
VOW stava scrivendo manualmente gli script regex. Quando l’azienda ha deciso di creare una funzionalità di planimetria generata dall’intelligenza artificiale che aggiornasse i dati quasi in tempo reale e popolasse le informazioni sulla piattaforma, garantire l’accuratezza dei dati è diventato fondamentale. Golden Pipelines ha automatizzato il processo di estrazione dei dati dalle planimetrie che spesso arrivavano disordinate, incoerenti e non strutturate, quindi formattandoli e inviandoli senza un grande sforzo manuale al crew di ingegneri.
VOW inizialmente utilizzava Empromptu per l’analisi della planimetria generata dall’intelligenza artificiale che né il crew AI di Google né quello di Amazon potevano risolvere. L’azienda sta ora riscrivendo la sua intera piattaforma sul sistema Empromptu.
Cosa significa questo per le implementazioni di intelligenza artificiale aziendale
Le pipeline dorate mirano a un modello di implementazione specifico: organizzazioni che creano applicazioni IA combine in cui la preparazione dei dati rappresenta attualmente un collo di bottiglia manuale tra prototipo e produzione.
L’approccio ha meno senso per i crew che dispongono già di organizzazioni di ingegneria dei dati mature con processi ETL consolidati e ottimizzati per i loro domini specifici o per le organizzazioni che creano modelli di intelligenza artificiale autonomi anziché applicazioni combine.
Il punto decisionale è se la preparazione dei dati sta bloccando la velocità dell’intelligenza artificiale nell’organizzazione. Se i knowledge scientist stanno preparando set di dati per la sperimentazione che i crew di ingegneri poi ricostruiscono da zero per la produzione, la preparazione integrata dei dati colma questa lacuna.
Se il collo di bottiglia si trova altrove nel ciclo di vita dello sviluppo dell’intelligenza artificiale, non sarà così. Il compromesso è l’integrazione della piattaforma rispetto alla flessibilità dello strumento. I crew che utilizzano le pipeline “golden” si impegnano a adottare un approccio integrato in cui la preparazione dei dati, lo sviluppo delle applicazioni AI e la governance avvengono in un’unica piattaforma. Le organizzazioni che preferiscono assemblare gli strumenti migliori per ciascuna funzione troveranno questo approccio limitante. Il vantaggio è l’eliminazione dei passaggi tra la preparazione dei dati e lo sviluppo dell’applicazione. Il costo è una ridotta facoltatività nel modo in cui tali funzioni vengono implementate.
