In genere, quando creano, addestrano e distribuiscono l’intelligenza artificiale, le aziende danno priorità alla precisione. E questo, senza dubbio, è importante; ma in settori altamente complessi e ricchi di sfumature come quello legale, la precisione da sola non è sufficiente. Una posta in gioco più alta significa commonplace più elevati: i risultati dei modelli devono essere valutati in termini di pertinenza, autorità, accuratezza delle citazioni e tassi di allucinazioni.
Per affrontare questo immenso compito, LexisNexis si è evoluto oltre la generazione aumentata di recupero commonplace (RAG) per rappresentare graficamente RAG e grafici advert agenti; ha anche creato agenti AI “pianificatori” e “riflessioni” che analizzano le richieste e criticano i propri risultati.
“Non esiste una cosa del genere [thing] come “IA perfetta” perché non si ottiene mai il 100% di precisione o il 100% di pertinenza, soprattutto in ambiti complessi e advert alto rischio come quello legale”, riconosce Min Chen, SVP di LexisNexis e chief AI officer, in un nuovo podcast di VentureBeat Past the Pilot.
L’obiettivo è gestire il più possibile story incertezza e tradurla in un valore coerente per il cliente. “Alla effective, ciò che conta di più per noi è la qualità dei risultati dell’intelligenza artificiale, e questo è un viaggio continuo di sperimentazione, iterazione e miglioramento”, ha affermato Chen.
Ottenere risposte “full” a domande dalle molteplici sfaccettature
Per valutare i modelli e i loro risultati, il group di Chen ha stabilito più di una mezza dozzina di “sottometriche” per misurare l’“utilità” sulla base di diversi fattori – autorità, accuratezza delle citazioni, tassi di allucinazioni – nonché “completezza”. Questa particolare metrica è progettata per valutare se una risposta della generazione AI ha affrontato completamente tutti gli aspetti delle domande legali degli utenti.
“Quindi non è solo una questione di rilevanza”, ha detto Chen. “La completezza parla direttamente dell’affidabilità giuridica.”
Advert esempio, un utente può porre una domanda che richiede una risposta che copra cinque distinte considerazioni legali. La Gen AI può fornire una risposta che affronta accuratamente tre di questi. Ma, sebbene pertinente, questa risposta parziale è incompleta e, dal punto di vista dell’utente, insufficiente. Ciò può essere fuorviante e comportare rischi nella vita reale.
Oppure, advert esempio, alcune citazioni potrebbero essere semanticamente rilevanti per la domanda di un utente, ma potrebbero indicare argomenti o istanze che alla effective sono state respinte in tribunale. “I nostri avvocati li considereranno non citabili”, ha detto Chen. “Se non sono citabili, non sono utili.”
Andare oltre il RAG commonplace
LexisNexis ha lanciato il suo prodotto di punta dell’intelligenza artificiale di generazione, Lexis+ AI, uno strumento legale di intelligenza artificiale per la redazione, la ricerca e l’analisi, nel 2023. È stato costruito su un framework RAG commonplace e una ricerca vettoriale ibrida che fonda le risposte nella base di conoscenza affidabile e autorevole di LexisNexis.
La società ha poi rilasciato il suo assistente legale personale, Protégé, nel 2024. Questo agente incorpora uno strato di grafico della conoscenza sopra la ricerca vettoriale per superare una “limitazione chiave” della pura ricerca semantica. Sebbene sia “molto efficace” nel recuperare contenuti contestualmente rilevanti, la ricerca semantica “non sempre garantisce risposte autorevoli”, ha affermato Chen.
La ricerca semantica iniziale restituisce ciò che ritiene contenuto rilevante; Il group di Chen poi analizza tali rendimenti attraverso un grafico “level of legislation” per filtrare ulteriormente i documenti più autorevoli.
Andando oltre, il group di Chen sta sviluppando grafici degli agenti e accelerando l’automazione in modo che gli agenti possano pianificare ed eseguire attività complesse in più fasi.
Advert esempio, gli “agenti pianificatori” autodiretti per le domande e risposte di ricerca suddividono le domande degli utenti in più sotto-domande. Gli utenti umani possono esaminarli e modificarli per perfezionare e personalizzare ulteriormente le risposte finali. Nel frattempo, un “agente di riflessione” gestisce la stesura dei documenti transazionali. Può criticare “automaticamente e dinamicamente” la sua bozza iniziale, quindi incorporare quel suggestions e perfezionarla in tempo reale.
Tuttavia, Chen ha affermato che tutto ciò non è finalizzato a escludere gli esseri umani dal combine; esperti umani e agenti di intelligenza artificiale possono “imparare, ragionare e crescere insieme”. “Vedo il futuro [as] una collaborazione più profonda tra gli esseri umani e l’intelligenza artificiale”.
Guarda il podcast per saperne di più su:
-
Come ha acquisito LexisNexis Scagnozzo ha contribuito a fondare modelli di intelligenza artificiale con dati proprietari LexisNexis e dati dei clienti;
-
La differenza tra valutazione deterministica e non deterministica;
-
Perché le aziende dovrebbero identificare i KPI e le definizioni di successo prima di lanciarsi nella sperimentazione;
-
L’importanza di concentrarsi su un “triangolo” di componenti chiave: Costo, velocità e qualità.
Puoi anche ascoltare e iscriverti Oltre il pilota SU Spotify, Mela o ovunque trovi i tuoi podcast.
