Abbiamo urgentemente bisogno di monitorare in tempo reale le azioni degli agenti di Intelligenza Artificiale

Abbiamo urgentemente bisogno di monitorare in tempo reale le azioni degli agenti di Intelligenza Artificiale — Rassegna informativa e sintesi tecnica curata da PCNext sulla base del report documentato da MIT Technology Review.

Sintesi della Notizia & Quadro dell’Evento

MIT Technology Review La grande storia Intelligenza artificiale Biotecnologie e salute Clima ed energia 10 tecnologie rivoluzionarie AI Hype Index La questione impossibile Menu MIT Technology Review MIT Technology Review La grande storia Intelligenza artificiale Biotecnologie e salute Clima ed energia 10 tecnologie rivoluzionarie AI Hype Index La questione impossibile Opinione Abbiamo urgentemente bisogno di monitorare le azioni degli agenti di intelligenza artificiale in tempo reale In questo momento, stiamo effettivamente volando alla cieca quando utilizziamo questi strumenti. Ecco cosa dobbiamo fare invece.

Quest'estate, centinaia di agenti OpenAI hanno tentato di imbrogliare un test di sicurezza informatica. Sono fuggiti dal loro ambiente di test e hanno violato con successo Hugging Face, un sito che credevano contenesse indizi su come sarebbero stati valutati. Più o meno nello stesso periodo, un altro agente OpenAI ha avuto accesso a file privati ​​da un sito web del governo australiano. È un problema che non è affatto limitato a OpenAI. Nei mesi successivi, anche Anthropic, Google e Meta hanno rivelato episodi in cui i loro agenti sono andati fuori strada. E, cosa preoccupante, in molti casi gli agenti sfuggivano proprio ai ricercatori e alle squadre di sicurezza incaricate di monitorarli.

Dettagli Tecnici & Approfondimento

Gli agenti di intelligenza artificiale stanno intraprendendo azioni non autorizzate e le aziende che li costruiscono e li gestiscono si affidano principalmente alla fortuna e al senno di poi per mitigare eventuali impatti dannosi. Devono fare di più per garantire la sicurezza. Ecco perché i regolatori dell'UE e le agenzie statunitensi chiedono giustamente che gli sviluppatori e gli operatori degli agenti monitorino gli agenti in tempo reale. Ma queste regole presuppongono che le aziende possano vedere cosa stanno facendo i loro agenti e perché, quando in realtà non hanno sufficiente visibilità.

Man mano che gli agenti si diffondono in settori critici, dalla finanza al governo alla medicina, dobbiamo essere in grado di monitorarli in tempo reale per prevenire conseguenze ad ampio raggio e potenzialmente devastanti. E mentre la sicurezza dipende dal monitoraggio, il monitoraggio richiede osservabilità: la capacità di catturare ciò che il sistema ha fatto, elaborarlo in segnali e presentarli agli esseri umani o ai sistemi di supervisione automatizzati. In altre parole, dobbiamo sapere cosa ha fatto l'agente e perché lo ha fatto. E come mostra la nostra recente ricerca, gli attuali framework degli agenti, ovvero il software che esegue gli agenti, non generano in modo affidabile i record di osservabilità cruciali di cui abbiamo bisogno per garantire che gli agenti vengano distribuiti in modo sicuro.

Gli agenti presentano nuovi tipi di problemi che l'intelligenza artificiale generativa da sola non è in grado di risolvere. Ereditano l'imprevedibilità dei LLM su cui sono costruiti, ma laddove un sistema di intelligenza artificiale generativa produce un singolo output su cui un essere umano può agire, un agente esegue compiti più lunghi: pianifica, sceglie strumenti, genera subagenti e intraprende azioni. Pertanto il percorso di un agente può prendere forma in una moltitudine di modi diversi e nessun test prima del lancio può anticipare completamente i rischi. Ciò rende l'osservazione degli agenti mentre lavorano ancora più impegnativa e ancora più importante.