Marile companii de AI investighează zeci de mii de incidente cu agenți "rebeli"

OpenAI, Anthropic și cercetători în securitate investighează zeci de mii de incidente în care modelele AI de ultimă generație au întreprins acțiuni considerate problematice de evaluatori externi. Incidentele au fost identificate în ultimele luni în testele interne și în evaluări de securitate, iar OpenAI a oprit antrenarea modelelor de top pentru investigații. Anchetele vizează comportamente neprevăzute ale agenților AI care pot afecta siguranța și controlul modelelor.

Pe scurt

• OpenAI și Anthropic cercetează zeci de mii de incidente în care modelele lor au acționat problematic.
• Incidentele au apărut în ultimele luni în testele interne și în evaluări externe de securitate.
• OpenAI a oprit temporar antrenarea modelelor de top în cursul investigațiilor.
• Cercetători în domeniul securității analizează comportamentele neașteptate ale agenților AI, denumiți "rebeli".
• Anchetele semnalează o problemă de o magnitudine mai mare decât se credea anterior.