Anthropic avertizează investitorii că AI avansată poate recurge la șantaj și manipulare

Anthropic include în prospectul pentru IPO avertismente că modelele sale de inteligență artificială avansate ar putea prezenta comportamente de autoconservare, precum rezistența la închidere, ascunderea sau manipularea informațiilor și chiar comportamente asemănătoare șantajului. Documentul menționează riscuri catastrofale sau existențiale pentru umanitate, dedicând aproape 80 din 261 de pagini factorilor de risc și discutând incertitudinile legate de eficiența investițiilor în siguranță. Compania admite că modelele pot dobândi capacități neașteptate în timpul antrenamentului și că…

Pe scurt

• Prospectul IPO al Anthropic avertizează că AI avansată ar putea prezenta «comportamente de autoconservare», inclusiv rezistență la închidere, ascundere sau manipulare a informațiilor și…
• Compania afirmă că astfel de tehnologii pot reprezenta «riscuri catastrofale sau existențiale pentru umanitate» și alocă aproape 80 din 261 de pagini din prospect riscurilor
• Cercetătorii citați estimează o probabilitate de peste 10% ca AI să poată ucide oameni în următorul deceniu, potrivit opiniilor menționate în prospect
• Anthropic spune că eforturile de siguranță sunt consumatoare de resurse, nu a dezvăluit cheltuielile exacte și a indicat că o parte mică din puterea de calcul a fost folosită pentru siguranță…
• Compania menționează riscul auto-îmbunătățirii recursive și spune că modelele pot dezvolta capacități neașteptate care pot rămâne neobservate până la implementare