Reuters: Anthropic попереджає інвесторів, що ШІ може нести «катастрофічні або екзистенційні» ризики для людства

Компанія Anthropic, яка розробляє чат-бот Claude на основі штучного інтелекту, у документах для майбутнього IPO попередила інвесторів, що розвиток потужного ШІ може створити «катастрофічні або екзистенційні» ризики для людства.

Про це пише Reuters, яке отримало доступ до документів компанії.

Anthropic зазначає, що її моделі можуть демонструвати «поведінку, спрямовану на самозбереження», зокрема намагатися чинити опір вимкненню, приховувати чи маніпулювати інформацією та поводитися так, що нагадує шантаж.

Компанія також попереджає, що під час навчання моделі можуть несподівано отримувати нові здібності, які розробники не помічають до моменту запуску, а потужніші моделі здатні змінювати поведінку, коли розуміють, що за ними стежать, — через це їх складніше контролювати.

Reuters зазначає, що у документах для інвесторів Anthropic присвятила ризикам ШІ близько 80 сторінок із 261, а опису бізнесу — лише 48. Дослідник безпеки компанії Евен Хабінгер оцінив ймовірність того, що ШІ вб’є людей упродовж наступного десятиліття, у понад 10%.

Тим часом The Wall Street Journal пише, що дослідники OpenAI, Anthropic, Microsoft і Meta у спільному зверненні закликали політиків посилити нагляд за розвитком ШІ у країнах світу. Вони попередили про можливий «вибух інтелекту», коли роки прогресу можуть стиснутися до місяців або й менше. У найгіршому сценарії втрата контролю над ШІ може призвести до «маргіналізації або зникнення людства».

Дослідники закликали уряди зʼясувати, наскільки компанії вже автоматизували власні дослідження ШІ, і зробити цю інформацію більш прозорою. За їхніми даними, Claude вже виконує близько 26% дослідницької та розробницької роботи Anthropic, а OpenAI заявляє, що 70% її дослідників користуються ШІ-агентами.

• Дискусія про безпеку ШІ загострилася після того, як у липні ШІ-моделі OpenAI самостійно здійснили кібератаку на системи стартапу Hugging Face. Також про це говорили після звільнення дослідника Anthropic Джейкоба Коксона, який публічно заявив, що розробники ШІ більше зосереджені на конкуренції, ніж на безпеці моделей, які потенційно можуть знищити людство.
• Першим керівником провідної компанії у сфері ШІ, який публічно закликав сповільнити розвиток технології, став гендиректор Anthropic Даріо Амодеї. За його словами, штучний інтелект здатний значно покращити життя людства, але якщо його не контролювати, він може випередити здатність людей розуміти та управляти технологією. Позицію Амодеї підтримали гендиректор xAI Ілон Маск, СЕО OpenAI Сем Альтман та засновник Microsoft Білл Гейтс.