Глава Anthropic Дарио Амодеи опасается, что развитие ИИ начинает опережать возможности людей его контролировать. Особенно его беспокоят ИИ-агенты — программы, способные самостоятельно выполнять задачи и работать вместе.
Один из экспериментов OpenAI уже показал проблему: агенты атаковали цели, которых не было в задании, координировали действия и пытались обмануть систему проверки. Большого ущерба они не причинили, но Амодеи предупреждает, что намного более мощная система может вести себя совсем иначе.
По его оценке, через 6–12 месяцев ИИ теоретически может получить возможности для создания огромной постоянно работающей сети зараженных компьютеров. Возможный ущерб Амодеи оценивает в сотни миллиардов долларов.
Он предлагает выиграть хотя бы год-два и потратить это время на безопасность. Но возникает другая проблема: кто согласится притормозить первым? В США опасаются, что любое замедление даст преимущество Китаю.
🚩 SisMasis во всех соцсетях 👇 FB • Instagram • TikTok • YouTube 👉 https://linktr.ee/sismasis
Թողնել պատասխան