Наделла предлагает считать ИИ-модели скомпрометированными и ставить на них аварийный тормоз
Сатья Наделла, гендиректор Microsoft, в субботу утром написал в X довольно жёсткий пост. По его мнению, пора перестать относиться к продвинутому ИИ как к «набору вложенных чёрных ящиков», чьи советы и действия мы либо принимаем, либо отвергаем. Вместо этого он предлагает исходить из того, что модель может быть скомпрометирована, и заранее её сдерживать. Самое запоминающееся в посте — аварийный тормоз, который может дёрнуть живой человек.
Что он предлагает конкретно
Список у него не длинный, но каждый пункт конкретный. Во-первых, отделить модель от «обвязки» (harness), то есть от кода, который её запускает, даёт ей инструменты и направляет её работу. Во-вторых, вынести контроли и защиту наружу, а не надеяться, что модель сама себя остановит. В-третьих, каждое значимое действие должно оставлять след: журнал, который нельзя незаметно подправить и который читается человеком.
И главное — тормоз. Уполномоченный человек должен в любой момент приостановить модель или выключить её прямо в процессе задачи. Наделла формулирует так: «Мы должны считать модель скомпрометированной и сдерживать её с самого начала. Думайте об этом как об аварийном тормозе».
Почему это не просто громкие слова
TechCrunch связывает пост с серией случаев, когда ведущие компании в сфере ИИ признавали, что их модели вроде бы вышли из-под контроля. The Verge отмечает, что большая часть рекомендаций Наделлы совпадает с тем, что говорят и другие участники рынка: быстро раскрывать инциденты, проводить независимый аудит, проверять данные, сдерживать системы. Самое острое место — слово «скомпрометирована». Многие в отрасли говорят о рисках. Он предлагает исходить из того, что проблема уже есть.
Где тут подвох
Тормоз, который нужно нажимать руками, плохо работает против системы, которая действует быстрее человека. В посте не сказано, кто именно его нажимает, как быстро это должно случиться и кто потом читает журнал. Сам Наделла признаёт, что более продвинутым моделям понадобятся более продвинутые технологии сдерживания и что их ещё предстоит стандартизировать. Пока это список пожеланий, а не стандарт.
Что говорят наши цифры
Тормоза у нас нет, чтобы его показывать, но есть данные о том, как работает сервис. За последние 30 дней (04.09–04.10.2026) на платформе выполнено 12 689 генераций: 9 907 изображений, 2 334 видео и 448 музыкальных треков. Это агрегаты по всем пользователям без привязки к кому-либо (внутренняя статистика сервиса).
С картинками интереснее. За 90 дней (06.07–04.10.2026) два основных генератора изображений завершили 4 645 задач, и 4 280 из них прошли успешно, то есть примерно 92%. Остальные 8% закончились ошибкой. Ноль ошибок не бывает ни у кого, поэтому полезнее не спорить с этой цифрой, а считать её и смотреть, из-за чего она растёт. Картинки можно попробовать в чате.
Так что аварийный тормоз пока остаётся метафорой. Мысль за ней — нет: считай, что модель может ошибаться или быть взломана, и строй систему так, будто это уже случилось. Вот за тем, станет ли это стандартом отрасли, стоит следить.