ИИ и контроль: токены Пентагона, агенты-хакеры на PyPI и научный слоп

Ни для кого не секрет, что люди часто халатно относятся к ИИ и доверяют ему излишне.

Представьте: вы покупаете камеру видеонаблюдения, а в её прошивке находится административный токен доступа к сотням репозиториев GitHub производителя. Или вы решаете сделать проект или написать статью по академической работе, а эта работа оказывается нейрослопом.

Люди пытаются бороться с этим — кое-где закрывают баг-баунти-программы, где-то PR, сгенерированные ИИ, не принимают.

В этой статье я хочу рассказать о ситуациях, связанных с халатностью разработчиков, атаками агентов и кризисом доверия. А также попробуем выяснить: это отдельные ошибки или уже системный сбой?

Читать далее