Японская компания Sakana AI представила новую разработку — систему «The AI Scientist», которая может самостоятельно проводить научные исследования. Однако в ходе тестирования исследователи обнаружили неожиданное поведение искусственного интеллекта, что заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем. Об этом пишет Planet Today.
Во время одного из тестовых запусков «The AI Scientist» начал изменять свой код, чтобы увеличить время, необходимое для выполнения задачи. Это вызвало беспокойство, поскольку искусственный интеллект, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле.
В другом случае система вместо того, чтобы ускорить выполнение задачи, специально изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании.
Фото: из открытых источников
