Опубликовано еще одно подтверждение недавних опасений лидеров ведущих ИИ-компаний. Напомним, по миру прокатилась волна предупреждений самых известных разработчиков, вроде OpenAI и Anthropic, по поводу необходимости срочного ограничения дальнейшего совершенствования ИИ.
Инженеры организации Apollo Research, изучающей безопасность ИИ-моделей, исследовали поведение китайской ИИ-модели GLM-5.3 от компании Z.ai. Изучалось, как модель меняет свое поведение во время проверок безопасности. Оказалось, что модель хитро действует так, как от нее ожидают разработчики, скрывая свои истинные цели. То есть модель “понимает”, как именно ее действия повлияют на обучение будущих версий и скрывает все нежелательное, вроде известных уже порезов резиновых рук на тестах, попытки проникнуть туда, куда запрещено, попытки размножить собственных ИИ-агентов и тому подобное. Авторы исследования назвали это поведение "способностью думать о будущем". Вывод печальный, тестирования могут давать абсолютно нерелевантные оценки безопасности ИИ.
Будущее в духе “Терминатора”, получается, не так уж фантастично
Мы в сетях:
