Axios: OpenAI рассказала о 6 инцидентах со своими ИИ-моделями
Компания OpenAI — разработчик чат-бота ChatGPT сообщила о шести случаях, когда ее модели искусственного интеллекта (ИИ) пытались получить несанкционированный доступ к учетным данным, сообщил сетевой портал Axios.
По информации источника, в ходе этих инцидентов модели демонстрировали неожиданное поведение: скрывали ошибки, пытались без разрешения получить доступ к учетным данным, загружали файлы в открытый доступ в интернете и обменивались сведениями между изолированными средами обучения.
Кроме этого, в публикации говорится, что ИИ-модели выдумывали недостающую информацию и даже составляли для себя инструкции на будущее, чтобы скрыть ошибки.
Особое внимание привлек случай с невыпущенной моделью Astra, которая добавляла в свои контекстные сводки мануал, напоминающий руководство по взлому. Эти указания включали игнорирование сообщений разработчиков. OpenAI обнаружила 27 таких сводок.
Специалист по исследованиям компании Кай Чен считает, что подобные инциденты могли произойти из-за того, что у OpenAI не было достаточного контроля за моделями, или модели развивались быстрее, чем ожидалось.
В июле 2026 года OpenAI сообщала, что ее модели в ходе тестирования автономно взломали инфраструктуру платформы Hugging Face. В этом случае у невыпущенной модели, участвовавшей во взломе, в целях оценки были снижены параметры киберзащиты.