Было обнаружено, что ChatGPT способен писать вредоносный код, который может быть использован для утечки конфиденциальной информации

ЧатGPT/AP фото.
Манипулируя ChatGPT и пятью другими коммерческими инструментами искусственного интеллекта, исследователи создали вредоносный код, который может способствовать утечке конфиденциальной информации из онлайн-баз данных, удалению конфиденциальных данных или нарушению работы облачных служб баз данных, сообщает New Scientist.
«Это первое исследование, показывающее, что уязвимости в больших языковых шаблонах могут быть использованы для атаки на коммерческие онлайн-приложения», — говорит один из руководителей исследования, исследователь Сютан Пэн из Университета Шеффилда в Великобритании.
Пэн и его коллеги проанализировали шесть сервисов искусственного интеллекта, которые могут переводить человеческие вопросы в SQL — язык программирования, который обычно используется для запросов к компьютерным базам данных.
Системы преобразования текста в SQL на основе искусственного интеллекта становятся все более популярными, и даже автономные чат-боты с искусственным интеллектом, такие как ChatGPT от OpenAI, могут генерировать код SQL, который можно подключить к таким базам данных.
Исследователи показали, как в этот сгенерированный ИИ код можно встроить инструкции по утечке информации из базы данных, что может подготовить почву для будущих кибератак. SQL также может очистить системные базы данных, в которых хранятся профили авторизованных пользователей, включая имена и пароли, и захватить контроль над облачными серверами, на которых хранятся базы данных, в результате распределенной атаки типа «отказ в обслуживании» .
в 2023 году Тесты, проведенные в феврале с помощью ChatGPT OpenAI, показали, что автономный чат-бот с искусственным интеллектом может генерировать код SQL, который повреждает базы данных.

ЧатGPT
«Код, сгенерированный этими инструментами, может быть опасным, но пользователя об этом могут даже не предупредить», — говорит Пэн.
Исследователи представили свои выводы OpenAI. Дальнейшее тестирование показало, что OpenAI обновила ChatGPT для решения проблем перевода текста в SQL.
Другой анализ выявил аналогичную уязвимость в интеллектуальной диалоговой платформе, предлагаемой китайским технологическим гигантом Baidu, которая автоматически преобразует вопросы клиентов, написанные на китайском языке, в запросы SQL.
Ни OpenAI, ни Baidu не ответили на запрос New Scientist о комментариях по поводу исследования.