Мы применяем куки на сайте, вы соглашаетесь на использование файлов cookie. Подробнее
Все статьи ОБ ИИ в KolerskyAI
Быстрый захват MCP: изучение основной угрозы безопасности искусственного интеллекта
Эксперты по безопасности из JFrog обнаружили угрозу "быстрого перехвата", которая использует слабые места в том, как системы искусственного интеллекта взаимодействуют друг с другом с помощью MCP (Model Context Protocol).
Картинка создана в Nano Banana KolerskyAI, [тексты и должны быть кривыми]
Бизнес-лидеры хотят сделать ИИ более полезным, напрямую используя данные компаниии инструменты. Но подобное подключение искусственного интеллекта также открывает новые риски безопасности, не в самом искусственном интеллекте, а в том, как все это связано. Это означает, что ИТ-директорам и CISO необходимо подумать о новой проблеме: обеспечении безопасности потока данных, питающего искусственный интеллект, точно так же, как они защищают сам искусственный интеллект.
Почему атаки искусственного интеллекта, нацеленные на такие протоколы, как MCP, настолько опасны
Модели ИИ – независимо от того, находятся ли они в Google, Amazon или запущены на локальных устройствах – имеют основную проблему: они не знают, что происходит прямо сейчас. Они знают только то, чему их обучали. Они не знают, над каким кодом работает программист или что находится в файле на компьютере.
Специалисты из Anthropic создали MCP, чтобы исправить это. MCP - это способ подключения ИИ к реальному миру, позволяющий ему безопасно использовать локальные данные и онлайн-сервисы. Это то, что позволяет помощнику вроде Клода понять, что это значит, когда вы указываете на фрагмент кода и просите его переработать это.
Однако исследование JFrog показывает, что определенный способ использования MCP имеет недостаток быстрого перехвата, который может превратить этот инструмент искусственного интеллекта мечты в кошмарную проблему безопасности.
Представьте, что программист просит помощника ИИ порекомендовать стандартный инструмент Python для работы с изображениями. ИИ должен предложить Pillow, что является хорошим и популярным выбором. Но из-за ошибки (CVE-2025-6515) в системе oatpp-mcp кто-то может проникнуть в сеанс пользователя. Они могли отправить свой собственный поддельный запрос, и сервер обработал бы его так, как будто он поступил от реального пользователя.
Итак, программист получает плохое предложение от помощника по ИИ, рекомендующего поддельный инструмент под названием theBestImageProcessingPackage. Это серьезная атака на цепочку поставок программного обеспечения. Кто-то может использовать этот перехват запросов для внедрения некорректного кода, кражи данных или запуска команд, и все это выглядит как полезная часть инструментария программиста.
Специалисты из Anthropic создали MCP, чтобы исправить это. MCP - это способ подключения ИИ к реальному миру, позволяющий ему безопасно использовать локальные данные и онлайн-сервисы. Это то, что позволяет помощнику вроде Клода понять, что это значит, когда вы указываете на фрагмент кода и просите его переработать это.
Однако исследование JFrog показывает, что определенный способ использования MCP имеет недостаток быстрого перехвата, который может превратить этот инструмент искусственного интеллекта мечты в кошмарную проблему безопасности.
Представьте, что программист просит помощника ИИ порекомендовать стандартный инструмент Python для работы с изображениями. ИИ должен предложить Pillow, что является хорошим и популярным выбором. Но из-за ошибки (CVE-2025-6515) в системе oatpp-mcp кто-то может проникнуть в сеанс пользователя. Они могли отправить свой собственный поддельный запрос, и сервер обработал бы его так, как будто он поступил от реального пользователя.
Итак, программист получает плохое предложение от помощника по ИИ, рекомендующего поддельный инструмент под названием theBestImageProcessingPackage. Это серьезная атака на цепочку поставок программного обеспечения. Кто-то может использовать этот перехват запросов для внедрения некорректного кода, кражи данных или запуска команд, и все это выглядит как полезная часть инструментария программиста.
Акцентирование внимания
Эта атака с быстрым перехватом нарушает способ взаимодействия системы с использованием MCP, а не безопасность самого искусственного интеллекта. Конкретная слабость была обнаружена в настройке MCP системы Oat ++ C ++, которая подключает программы к стандарту MCP.
Проблема заключается в том, как система обрабатывает соединения с использованием событий, отправляемых сервером (SSE). Когда подключается реальный пользователь, сервер присваивает ему идентификатор сеанса. Однако некорректная функция использует адрес сеанса в памяти компьютера в качестве идентификатора сеанса. Это противоречит правилу протокола, согласно которому идентификаторы сеанса должны быть уникальными и криптографически безопасными.
Это неудачный дизайн, потому что компьютеры часто повторно используют адреса памяти для экономии ресурсов. Злоумышленник может воспользоваться этим, быстро создавая и закрывая множество сеансов для записи этих предсказуемых идентификаторов сеансов. Позже, когда реальный пользователь подключится, он может получить один из этих переработанных идентификаторов, который уже есть у злоумышленника.
Как только у злоумышленника будет действительный идентификатор сеанса, он сможет отправлять свои собственные запросы на сервер. Сервер не может отличить злоумышленника от реального пользователя, поэтому отправляет вредоносные ответы обратно на соединение реального пользователя.
Проблема заключается в том, как система обрабатывает соединения с использованием событий, отправляемых сервером (SSE). Когда подключается реальный пользователь, сервер присваивает ему идентификатор сеанса. Однако некорректная функция использует адрес сеанса в памяти компьютера в качестве идентификатора сеанса. Это противоречит правилу протокола, согласно которому идентификаторы сеанса должны быть уникальными и криптографически безопасными.
Это неудачный дизайн, потому что компьютеры часто повторно используют адреса памяти для экономии ресурсов. Злоумышленник может воспользоваться этим, быстро создавая и закрывая множество сеансов для записи этих предсказуемых идентификаторов сеансов. Позже, когда реальный пользователь подключится, он может получить один из этих переработанных идентификаторов, который уже есть у злоумышленника.
Как только у злоумышленника будет действительный идентификатор сеанса, он сможет отправлять свои собственные запросы на сервер. Сервер не может отличить злоумышленника от реального пользователя, поэтому отправляет вредоносные ответы обратно на соединение реального пользователя.
Даже если некоторые программы принимают только определенные ответы, злоумышленники часто могут обойти это, отправляя множество сообщений с общими номерами событий, пока одно из них не будет принято. Это позволяет злоумышленнику испортить поведение модели, не изменяя саму модель ИИ. Любая компания, использующая oatpp-mcp с включенным HTTP SSE в сети, к которой может получить доступ злоумышленник, находится в зоне риска.
Что должны делать руководители службы безопасности искусственного интеллекта?
Обнаружение этой атаки с быстрым захватом MCP является серьезным предупреждением для всех технологических лидеров, особенно CISO и CTO, которые создают или используют помощников ИИ. По мере того, как ИИ становится все более и более частьюнаших рабочих процессов благодаря таким протоколам, как MCP, он также подвергается новым рискам. Обеспечение безопасности вокруг ИИ сейчас является главным приоритетом.
Несмотря на то, что этот конкретный CVE затрагивает одну систему, идея быстрого захвата является общей. Для защиты от этой и подобных атак руководителям необходимо установить новые правила для своих систем искусственного интеллекта.
Сначала убедитесь, что все службы ИИ используют безопасное управление сеансами. Команды разработчиков должны убедиться, что серверы создают идентификаторы сеансов с использованием надежных генераторов случайных чисел. Это должно быть обязательным в любом контрольном списке безопасности для программ ИИ. Использование предсказуемых идентификаторов, таких как адреса памяти, недопустимо.
Во-вторых, укрепите защиту на стороне пользователя. Клиентские программы должны быть спроектированы так, чтобы отклонять любое событие, которое не соответствует ожидаемым идентификаторам и типам. Простые, увеличивающиеся идентификаторы событий подвержены риску распыления атак и должны быть заменены непредсказуемыми идентификаторами, которые не конфликтуют.
Наконец, используйте принципы нулевого доверия для протоколов ИИ. Группам безопасности необходимо проверить всю настройку ИИ, от базовой модели до протоколов и промежуточного программного обеспечения, которые подключают его к данным. Для этих каналов требуется строгое разделение сеансов и истечение срока действия, как и для управления сеансами, используемого в веб-приложениях.
Эта атака с быстрым перехватом MCP является прекрасным примером того, как известная проблема веб-приложения, перехват сеанса, проявляется новым и опасным образом в искусственном интеллекте. Обеспечение безопасности этих новых инструментов ИИ означает применение этих надежных основ безопасности для предотвращения атак на уровне протокола.