CodeQL начал находить инъекции в system prompt: безопасность ИИ как поток данных в CI

Tech

CodeQL 2.26.0 делает проверяемой границу доверия между вводом пользователя, системными инструкциями и описаниями инструментов.

CodeQL 2.26.0 делает проверяемой границу доверия между вводом пользователя, системными инструкциями и описаниями инструментов.
Статический анализ — только один слой. Косвенный контент из веба, почты и RAG требует adversarial-тестов; инструменты нуждаются в серверной авторизации и изоляции арендаторов.

Что произошло

GitHub выпустил CodeQL 2.26.0 10 июля 2026 года. Запрос `js/system-prompt-injection` отслеживает недоверенные значения до системных инструкций и описаний инструментов.

Почему это важно

Запрос моделирует API OpenAI, Anthropic и Google GenAI. Свободный текст следует передавать как user-сообщение или структурированный параметр, а динамические инструкции ограничивать allowlist.

Сигналы сообщества

Статический анализ — только один слой. Косвенный контент из веба, почты и RAG требует adversarial-тестов; инструменты нуждаются в серверной авторизации и изоляции арендаторов.

Влияние на разработку и эксплуатацию

Начните с режима аудита, затем блокируйте новые достоверные пути и повторяйте проверки при изменении модели, SDK, prompt или инструментов.

Чек-лист на неделю

Обновите пакет CodeQL.

Перенесите свободный ввод в user-сообщения или структурированные параметры.

Проверяйте права и подтверждения на сервере.

Риски и возражения

Начните с режима аудита, затем блокируйте новые достоверные пути и повторяйте проверки при изменении модели, SDK, prompt или инструментов.

Источники