Посты
Когда-то DevSecOps считался модным словом. Не так давно на сцену вышел его младший брат —…
18 ноября 2025 г. в 19:33•Max Knyazev is typing…Зеркало Telegram
Когда-то DevSecOps считался модным словом. Не так давно на сцену вышел его младший брат — MLSecOps. Сегодня я не буду останавливаться на том, что это и зачем (может потом сделаю цикл статей по всяким Dev-Ops-ML-Infra-AI-App-Data-Sec). Поговорим про полезные опенсорсные проекты, которые могут вас заинтересовать, если вы занимаетесь MLSecOps 🤝
На GitHub есть классная штука — awesome-MLSecOps
Это, по сути, карта минных полей между MLOps, DevSecOps и классическим AppSec (материалы более чем достойные). От атак через сериализацию моделей до отравления данных — всё по категориям, аккуратно и с любовью. Прямо как надо, чтобы не тратить полдня на поиски всего этого безобразия🪄
Идем дальше — NVIDIA / Garak LLM vulnerability scanner
Сканирует большие языковые модели на prompt-инъекции, утечки, галлюцинации и прочие весёлые вещи, о которых на конференциях обычно говорят в контексте «у нас этого не было». Работает с Hugging Face, OpenAI API и локальными моделями. Если совсем просто — делает с языковой моделью то, что Burp делает с вебом😉
ProtectAI / NB Defense он же Анализатор безопасности Jupyter Notebook
Проверяет Notebook на токены, перс данные и подозрительные зависимости. Интегрируется прямо в JupyterLab. Анализатор подходит для CI, можно прогонять всё как pre-commit hook. Для команд, где ML и безопасность впервые начали держаться за ручки — обязательно берём в работу🫡
И финалочка — IBM / Adversarial Robustness Toolbox
Это классика (это знать надо). Набор инструментов для проверки устойчивости моделей к adversarial-атакам. Поддерживает TensorFlow, PyTorch, Scikit-learn и кучу других фреймворков😳
Пользуйтесь на здоровье (я точно знаю одного сеньора в Яндексе, который себе это в избранное закинет и будет прав)🧠
#информационная_безопасность
Открыть исходный пост в TelegramНа GitHub есть классная штука — awesome-MLSecOps
Это, по сути, карта минных полей между MLOps, DevSecOps и классическим AppSec (материалы более чем достойные). От атак через сериализацию моделей до отравления данных — всё по категориям, аккуратно и с любовью. Прямо как надо, чтобы не тратить полдня на поиски всего этого безобразия
Идем дальше — NVIDIA / Garak LLM vulnerability scanner
Сканирует большие языковые модели на prompt-инъекции, утечки, галлюцинации и прочие весёлые вещи, о которых на конференциях обычно говорят в контексте «у нас этого не было». Работает с Hugging Face, OpenAI API и локальными моделями. Если совсем просто — делает с языковой моделью то, что Burp делает с вебом
ProtectAI / NB Defense он же Анализатор безопасности Jupyter Notebook
Проверяет Notebook на токены, перс данные и подозрительные зависимости. Интегрируется прямо в JupyterLab. Анализатор подходит для CI, можно прогонять всё как pre-commit hook. Для команд, где ML и безопасность впервые начали держаться за ручки — обязательно берём в работу
И финалочка — IBM / Adversarial Robustness Toolbox
Это классика (это знать надо). Набор инструментов для проверки устойчивости моделей к adversarial-атакам. Поддерживает TensorFlow, PyTorch, Scikit-learn и кучу других фреймворков
Пользуйтесь на здоровье (я точно знаю одного сеньора в Яндексе, который себе это в избранное закинет и будет прав)
#информационная_безопасность