Microsoft Counterfit

Описание

Microsoft Counterfit — это открытый (open-source) инструмент автоматизации от Microsoft, предназначенный для оценки безопасности систем искусственного интеллекта (ИИ), в частности их устойчивости к состязательным атакам (adversarial attacks). Состязательные атаки направлены на то, чтобы обмануть AI-модели (например, системы компьютерного зрения или обработки естественного языка) путем внесения незначительных, часто незаметных для человека изменений во входные данные, которые приводят к неправильным предсказаниям модели. Microsoft Counterfit использует автоматизированные методы для генерации таких "состязательных примеров" и тестирования AI-моделей на уязвимость к различным типам атак. Инструмент разработан как агностический к платформе и типу модели, позволяя оценивать безопасность ИИ-систем, развернутых в различных средах (облако, локально, периферийные устройства) и использующих различные фреймворки МО. Цель Counterfit — помочь разработчикам и специалистам по безопасности выявлять потенциальные слабые места в своих AI-системах до того, как они будут использованы злоумышленниками, способствуя созданию более надежного и безопасного ИИ. Инструментарий позволяет автоматизировать процесс тестирования на устойчивость, что особенно важно при работе с большим количеством моделей или их частых обновлениях.