Машинное обучение для обнаружения аномалий
Аномалия – это что-то странное, необычное или просто отклонение от нормы, от общей закономерности. В области машинного обучения аномалии представляют собой данные, которые находятся за пределами ожидаемого результата. Аномалия может возникнуть случайно или умышлено, но аномалия обычно бывает неожиданной и потенциально нежелательной.
Аномалии бывают двух видов:
• отклонения, когда данные не согласуются с остальными данными. Отклонение может проявляться во многих формах, но определяющей характеристикой является то, что оно определенно нежелательно, поскольку искажает любой анализ, выполняемый с его использованием. • новшества, когда данные выходят за рамки обычного результата, но на самом деле они соответствуют остальным данным. В этом случае данные представляют собой новый пример, который необходимо учитывать в рамках любого анализа.Таким образом, часть проблемы заключается в том, что оба вида аномалий находятся за пределами нормы, но один из них желателен, а другой - нет. Прежде чем приступить к устранению неполадок, приложение для машинного обучения должно предоставить некоторые средства определения того, являются ли данные отклонением или новшеством.
Прежде чем узнать о существовании аномалии, ее необходимо обнаружить. При возникновении аномалии важно, как можно скорее ее обнаружить. В отличие от многих областей безопасности не существует методов прогнозирования возникновения аномалий, поскольку аномалии по своей природе совершенно неожиданны и непредсказуемы.
Система обнаружения аномалий использует метод обучения без учителя. Это позволяет модели надежно справляться с неизвестными ситуациями, что часто является требованием при работе с данными из неизвестного источника. Обучение с учителем основывается на помеченных данных, чтобы правильно обучить модель распознавать хорошие и плохие данные. Это позволяет модели принимать решения с меньшим количеством ложных срабатываний и ложноотрицательных результатов, но может привести к неправильной классификации отклонений.
Сегодня многие системы обнаружения сетевых вторжений основаны на сочетании обнаружения аномалий и сигнатурного обнаружения. Причина использования обоих подходов заключается в создании сценария глубокой защиты, в котором тот или иной метод обнаружения, вероятно, выявит любую проблему. Функция обнаружения аномалий является гибкой и позволяет практически мгновенно реагировать на новые угрозы. Функция обнаружения сигнатур обеспечивает надежное решение для известных угроз, поскольку она обнаруживает их на основе определенной сигнатуры.
Основное преимущество использования этой комбинации заключается в том, что обнаружение аномалий в некоторых ситуациях приводит к большому количеству ложных срабатываний, в то время как обнаружение сигнатур, как известно, обеспечивает очень низкое количество ложных срабатываний в одних и тех же ситуациях. Обнаружение аномалий также в большинстве случаев происходит медленнее, чем обнаружение сигнатур, поскольку данные должны пройти процесс анализа. Однако система обнаружения аномалий отлично подходит для обнаружения эксплойтов нулевого дня и незаменима для продвинутых хакеров, которые знают, как изменить сигнатуру вектора атаки настолько, чтобы обмануть систему обнаружения сигнатур.
Чтобы увидеть реальную угрозу, обе системы обнаружения должны получать данные, которые требуют анализа. Необходимо анализировать данные, получаемые с сетевых интерфейсов, конечных устройств, межсетевого экрана веб-приложений.
Любой генератор данных может создавать аномальные данные случайно, в результате стихийных бедствий, системного сбоя или по какой-либо другой причине, поэтому необходимо отслеживать, какие именно данные создает генератор.
Разработка нескольких уровней обнаружения - это стратегия, которую большинство экспертов по безопасности считают критически важной для сдерживания волны хакерских атак. Однако также важно понимать, что сочетание обнаружения аномалий с помощью машинного обучения совместно с другими программными стратегиями не решит проблему полностью, поскольку проблема связана с автоматизацией. Чтобы иметь наибольшие шансы на успех, необходимо наличие специалистов, которые помогут увидеть закономерности в создании, использовании и модификации данных, которые являются аномальными по своей природе.
