Озера данных безопасности появляются для устранения ограничений SIEM

 
 

Каждой группе безопасности требуется четкое представление о конечных точках, сетях, контейнерах, приложениях и других ресурсах организации. Такие инструменты, как обнаружение и реагирование конечных точек (EDR) и расширенное обнаружение и реагирование (XDR), отправляют все больше предупреждений, чтобы обеспечить такую ​​видимость.

К сожалению, высокая плата за хранение и обработку для традиционных инструментов управления информацией и событиями безопасности (SIEM) часто заставляет службы безопасности ограничивать предупреждения и журналы, которые они загружают в инструмент, чтобы контролировать расходы. Это ограничение предупреждений также ограничивает видимость для группы безопасности и ограничивает способность современных инструментов искусственного интеллекта (ИИ) и машинного обучения (МО) изучать и распознавать потенциально вредоносное поведение.

Чтобы устранить это ограничение, появляется новый инструмент: озера данных безопасности (SDL), которые могут предоставить решение, обеспечивающее нефильтрованную видимость для групп безопасности. Однако каковы компромиссы такого подхода?

Что такое СИЭМ?

Организации приобретают информацию о безопасности и инструменты управления событиями для консолидации, управления и анализа предупреждений безопасности. Эти оповещения генерируются ресурсами предприятия, такими как компьютеры, серверы, сетевой трафик и облачные приложения.

Инструменты SIEM принимают предупреждения системы безопасности, обрабатывают различные форматы в общей структуре и анализируют данные. Анализ пытается определить базовый уровень нормального поведения, поэтому злонамеренное и аномальное поведение может быть помечено и передано для проверки. Расширенные SIEM также используют AI или ML для сортировки и определения приоритетов или ранжирования журналов и предупреждений для проверки человеком.

Что такое озеро данных безопасности?

Типичное озеро данных служит репозиторием для организации и содержит неструктурированные данные о продуктах компании, финансовые данные, данные о клиентах, данные о поставщиках и маркетинговую информацию. Озера данных можно легко расширить, чтобы охватить данные о безопасности ресурсов компании и функционировать как озеро данных о безопасности.

Реальную ценность можно извлечь из SDL, которые не только принимают журналы безопасности и оповещения, но также содержат связанную информацию о безопасности, такую ​​как разведывательная информация с открытым исходным кодом (OSINT), каналы внешней разведки об угрозах, базы данных вредоносных программ, базы данных репутации IP-адресов, журналы операций и даже активность в даркнете.

Озера данных безопасности и SIEM: плюсы и минусы

На практике возможности SIEM и SDL могут частично совпадать в зависимости от инструмента и организации. В целях этого сравнения мы сосредоточимся на общих характеристиках SIEM и SDL для типичного продукта в соответствующей категории.

Хранилище

SDL предлагают потенциальные преимущества по сравнению с SIEM в ценообразовании и сроках хранения.

Многие поставщики SIEM взимают плату за объем данных, обработанных и хранимых в их системах, и эта плата может быть довольно высокой, особенно по сравнению с ценами на стандартное хранилище в облаке.

Озера данных хранят данные по чрезвычайно сниженным ценам: менее 25 долларов США в месяц за эквивалент 3 ТБ данных журнала. SDL, совместно использующие хранилище с общей стратегией организации озера данных, могут воспользоваться дополнительными скидками на массовое хранилище от поставщика озера данных.

Что касается временного охвата, типичный SIEM будет хранить журналы и данные предупреждений менее чем за год — часто всего за 90 дней. Хотя эта временная шкала отражает краткосрочное состояние организации, долгосрочные тенденции и закономерности не могут быть распознаны. Для сравнения, озера данных безопасности могут легко масштабироваться и хранить данные безопасности годами, а не днями.

Между огромной экономией средств и гораздо большим временным охватом SDL обладают явным стратегическим и финансовым преимуществом по сравнению с решениями SIEM.

Прием Данных

Когда дело доходит до приема данных, преимущество зависит от реализации или инструментов. Для самообслуживания SDL потребуется гораздо больше работы, чтобы реализовать возможности даже базовых инструментов SIEM или SDL, поэтому этот аспект необходимо учитывать до реализации стратегии SDL.

Журналы и оповещения поступают в файлах различных типов, таких как JSON, XML, PCAP и Syslog. SIEM может иметь ограничения на типы данных, которые он может принимать, но он будет напрямую обрабатывать совместимые журналы событий безопасности и нормализовать их для эффективной и автоматической обработки.

SDL не имеют ограничений на тип данных, которые могут быть загружены, и будут принимать все типы файлов. Любой SDL может загружать журналы и информацию, не связанную с событиями безопасности, например записи о доступе, потоки информации об угрозах и журналы производительности.

Однако ценность этих дополнительных данных будет ограничена, если SDL не сможет обрабатывать данные для поиска и анализа. Некоторые решения SIEM могут взаимодействовать с SDL для обработки данных, а некоторые поставщики SDL обрабатывают и нормализуют данные.

Преимущество в этой категории зависит от возможностей, поскольку общего преимущества между SIEM и SDL нет. Команды безопасности должны будут провести тесты, чтобы убедиться, что их ключевые данные могут быть обработаны для адекватного анализа и поиска.

Кроме того, для команд, привыкших к среде каналов SIEM, оптимизированной для ограниченной обработки данных, некоторые параметры создания журналов могли быть отключены в прошлом. Команды безопасности должны проверить, нужно ли им скорректировать создание файла журнала, чтобы перезапустить создание некоторого файла журнала и убедиться, что преимущество SDL может быть реализовано.

Инфраструктура

Прежде чем кто-либо сможет выявлять угрозы или анализировать информацию, необходимо установить, защитить и поддерживать инфраструктуру. В целом, у SDL нет преимуществ перед инструментами SIEM, но перед принятием стратегии SDL необходимо рассмотреть масштабы перехода и перераспределения обязанностей по управлению ресурсами.

Для тех команд, в которых организация приняла стратегию озера данных в масштабах всей компании, группа безопасности может добавить свои данные в это существующее озеро данных. Эти команды могут даже переложить бремя инфраструктуры на тех, кто управляет общей стратегией озера данных и может обладать превосходными техническими знаниями или опытом работы с озерами данных.

Некоторые инструменты SIEM и SDL встроены для управления подключениями к каналам данных, обработкой данных, анализом, запросами и хранением. Другие не требуют и потребуют, чтобы команда безопасности использовала навыки программирования и опыт работы с данными.

Каждая команда безопасности, использующая самостоятельную SIEM, понимает, как подключить ее к своим каналам данных, защитить инфраструктуру SIEM и как правильно разместить данные в инструменте. Переход на SDL потребует от группы безопасности изучения или создания этих навыков с нуля, если только инструмент SDL не упростит подключение.

В то время как решения SIEM могут иметь преимущество в возможностях поддержки инфраструктуры просто из-за знакомства, они не имеют преимуществ перед SDL в долгосрочной перспективе для управления инфраструктурой. Для организации, решившей внедрить SDL, но не имеющей возможностей управления инфраструктурой, просто необходимо найти более полнофункциональное решение SDL.

Поиск Угроз

Ключевое преимущество технологии SDL перед технологией SIEM связано с поиском угроз. SDL могут хранить больше данных, размещать эти данные дольше, принимать гораздо больше типов данных и использовать все эти дополнительные данные для поиска угроз или для обучения алгоритмов искусственного интеллекта и машинного обучения.

Инструменты SIEM умело анализируют оповещения и могут помечать определенные события для дальнейшего расследования, но поиск угроз обычно должен выполняться вне инструмента. SDL содержат контекстную информацию и интерфейс запроса данных, чтобы помочь охотнику за угрозами в дальнейшем исследовать ключевые оповещения и контекст, необходимый для их понимания.

Однако это преимущество основано на нескольких ключевых допущениях:

  1. Данные принимаются и обрабатываются корректно.
  2. У группы есть кадровые ресурсы для расследования.
  3. Алгоритмы SDL AI или ML по крайней мере так же хороши, как алгоритмы SIEM AI или ML.

Узкий фокус и оповещения, генерируемые SIEM, часто расстраивают группы безопасности, поскольку им не хватает контекста организации, пользователя и аналогичной информации. SDL изначально не улучшают контекст, но надлежащий прием данных и многофункциональные инструменты SDL могут применяться для добавления обогащения данных и контекста во время приема.

Например, вредоносное действие с IP-адресом может быть трудно отследить в среде Wi-Fi, где IP-адреса повторно используются и назначаются динамически. С помощью надежной методологии обработки файл журнала этого IP-адреса может быть связан с пользователями, сопоставлен с хостами, подключен к данным геолокации и т. д.

Оповещения

Что касается предупреждений, инструменты SIEM обрабатывают определенные данные безопасности и предоставляют стандартизированные отчеты и предупреждения на основе этих данных, но некоторые группы не могут поддерживать объем предупреждений. Тем не менее, команды, страдающие от бдительности, могут не найти облегчения при переходе на SDL.

Оценщики должны проводить тесты инструментов вместе с инженерами, использующими их, чтобы убедиться, что любые дополнительные инструменты помогают команде, а не обременяют ее. Некоторые инструменты утверждают, что более эффективный поиск в более широком наборе данных SDL может значительно сократить время расследования, но группам безопасности необходимо проверить эти результаты для себя, прежде чем они обнаружат еще больше предупреждений и больше данных для обработки.

Что касается алгоритмов искусственного интеллекта и машинного обучения, то теоретически ограниченный набор данных может привести к смещению алгоритма и препятствовать надлежащему обучению алгоритма. Нефильтрованный набор данных SDL предлагает возможность более надежного обучения моделей AI и ML для обнаружения угроз и аномалий.

Однако, несмотря на это теоретическое преимущество SDL, в разных инструментах используются разные алгоритмы AI/ML, и менеджерам по безопасности может потребоваться работать с учеными по данным, чтобы гарантировать, что организация выбирает поставщика с подходящими алгоритмами AI/ML. Большинство алгоритмов, как правило, работают как черные ящики, поэтому для проверки производительности AI/ML может потребоваться значительное время тестирования.

Совместимость SIEM с озерами данных безопасности

Тот факт, что SDL предоставляет значительные преимущества для хранения данных и поиска угроз, не означает, что организациям следует отказаться от качественной SIEM. Многие решения SIEM теперь интегрируются с SDL, чтобы попытаться предоставить лучшее из обоих миров.

SIEM могут продолжать анализировать ограниченный набор ключевых журналов для предоставления значимых предупреждений безопасности, а группы безопасности могут вернуться к SDL для изучения этих предупреждений в контексте, предоставленном SDL. SIEM обладают гораздо большим опытом в удовлетворении потребностей групп безопасности, и такие функции, как оповещения, информационные панели и тикеты, будет очень сложно создать с нуля.

Группы безопасности, рассматривающие возможность разработки стратегии SDL, могут легко рассмотреть возможность включения существующих или аналогичных инструментов SIEM, чтобы свести к минимуму нарушение их текущих процессов поиска угроз. Команде безопасности потребуется время, чтобы изучить функции SDL, а интеграция инструмента SIEM может предотвратить падение возможностей поиска угроз во время обучения SDL.

Функции, на которые стоит обратить внимание поставщику Security Data Lake

Возможности и направленность конкретного инструмента SDL варьируются от поставщика к поставщику. Как и поставщики SIEM, поставщики SDL ориентированы на разные типы клиентов и предлагают спектр возможностей от полного обслуживания до самостоятельного анализа данных и управления инфраструктурой.

Однако во всех потенциальных решениях SDL должны присутствовать четыре ключевые возможности:

  • Автоматизированный сбор и синтаксический анализ. Предприятия могут ежедневно получать миллиарды журналов, связанных с безопасностью, и других элементов потока данных. Эффективный SDL должен иметь возможность автоматически принимать данные, преобразовывать их в пригодный для использования формат и анализировать данные для анализа. Инструменты некоторых поставщиков могут подключаться только к ограниченному числу каналов, поэтому оценщики должны изучить, будет ли достаточно API инструмента (интерфейса прикладного программирования) и процессов каналов.
  • Контекст безопасности и сопоставление IP-адресов: журналы событий могут быть связаны с определенными IP-адресами, которые регулярно переназначаются. Чтобы быть полезной для анализа безопасности, информация о безопасности должна быть сопоставлена ​​или связана с соответствующей связанной информацией, такой как имена хостов, MAC-адреса, идентификаторы пользователей и т. д.
  • Упрощенный интерфейс анализа и отчетности: следователи по безопасности должны быть экспертами в области безопасности, а не в программировании. Вместо того, чтобы учиться программировать на аналитическом языке, таком как R, SDL должен иметь простой интерфейс, облегчающий анализ и составление отчетов с минимальными затратами на программирование.
  • Масштабируемая архитектура. Цель SDL — разместить как можно больше данных, поэтому инструменты SDL должны иметь возможность масштабироваться с постоянно растущим размером данных безопасности.

Поставщики озера данных безопасности

Поставщики ниже представляют известных поставщиков SDL из разных категорий. Этот список не является исчерпывающим, и другие поставщики и возможности обязательно будут добавлены в ближайшем будущем.

Элизиум

Elysium работает на Snowflake как дополнительное приложение «программное обеспечение как услуга» (SaaS) для улучшения анализа каналов безопасности с помощью машинного обучения, графических представлений и других функций. Этот инструмент понравится тем, кто хочет использовать SDL с полным спектром услуг через Snowflake.

Я Оставлю

Эксперт по SIEM компания Exabeam расширила свое решение Log Manager, превратив его в продукт Exabeam Data Lake. Он интегрируется с другими продуктами Exabeam, такими как Cloud Connectors, Advanced Analytics и Security Intelligence Platform, для объединения возможностей SDL и SEIM. Этот инструмент понравится тем, кто ищет полный спектр услуг и отдельные возможности SDL.

Озеро Данных Безопасности Gurucul

Gurucul фокусируется на файле журнала и аналитике предупреждений. В то время как клиенты могут указать Gurucul на другие хранилища данных, Gurucul поощряет использование SDL и даже предлагает бесплатный SDL со своими продуктами. Этому инструменту отдадут предпочтение клиенты, которые ищут возможности самообслуживания SDL.

Озеро Данных Безопасности Panther

Panther предоставляет инструмент включения SDL для сбора журналов безопасности, а также анализа, нормализации и анализа данных с помощью более чем 200 настраиваемых обнаружений Python. Panther можно развернуть на AWS или Snowflake, и он автоматически помечает подозрительные события и сохраняет данные в озере данных, размещенном у клиента. Эта услуга понравится клиентам SDL как с полным спектром услуг, так и с самообслуживанием.

Снежинка

Как лидер в области размещения и анализа озер данных, Snowflake также предлагает собственные решения для изучения данных о кибербезопасности с помощью инструмента Snowflake. Этот инструмент понравится клиентам, которым нужен полный спектр услуг SDL.

Варада

Varada подключается к существующему озеру данных или другому виртуальному частному облачному решению, чтобы ускорить поиск аналитики безопасности. По оценкам Varda, 90% вычислительных ресурсов тратится на сканирование данных для поиска, что она пытается устранить с помощью более эффективного поиска и кэширования данных, чтобы выполнять поиск в 100 раз быстрее и до 60% дешевле. Этот инструмент будет предложен клиентам, которые ищут возможность самообслуживания SDL.

Выбор решения SDL или SIEM

Хотя некоторые поставщики утверждают, что озера данных безопасности заменят решения SIEM, не все решения SDL соответствуют функциям и возможностям оповещения всех инструментов SIEM. Организации, рассматривающие SDL, должны проверить свои возможности SDL и даже могут принять решение об интеграции с SIEM.

SDL остаются технологией, находящейся в разработке. Инструменты, поддерживающие SDL, могут иметь узкие возможности, и качество этих инструментов также различается, что затрудняет оценку.

Как и в случае с любым продуктом в области ИТ или безопасности, клиенты должны отделить свой анализ от шумихи и действительно понимать свои собственные возможности и то, что они хотят от своего решения для обеспечения безопасности. При таком понимании оценка конкретных технологий и потенциальных поставщиков становится гораздо более целенаправленной и простой в выполнении.

3D-печать5GABC-анализAndroidAppleAppStoreAsusCall-центрCRMDellDNSDrupalFacebookFMCGGoogleHuaweiInstagramiPhoneLinkedInLinuxMagentoMicrosoftNvidiaOpenCartPlayStationPOS материалPPC-специалистRuTubeSamsungSEO-услугиSMMSnapchatSonyStarlinkTikTokTwitterUbuntuUp-saleViasatVPNWhatsAppWindowsWordPressXiaomiYouTubeZoomАвдеевкаАктивные продажиАкцияАлександровск ЛНРАлмазнаяАлчевскАмвросиевкаАнализ конкурентовАнализ продажАнтимерчандайзингАнтрацитАртемовскАртемовск ЛНРАссортиментная политикаБелгородБелицкоеБелозерскоеБердянскБизнес-идеи (стартапы)БрендБрянкаБукингВахрушевоВендорВикипедияВирусная рекламаВирусный маркетингВладивостокВнутренние продажиВнутренний маркетингВолгоградВолновахаВоронежГорловкаГорнякГорскоеДебальцевоДебиторкаДебиторская задолженностьДезинтермедитацияДзержинскДивизионная система управленияДизайнДимитровДирект-маркетингДисконтДистрибьюторДистрибьюцияДобропольеДокучаевскДоменДружковкаЕкатеринбургЕнакиевоЖдановкаЗапорожьеЗимогорьеЗолотоеЗоринскЗугрэсИжевскИловайскИрминоКазаньКалининградКировскКировскоеКомсомольскоеКонстантиновкаКонтент-маркетингКонтент-планКопирайтингКраматорскКрасноармейскКрасногоровкаКраснодарКраснодонКраснопартизанскКрасный ЛиманКрасный ЛучКременнаяКураховоКурскЛисичанскЛуганскЛутугиноМакеевкаМариупольМаркетингМаркетинговая информацияМаркетинговые исследованияМаркетинговый каналМаркетинг услугМаркетологМарьинкаМедиаМелекиноМелитопольМенеджментМерчандайзерМерчандайзингМиусинскМолодогвардейскМоскваМоспиноНижний НовгородНиколаевНиколаевкаНишевой маркетингНовоазовскНовогродовкаНоводружескНовосибирскНумерическая дистрибьюцияОдессаОмскОтдел маркетингаПартизанский маркетингПервомайскПеревальскПетровскоеПопаснаяПравило ПаретоПривольеПрогнозирование продажПродвижение сайтов в ДонецкеПромоПромоушнПрямой маркетингРабота для маркетологаРабота для студентаРазработка приложенийРаспродажаРегиональные продажиРекламаРеклама на асфальтеРемаркетингРетро-бонусРибейтРитейлРовенькиРодинскоеРостов-на-ДонуРубежноеСамараСанкт-ПетербургСаратовСватовоСвердловскСветлодарскСвятогорскСевастопольСеверодонецкСеверскСедовоСейлз промоушнСелидовоСимферопольСинергияСколковоСлавянскСнежноеСоздание сайтов в ДонецкеСоледарСоциальные сетиСочиСтаробельскСтаробешевоСтахановСтимулирование сбытаСуходольскСчастьеТелемаркетингТельмановоТираспольТорговый представительТорезТрейд маркетингТрейд промоушнТюменьУглегорскУгледарУкраинскХабаровскХарцызскХерсонХостингЦелевая аудиторияЧасов ЯрЧелябинскШахтерскЮжно-СахалинскЮнокоммунаровскЯндексЯсиноватая