Обзор новых возможностей Splunk 6.3

22 сентября 2015 года компанией Splunk была представлена очередная версия платформы Splunk Enterprise – 6.3. В данном обзоре мы рассмотрим основные изменения и новые функции, появившиеся в версии 6.3.

Повышение эффективности использования ресурсов

Релиз 6.3 фокусируется на производительности и управляемости вместе со снижением совокупной стоимости владения (Total Cost of Ownership, TCO). Теперь Splunk Enterprise более эффективно использует аппаратные мощности. В зависимости от рабочей нагрузки и конфигурации системы, при переходе с 6.2 на 6.3 возможно достичь следующих результатов: повышение скорости поисковых запросов в 2 и более раз; индексирование данных в 2 раза быстрее.

HTTP Event Collector

Появился новый способ отправки данных в Splunk Enterprise с помощью HTTP Event Collector. Теперь вы можете отправлять данные из ваших приложений в Splunk Enterprise, используя протокол HTTP (или HTTPS). Конечному пользователю HTTP Event Collector (разработчик приложений и др.) достаточно внести всего несколько строк кода в свое приложение для того, чтобы отправлять данные в Splunk Enterprise. Наиболее простой путь – интеграция с библиотеками Splunk logging for Java или Splunk logging for .NET. Если пользователь не хочет использовать данные библиотеки, то он может настроить свое приложение на отправку коллектору данных в формате JSON с использованием протокола HTTP(S). Взаимодействие с HTTP Event Collector производится на основе токенов (token-based), поэтому для передачи информации не потребуется использование учетных записей Splunk Enterprise. С помощью данного способа возможно собирать миллионы событий в секунду.

Новые типы визуализации Geospatial Visualizations и Single-Value Displays

Лучше один раз увидеть…

Полностью изменено поведение и внешний вид индикатора Single Value. Теперь вместе со значение можно отобразить sparkline и тренд, на основе исторического контекста.

Появился новый тип визуализации – Choropleth Maps (карта, на которой с помощью визуального оформления отображается интенсивность какого-либо показателя для географических регионов).

Команда anomalydetection

Одним из нововведений Splunk Enterprise 6.3 стало расширение возможностей по выявлению аномалий. Новая команда anomalydetection позволяет произвести анализ данных, полученных в результате запроса, на наличие аномалий и указать на конкретные события, которые вызвали обнаруженные аномалии. В основе работы команды – расчет вероятности каждого события и сравнительный анализ полученных результатов для выявления слишком малых вероятностей.

Вероятность события вычисляется как произведение относительных частот каждого из полей события. Относительная частота рассчитывается как количество событий с определенным значением поля разделенное на общее количество событий. Несколько отличается расчет частот для числовых
полей: для
них сначала строится гистограмма, а затем берется не количество событий с конкретным значением, а количество событий из соответствующего столбца гистограммы. Помимо указанного подхода с гистограммами, команда может использовать для вычисления вероятностей статистические методы zscore и IQR.

Целостность данных

Появилась возможность проверки целостности данных, что позволяет контролировать неизменность данных в индексе. Данный функционал можно включить на уровне индексов. Для поступающих данных вычисляется хэш и сохраняется вместе с bucket-ами. Хэш-сумма может экспортироваться во внешнюю систему. Для вычисления хэша используется алгоритм SHA-256. При верификации сохраненная хэш-сумма сравнивается с вычисленной.

Управление инфраструктурой Splunk

Полностью переработана консоль управления распределенной инфраструктурой Splunk — Distributed Management Console (DMC). DMC – единый интерфейс для мониторинга состояния, производительности, пропускной способности и взаимосвязанности всех компонентов инфраструктуры Splunk.

Познакомиться с остальными новшествами Splunk 6.3 можно скачав и установив приложение Splunk Enterprise 6.3 Overview.