Визуализация аналитических данных

У Клиента, компании малого и среднего бизнеса (МСБ), данные, необходимые для принятия решений разрознены, представлены в различных форматах, держателем аналитических данных по отдельным направлениям деятельности компании являются ответственные работники, от которых зависит полнота и оперативность предоставления этих данных.

Поскольку внедрение дорогостоящего корпоративного хранилища данных с инструментами загрузки, обогащения и визуализации данных в организации МСБ экономически нецелесообразно, руководство компании приняло решение о внедрении инструментов BI-аналитики и разработке дашбордов, отражающих состояние компании в онлайн режиме.

В короткие сроки и по доступной цене обеспечить руководству компании и менеджерам среднего уровня возможность самостоятельно получать и анализировать динамику основных показателей деятельности компании в целом и в разрезе отдельных направлений.

Сервис визуализации данных работает 24/7, состоит из 3 компонент:

• средства визуализации на платформе Apache Superset (то, что видит конечный пользователь);
• управления размещением аналитических данных (обеспечивает программный робот);
• конструктора дашбордов (рабочий инструмент аналитика).

Компонента «Средства визуализации» (инструмент руководителя) обеспечивает отображение данных в виде диаграмм на нескольких уровнях с различной степенью детализации (определяется потребностью аналитика). На дашбордах, состоящих из диаграмм, скомпонованных по предметным областям аналитики, представлены агрегированные данные в различных срезах, которые определяются заданными фильтрами.

Для создания дашбордов (витрин данных) отрабатывают две другие компоненты сервиса.

В частности, компонента «Управление размещением аналитических данных» (программный робот вместо аналитика, владельца данных) отвечает за сбор разрозненных входных данных (из базы данных информационно-аналитической системы, учетных систем, из CSV-, EXCEL-файлов) и передачу в систему визуализации.

Функции данной компоненты выполняет программный робот (RPA), который работает в двух режимах по команде аналитика:

• режим обновления ранее созданного набора данных и созданных на его основе дашбордов;
• режим создания набора данных и публикации новых дашбордов.

Расписание для каждой отчетной формы, по которой созданы наборы данных и дашборды, задается в конфигурационном файле робота.

Робот умеет выполнять следующие операции:

• работа с электронными сообщениями;
• запуск процесса обновления ранее созданного набора данных и созданных на его основе дашбордов по расписанию;
• работа с архивными файлами;
• перемещение файлов формата csv/xlsх из директории /в директорию;
• работа с конфигурационным файлом в формате xlsх;
• авторизация, назначение прав доступа в Apache Superset;
• импортирование файлов формата csv/xlsх в базу данных Apache Superset, верифицирует данные;
• клонирование предварительных наборов данных и дашбордов в промышленные и публикация их на указанном корпоративном веб-ресурсе;
• и многое другое.

Робот меньше чем за минуту обрабатывает массивы из нескольких десятков тысяч строк, за несколько минут - массивы данных объемом более миллиона строк!

Взаимодействие робота и менеджера осуществляется посредством отправки команд роботу и получения уведомлений, отправляемых роботом по результатам выполнения тех или иных операций.

Третья компонента «Конструктор дашборов на платформе Apache Superset» (инструмент BI-аналитика) работает, когда данные загружены в базу данных СУБД Apache Superset и служит конструктром для построения/ изменения дашбордов.

Наше решение основано на платформе с открытым программным кодом Apache Superset, совместимой с большим количеством как платных СУБД: Microsoft Sql Server, Oracle,

так и бесплатных: MySql, PostgreSQL. Может функционировать под управлением ОС семейства Linux, таких как Debian.

Мы провели обучение и написали руководство пользователя.

Sherpa RPA, C#, JS, PowerShell

С помощью сервиса нам удалось автоматизировать рутинный механический процесс сбора, обработки и визуализации аналитических данных клиента.

Скорость получения аналитических данных и их визуализации увеличилась в 20 раз.

Исключены ошибки при агрегации и формировании срезов данных.

Руководители получили возможность оперативного принятия решений, основанных на анализе данных о деятельности компании.