Блог

В помощь бизнесу - Big Data & Business Inelligence

52
В последние несколько лет мы все чаще и чаще слышим термин Big Data (англ. Большие Данные). Что это – новые технологии, бизнес инструменты, искусственный интеллект или просто большие массивы данных? Для чего и кому нужны Большие данные, где их брать, хранить и обрабатывать, как с их помощью повысить эффективности бизнеса, какие объективные реалии и перспективы для развития данного тренда в Украине? Обо всем этом подробно изложено далее в статье.

  Big Data как есть

Начнем с того что Big Data, по своему определению, это большие массивы разрозненных и неструктурированных данных, которые окружают нас повсюду:

- данные активности в социальных сетях, мессенджерах, поисковых сервисах (кто, когда, кому, что лайкнул, что запостил, что искал, с кем подружился, что продает, кому и что пишет и т.п.)

- данные телефонных разговоров

- данные видеонаблюдения

- данные реестров (судебные, кадастровые, паспортные, имущественные и т.п.)

- открытые и закрытые специализированные базы данных – магазины, сервисные центры, предприятия и организации.

Собрав все данные о конкретном человеке за период его жизнедеятельности можно узнать о нем все – пол, возраст, привычки, место проживания, места отдыха, семейное положение, предпочтения, увлечения. Агрегируя данные о людях по заданным параметрам можно отслеживать тренды – политические, религиозные, спрос на товары или услуги, моду и др. Однако, это все не так просто. Данные хранятся в разных форматах, разных местах и принадлежат разным компаниях, которые еще и конкурируют между собой за право обладания такими данными. По всему цивилизованному миру данные защищены законом о персональных данных и доступ к ним жестко регламентирован. Еще одной проблемой является то, что данные о людях не являются статичными и быстро устаревают, следовательно, для поддержания их в актуальном состоянии, необходимы отдельные инструменты.


  Зачем и кому нужны большие данные?

- Политика. После успешной победы американского президента Дональда Трампа на выборах в 2016 году, интернет взорвал термин Big Data, как нечто такое, что изменило традиционные подходы в предвыборных гонках и показало колоссальную эффективность предвыборной кампании. Основная суть сводилась к тому, что группа ученых смогла сегментировать избирателей, основываясь на данных профилей социальных сетей. Для каждой группы была разработана своя предвыборная стратегия, соответствующая мнениям и принципам избирателей. Другими словами, для аудитории, поддерживающей Трампа, была представлена информация со всеми достоинствами будущего президента, а для оппонирующей аудитории – информация о недостатках конкурентов. Эффект был очевиден – в первом случае наблюдалось увеличение электората Трампа, в втором – уменьшение электората конкурентов.

- Ритейл. В настоящее время основной задачей продающих компаний является не просто продать сейчас, а сохранить клиента, чтобы он пришел потом, причем неоднократно. Высокая конкуренция компаний в повышении качества обслуживания и сервисов для клиента сформировала новое направление – direct marketing (вид маркетинговой коммуникации, в основе которой лежит прямая личная коммуникация с клиентом). Проще говоря, апогеем direct marketing есть такая ситуация: Заходит клиент в магазин подходит к рецепции и думает купить зонтик. Подходит к стойке, с ним здоровается менеджер, называет по имени и сразу предлагает на выбор несколько зонтиков. Похоже на сказку? Однако, совсем нет, - зашел клиент, его распознали камеры, передали сигнал на центральный сервер, сервер извлек историю по клиенту – звонки, покупки, пожелания, предпочтения, хобби, в общем все, что есть. Далее данные передались в обработку, система прогнозного моделирования рассчитала, что человек вероятнее всего пришел за зонтиком и передала месседж на рецепцию менеджеру, у которого многократно увеличились шансы продать клиенту зонтик. А клиент, скорее всего, придет еще раз и надолго останется лояльным к компании.

- Бизнес. Не важно какой - производственный, сервисный, строительный, финансовый, страховой, - любой бизнес в процессе своего существования накапливает определенное количество данных. Очень часто такие данные собираются в толстые кипы архивов, в лучшем случае электронные, которые лишь изредка могут быть полезны как справочная информация. А на самом деле эти данные имеют намного большую ценность, чем просто справка, ведь история документов и решений отображает все этапы развития компании. В этих данных хранится информация о всех управленческих решениях, победах и поражениях, успехах и неудачах. Правильная расшифровка таких данных позволит оценить следствия принятых ранее управленческих решений, избежать ошибок, которые были ранее допущены, но остались незамеченными. Помимо этого, связав динамику показателей компании (прибыль, клиентская активность, затраты) с внешними факторами (цена на бензин, курс доллара, политические события, отдельные геолокации) возможно выявить ряд трендовых зависимостей, которые можно использовать для прогноза деятельности в будущем. Современные технологии позволяют проводить интеллектуальный анализ больших данных и выявлять неочевидные (скрытые) зависимости факторов, влияющих на успех компании. Моделирование таких факторов, с помощью мощных интеллектуальных систем и алгоритмов, дает возможность эффективно планировать операционную деятельность компании, что никогда не было подвластно обычному человеку.

​Данные нужны всем, они есть везде, они динамичны и быстро устаревают, однако не все имеют к ним доступ и понимают, как ими пользоваться с выгодой.


   Где брать большие данные и как с ними работать 

Как уже описывалось ранее, данные есть повсюду. Чтобы понимать откуда и что брать, сначала нужно поставить цель. Несомненно, что у владельцев бизнеса или руководящих ТОП менеджеров есть понимание или «чутье», что надо делать. Но, к сожалению, не всегда достаточно аргументов, чтобы это обосновать или «померять» эффективность того или иного решения. Как пример, возьмем за основу маленькую цель – оценить влияние колебания курса доллара на спрос определенного вида товаров. Данные курса доллара по дням можно взять из отрытых источников, проще говоря спарсить и записать в отдельную базу данных. Данные, которые нас интересуют – курс валюты и дата. Теперь нужно оценить спрос на товар. В простом понимании – это количество проданных единиц, разложенных на временной шкале. Подготавливаем еще одну базу данных с набором таких значений – название товара, дата продажи, количество проданных единиц, цена. Понимаем, что не хватает еще маркетинговой информации – виды и типы акций, рекламные кампании. В результате появляется еще одна таблица – типы акций, дата (срок действия), рекламный бюджет, рекламные и аукционные месседжи. Далее все собранные данные необходимо обработать и привести в единый формат. Этот процесс (или этап) называется ETL (от англ. Extract, Transform, Load — дословно «извлечение, преобразование, загрузка»). Собрав все данные в одном месте их необходимо визуализировать. Для визуализации данных существуют специализированные BI (business intelligence) сервисы, такие как Amazon QuickSight, Tableau, Qlik, Power BI и др. Однако этого недостаточно, чтобы добиться цели. Построив графики зависимостей, мы увидим какие-то кривые, которые ни о чем не повествуют. Здесь на помощь придут инструменты моделирования и бизнес навыки. Все мы понимаем, что на спрос влияет множество факторов – цена, реклама, сезонность и т.п. Как оценить степень влияния курса доллара на спрос, если это далеко не самый основной спрософормирующий критерий? Для такой оценки необходимо ранжировать факторы влияния на спрос и определить степень такого влияния (избирательность и чувствительность). Достичь результата возможно с помощью применения специальных программ, в основе которых лежат алгоритмы математического анализа и моделирования. По результатам вычислений и моделирования (формируем DWH - англ. Data Warehouse — предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации) становится понятым – влияет ли курс доллара на спрос или нет, а если влияет, то насколько. Кроме этого, если степень влияния высокая и есть достаточно накопленных операционных данных (как правило, более года), то можно с определенной вероятностью спрогнозировать, как будет изменяться спрос при том или другом курсе доллара. Это всего лишь пример. Факторов есть множество, также как вариантов решения.  

Процесс подготовки данных состоит из четырех этапов: формирование цели, этап ETL, подготовка DWH, визуализация с помощью инструментов BI


Управленческие решения, или как повысить эффективность бизнеса

Каждый успешный бизнесмен перед принятием управленческого решения всегда задает себе вопрос - «Какую проблему я решаю и как я буду измерять эффективность своего решения?». Очень правильные вопросы :-) – и ответы на них дает бизнес аналитика (Business intelligence, BI). Бизнес аналитика позволяет измерять заданные показатели до принятия управленческого решения и после. Однако и здесь не все так просто. Мы живем по правилам пространства и времени и можем анализировать лишь только то, что было, а то что будет или могло бы быть – всего лишь предположение, убедительность которого зависит от аргументов обоснования. Переведем на простой язык. Например, у нас есть компания, продающая товары повседневного спроса (FMCG — англ. Fast Moving Consumer Goods). При этом на рынке мы 5 лет и у нас 50 точек продаж. На одной из точек продаж (назовем ее экспериментальной) мы приняли решение сократить линейку слабо оборачиваемых товаров и расширить ассортимент новинками, спрос и цену на которые мы до конца не понимаем. Первым делом мы анализируем данную точку по множеству признаков (локация, площадь, режим работы, объем выручки, товарооборот и т.д.). Далее мы находим в сети наиболее похожие на экспериментальную одну или несколько точек. Проводим оценку основных KPI (Ключевые показатели эффективности. англ. Key Performance Indicators, KPI — показатели операционной деятельности, которые помогают компании в достижении определенных целей (стратегических или тактических)) и фиксируем абсолютные или относительные значение для экспериментальной и схожих точек. Проводим эксперимент. Наблюдаем в течение от 3 до 6 месяцев (как правило, первые 3 месяца будет наблюдаться нестабильный или переходный процесс, в течение которого для KPI будет наблюдаться высокая Волатильность (изменчивость, англ. volatility). Следующих 3 месяца (или может более – до года) KPI должны стабилизироваться и тогда станет возможным померять результат эффективности принятого решения. В данном случае мы сравним показатели экспериментальной точки с самой собой с учетом сезонности (месяц текущего года к аналогичному месяцу прошлого, позапрошлого года и т.д.). Таким образом мы измерим как изменилась эффективность экспериментальной точки до и после эксперимента. Теперь необходимо сравнить как изменились показатели экспериментальной точки по отношению с другими схожими точками, где не проводился эксперимент. Это необходимо для того, чтобы понимать, что было бы если бы мы ничего не изменили. И только после этого мы сможем оценить насколько эффективным был наш эксперимент и, конечно же, измерить его в деньгах. Если эксперимент удался – можно масштабировать процесс на другие 49 точек с пониманием ожидаемых результатов. 

Бизнес аналитика – это современный и качественный инструмент для оценки следствий управленческих решений и масштабируемости бизнеса


Много буков, терминов. Все очень сложно и запутано. С чего начать?

  • Накапливаем данные. Начинать необходимо с аккумуляции операционных данных компании. Крупные компании Украины, как правило, уже автоматизировали свои бизнес-процессы с помощью CRM (Система управления взаимоотношениями с клиентами от англ. Customer Relationship Management) и ERP (англ. Enterprise Resource Planning, планирование ресурсов предприятия). Такие системы, помимо автоматизации бизнес процессов, позволяют накапливать в базах операционные данные.
  • Привлекаем экспертов по работе с данными. К сожалению, не всегда в существующих CRM и ERP системах данных достаточно для анализа, поскольку данные могут храниться в разных системах или в файлах. Для того, чтобы связать данные и реализовать процесс ETL, часто приходится прикладывать дополнительные усилия, налаживать процессы интеграции данных, разрабатывать отдельные API (программный интерфейс приложения, англ. application programming interface,— описание механизмов, при которых одна система может взаимодействовать с другой). В некоторых случаях данные необходимо оцифровать и распознать (когда они хранятся в бумажном виде). В завершение этапа разрабатываются механизмы синхронизации и обновления данных, поскольку нас интересует непрерывный процесс анализа в динамике.
  • Привлекаем специалистов по моделированию. Для факторного анализа, выявления зависимостей и построения прогнозных моделей.Это командная работа, сочетающая в себе навыки бизнес аналитика, программиста и системного администратора. На данном этапе необходимо определить, что и как считать, как преобразовать данные и где проводить расчеты и вычисления. На самом деле, для моделирования больших данных необходимы большие серверные ресурсы (серверная инфраструктура – программное обеспечение, память, процессорные мощности, хранилище данных).
  • Визуализация данных для анализа и принятия управленческих решений. После расчетов и агрегации данных бизнес аналитики осуществляют визуализацию отчетов с помощью инструментов бизнес аналитики, например, таких как Amazon QuickSight, Tableau, Qlik, Power BI. Все эти сервисы платные и отличаются друг от друга набором определенных возможностей. Так или иначе, инструмент визуализации — это скорее прерогатива самого заказчика, где ключевую роль играет набор возможностей соответствующего сервиса и его цена.

Для повышения эффективности управленческих решений необходима качественная бизнес аналитика. Качественную бизнес аналитику могут сделать профессионалы, комплексные действия которых ориентированы на измеряемый результат, а не на абстрактный процесс.

Бизнес аналитика. Современный подход S2B
Бизнес аналитика как средство повышения эффективно...
 

Комментарии

Нет созданных комментариев. Будь первым кто оставит комментарий.
Уже зарегистрированны? Войти на сайт
Гость
11.12.2019

Изображение капчи

© 2015 Solutions to business. All Rights Reserved.