Какие новые технологии появились на рынке больших данных

20.11.2020, Пт, 13:36, Мск , Текст: Наталья Рудычева

Большие данные — уже не просто модная тема для дискуссий, а множество реальных проектов, приносящих бизнесу немалую пользу. Проекты в области больших данных стоят недешево. Поэтому очень важно не ошибиться при выборе технологии и просчитать все возможные риски. Об этом говорили участники секции «Большие данные» CNews Forum 2020.

Технологические возможности

Владимир Егоров, генеральный директор компании «Турбо»,
напомнил участникам конференции, что третья технологическая платформа, в основе
которой лежат мобильные устройства и огромные массивы информации, постепенно
завоевывает мир. Он рассказал о созданном компанией решении Turbo BI. Его основой является
хранилище, которое позволяет формировать многомерные кубы на основе произвольно
загружаемых данных, содержит встроенные функции по работе с математическими
моделями, дает возможность создавать аналитические отчеты, панели и дэшборды и
обеспечивает получение данных непосредственно из внешнего источника.

Данные в хранилище сгруппированы по направлениям — персонал,
продажи, биллинг, главная книга, основные средства и др. Можно работать с
группами данных и анализировать вложенную информацию до конкретной проводки. В
ближайшее время будет проведена интеграция с языком R, что существенно расширит
возможности использования математического аппарата для анализа данных,
моделирования и прогнозирования.

По словам эксперта, особое внимание при создании решения
было уделено визуализации — разработчики ориентировались на предпочтения
поколения Z. Кроме
того, в Turbo BI уже имеются перенастроенные базовые справочники, а настройка
новых не требует программирования. Благодаря реализации концепции Low code
пользователь может сам добавлять и выбирать объекты, указывать зависимости и
тип представления.

Большинство крупных компаний до сих пор не используют
большую часть собираемых данных для принятия решений, уверен Евгений
Сандомирский, директор по развитию бизнеса Epam. В тоже время, мир медленно, но
верно движется в сторону создания организаций, управляемых на основе данных
(data-driven organization). В основе такой организации лежит разработка стратегии
в области данных (data strategy) и формирование культуры их использования (data
– driven culture). «Стратегия в области данных дает новые возможности, но и
создает новые вопросы. Только постепенное изменение культуры даст на них ответы,
— говорит Евгений Сандомирский. — Начинать нужно, не дожидаясь их».

Цифровая стратегия
Epam

Источник: Epam, 2020

Он рассказал о разработанной Epam интегрированной платформе для
повышения производительности сотрудников Epam Digital Workplace,
которая дает единый цифровой доступ ко всем необходимым инструментам,
процессам, данным. Комбинируя функциональность в зависимости от роли, платформа
помогает принимать решения, обмениваться информацией, выполнять нужные
действия, предоставлять рекомендации и легко перемещаться между инструментами и
системами. Система располагается поверх существующих учетных систем,
инфраструктуры и унаследованных баз данных, обеспечивая единую, состоящую из
модулей глобальную платформу успеха.

По словам Алексея Сидорова, директора по управлению
данными, главного евангелиста DenodoTechnologies,
сегодня одной из важнейших тенденций в области управления данными стала
виртуализация. Благодаря ей можно в режиме реального времени получать доступ к
источникам самой разной информации.

Виртуализация
данных

Источник: Denodo, 2020

При этом совершенно не важно, где, в какой форме и каких
форматах хранятся данные. Более того, они не устаревают, потому что попадают в
виртуальную дата-фабрику непосредственно из источника. Там они проходят
необходимую очистку и подготовку. Большое внимание уделяется обеспечению
безопасности. Таким образом, у бизнеса появилась реальная возможность не только
быстро получать необходимые данные, но и существенно сократить расходы на их
обработку.

О сложностях, которые возникают при обработке больших
данных, говорил и Алексей Струченко, начальник отдела больших данных
«Инфосистемы Джет». По его мнению, большинство имеющихся сегодня на рынке
решений имеют довольно высокую стоимость, длительный период Time-to-Value, их
использование требует специальных знаний и значительных технических ресурсов.
Как результат — бизнес использует не более 10% имеющейся информации. Алексей
Струченко рекомендовал участникам конференции обратить внимание на решение,
которое предлагает израильская компания SQream, — базу данных для доступного
анализа больших массивов информации с помощью графических процессоров (GPU).
Она позволяет анализировать данные до 20 раз большего объема, в 100 раз
быстрее, и лишь за 10% от привычной стоимости.

Подробнее о решении рассказал Александр Рабкин,
региональный директор SQream в России. SQream DB использует мощности тысяч
параллельных вычислительных ядер в графических процессорах Nvidia. С его
помощью можно импортировать, хранить и анализировать от десятков до сотен
терабайт данных. При этом стоимость решения существенно ниже аналогов благодаря
сокращению затрат на инфраструктуру и специалистов.

Александр Рабкин поделился результатами тестирования SQream
DB на Power9. SQream DB использует для загрузки данных как CPU, так и GPU.
Многоядерная архитектура IBM Power9 делает загрузку намного быстрее, чем
сопоставимые системы на базе x86. Так, для набора данных TPC-H (SF 10 000)
сервер IBM Power9 загружал данные почти в два раза быстрее, чем сервер на базе
x86.

Кроме того, SQream DB на Power9 показывает результаты на
150–370% быстрее, чем на сопоставимых серверах x86, особенно для больших
наборов данных. Это связано с более высокой пропускной способностью NVLink
между CPU и GPU и высокой пропускной способностью архитектуры процессора
Power9. Например, в наборе данных TPC-H (SF 10 000) Query 8 выполнялся за 25%
времени на IBM Power9 по сравнению с сервером x86.

Станислав Павлов, директор в области серверных решений
Huawei Russia R&D, рассказал о новом продукте
компании — процессоре Kunpeng. На сегодняшний день это самый
высокопроизводительный процессор на ARM-архитектуре. Его можно использовать для серверов,
вычислительных центров, работающих с большими данными, распределенных хранилищ.
В России уже сформирована экосистема, в состав которой входят крупнейшие
российские компании и вендоры, предлагающие всевозможные решения на базе Kunpeng.

Преимущества использования автоматизированных
интеллектуальных средств анализа больших данных перед традиционным подходом,
подразумевающим их ручной сбор и анализ при помощи специалиста, уже неоспоримы,
говорит Илья Кузьминов, директор центра стратегической аналитики и
больших данных ИСИЭЗ НИУ ВШЭ. В качестве примера он привел систему
интеллектуального анализа больших данных iFora. Она состоит из отдельных модулей и позволяет комбинировать
их для решения конкретных задач. В качестве примера эксперт привел опыт
использования системы для выявления трендов цифровизации.

Большие данные для банков

О том, как большие данные помогают предотвратить отток
клиентов, рассказал Юрий Сирота, старший вице-президент, руководитель
департамента искусственного интеллекта и анализа данных, руководитель центра
компетенций BI банка «УралСиб». По его мнению, некоторый естественный отток
неизбежен, и эта цифра отличается от отрасли к отрасли. Но высокий показатель
оттока — верный признак того, что бизнес делает что-то не так. «Удержание
существующего клиента дешевле привлечения нового», — напомнил эксперт.

Для того, чтобы предотвратить отток клиентов, надо постоянно
собирать данные о них, заблаговременно выявлять тех, кто подумывает об отказе
от сотрудничества, и принимать меры, чтобы их удержать. Имеющиеся сегодня
технологии позволяют делать это быстро и эффективно. Так, специалисты по
искусственному интеллекту могут создать инструменты, необходимые для анализа
поведения клиентов и выработки стратегии индивидуальной работы с ними.
Программа максимум — получить от искусственного интеллекта конкретные
рекомендации.

Конечно, математическая модель, а именно она лежит в основе
работы искусственного интеллекта, не может гарантировать, что рекомендуемые
меры будут на 100% эффективны. Однако, по мнению Юрия Сироты, стоимость
ошибочной коммуникации существенно ниже упущенной выгоды от потери клиента.

Этапы реагирования
на отток

Источник: УралСиб,
2020

Юрий Попов, директор департамента развития цифровых
технологий банка «Хоум Кредит», уверен, что потенциал неиспользуемых данных и
их превращения в полезную для бизнеса информацию практически безграничен. Он
рассказал, как организована работа с большими данными в банке от момента
появления бизнес-идеи до запуска пилотного проекта и последующего развертывания
решения на все бизнес подразделения.

Сергей Серов, начальник управления Big Data и
машинного обучения банка «Хоум Кредит» привел пример конкретного проекта,
который был реализован в банке для повышения качества коммуникации с клиентами.
В результате проекта была внедрена система анализа клиентских запросов как в
чате, так и при голосовом обращении в режиме реального времени. На основе этой
информации и клиентского профиля была доработана система динамических подсказок
оператору, оптимизирован подбор продуктов банка и т.д.

Большие данные в логистике

Технологии больших данных помогают логистическим компаниям
строить оптимальные маршруты, давать рекомендации по экономичному расходу
топлива, следить за состоянием транспортных средств в режиме онлайн,
контролировать действия водителя и минимизировать риск ошибок, отметил Фарид
Мадани, генеральный директор ГК «Деловые Линии». Также технология широко
применяется для решения управленческих задач различных подразделений.

Как работает
Self-Service BI

Источник: Деловые
линии, 2020

Он рассказал о реализованной в компании схеме сбора,
хранения и обработки больших данных. Особое внимание Фарид Мадани уделил
Self-Service BI — комплексному решению, разработанному экспертами BIA Technologies и позволяющему бизнес-пользователю быстро проверить гипотезу или
провести анализ, не привлекая разработчиков. Внедрение этого решения сократило
время подготовки отчетов в 2-3 раза, улучшило качество сервиса и уменьшило
издержки на работе персонала и расходе топлива.

Эксперт уверен, что в ближайшее время спрос на технологии
больших данных со стороны логистических компаний будет расти. Они будут
использоваться для повышения эффективности цепочек поставок и оптимизации
логистических процессов, при внедрении всесторонней телеметрии: превентивной
диагностики, онлайн-мониторинга, а также в ходе использования беспилотных
транспортных средств.

Большие данные на производстве

«Мы повышаем эффективность компании за счет использования
технологий искусственного интеллекта, выстраивая нефтяную компанию, управляемую
на основе данных, математических моделей и цифровых двойников», — говорит Анджей
Аршавский, руководитель центра разработки и монетизации данных дирекции по
цифровой трансформации «Газпромнефть». Производственные системы столь сложны,
что человек не в состоянии всегда принимать оптимальные решения. И сервисы
визуализации информации, поиска и поддержки принятия решений позволят
планировать и управлять производством эффективнее.

Он привел примеры сервисов на базе искусственного интеллекта,
которые уже реализованы в компании. Это интеллектуальная расшифровка
магнитограмм, модуль, позволяющий оптимизировать процесс добычи нефти и т.д. В
перспективе планируется создать единую корпоративную цифровую платформу,
которая позволит на 20% сократить сроки начала использования новых технологий, на
50% увеличить скорость доставки нового функционала от проектных команд до
бизнес пользователей и более чем на 30% повысить эффективность работы
продуктовых команд.

Единая
корпоративная цифровая платформа

Источник:
Газпромнефть, 2020

Большие данные для здравоохранения

Об использовании больших данных в сфере здравоохранения
рассказал Алексей Бахаев, начальник управления информатизации Научно-исследовательского
института организации здравоохранения и медицинского менеджмента (НИИ ОЗ ММ).
Они помогают повысить доступность высокоуровневой экспертизы для всех врачей,
оптимизировать рутинные процессы, наладить раннюю диагностику заболеваний,
оперативно принимать управленческие решения и контролировать процесс лечения и
реабилитации. Алексей Бахалов рассказал о проектах, реализованных НИИ ОЗ ММ для
столичного департамента здравоохранения.

Как прошел CNews FORUM 2020

В 2020 г. CNews FORUM — крупнейшая
независимая площадка для встречи ИТ-директоров, руководителей ИТ-компаний
и представителей органов власти — успешно прошел в тринадцатый раз.
Впервые для форума организаторами был освоен новый формат — значительная
часть мероприятия прошла в онлайн-режиме.

В ходе форума состоялось
около 100 экспертных докладов. В сессионной части было проведено шесть
тематических отраслевых секций: «Госсектор», «Банки», «Облачные технологии»,
«Аналитика больших данных», «Торговля», «Промышленность».

В
пленарной части CNews FORUM выступили заместитель министра Минцифры Дмитрий Огуряев, директор по ИТ в
РЖД Евгений Чаркин, директор
департамента ИТ «Росатома» Евгений
Абакумов, директор по ИТ, член правления Альфа-банка Сергей Поляков, заместитель председателя
правления Московского кредитного банка Сергей
Путятинский, региональный руководитель Veeam в России, СНГ, Грузии и на Украине
Владимир Клявин, глава
представительства Dynatrace в России, Белоруссии и Казахстане Игорь Хомков, CEO, член совета
директоров компании Naumen Игорь
Кириченко, директор департамента сопровождения
торговых и вспомогательных систем блока ИТ Московской биржи Григорий Васильев, менеджер по
информационным системам и бизнес-решениям по стране в Coca-Cola HBC Russia Стоян Валчев, директор по ИТ в ОМК Игорь Савцов, директор по ИТ в «Т плюс»
Александр Антонов и многие другие.

Читать новость в источнике CNews