Специалист по big data кто это

Специалист по big data кто это

Рассказываем о тех, кто работает с большими данными, и знаниях, которые для этого необходимы.

Существует стереотип, что с большими данными работают исключительно IT-департаменты, программисты и математики. На деле эта молодая индустрия включает в себя довольно много профессий: от инженера до специалиста по data storytelling. В рамках спецпроекта Masters of Future совместно с IE Business School T&P поговорили с Джозепом Курто, аналитиком, бизнес-консультантом и предпринимателем, о мультифункциональности, возможности влиять на глобальные процессы и больших данных в сельском хозяйстве.

Джозеп Курто

управляющий независимой консалтинговой компанией Delfos Research, ассоциированный профессор IE School of Social, Behavioral & Data Sciences

— Специалист по Big Data — кто это?

— Есть мнение, что специалист по Big Data — это суперпрофессионал, сверхчеловек с огромным количеством разных навыков. В степени это правда, ведь, помимо всего прочего, он должен неплохо разбираться в бизнесе. Безусловно, одному человеку сложно знать вообще все, так что мы чаще всего работаем в командах — это гораздо продуктивнее. Например, одна моя коллега — специалист только по визуализации данных и data storytelling. Она создает потрясающую инфографику, с помощью которой может рассказать любую историю в цифрах. Главное — иметь 360-градусный угол зрения, который появляется с опытом. Мне самому потребовалось на это почти 15 лет.

— Какой бэкграунд лучше иметь, если вы хотите работать с большими данными?

— В Big Data существует очень много разных ролей: например, вы можете быть Big Data Engineer (то есть инженером) или аналитиком, и это совсем разные функции. Базовые вещи — это знание математики, статистики и информатики.

— Опишите основные этапы работы специалиста по Big Data?

— Мы работаем с самыми разными направлениями: финансы, ретейл, правовые отрасли. Одна из важнейших ролей — это стратег: на первом этапе большинство компаний просто не знают, как начать работать с большими данными. Более того, иногда очень сложно понять, какая именно проблема в компании связана с этими данными и как ее решить.

Для начала самое главное — определить проблему, с которой столкнулась компания. Мы проводим воркшопы, на которых рассказываем о возможностях Big Data. В процессе работы мы должны трансформировать работу в компании, но наша первоочередная задача — решить проблему. Мы беседуем с клиентом, задаем множество вопросов о всех сферах деятельности. В процессе этих бесед появляются огромные списки пунктов и задач, которые мы будем учитывать и над которыми будем работать. Основная цель, которую мы преследуем, работая с Big Data, — возможность лучше понимать потребителя, продукт, сотрудников, поставщиков. Big Data охватывает все сферы деятельности компании.

После сбора информации мы обсуждаем все проблемные моменты и понимаем, связаны ли они с большими данными. Некоторые проблемы могут быть связаны с другим — например, с недостаточной мотивацией сотрудников. Так что мы должны сократить весь список и оставить в нем только проблемы, которые касаются нашей компетенции. Если вы хотите узнать больше о ваших продажах, это значит, что вы должны иметь возможность вести их учет. Иногда это довольно трудно. К примеру, в магазинах вы должны иметь возможность учитывать каждую покупку. Но это не проблема Big Data. Это значит, что вы должны просто приобрести систему для учета покупок. Иногда в компании должен произойти ряд существенных изменений для того, чтобы специалист по Big Data мог начать работу.

Следующий шаг — составление списка рекомендаций. После этого мы обсуждаем дальнейшую стратегию компании, какой ее хотят видеть управляющие. Внедрение Big Data — это не просто привлечение одного специалиста, это изменение мышления всех сотрудников. Очень важно, чтобы все понимали, что делает тот парень, который называет себя специалистом по Big Data. Очень важно развеять миф о том, что Big Data — это просто какая-то часть IT-департамента. После определения стратегии мы предлагаем пути ее внедрения.

— Какими основными навыками должен обладать специалист по Big Data?

— Главное — это умение работать с большим объемом информации и знание технологий: их уже сотни, и каждый месяц появляются новые. В то же время он должен обладать научным мышлением, быть очень любознательным. Очень важно уметь мыслить в терминах бизнеса. Напомню, что можно быть узким специалистом в и быть полезным членом команды, отвечая за свою часть процесса.

— Где чаще всего работают такие специалисты?

— Нас очень часто привлекают в качестве экспертов; очень многие мои коллеги совмещают научную работу с преподавательской деятельностью.

— Какие отрасли больше всего нуждаются в Big Data?

Читайте также:  Пенза 22 заказное письмо что это

— Я считаю, что абсолютно все. В последнее время к Big Data все чаще прибегают в банковском секторе, государственном управлении, сельском хозяйстве. Привлечение специалиста по Big Data — это возможность посмотреть на имеющиеся данные с разных углов зрения. Иногда со студентами мы рассматриваем очень простые наборы данных — например, таблицы, состоящие всего из трех столбцов (дата, номер покупателя и сумма покупки). Несмотря на то что это может показаться примитивным, я показываю студентам, как много новой информации они могут из этого получить. Даже если у вас не так много данных, вы можете делать прогнозы и выводы.

— Как должно измениться образование для подготовки специалистов по Big Data?

— Главное — это подготовка мультифункциональных специалистов. Важно уделять достаточно внимания математике и информатике, изучать новые технологии, подходы (например, NoSQL). Самое важное — аналитическое мышление. Это первое, чему я учу своих студентов. Специалист по Big Data знает математику, технологии и критически мыслит. Важно помнить — вы никогда не сможете знать все, это невозможно, но вы должны уметь искать и анализировать информацию.

— В какой самой необычной области вам приходилось работать?

— Без сомнения, это сельское хозяйство. В этой отрасли множество самых разнообразных процессов, при этом они совершенно не готовы к новым технологиям. Нужно научиться говорить на их языке и понять, какие задачи стоят перед компаниями. Например, очень часто встречается задача снизить потребление воды, которая используется в сельском хозяйстве каждый день в огромных количествах. Иметь возможность помочь в решении таких задач — это потрясающе. Сельскохозяйственные организации вынуждены быть прагматичными, в этом им помогает Big Data.

— Что бы вы порекомендовали молодым специалистам?

— Специалисты по Big Data — это новый тип профессионалов. Вы должны понимать, что самое потрясающее в этой работе — это возможность очень сильно влиять на глобальные процессы. Это что-то вроде работы детектива. Вы определяете, что произошло, где и почему. Вы можете помочь компаниям понять, почему они теряют деньги и клиентов, как в дальнейшем этого избежать и увеличить прибыль.

Юрий Котиков

консультант по стратегии в Ericsson, выпускник программы Master in Management IE Business School

Не могу не согласиться с коллегой. Действительно, Big Data в организациях начинается прежде всего не с закупки дорогостоящего оборудования, программных решений или анализа массивов данных, а с определения целей, которых можно достигнуть средствами аналитики, а также с правильного подхода к процессам их реализации.

Например, практически все ведущие мировые мобильные операторы создают под Big Data выделенные подразделения, имеющие свободный доступ к данным внутри компании, а также поддержку топ-менеджмента и акционеров. Это является одним из ключевых факторов успеха в Big Data проектах, которые затрагивают множество функций и влекут значительные изменения в процессах компаний.

Методологически важным фактором является так называемый Lean Startup Approach — гибкий подход к решению задач бизнеса с помощью Big Data. Вместо длительного процесса разработки конечной сложной модели или продукта, основанного на больших данных, необходимо двигаться маленькими итерациями и быстрыми победами, получая регулярную обратную связь от ключевых заказчиков решения. Например, компания Telefonica, разрабатывая свое решение Smart Steps с использованием агрегированных данных о местоположении абонентов, изначально ориентировалась на компании розничной торговли. Оператор планировал предоставлять клиентам данные о перемещении людей на определенных улицах города. Благодаря регулярной обратной связи Telefonica смогла принять решение о необходимом стратегическом вираже, изменив фокус продукта на анализ пассажиропотоков для транспортного сектора.

Если говорить про специалистов в области Big Data, то, на наш взгляд, ключевым качеством как для технических, так и для управленческих специалистов является кроссфункциональность. Обладать полным спектром навыков в области анализа данных практически невозможно. Однако технические специалисты должны иметь общее представление о функционировании бизнеса, а менеджеры — понимание базовых принципов аналитики. Поэтому образовательные программы в области больших данных, совмещающие как техническую часть, так и и погружение в определенные индустрии, имеют хорошие шансы подготовить востребованные рынком кадры.

Рекомендованная учебная программа: Master in Business Analytics and Big Data

Магистратура Business Analytics and Big Data — современная программа, направленная на погружение в четыре области знаний, связанных со сферами бизнес-аналитики и больших данных: Big Data Technologies, Data Science, Business Transformation, Professional Skills. Программа состоит из трех триместров, каждый из которых заканчивается практическим проектом, среди которых — Big Data стартап и консалтинговый проект.

Компании ищут динамичных профессионалов с разным бэкграундом — опытом работы в бизнесе, IT, знающих экономику, математику и смежные науки и способных работать с информацией: собирать, анализировать и интерпретировать данные.

Читайте также:  Как удалить старый пароль на компьютер

Аналитик больших данных — это универсальный специалист, который обладает знаниями в математике, статистике, информактике, компьютерных науках, бизнесе и экономике. Аналитик Big Data изучает большие массивы данных, содержащие разрозненную информацию, например, результаты исследований, рыночные тенденции, предпочтения клиентов и пр. Исследование и анализ такой информации может привести к новым научным открытиям, повышению эффективности работы компании, новым возможностям получения дохода, улучшению обслуживания клиентов и т.д. Основное умение специалистов по изучению данных – это видеть логические связи в системе собранной информации и на основании этого разрабатывать те или иные бизнес-решения, модели.

Аналитики Больших данных должны уметь извлекать нужную информацию из всевозможных источников, включая информационные потоки в режиме реального времени, и анализировать ее для дальнейшего принятия бизнес-решений. Дело не только в объеме обрабатываемой информации, но также в ее разнородности и скорости обновления.

Сегодня термин Big Data, как правило, используется для обозначения не только самих массивов данных, но также инструментов для их обработки и потенциальной пользы, которая может быть получена в результате кропотливого анализа. Главные характеристики, отличающие Big Data от другого рода данных – три V: volume (большие объемы), velocity (необходимость быстрой обработки), variety (разнообразие).

Есть две основные специализации для людей, которые хотят работать с большими данными:

  • инженеры Big Data — в большей степени отвечают за хранение, преобразование данных и быстрый доступ к ним;
  • аналитики Big Data — отвечают за анализ больших данных, выявление взаимосвязей и построение моделей.

Основной спрос на аналитиков Big Data формируют IT и телеком-компании и крупные розничные сети. В последнее время к Big Data все чаще прибегают в банковском секторе, государственном управлении, сельском хозяйстве. Привлечение специалиста по Big Data — это возможность посмотреть на имеющиеся данные с разных углов зрения.

Другие названия профессии: Специалист по исследованию данных, Data Scientist, BI, Business intelligence специалист, Big Data специалист.

Обязанности

Сбор данных

Любой аналитик больших данных имеет дело с разрозненной информацией, которую нужно правильно структурировать, а именно провести:

  • построение процесса сбора данных для возможности их последующей оперативной обработки;
  • обеспечение полноты и взаимосвязанности данных из разных источников;
  • выработка решений по оптимизации текущих процессов на основании результатов анализа.

Анализ данных

Структурировав данные аналитик должен на их основе провести анализ и получить ответы на ранее поставленные вопросы. Для этого аналитик делает:

  • анализ и прогнозирование потребительского поведения, сегментацию клиентской базы, статистических показателей;
  • анализ эффективности внутренних процессов и операционной деятельности;
  • анализ различных рисков;
  • составление периодических отчетов с прогнозами и презентацией данных.

Разработка эффективных бизнес-решений

В современном конкурентном и быстро меняющемся мире, в постоянно растущем потоке информации Data Scientist незаменим для руководства в плане принятия правильных бизнес-решений:

  • составление отчётов, заключение выводов;
  • презентация результатов.

О больших данных сегодня не слышал только человек, который не имеет никаких внешних связей с внешним миром. На Хабре тема аналитики Big Data и смежные тематики популярны. Но неспециалистам, которые хотели бы посвятить себя изучению Big Data, не всегда ясно, какие перспективы имеет эта сфера, где может применяться аналитика Big Data и на что может рассчитывать хороший аналитик. Давайте попробуем разобраться.

С каждым годом увеличивается объем генерируемой человеком информации. К 2020 году объем хранимых данных увеличится до 40-44 зеттабайт (1 ЗБ

1 миллиард ГБ). К 2025 году — до примерно 400 зеттабайт. Соответственно, управление структурированными и неструктурированными данными при помощи современных технологий — сфера, которая становится все более важной. Интересуются большими данными как отдельные компании, так и целые государства.

К слову, именно в процессе обсуждения информационного бума и способов обработки генерируемых человеком данных и возник термин Big Data. Считается, что впервые его предложил в 2008 году редактор журнала Nature — Клиффорд Линч.

С тех пор рынок Big Data ежегодно увеличивается на несколько десятков процентов. И эта тенденция, по мнению специалистов, будет держаться и дальше. Так, по оценкам компании Frost & Sullivan в 2021 году общий объем мирового рынка аналитики больших данных увеличится до показателя в $67,2 млрд. Ежегодный рост составит около 35,9 %.

Зачем нужна аналитика больших данных?

Она позволяет выявлять крайне ценную информацию из структурированных или неструктурированных наборов данных. Благодаря этому бизнес, например, может определять тенденции, прогнозировать производственные показатели и оптимизировать собственные расходы. Понятно, что ради снижения расходов компании готовы внедрять самые новые решения.

Технологии и методы анализа, которые используются для анализа Big Data:

  • Data Mining;
  • краудсорсинг;
  • смешение и интеграция данных;
  • машинное обучение;
  • искусственные нейронные сети;
  • распознавание образов;
  • прогнозная аналитика;
  • имитационное моделирование;
  • пространственный анализ;
  • статистический анализ;
  • визуализация аналитических данных.
Читайте также:  Что надо для подключения телевизора к интернету

Аналитика Big Data в мире

Сейчас аналитика больших данных используется в более чем 50 % компаний по всему миру. При том, что в 2015 году этот показатель составлял всего лишь 17 %. Big Data активнее всего используется компаниями, которые работают в сфере телекоммуникаций и финансовых услуг. Затем идут компании, которые специализируются на технологиях в здравоохранении. Минимальное использование аналитики Big Data в образовательных компаниях: в большинстве случаев представители этой сферы заявляли о намерении использовать технологии в ближайшем будущем.

В США аналитика Big Data используется наиболее активно: более 55 % компаний из самых разных сфер работают с этой технологией. В Европе и Азии востребованность аналитики больших данных ненамного ниже — около 53 %.

А что в России?

По мнению аналитиков IDC, Россия является крупнейшим региональным рынком решений по аналитике Big Data. Рост объемов рынка таких решений в Центральной и Восточной Европе достаточно активный, каждый год этот показатель увеличивается на 11%. К 2022 году он достигнет в количественном отношении $5,4 млрд.

Во многом такое бурное развитие рынка обуславливается ростом этой сферы в России. В 2018 году выручка от продажи соответствующих решений в РФ составила 40% от совокупного объема инвестиций в технологии обработки Big Data всего региона.

В РФ больше всего на обработку Big Data тратят компании со стороны банковского и государственного секторов, телекоммуникационной индустрии и промышленности.

Что делает Big Data Analyst и сколько получает в России?

Специалист по анализу больших данных отвечает за изучение огромных массивов информации, как частично структурированных, так и неструктурированных. У банковских организаций это транзакции, у операторов — звонки и трафик, в ритейле — посещения клиентов и покупки. Как и говорилось выше, анализ Big Data позволяет обнаружить связи между различными факторами «сырой информационной истории», например, производственного процесса или химической реакции. На основе данных анализа разрабатываются новые подходы и решения в самых разных сферах — от производства до медицины.

Навыки, необходимые аналитику Big Data:

  • Умение быстро разобраться в особенностях в той области, для которой проводится анализ, погрузиться в аспекты нужной сферы. Это может быть ритейл, нефтегазовая отрасль, медицина и т.п.
  • Знание методов статистического анализа данных, построения математических моделей (нейронные сети, байесовские сети, кластеризация, регрессионный, факторный, дисперсионный и корреляционный анализы и т.п.).
  • Уметь извлекать данные из разных источников, преобразовывать их для анализа, загружать в аналитическую базу данных.
  • Владение SQL.
  • Знание английского языка на уровне, достаточном для беспроблемного чтения технической документации.
  • Знание Python (хотя бы основ), Bash (без него очень сложно обойтись в процессе работы), плюс желательно знать основы Java и Scala (нужны для активного использования Spark, одного из самых популярных фреймворков для работы с большими данными).
  • Умение работать с Hadoop.

Ну а сколько получает Big Data аналитик?

Специалисты по Big Data сейчас в дефиците, спрос превышает предложение. Все потому, что бизнес приходит к пониманию: для развития нужны новые технологии, а для развития технологий требуются специалисты.

Так вот, Data Scientist и Data Analyst в США вошли в топ-3 лучших профессий 2017 года по версии кадрового агентства Glassdoor. Средняя заработная плата этих специалистов в Америке начинается от $100 тысяч в год.

В России специалисты по машинному обучению получают от 130 до 300 тысяч рублей в месяц, аналитики больших данных — от 73 до 200 тысяч рублей в месяц. Все зависит от опыта и квалификации. Конечно, есть вакансии с меньшей зарплатой, есть — с большей. Максимальный спрос на аналитиков больших данных в Москве и Санкт-Петербурге. На Москву, что не удивительно, приходится около 50 % активных вакансий (по данным hh.ru). Гораздо меньший спрос — в Минске и Киеве. Стоит отметить, что некоторые вакансии предлагают гибкий график и удаленную работу. Но в целом, компаниям требуются специалисты, которые работают в офисе.

Со временем можно ожидать повышения спроса на аналитиков Big Data и представителей смежных специальностей. Как и говорилось выше, кадровый голод в сфере технологий никто не отменял. Но, конечно, для того, чтобы стать Big Data аналитиком необходимо учиться и работать, улучшая как те навыки, что указаны выше, так и дополнительные. Одна из возможностей начать путь Big Data аналитика — записаться на курс от Geekbrains и опробовать свои силы в сфере работы с большими данными.

Ссылка на основную публикацию
Соевый соус стебель бамбука классический отзывы
Всем доброго дня!Много мнений по этому поводу, как вы считаете, соевый соус или морская соль, что менее вредно для организма....
Сколько секунд видео можно загрузить в инстаграм
Обновлено - 27 января 2020 IGTV — функция, с помощью которой можно выложить длинное видео в Инстаграм продолжительностью от 15...
Сколько символов на странице ворд
Вы можете посмотреть пример стандартной страницы перевода в формате doc. В рынке переводов можно встретить разные варианты определения условной страницы:...
Соевый соус ямаса отзывы
Полное наименование: Соевый Соус классический (натурально сваренный) Изготовитель: Yamasa Corporation Все характеристики Соевый соус Yamasa: Результаты теста Достоинства Безопасный Не...
Adblock detector