15
использования для аналитики, прогнозирования и автоматизации
бизнес-процессов»
1
.
«Большие данные – очень большие наборы данных, произведенных
людьми в процессе пользования интернетом, которые могут быть
сохранены, поняты и использованы только с помощью специальных
инструментов и методов»
2
.
Большие данные – это убежденность в том, что чем большими
данными кто-то располагает, тем больше ответов и результатов будет
получено автоматически на компьютерном языке единиц и нолей
3
.
Intel является одной из немногих компаний, которая публикует
конкретные цифры в своих материалах, связывая Большие данные с
организациями, «еженедельно генерирующими в среднем 300 терабайт
(ТБ) данных»
4
. Вместо того, чтобы предлагать определение так, как это
делают вышеуказанные компании, Intel описывает Большие данные
путём проведения количественного анализа действий своих бизнес-
партнёров. Компания предполагает, что подобные организации в
значительной степени имеют дело с неструктурированными данными и
делают акцент на анализе своих данных, генерируемых в объёме 500
ТБ в неделю. Компания Intel считает, что самым популярным типом
анализируемых данных являются данные, которые хранятся в
реляционных базах данных.
1
Савельев А.И. Направления регулирования Больших данных и защита
неприкосновенности частной жизни в новых экономических реалиях, «Закон», 2018, N 5
2
Англо-русский словарь, Кэмбридж, URL:
https://dictionary.cambridge.org/dictionary/english/big-data
3
Gil Press, 12 Big Data definitions. What is yours? 2014, URL:
https://www.forbes.com/sites/gilpress/2014/09/03/12-big-data-definitions-whats-
yours/#5bc8bfa413ae
4
Intel: Peer Research on Big Data Analytics, 2012, URL:
https://www.intel.com/content/dam/www/public/us/en/documents/reports/data-insights-peer-
research-report.pdf
16
Microsoft выдвигает свое уникальное определение: «Большие данные -
это термин, все чаще использующийся для описания процесса
применения значительных вычислительных мощностей (новыми
областями являются машинное обучение и искусственный интеллект)
по отношению к массивным и зачастую весьма сложным наборам
информации»
1
. Это определение однозначно говорит о том, что
Большие данные требуют применения значительных вычислительных
мощностей, что также подразумевается в предыдущих определениях,
но напрямую об этом в них не говорится. Кроме того, в предложенном
Microsoft определении упоминаются две технологии - машинное
обучение и искусственный интеллект; в предыдущих определениях они
отсутствуют.
Google Trends рассматривает Большие данные через призму
определенных терминов
2
, таких как: NoSQL, Hadoop, анализ данных,
Oracle, IBM и Google. Принимая во внимание такой подход, можно
проследить определенные взаимосвязи. Первая из них заключается в
близкой взаимосвязи анализа данных с Большими данными, и как
следствие с получением значимых выводов из проанализированных
данных. Вторая взаимосвязь заключается в существующих
технологиях, которые развились с помощью смежных технологий
(ApacheHadoop и NoSQL). Третья взаимосвязь демонстрирует, что
существует большое количество организаций, основная деятельность
которых связана с анализом Больших данных.
1
The Big Bang: How the Big Data Explosion Is Changing the World – Microsoft UK Enterprise
Insights Blog – Site Home – MSDN Blogs. URL:
http://blogs.msdn.com/b/microsoftenterpriseinsight/archive/2013/04 big-bang-how-the-big-data-
explosion-is-changing-theworld.aspx
2
D. Leinweber: Google Trends for Big Data, 2013, URL:
https://www.forbes.com/sites/davidleinweber/2013/04/29/google-trends-big-data-for-predicting-
the-market-deep-dive-and-current-predictions/#5c32098a4706
17
Ранее упомянутые определения делают акцент на сочетании объёма,
структурной сложности и технологичности, существует и менее
популярное определение основывается исключительно на структурной
комплексности. Среди разработчиков открытого ПО известен и часто
цитируется метод MIKE2.0, т.е. метод интегрированной среды знаний,
который выдвигает диаметрально противоположную мысль: «Большие
данные могут быть малыми, и далеко не все массивы данных имеют
большой объём»
1
. Этот аргумент не в пользу объема данных, как
доминирующего их критерия, а в пользу структурной сложности.
MIKE2.0 утверждает, что определяющей особенностью для Больших
данных является большое количество изменений и взаимодействий.
Содержащаяся в определении MIKE2.0 мысль о том, что Большими
данными затруднительно управлять с помощью традиционных
инструментов, является распространённым неподтверждённым толкованием.
Подобная мысль содержится и в определении NIST, утверждающем, что
Большие данные - это данные, которые: «превышают возможности
существующих или традиционных методов и систем»
2
.
Компьютерная наука не стоит на месте и стремительно
эволюционирует. Утверждение, что Большие данные – это прорывная
технология, которая стоит на пороге нового открытия в отношении
обработки данных и ценности такого анализа, больше не вызывает
удивления.
Можно предположить, что данные считаются «Большими» в
соотношении с существующими вычислительными стандартами. Их объем
может быть существенно уменьшен с помощью применения новейших
вычислительных технологий. Понятие Больших данных может быть
1
Big Data Definition – MIKE 2.0, the open source methodology for Information Development.
URL: http://mike2.openmethodology.org/wiki/BigDataDefinition
2
NIST Big Data Public Working Group (NBD-WG). URL: http://bigdatawg.nist.gov/home.php
18
динамичным, цели их обработки могут постоянно меняться без ущерба
размеру массива.
Приведенные выше определения разнообразны, однако
прослеживаются в них и некоторые сходства в отношении таких
составляющих, как объём, структурная комплексность и применение
технологий для обработки Больших данных.
Каждое приведенное определение содержит, по крайней мере, одну из
этих составляющих, а некоторые – все, что свидетельствует о том, что
Большие данные – это понятие, которое описывает получение, анализ и
хранение больших объемов данных посредством применения разнообразных
технологий.
19
1.2 Источники Больших Данных
Как видно из предыдущего параграфа, в технической среде нет единого
понимания значения термина Больших данных. «Изначально идея состояла в
том, что объем информации настолько вырос, что рассматриваемое
количество уже фактически не помещалось в памяти компьютера,
используемой для обработки, поэтому инженерам потребовалось
модернизировать инструменты для анализа данных»
1
.
В целом, источниками Больших данных могут быть любые действия
пользователей в сети Интернет, начиная от запросов в поисковиках,
заканчивая «лайками» в социальных сетях. То есть Большие данные
относятся к большому количеству данных, производимых многочисленными
видами различных источников, созданных как людьми (например: облачные
хранилища, социальные сети, мобильные технологии, онлайн коммерция),
так и машинами (например: информация с сенсоров по наблюдению за
климатом).
Как известно, данные – это массивы информации, которые существуют
в разных формах. Отсутствие классификации источников может привести к
напрасной трате времени и ресурсов. В общей сложности можно выделить
пять основных источников Больших данных, которые помогают
пользователям / компаниям классифицировать их применимость и
полезность их использования.
1. Средства информации. Одним из самых популярных источников
Больших данных на сегодняшний день являются информационные
средства, так как именно они предоставляют наиболее ценные, так
называемые, инсайты (от англ. insights – ценная информация,
1
Майер-Шенбергер В., Кукьер К. Большие данные. Революция, которая
изменит то, как мы живем, работаем и мыслим. М., 2014. С. 15
20
извлеченные уроки) в отношении предпочтений потребителей и в
отношении быстро меняющихся трендов. Так как они
распространяются самостоятельно и пересекает все физические и
демографические барьеры. Это самый быстрый способ для бизнеса
получить общее представление об интересующей фокусной
аудитории, вывести некие закономерности, прийти к определенным
выводам и укрепить процесс принятия решений. Средства
информации включают в себя социальные сети, интерактивные
платформы, как, например, Google, Facebook, Twitter, YouTube,
Instagram, наряду с изображениями, видео, аудио и подкастами,
которые предоставляют количественные и качественные инсайты по
всем аспектам взаимодействия пользователей.
2. Облачные хранилища. В настоящий момент многие компании
начали размещать свои данные в облачных хранилищах. Облачные
хранилища накапливают структурированные и
неструктурированные данные и предоставляют информацию по ним
в режиме реального времени компаниям, а также по запросу могут
предоставить аналитическую информацию. Основные
преимущества вычисления в облачных хранилищах – это гибкость и
универсальность. Большие данные могут храниться в
общедоступных и частных облачных хранилищах, с помощью сетей
и серверов, что очень выгодно компаниям с экономической точки
зрения.
3. Интернет. Данные в интернете широко распространены и легко
доступны как для частных лиц, так и для компаний. Более того,
интернет-сервисы, например, Википедия, предоставляют бесплатно
и быстро информацию кому угодно. Внушительные размеры
интернета обеспечивают его разнообразную применимость, и он
особенно выгоден стартапам (от англ. start-up – начинающая
21
компания), а также небольшим и средним компаниям, так как им не
приходится тратить время на развитие собственной инфраструктуры
Больших данных и архивов для их выгодного использования в
коммерческих целях.
4. Интернет вещей (от англ. Internet of Things). Автоматически
созданные содержания и данные представляют собой еще один
важный источник Больших данных. Обычно эти данные создаются с
помощью сенсоров, которые присоединены к электронным
устройствам. Продуктивность этого источника обуславливается
возможностью сенсоров предоставлять информацию в режиме
реального времени. Интернет вещей в данный момент набирает
популярность и с его помощью Большие данные могут быть
получены из различных устройств, включая медицинское
оборудование, транспортные средства, видео игры, замерное
оборудование, видеокамеры, бытовые приборы и тому подобное.
5. Базы данных. Многие компании предпочитают использовать
своеобразный гибрид традиционных и новейших современных баз
данных для получения значимых Больших данных. Подобная
интеграция не требует больших затрат. Кроме того, подобные базы
данных позволяют получить очень ценную информацию, которая
значительным образом скажется на увеличении прибыли. Среди
самых популярных баз данных, на сегодняшний день, следующие:
MS Access, DB2, Oracle, SQL, AmazonSimple, и им подобные.
Процесс извлечения из различных источников и анализа Больших
данных – достаточно сложный и может занимать много времени. Выбор
верного источника Больших данных и его соответствующего анализа может
существенно облегчить такую задачу и помочь достичь желаемой цели.
22
1.3 Виды Больших Данных
Несмотря на отсутствие единообразного и согласованного понимания
термина Больших данных, существует ряд факторов, который им
свойственен. На основании этих свойств Большие данные можно разделить
на два вида:
1) Большие данные, которым можно придать структурность, то есть
упорядочить их таким образом, чтобы их можно было
систематизировать и осуществлять поиск внутри них по разным
основаниям.
2) Большие данные, представленные в виде видеоданных, графических
изображений или аудиоданных, которые слишком сложно
структурировать и применить поиск содержащейся внутри них
информации
1
.
Помимо деления вида Больших данных по признаку
структурированности, существует несколько иных признаков, на основании
которых можно выделить различные виды Больших данных:
1) объем (volume),
2) точность (veracity),
3) разнообразие (variety),
4) высокоскоростное изменение и обработка в режиме «реального
времени» (velocity)
2
.
На основании этих признаков можно сформулировать понятие Больших
данных как активно меняющийся объем информации, который может
представлять коммерческую и/или социальную ценность, который можно
1
Taylor C. Structured vs. Unstructured Data // Datamation. 2018. 28 March. URL:
https://datamation.com/big-data/structured-vs-unstructured-data.html
2
Big Data: A Tool for Inclusion or Exclusion? Understanding the Issues. FTC Report, January
2016. URL: https://www.ftc.gov/reports/big-data-tool-inclusion-or-exclusion-understanding-
issues-ftc-report
23
быстро и качественно обрабатывать с помощью различных технологических
решений для их применения в прогнозировании, анализе и
усовершенствовании различных процессов внутри организаций.
Кроме того, можно выделить два вида Больших данных по так
называемому участнику их обработки:
1) Большие промышленные данные. Такой вид Больших данных
создается различными датчиками, сенсорами, которые применяются в
различных индустриях, например, в сельском хозяйстве или в
производстве, и предназначены для снятия таких показателей, как
давление, температура или различные перемещения объектов,
относимых к категории «Интернет вещей»;
2) Большие пользовательские данные. Они создаются людьми в
процессе использования различных приложений, сайтов и сервисов в
интернете (данные содержания профилей, данные местонахождения,
активности пользователей). Сюда может быть отнесена любая
информация о пользователе, его любое действие или изображение, то
есть все то, что может помочь сформировать представление о
личности и ее поведении.
Большие данные могут браться не только из интернета, но и из реальной
повседневной жизни. Примером может служить оцифровка книг или
документов. Но чаще всего такие данные создаются в архивных целях. Им не
свойственен такой признак Больших данных как быстрая обработка в режиме
реального времени.
Важно отметить, что часто под Большими данными подразумеваются
различные сервисы по управлению и обработке данными, а также
программное обеспечение, помогающее организовывать и визуализировать
данные
1
, что приводит к отнесению методов обработки объемных данных,
1
Big Data Market. Global Forecast to 2021. Markets & Markets, 2016. P. 13
24
получаемых из разных источников к понятию Больших данных,
направленных на повышение конкурентоспособности (таргетированная
реклама) и улучшения качества принимаемых решений. На этом основании,
и технологи обработки данных и сами массивы данных могут упоминаться
как Большие данные. Например, при разработке систем, помогающих
автоматически обрабатывать персональные данные, Большие данные могут
означать и сам массив данных, и алгоритмы принятия подобных решений.
Таким образом, подводя итоги по главе 1 можно отметить, что все
приведенные определения и описания Больших данных объединяет идея о
том, что предметом коммерческого интереса и, как следствие,
оборотоспособным объектом признается не только постоянно
видоизменяющийся большой объем самой разнообразной информации с
учетом различных источников сбора, но новые знания, в том числе
возможные инструменты для прогнозирования и трактовки определенных
условий, которые возникли в постоянного анализа собираемых сведений с
помощью различных специальных инструментариев.
Большие данные ценны сами по себе в силу присущих им свойств, а
также тесно сопряжены с технологиями их анализа с целью прогнозирования
развития ситуаций.
Важность Больших данных в современном мире не оспорима как в
коммерческом аспекте, так и в социальном.
Компании используют Большие данные, накапливаемые в различных
используемых системах для постоянного улучшения операционной
деятельности, для улучшения предоставляемых потребителю услуг, для
создания персонализированных маркетинговых кампаний, основанных на
индивидуальных предпочтениях отдельных представителей потребителей.
Все эти факторы помогают компаниям глубже узнавать своего потребителя и
детальнее понимать его потребности, что способствует развитию
потребителе-ориентированного подхода, который дает важное конкурентное