Большие данные и их развитие в условиях цифровой экономики

1.

Лекция: «БОЛЬШИЕ ДАННЫЕ И ИХ
РАЗВИТИЕ В УСЛОВИЯХ ЦИФРОВОЙ
ЭКОНОМИКИ»
кафедра информатики,
Санкт-Петербургский государственный
экономический университет (СПБГЭУ)

2.

П О Я ВЛЕН И Е Б О ЛЬ Ш И Х Д А Н Н Ы Х
Причина 1 – информационный взрыв, как
социально-экономический феномен развития
общества
«Информационный взрыв – лавинообразное нарастание
массы разнообразной информации в современном обществе»
Аркадий Дмитриевич Урсул, ученый,
специалист в сфере кибернетики

3.

П О Я ВЛЕН И Е Б О ЛЬ Ш И Х Д А Н Н Ы Х
Причина 1 – информационный взрыв, как
социально-экономический феномен развития
общества
I, байт
За всю историю человечества
до 2001 года человечество
накопило примерно
12х1018 байт = 12 Экзабайт
10000 до н.э.
2020 2027
0
2001
2013

4.

П О Я ВЛЕН И Е Б О ЛЬ Ш И Х Д А Н Н Ы Х
Причина 1 – информационный взрыв, как
социально-экономический феномен развития
общества
I, байт
440х1021 байт = 440 Зеттабайт
За всю историю человечества
до 2001 года человечество
накопило примерно
12х1018 байт = 12 Экзабайт
10000 до н.э.
2020 2027
0
44х1021 байт = 50 Зеттабайт
4,4х1021 байт = 4,4 Зеттабайт
2001
2013

5.

П О Я ВЛЕН И Е Б О ЛЬ Ш И Х Д А Н Н Ы Х
Причина 1 – информационный взрыв, как
социально-экономический феномен развития
общества
Особенностью роста данных в XXI веке становится резко возрастающая
доля автоматически генерируемых цифровых данных от общего объема
мировых данных:
с 11% в 2005 г. до более 40% в 2021 г.

6.

П О Я ВЛЕН И Е Б О ЛЬ Ш И Х Д А Н Н Ы Х
Причина 1 – информационный взрыв, как
социально-экономический феномен развития
общества
Причина 2 – значительное увеличение
технологического потенциала общества для
хранения, передачи и обработки цифровых
данных

7.

П О Я ВЛЕН И Е Б О ЛЬ Ш И Х Д А Н Н Ы Х
Причина 2 – значительное увеличение
технологического потенциала общества для
хранения, передачи и обработки цифровых
данных
промышленные революции
сопровождаются сменой технологических укладов
Индустрия
1.0
Индустрия
2.0
Индустрия
3.0
Индустрия
4.0
Индустрия 4.0: проникновение киферфизических систем в производства и
обслуживание человеческих потребностей
Индустрия 4.0: развитием конвергентных цифровых технологий для работы с данными,
большими данными

8.

П О Я ВЛЕН И Е ТЕРМИ Н А BIGDATA
1997-2007 гг.
термина
редкие факты появления

9.

П О Я ВЛЕН И Е ТЕРМИ Н А BIGDATA
1997-2007 гг. редкие факты появления
термина
2008 г. активное использование после
публикации «Как могут повлиять на будущее
науки технологии, открывающие возможности
работы с большими объемами данных?»

10.

П О Я ВЛЕН И Е ТЕРМИ Н А BIGDATA
1997-2007 гг. редкие факты появления
термина
2008 г. активное использование после
публикации «Как могут повлиять на будущее
науки технологии, открывающие возможности
работы с большими объемами данных?»
2011 г. большие данные трендом №2 в
ИТ- инфраструктуре по версии Gartner
Group

11.

П О Я ВЛЕН И Е ТЕРМИ Н А BIGDATA
1997-2007 гг. редкие факты появления
термина
2008 г. активное использование после
публикации «Как могут повлиять на будущее
науки технологии, открывающие возможности
работы с большими объемами данных?»
2011 г. большие данные трендом №2 в
ИТ- инфраструктуре по версии Gartner
Group
2015 г. – настоящее время большие данные
включены в программы цифровой
экономики и другие документы по
цифровизации

12.

«Б О ЛЬ Ш И Е Д А Н Н Ы Е»: от 3V до 7V
ПРАВИЛО 3V
• VOLUME — объем
данные
измеряются
физического объема
по
величине
• VELOCITY — скорость
данные
регулярно
увеличиваются
возрастающей скоростью
с
• VARIETY — разнообразие
структурированные, неструктурированные
или слабоструктурированные данные

13.

«Б О ЛЬ Ш И Е Д А Н Н Ы Е»: от 3V до 7V
ПРАВИЛО 3V
• VOLUME — объем
данные
измеряются
физического объема
по
величине
• VELOCITY — скорость
данные
регулярно
увеличиваются
возрастающей скоростью
с
• VARIETY — разнообразие
структурированные, неструктурированные
или слабоструктурированные данные

14.

«Б О ЛЬ Ш И Е Д А Н Н Ы Е»: от 3V до 7V
ПРАВИЛО 3V
• VOLUME — объем
данные
измеряются
физического объема
по
величине
• VELOCITY — скорость
данные
регулярно
увеличиваются
возрастающей скоростью
с
• VARIETY — разнообразие
структурированные, неструктурированные
или слабоструктурированные данные
Определение больших данных через правило 3V было впервые
предложено в 2001 году аналитиком Gartner Inc. Дугом Лэйни

15.

«Б О ЛЬ Ш И Е Д А Н Н Ы Е»: от 3V до 7V
ПРАВИЛО 3V
VOLUME — объем
VELOCITY — скорость
VARIETY — разнообразие
ПРАВИЛО 5V
VERACITY — достоверность
VALUE — ценность
ПРАВИЛО 7V
VARIABILITY — изменчивость
VISUALIZATION –
визуализация

16.

«Б О ЛЬ Ш И Е Д А Н Н Ы Е»: от 3V до 7V
ПРАВИЛО 3V
VOLUME — объем
VELOCITY — скорость
VARIETY — разнообразие
ПРАВИЛО 5V
VERACITY — достоверность
VALUE — ценность
ПРАВИЛО 7V
VARIABILITY — изменчивость
VISUALIZATION –
визуализация

17.

СТА Н Д А РТЫ Б О ЛЬ Ш И Х Д А Н Н Ы Х
первый Международный стандарт в области
больших данных ISO/IEC 20546:2019
В 2019 году принят первый Международный стандарт в области
больших данных
ISO/IEC 20546:2019 Information technology — Big data — Overview
and vocabulary
содержит набор терминов и определений в
области больших данных.
обеспечивает терминологическую основу для
стандартов, связанных с большими данными.

18.

СТА Н Д А РТЫ Б О ЛЬ Ш И Х Д А Н Н Ы Х
первый Международный стандарт в области
больших данных ISO/IEC 20546:2019
первый национальный стандарт в России о
больших данных ГОСТ Р ИСО/МЭК 20546-2021
В 2021 году в России принят первый национальный стандарт в области больших
данных.
ГО СТ Р ИСО /МЭК 20546-2021 «Информационные технологии. Большие данные.
О бзор и словарь»
идентичен ISO/IEC 20546:2019 Information technology – Big
data – Overview and vocabulary.
термины, перевод англоязычных терминов и понятия, которым
должны следовать участники рынка больших данных

19.

СТА Н Д А РТЫ Б О ЛЬ Ш И Х Д А Н Н Ы Х
первый Международный стандарт в области
больших данных ISO/IEC 20546:2019
первый национальный стандарт в России о
больших данных ГОСТ Р ИСО/МЭК 20546-2021
Основные термины и понятия
Большие данные (анг. Big Date) – большие массивы
данных, отличающиеся главным образом такими
характеристиками объем, разнообразие, скорость
обработки и/или вариативность, которые требуют
использования технологии масштабирования
для
эффективного хранения, обработки, управления и
анализа

20.

СТА Н Д А РТЫ Б О ЛЬ Ш И Х Д А Н Н Ы Х
первый Международный стандарт в области
больших данных ISO/IEC 20546:2019
первый национальный стандарт в России о
больших данных ГОСТ Р ИСО/МЭК 20546-2021
Основные термины и понятия
Объем данных (анг. data volume) – количественная характеристика
данных, влияющая на выбор ресурсов для вычислений и хранения, а
также на управление данными в процессе обработки.
Скорость обработки данных (анг. data velocity) – скорость потока
с которой данные создаются, передаются, сохраняются
анализируются или визуализируются.

21.

СТА Н Д А РТЫ Б О ЛЬ Ш И Х Д А Н Н Ы Х
первый Международный стандарт в области
больших данных ISO/IEC 20546:2019
первый национальный стандарт в России о
больших данных ГОСТ Р ИСО/МЭК 20546-2021
Основные термины и понятия
Объем данных (анг. data volume) – количественная характеристика
данных, влияющая на выбор ресурсов для вычислений и хранения,
а также на управление данными в процессе обработки.
Скорость обработки данных (анг. data velocity) – скорость потока
с которой данные создаются, передаются, сохраняются
анализируются или визуализируются.

22.

СТА Н Д А РТЫ Б О ЛЬ Ш И Х Д А Н Н Ы Х
первый Международный стандарт в области
больших данных ISO/IEC 20546:2019
первый национальный стандарт в России о
больших данных ГОСТ Р ИСО/МЭК 20546-2021
Основные термины и понятия
Разнообразие данных (анг. data variety) – диапазон форматов,
логических моделей, временных шкал и семантики массива
данных.
Вариативность данных (анг. data variability) – изменения в скорости
передачи, формате или структуре, семантике или качестве
массива данных.

23.

И С ТО Ч Н И КИ Б О ЛЬ Ш И Х Д А Н Н Ы Х
Корпоративные
(внутренние) данные
• Базы данных организации
• ERP
• CRM
• Системы электронного
документооборота
• Архивы
• другие
Внешние данные
Данные устройств
• Интернет: соцсети, блоги,
СМИ, форумы, сайты
• Внешние набора данных
• другие
• Показания устройств
(датчики, приборы, данные
сотовой связи,
метеорологические данные
и др.)
• Данные мобильных
устройств (частота
использования приложений,
геолокация и др.)
• Данные IoT-устройств

24.

BIGDATA и ЦИФРО ВА Я ЭКО Н О МИ КА
В национальных программах и документах по цифровизации
2017 г. БОЛЬШИЕ ДАННЫЕ выделены как одна из девяти сквозных
технологий цифровой экономики, согласно программе "Цифровая
экономика Российской Федерации" от 28.07.2017 г. (с 2019 г
недействующая)
2019 г. Большие данные включены как субкатегория сквозной
прорывной
технологии
«Нейротехнологии
и
искусственный
интеллект» в рамках дорожной карты "Нейротехнологии и
искусственный интеллект» (срок реализации до 2024 г.
включительно)
2021 г. Системы сбора, хранения, обработки, анализа,
моделирования и визуализации массивов данных выделены в
качестве
приоритетные
направления
поддержки
цифровой

25.

BIGDATA и ЦИФРО ВА Я ЭКО Н О МИ КА
Развитие больших данных
Рынок больших данных растет со среднегодовым темпом роста
примерно 10%-13%
Технологии
работы
с
большими
данными
практически во всех отраслях экономики
Компании используют большие данные
усиления своих конкурентных преимуществ
для
применяются
поддержания
и
Развиваются цифровые платформы и сервисы на основе больших
данных платформы и сервисы на основе больших данных
Растет спрос на специалистов по большим данными, аналитиков
больших
данных,
которые
считаются
одними
из
самых
востребованных современными компаниями.а основе больших данных

26.

Тестовая съемка