Big Data без «космоса» Как настроить и масштабировать работу с данными, если вы не Google… и даже не Yandex

1. Big Data без «космоса»

Как настроить и масштабировать работу с
данными, если вы не Google… и даже не Yandex
ИВАН НАСТЮХИН, CTO FLOCKTORY
Москва, 2017

2. О чем мы будем говорить: что нужно data-проекту, что мешает и что будет завтра

1) Техническая составляющая проекта: на чем строить,
архитектура
2) Технологии VS Люди, что важнее и как выбирать?
3) Почему успешный data-проект - это всегда сложно, но точно
НЕ технически!
4) Куда в целом все движется…

3. С чем приходится работать…

Быстрый и продолжающийся рост
За 4 года ~ в 100 раз !
В течение 2018 вырастем еще ~в 3 раза
Храним любые сырые данные, которые
видим
Пытаемся оперировать реальным бюджетом

4. Техническая составляющая проекта Flocktory

Mongo
PostgreSQL
Vertica
Redshift
Vertica
(где храним данные, которые могут использовать аналитики)
PostgreSQL
Druid
(личный кабинет клиента, дашборды в реальном времени)
Druid
PowerBI + SQL/Redshift
(кастомизация именно под наши задачи с экономией ресурса)

5. Технологии VS Люди: что важнее?

Какие технологии
используем мы:
Hadoop
Spark
Hive
Kafka
Flink
Scala/Python
Not a rocket science!
Как найти
правильных людей?
1) С Ruby на Clojure –
хороший фильтр
2) Try to use cutting edge –
постоянно
новое
3) Freedom
пробуем
– свобода
эксперимента

6. Почему так сложно сделать успешный data-проект?

Технологии и
решения
Данные (чуть больше, чем
только ваша data)
Люди (заказчики и исполнители)
BIG DATA

7.

Почему так сложно сделать успешный data-проект?
1) Инициируют технические
специалисты, инженеры
2) Инженеры – оптимисты!
А реальность… кусается
3) Инициатива падает и
проект умирает

8. Шанс на успех. Ваш data-проект может выжить

Культура data driven
Продуктовая постановка задачи и
конкретные маркетинговые цели
Привлечение технологической
экспертизы
Не пытаться построить космолет
(сразу)

9. Куда в целом все движется…

Технологии & Люди & Данные
AWS/GCP – облачные технологии сожрут всех (а сегодня еще
очень дорого)
Данные - если срочно не начнем делиться и доверять друг
другу, то в итоге проиграют все
Люди – вы всегда конкурируете за кадры с Google, Facebook…
AI – все ускоряется

10. Flocktory – крупнейшая облачная SaaS-платформа для персонализации сайта и управления Customer LTV

Типы клиентов
Крупные интернет-магазины
Онлайн-банки
Сайты страховых компаний
Платежные системы
Операторы связи
Travel-агрегаторы
Медиа
Цифры и факты
~35% онлайн-транзакций Рунета
~60 млн профилей пользователей
>500 клиентов
(преимущественно Enterprise)

11. Спасибо за ваше внимание