1С ЗУП КОРП в RWB

1.

Дата и место проведения мероприятия
1С:ЗУП КОРП в RWB:
2 миллиона физических лиц,
PostgreSQL и терабайты данных
Докладчик
Должность

2. Наш пользователь

RWB – международная технологическая компания, которая
осуществляет свою деятельность на четырех континентах и
объединяет:
• Wildberries - крупнейший в России маркетплейс;
• RWB Media - уникальные возможности рекламы и
продвижения;
• WB Банк - банковские и финансовые услуги;
• WB Travel - платформу планирования путешествий;
• а также другие яркие технологии, прочно вошедшие в жизнь
более 80 миллионов пользователей.
2

3. С чем пользователь к нам пришел

Для кадрового учета и расчета заработной платы используется
1С:Зарплата и управление персоналом КОРП.
Используется RLS.
СУБД – PostgreSQL.
Размер информационной базы – более 10 Тб.
Количество записей в некоторых регистрах накопления
200 000 000 – 350 000 000.
Партнер – Холдинг Т1.
3

4. Масштаб проекта

В одной информационной базе:
• 80 организаций;
• 50 000 подразделений;
• почти по 2 000 000 физических лиц и сотрудников (с учетом ГПХ)
от 100 до 550 000 в организации;
• приемов на работу 3 000 – 5 000 ежемесячно;
• увольнений 2 500 – 3 500 ежемесячно;
• кадровых переводов 4 000 – 6 000 ежемесячно;
• отпусков около 8 000 ежемесячно;
• больничных листов 9 000 – 15 000 ежемесячно;
• документов начисления зарплаты 17 000 – 20 000 ежемесячно.
4

5. Главный результат

Успешно выполняется
расчет заработной платы,
формируется аналитическая
отчетность.
и регламентированная
5

6. Главный результат

Не потребовались доработки
платформы и СУБД.
Платформа и PostgreSQL тянут!
6

7. Некоторые «изюминки» проекта

Из беседы с коллегой – очень опытным
экспертом по технологическим
вопросам:
Когда я был молодым и 1С была 7.7, у нас был клиент, где
работало 100 пользователей. К нему (без шуток) экскурсии
водили.
А теперь не 100 пользователей, а 30 000
надо.
Мы привыкли думать, что высокая нагрузка – это там, где много
пользователей, что нагрузка растет, когда становится больше
пользователей.
Но, похоже, пришло время перемен.
7

8. Некоторые «изюминки» проекта

Сегодняшний подход бизнеса:
Нам много пользователей не надо. Заведем себе нескольких
виртуальных роботов, и пусть работают. Им отпуск не нужен,
выходные не нужны, обед тоже не нужен, они могут и не спать, и
не есть, они не хотят кофе и не будут друг с другом болтать
между делом.
Теперь пользователей не много, но интенсивность их работы может стать
выше не то что в разы, она выше в десятки, а иногда и в сотни раз. При
относительно не большом количестве пользователей нагрузка
оказывается высокой.
Применяя этот подход, невероятно креативная команда RWB смогла
обеспечить очень высокий уровень автоматизации рутинных операций.
8

9. Некоторые «изюминки» проекта

Почему стоит обратить внимание на опыт работы с
виртуальными роботами?
• вероятнее всего, этот подход будет набирать популярность и станет
встречаться все чаще и чаще;
• поскольку таких нечеловеческих пользователей не тревожат мысли
вроде «интересно, у кого какая зарплата», довольно часто они могут
работать без RLS, выполняя при этом очень существенный объем
работ;
• при проектировании нагрузочных тестов следует учитывать планы
клиента на применение таких подходов, закладывая при
необходимости соответствующую интенсивность работы
9

10. Некоторые «изюминки» проекта

Еще одна особенность проекта – фокус на количество и объем
данных.
Количество данных в некоторых таблицах измеряется сотнями
миллионов.
Размер отдельных таблиц измеряется десятками или даже сотнями
Гб.
Размер базы перевалил за 10 Тб.
Как размеры отдельных таблиц, так и общий размер базы начинают
осложнять ее обслуживание.
При таких обстоятельствах предотвращение дальнейшего роста
объема данных и сокращение объема уже имеющихся данных
10

11. Некоторые «изюминки» проекта

Основной фронт работ – адаптация типовой функциональности
1С:ЗУП КОРП к специфике пользователя.
Решения такого рода задач предполагают пересмотр
прикладной логики, что в свою очередь требует хорошего знания
предметной области, методологии учета и глубокого понимания
архитектуры конфигурации.
Традиционно, когда возникают проблемы производительности,
мы думаем, что их решит эксперт по технологическим
вопросам.
Опыт этого проекта заставил осознать, что, сильные
консультанты/архитекторы/методисты нужны не меньше. Без
таких специалистов будет трудно. И этот нюанс стоит учитывать
«на берегу».
11

12. Таблица итогов больше основной

Таблица итогов регистра
накопления в разы (десятки или
даже сотни раз) больше
основной таблицы.
Кто же такого не видел?
Мы все знаем, как с этим
бороться. Поправляем движения
до нулевых итогов, пересчитываем
итоги.
Но есть нюансы…
12

13. Таблица итогов больше основной

В зарплатных конфигурациях
некоторые регистры накопления
настолько сильно логически связаны,
что исправлять их по отдельности
нельзя, чтобы не нарушить нормальную
работу с точки зрения
функциональности.
Причем проблема на связанных
регистрах может проявляться в разной
степени.
Исправлять данные следует
одновременно во всех связанных
регистрах, после предварительного
анализа функциональным экспертом.
13

14. Гигабайты бесполезных данных

На картинке ниже записи одного из регистров накопления, которые
регистрируют в учете начисление и удержание НДФЛ по заработной плате за
первую половину месяца.
Из 8 записей полезных только 2 записи. Более 70% записей бесполезны.
14

15. Гигабайты бесполезных данных

В соседнем регистре накопления похожая картина: из 5 записей полезная
только 1.
Это не ситуация, характерная для всей РФ!
Это ситуация, наблюдаемая на конкретных данных конкретного пользователя в
связи со спецификой именно его учета.
15

16. Гигабайты бесполезных данных

Такая специфика учета в сочетании с весьма не маленькими габаритами
пользователя может приводить к десяткам гигабайт бесполезных данных. В
перспективе следующих пары лет они могут превратиться и в сотни гигабайт.
При наличии подозрений на лишние данные в первую очередь следует
провести методический анализ накопленных данных на предмет:
• корректности ввода данных;
• возможности отличать бесполезные данные от полезных;
• возможности не формировать записи в тех случаях, когда они
бесполезны;
• возможности «зачистки» уже накопленных данных без появления
проблем при формировании отчетности (в т.ч. корректирующей за
прошлые периоды).
16

17. Отчет из сотен миллионов записей

Отчет «Анализ НДФЛ по месяцам» - один
из самых востребованных у
пользователей зарплатных
конфигураций.
В данном случае «красные герои» регистры накопления из прошлого
примера.
В каждом из двух случаев при разных
настройках отчета от 80 до 200 млн.
записей с попутной проверкой на
соответствие RLS.
В большинстве случаев действительно
нужны не более 5% из них.
17

18. Отчет из сотен миллионов записей

В такой ситуации самое первое желание – придумать способ получать сразу
только те самые действительно нужные 5%.
Желание правильное, но стоит учитывать, что в зарплатных конфигурациях
неаккуратное применение отборов к исходным данным, а не к конечному
результату, может приводить к искажению содержимого отчета.
В данном случае были задействованы отборы по головной организации,
физическим лицам, периоду получения дохода и периоду взаиморасчетов, а
также задействованы возможности дополнительных индексов.
Исходя из специфики учета каждого конкретного пользователя такой
«безопасный» набор полей для отбора, применяемого к исходным данным,
может быть другим. Он может быть разным для разных отчетов. Определить его
поможет функциональный эксперт.
18

19. Отчет из сотен миллионов записей

Специфика учета пользователя такова, что есть организации с численностью
в 550 000 человек. С учетом текучки кадров внутри одного года есть данные
по более 600 000 физических лиц.
Особенности учета НДФЛ предполагают расчет с начала года нарастающим
итогом. Поэтому при формировании отчета за год по такой организации записей
все равно в лучшем случае будут десятки миллионов. И все их надо «упаковать» в
отчет, который формируется не «за ночь».
В этом случае применялось многопоточное получение и обработка исходных данных
с последующим объединением результатов.
При разных настройках детализации данных и использовании RLS время
формирования отчета составило:
•от 10 до 25 минут для организаций с численностью порядка 550 000 человек;
•до 2 минут для организаций с численностью порядка 20 000 человек;
•до 15 секунд для организаций с численностью порядка 1 000 человек.
19

20. С чего начать

«Наталья, а что нам делать, если у нас беда с
производительностью?»
– слышу я в дни партнерских семинаров,
встречая представителей клиентов.
20

21. Эксперт по технологическим вопросам

Шаг № 1 – добыть эксперта по технологическим
вопросам, знания которого позволят:
• избежать ошибок при доработке кода прикладного решения;
• выбрать оборудование, обеспечивающее достаточную
производительность системы;
• обеспечить полноценное нагрузочное тестирование системы;
• провести успешное внедрение;
• правильно администрировать работающую систему;
• осуществлять мониторинг и анализ производительности работающей
системы;
• решать технологические проблемы, которые могут возникать при
внедрении и эксплуатации системы.
21

22. Эксперт по технологическим вопросам

Фирма «1С» проводит обучение и сертификацию технических
специалистов по компетенции «1С:Эксперт по технологическим
вопросам».
Специалисты, имеющие такой сертификат, обладают опытом
и знаниями, которые необходимы для эксплуатации крупных
информационных систем на базе решений фирмы «1С».
Если фронт работ для эксперта по технологическим вопросам не
очень большой, есть смысл обратиться к партнеру, имеющему в
штате сертифицированных специалистов.
На очень крупных проектах целесообразно иметь в своем штате
эксперта по технологическим вопросам.
22

23. Проекты ЦКТП

Крупные клиенты могут быть заинтересованы не только в
привлечении партнера, у которого есть опыт крупных внедрений
и эксперты по технологическим вопросам.
Очень часто такие клиенты хотят помощи и контроля со стороны
вендора.
Такое взаимодействие может быть организовано через
Центры корпоративной технологической поддержки (ЦКТП).
Проект ЦКТП предполагает трехсторонний договор с участием
пользователя, партнера и Фирмы «1С».
23

24. Проекты ЦКТП

В рамках проекта ЦКТП Фирма «1С» оказывает платные услуги по
технологическому курированию проектов внедрения и поддержки
корпоративных информационных систем на платформе
«1С:Предприятие 8».
В рамках проекта ЦКТП не осуществляется консультирование по
вопросам функциональности типовых решений, методологии
учета и практики применения законодательства.
Проекты ЦКТП ориентированы на информационные системы,
работающие под высокой нагрузкой, а также на пользователей,
которые предъявляют высокие требования по качеству работы
информационных систем в части производительности,
доступности и стабильности.
24

25. Проекты ЦКТП

Средняя продолжительность проекта ЦКТП – от 3 до 6 месяцев.
Работы в рамках проекта ЦКТП осуществляются партнером, у
которого есть опыт успешной реализации сложных внедрений
с высокими требованиями к качеству работы системы,
подтвержденные отзывами клиентов.
Обязательное условие – наличие в штате партнера
сертифицированного эксперта по технологическим вопросам.
Работы проводятся при непосредственном участии и под
техническим руководством эксперта по технологическим
вопросам.
25

26. Проекты ЦКТП

Все работы в рамках проекта ЦКТП осуществляются при
участии специалистов Фирмы «1С», которые:
• предоставляют все необходимые методики
и инструменты;
• контролируют правильность принимаемых технических
решений;
• оказывают оперативную помощь в решении сложных
технических проблем;
• контролируют ход работ и полученные результаты.
26

27. Проекты ЦКТП

Чтобы начать проект ЦКТП,
необходимо:
• прислать заявку на CorpTechSupport@1c.ru;
• прислать информацию о самом проекте —
цели и границы проекта,
конфигурацию оборудования и системы
в целом, целевой уровень качества работы;
• заключить трехсторонний договор на выполнение
работ.
27

28.

Дата и место проведения мероприятия
1С:ЗУП КОРП в RWB:
2 миллиона физических лиц,
PostgreSQL и терабайты данных
Спасибо за внимание!
Докладчик
Должность