00-00019079 Поиск, подтверждение и замена дублей НСИ

1.

1C:ERP Управление предприятием
Поиск, подтверждение и замена дублей НСИ
00-00019079

2. Предпосылки проекта

◼
Недостатки существующей обработки БСП «Поиск и удаление дублей»:
▪
▪
Не учитывает особенности структуры данных ERP, например:
▪
Партнеры и контрагенты могут вестись совместно или раздельно, что может привести к ошибкам
после замены
▪
Дублями могут быть найдены услуга и товар, что неверно и такую замену производить нельзя
Интерактивность.
▪
На больших базах процесс поиска и замены дублей может занимать длительное время
▪
Информация о том, что в базе есть дубли, появляется только в момент использования
обработки. Дубли не выявляются автоматически в момент создания, что может приводить к
использованию задублированных элементов в документах и усложнять процесс дедупликации
▪
Поиск, анализ и замена дублей слиты в одно действие, но за эти два действия могут отвечать
разные пользователи
2

3. Цели и задачи проекта

◼
Цель проекта
▪ Создать механизм поиска, подтверждения и замены дублей в НСИ, более
подходящий для сценариев использования в ERP.
◼
Задачи проекта
▪ Реализовать правила поиска возможных дублей
▪ Реализовать механизм сравнения и подтверждения дублей
▪ Реализовать механизм замены дублей*
▪ Реализовать интерактивную отметку дублей
▪ Реализовать проект универсально, чтобы в дальнейшем перенести в БСП
*Также есть задача не удалять дубли, а просто ограничить их использование. Она требует реализации механизма отметки
недействительных и вынесена в отдельный проект, который реализуется в БСП.
3

4. Сценарий использования

◼
В презентации будут рассмотрены следующие сценарии работы:
◼
1. Настройка и запуск правил поиска дублей администратором.
◼
▪
Формирование запроса, проверка результата
▪
Ручной запуск
▪
Настройка запуска по расписанию
▪
Очистка ошибочно сгенерированных дублей по правилу
2. Работа ответственного пользователя со списком дублей в рабочем месте «Дубли НСИ»
▪
Подтверждение дублей
▪
Непризнание дублей
▪
Отслеживание и разбор ошибок замены дублей, возобновление замены
▪
Изменение действий над дублем
◼
3. Настройка расписания замены и удаления дублей
◼
4. Интерактивная отметка дублей в списках
4

5.

Новая команда открывает
рабочее место для разбора
дублей

6.

Новая команда открывает
рабочее место для разбора
дублей

7.

Команда БСП «Поиск и удаление
дублей» удаляется с панели, при
необходимости администратор
может найти обработку в
стандартном меню «Сервис». Но по
умолчанию команда будет скрыта.
Новая команда

8.

Правила поиска дублей

9. Правила поиска дублей

◼
◼
Правила поиска дублей реализуются в виде запроса
▪
Результат запроса возвращает пары похожих элементов, которые совпали по условиям поиска
▪
Все элементы, найденные по одному правилу, равнозначны, поэтому пары потенциальных
дублей объединяются в группы
Формирование групп потенциальных дублей возможно следующими способами:
▪
В фоновом режиме по правилам (правила с условиями по И/ИЛИ, на основе ключевых
реквизитов)
▪
Из внешнего источника через программный интерфейс
▪
Интерактивно из формы списка

10. Правила поиска дублей

◼
◼
Например, в результате работы правила по совпадению банковского счета была получена таблица контрагентов из
двух пар.
ООО Ромашка
Ромашка
ООО Ромашка
Ромашка (Москва)
Ромашка (Москва)
Ромашка
Такие пары будут объединены в группу и подлежат рассмотрению совместно, т.е. оригинальный элемент может
быть только один из трех. Остальные могут быть только дублями.
ООО Ромашка
ООО Ромашка
Ромашка (Москва)
◼
Группы с одинаковыми дублями, найденными по разным правилам, рассматриваются совместно, чтобы не
привносить противоречий при выборе дублей/оригиналов. Если элемент попадает в несколько групп по разным
правилам поиска, все такие группы объединяются и анализируются вместе, обеспечивая непротиворечивый выбор
оригинала и дублей.

11. Правила поиска дублей

◼
◼
◼
Правила могут быть добавлены для любого справочника и плана видов
характеристик без изменения конфигурации
Поиск дублей по правилам выполняется по расписанию регламентным
заданием или интерактивно из формы правила
Поставляемые правила
▪ Будут добавлены поставляемые правила для поиска дублей в справочниках
Партнеры, Контрагенты, Номенклатура, Характеристики номенклатуры
▪ Именно в этих справочниках наиболее часто возникают дубли

12. Поставляемые правила поиска дублей справочника «Номенклатура»

◼
◼
По настройкам уникальности вида номенклатуры
▪
При включении опции «Контролировать уникальность
номенклатуры и характеристик по сочетанию значений
реквизитов» в виде номенклатуры настраиваются реквизиты
для контроля уникальности.
▪
При настройке уникальности система предупреждает при
интерактивном создании дублей, но дубли могут появиться не
только в результате интерактивного ввода, но и при
использовании интеграций
▪
Запрос для этого правила будет сформирован динамически в
момент поиска дублей для каждого вида номенклатуры по
настройкам контроля уникальности
Совпадает наименование
▪
Поиск дублей осуществляется по полям «Наименование» и
«Наименование полное». При этом у дублей должны
совпадать вид номенклатуры (тип, использование
характеристик и серий, особенность учета), единица
измерения, принципал, контрагент, группа финансового учета
и качество.

13. Поставляемые правила поиска дублей справочника «Характеристики номенклатуры»

◼
По настройкам уникальности вида номенклатуры
▪ При включении опции «Контролировать уникальность номенклатуры и
характеристик по сочетанию значений реквизитов» в виде номенклатуры
настраиваются реквизиты для контроля уникальности
▪ Запрос для этого правила будет сформирован динамически в момент поиска
дублей для каждого вида номенклатуры по настройкам контроля уникальности.
◼
Совпадает наименование
▪ Поиск дублей осуществляется по полям «Наименование» или «Наименование
полное» (если заполнено). При этом у дублей должен совпадать владелец.

14. Поставляемые правила поиска дублей справочника «Контрагенты»

◼
Совпадает ИНН и КПП
▪ Поиск дублей осуществляется по полям «ИНН» и «КПП». При этом у дублей
должны совпадать признак юридическое/физическое лицо и ИНН не должен быть
пустым.
◼
Совпадает контактная информация и не заполнен ИНН
▪ У дублей должны совпадать юридическое/физическое лицо, контактная
информация (тип и представление, либо номер телефона, либо адрес электронной
почты), а хотя бы у одного контрагента не должен быть заполнен ИНН.

15. Поставляемые правила поиска дублей справочника «Контрагенты»

◼
Совпадает наименование и контактная информация
▪
◼
Совпадает номер банковского счета
▪
◼
Поиск дублей осуществляется по полям «Наименование» или «Наименование полное», а
также по контактной информации. При этом у дублей должны совпадать
юридическое/физическое лицо, а также контактная информация (номер телефона, адрес
электронной почты или представление адреса) либо контактная информация отсутствует у
обоих контрагентов.
Поиск дублей осуществляется по полю «Номер счета» и полям банка. При этом у дублей
должны совпадать банк, БИК банка, СВИФТ банка и номер счета, а владельцами должны быть
разные контрагенты.
Совпадает регистрационный или налоговый номер нерезидента
▪
Поиск дублей осуществляется по полям «Налоговый номер» или «Регистрационный Номер».
При этом у дублей юридическое/физическое лицо должно быть «Нерезидент».

16. Поставляемые правила поиска дублей справочника «Партнеры»

◼
Совпадает контактная информация
▪
◼
Совпадает наименование
▪
◼
Поиск дублей осуществляется по полям контактной информации «Адрес», «Телефон» и
«Адрес электронной почты». При этом у дублей должны совпадать тип контактной
информации, представление контактной информации и юридическое/физическое лицо.
Поиск дублей осуществляется по полям «Наименование» или «Наименование полное». При
этом у дублей должны совпадать юридическое/физическое лицо, а также контактная
информация (номер телефона, адрес электронной почты или представление адреса) либо
контактная информация отсутствует у обоих партнеров.
Если не включена опция «Использовать партнеров и контрагентов», то для поиска
дублей партнеров действуют правила справочника «Контрагенты», но дублем
регистрируется ссылка на партнера.

17.

Поиск по правилу можно
отключить, если убрать
признак активности.
Поставляемые правила по
умолчанию выключены.
Отбор по типу справочника. В
списке отображаются только
элементы, для которых
определены правила.
Переход к работе с дублями.

18.

Если настроены реквизиты уникальности для вида
номенклатуры, то запрос не отображается и не
редактируется, т.к. формируется динамически.
Такое правило можно только включить или
выключить.

19.

Проверка результата. Не
требует записи

20.

Пример результата отчета,
сформированного по правилу
совпадения банковского счета.
Параметр «правило»
декоративный, дает понимание
контекста правила.

21.

Подсчет мест использования
помогает принимать решение,
какой элемент оставить в
качестве оригинала, а какие
элементы удалить
Если расписание установлено, то
представление отображается в
гиперссылке (для всех расписаний)

22.

Сохраняет в системе информацию о
дублях, найденных правилом. Фиксация
дублей требует записи правила
Переход к списку дублей с
отбором по текущему правилу

23.

Сравнение и подтверждение дублей

24. Действия ответственного пользователя на этапе сравнения и объединения

▪ Проанализировать и разобрать сформированные группы потенциальных дублей
▪ Сравнить объекты внутри выбранной группы
▪ Определить, какой элемент является оригиналом, а какие — дублями
▪ При необходимости актуализировать данные оригинала используя информацию из
дублей
▪ Принять решение о том, как поступить с дублями

25.

26.

В списке показываются справочники,
которые есть к обработке и доступны
пользователю.
В скобках показано количество дублей
на вкладке «К подтверждению»
Сортировка по алфавиту.
В первый раз рабочее место
открывается без отбора.
Пользователь должен выбрать
справочник из списка. В дальнейшем
значение реквизита сохраняется для
пользователя.
Если в результате работы не
осталось дублей по выбранному
справочнику, то поле очищается и в
форму ничего не выводим.

27.

После сравнения и объединения группа с
этой вкладки расформировывается. Записи в
статусе «Дубль» переносятся в «Список
дублей».
По команде «Сравнить и
подтвердить» происходит
переход к окну работы с
дублями. В нем принимается
решение о том, какой элемент
оригинальный, а какие дубли.
Поиск и обновление количества ссылок на
элемент в ИБ для выделенных дублей

28.

Дополнительные реквизиты и виды
контактной информации будут
выводиться вместе с реквизитами
При открытии формы
список скрыт.
Отобразить скрытый
список
Отдельный информационноинтерактивный блок со
статусами и местами
использования выводится
всегда, чтобы видеть что
подтверждаем, когда список
свернут

29.

Интерактивная смена
статуса по гиперссылке

30. Статусы дублей

◼
Статусы дублей
▪
Требуется подтверждение – требуется анализ и подтверждение пользователя, что элемент является
оригиналом, дублем или же не является дублем в рамках группы.
▪
Оригинал – в рамках группы дублей может быть выбран только один. Оригинал всегда остается в базе.
▪
Дубль – для этого статуса возможны два варианта действий
▪
▪
▪
Не является дублем – в результате анализа было принято решение, что элемент в рамках группы не является
дублем и замене не подлежит. В этом случае дубль может быть найден повторно. Чтобы этого избежать в
будущем, следует:
▪
▪
◼
◼
Не удалять – дубль остается в базе, и правила поиска его больше не находят. При этом в исторических данных ссылки на
дубль на заменяются.*
Заменить ссылки и удалить – ссылки на дубли подлежат замене на ссылки оригинала. После замены ссылок дубль подлежит
удалению
Или дозаполнить элемент, чтобы он перестал удовлетворять критериям поиска
Или уточнить правило
При установке статуса «Дубль, заменить ссылки и удалить» элемент одновременно помечается на
удаление, что ограничит его дальнейшее использование. При установке статуса «Дубль, не
удалять» пометка на удаление не ставится.
При ошибке замены элемент остается подтвержденным дублем, его статус не меняется.
*После реализации проекта БСП будет возможность отметить недействительным

31.

Отчет строится по выбранным
элементам
Необходимо отметить дубли и
оригиналы. Или указать, что
элемент дублем не является
Если есть «Код», то он выводится
первым, чтобы избежать путаницы с
одинаковыми наименованиями
Элементы выводятся слева
направо в соответствии со
статусом: Оригинал, Требует
подтверждения, Дубль
Из отчета открывается
элемент справочника

32.

По умолчанию отчет о
сравнении покажет только
различающиеся реквизиты и
табличные части. Так же
можно отобразить все
реквизиты и табличные части

33.

В группировке может
быть указано:
- правило поиска
- пользователь
По гиперссылке просмотр
исходной группировки дублей.
Надпись появляется, если есть
пересечения групп

34.

Ранее элементы уже могли быть
признаны дублями/оригиналами в
рамках разбора групп по другим
правилам.
В этом случае присваиваются
сохраненные статусы и их нельзя
изменить.
Для пересмотра статуса
необходимо удалить запись из
списка подтверждённых дублей
При подтверждении группы происходит
проверка. Если оригиналом выбран
другой элемент или изменен статус
оригинала, пользователь получит
предупреждение с привязкой к элементу
формы.

35.

По гиперссылке переход к правилу
для его редактирования
При подтверждении статусов дублей
происходит контрольный поиск дублей по
текущему правилу. Если элементы в
статусе «Не является дублем» снова
будут найдены как дубли, показываем
предупреждение.

36.

Замена дублей

37. Замена дублей

◼
Отметка и замена дублей - разные процессы, выполняются асинхронно
◼
Замена выполняется по расписанию в фоне
◼
◼
Для замены используется подсистема БСП «Поиск и удаление дублей».
Замена осуществляется в режиме ОбменДанными.Загрузка = Истина
Выполнено встраивание механизма «Замена связанных подчиненных
объектов» для метаданных, которые могут быть затронуты при замене
номенклатуры, характеристик номенклатуры, контрагентов, партнеров.

38. Встраивание связанных подчиненных

◼
Справочник «Ключи аналитики учета номенклатуры»
▪
◼
Справочник «Ключи аналитики учета наборов»
▪
◼
Регистр сведений «Аналитика учета номенклатуры»
Регистр сведений «Аналитика учета наборов»
Справочник «Ключи аналитики учета по партнерам»
▪
Регистр сведений «Аналитика учета по партнерам»
◼
Справочник «Назначения»
◼
Справочник «Объекты расчетов»
◼
Справочник «Партии реализованной номенклатуры»
◼
Справочник «Контрагенты» для «Партнеров»
▪
Если включена функциональная опция «Использовать партнеров как контрагентов»

39. Переопределение перед заменой

◼
◼
В модуле «ПоискИЗаменаДублейНСИПереопределяемый» реализован метод
«ПроверитьВозможностьЗаменыДублей». Он дает возможность проверить
дубли и исключить их из замены, если это сломает бизнес-логику.
Параметры метода
▪ ПарыЗамен – Соответствие Дубль-Оригинал
▪ НевозможныеЗамены – Таблица значений, в которую нужно добавить информацию
об ошибке замены:
▪
Дубль
▪
Объект, в котором найден дубль и не может быть заменен
▪
Сообщение об ошибке, поясняющее причину невозможности замены
▪ Тип – Тип ссылок в парах замен. Для удобства обработки пары замен
группируются по типам. Так проще понимать, нужно ли анализировать текущие
пары замен

40.

Отчет БСП «Места
использования» дубля для
выделенной строки
Изменение действия
с дублем и
перезапуск замены
после исправления
ошибок
Отбор по состоянию замены
ссылок. Ошибки можно отобрать
по значению «Замена
приостановлена из-за ошибок»

41. Состояния удаления дублей

◼
◼
◼
Удаление не планируется – замена не выполняется, т.к. для дубля выбрано
действие «Не удалять»*
Запланирована замена ссылок и удаление – записи будут обработаны
механизмом замены по расписанию
Замена ссылок и удаление приостановлены из-за ошибок – было выполнено
3 попытки замены, но из-за ошибок не удалось завершить. Чтобы не тратить
ресурсы, замена приостановлена до устранения проблем
*После реализации проекта БСП будет возможность отметить недействительным

42.

После реализации проекта
БСП будет возможность
отметить недействительным

43.

Поиск и обновление количества ссылок на
элемент в ИБ для выделенных дублей

44.

Переход к стандартному окну
настроек регламентного задания

45.

По гиперссылке открывается
окно с информацией о том, в
каком объекте не удалось
заменить ссылки и почему.

46.

Интерактивная отметка дублей

47.

Во всех формах кнопку «Отметить
дублями выделенные» располагаем
сразу после кнопки «Изменить
выделенные».
В формы списка и выбора в «Еще» добавляется команда
«Отметить дубли». Команда работает по выделенным
объектам. Один элемент выделить нельзя, об этом появится
сообщение.
Если у пользователя есть право устанавливать пометку
удаления справочника, то система предложит открыть форму
сравнения подтверждения дублей.

48.

После отметки дублей
предлагается их сравнить и
подтвердить в рабочем месте

49.

50.

51. Настройка прав

◼
Если используется RLS (например, по группам доступа для
номенклатуры/партнеров), то необходимо копировать типовой профиль и
включать в него роль «Подтверждение дублей НСИ»
▪
◼
Следствие технического ограничения. При использовании RLS права на справочник с
дублями и права на служебные регистры механизма дублей должны назначаться одним
профилем, который соответствует одной группе доступа
Если RLS не используется, то можно создать дополнительный профиль, включить
в него только роль «Подтверждение дублей НСИ»
51

52. Обновление ИБ

◼
◼
При переходе на новую версию будут заполнены запросы для поставляемых
правил
Правила поиска поставляются в выключенном состоянии