Московский Институт Электроники и Математики

1.

Московский Институт
Электроники и Математики
ФИО1, ФИО2

2.

Пример работы различных сетей для
задачи классификации дефектов
* Yang J. et al. Real-time tiny part defect detection system in manufacturing using deep learning //IEEE Access. – 2019.
2

3.

Области применения и внедрения
машинного зрения в производстве
Контроль линии в печатном производстве
Сортировка и контроль производственной линии в
пищевой промышленности
Контроль процессов обработки металлов
Неразрушающий контроль роботизированных
сборочных линий
Контроль за людьми на травмоопасных отраслях
производства
3

4.

Рабочее место оператора: вид справа
Камера высокого
разрешения для
распознавания.
Высота установки не
менее 1.5 м на
штативе
Освещение рабочей
зоны
Камера построения
карты глубин с
детектированием
жестов.
Высота установки не
менее 1.5 м на
штативе
Камера высокого
разрешения под
малым углом к
рабочей зоне
C
Системный
блок
4

5.

Рабочее место оператора: вид сверху
Осветительный
прибор 1
Камера построения
карты глубин с
детектированием
жестов.
Высота установки не
менее 1.5 м на
штативе
Камера высокого
разрешения для
распознавания.
Высота установки не
менее 1.5 м на
штативе
Осветительный
прибор 2
Камера высокого
разрешения под
малым углом к
рабочей зоне
C
Монитор для
демонстрации этапа
сборки и
сигнализации
Системный блок
монтируется под
столом
Системный блок
Обл. 1
Обл. 1
Обл. 1
Обл. 1
Обл. 1
Обл. 1
Обл. 1
Обл. 1
Обл. 1
Обл. 1
150 мм
Зона с деталями
Обл. 1
Обл. 1
Обл. 1
Зона контроля для
Тестовой
демонстрации
камерам
100 мм
Готовые образцы
Зона сборки
5

6.

Изометрия модели для сборки конечного образца
6

7.

Состав оборудования рабочей зоны
1. Камера промышленная 2шт.
2. Системный блок 1шт.
3. Видео карта 2шт.
4. Камера 3D 1шт.
5. Монитор с встроенным динамиком 1шт.
6. Клавиатура 1шт.
7. мышь 1шт.
8. штатив 3шт.
9. лабораторный стол 1шт.
10. Комплект подсветки 1шт.
11. Крепление для системного блока 1шт.
12. Крепление для монитора 1шт.
7

8.

Основная цепь процесса работы
Детектирование
движения рук в
рабочей области
Параллельный процессы
Контроль сортировки деталей
на столе
Распознается взятие
детали
Контроль вынесения деталей из
рабочей зоны
Проверка
правильности этапа
работ
Перемещение деталей в зону с
браком
Изменение на
рабочем столе
Критично
Да
Сигнал о нарушении
процесса
Переход в режим
возврата на
предыдущий шаг
Проверка
прохождения зоны
контроля
Контроль падения деталей из
рук
Не
критично
Нет
Перенос детали в брак
Да
Нет
Установка детали
оператором
Контроль присутствия
оператора
Проверка
прохождения зоны
контроля
Оператор вносит
изменения в сборку
Верно
Переход в режим
ожидания следующих
этапов либо нового
цикла
Демонстрация
следующего этапа
оператору
Не верно
Оператор проверяет
деталь на брак / Камеры
фиксируют брак
Фиксация выполнения
этапа.
Нет
Проверка
прохождения полного
цикла сборки
Да
Сигнал о завершении
цикла
8

9.

Список литературы для начального исследования
Razvi, SS, Feng, S, Narayanan, A, Lee, YT, & Witherell, P. "A Review of Machine Learning Applications in Additive
Manufacturing." Proceedings of the ASME 2019 International Design Engineering Technical Conferences and Computers and
Information in Engineering Conference. Volume 1: 39th Computers and Information in Engineering Conference. Anaheim,
California, USA. August 18–21, 2019
Rezaei-Malek M. et al. A review on optimisation of part quality inspection planning in a multi-stage manufacturing system
//International Journal of Production Research. – 2019. – Т. 57. – №. 15-16. – С. 4880-4897.
(https://asmedigitalcollection.asme.org/IDETC-CIE/proceedings-abstract/IDETC-CIE2019/1069728)
Phansak Nerakae, Pichitra Uangpairoj, Kontorn Chamniprasart, Using Machine Vision for Flexible Automatic Assembly
System, Procedia Computer Science, Volume 96, 2016, Pages 428-435, ISSN 1877-0509.
(http://www.sciencedirect.com/science/article/pii/S1877050916318798)
Sulaiman, Marizan & Shah, H.N.M. & Harun, Mohamad Haniff & Teck, L.W. & Kazim, M.N.F.. (2013). A 3D gluing defect
inspection system using shape-based matching application from two cameras. International Review on Computers and
Software. 2013. (https://www.researchgate.net/publication/44385746_Implementation_of_Shape__Based_Matching_Vision_System_in_Flexible_Manufacturing_System)
Partha Deka, Rohit Mittal. Quality inspection in manufacturing using deep learning based computer vision. Dec 18, 2018.
Aminzadeh M., Kurfess T. R. Online quality inspection using Bayesian classification in powder-bed additive manufacturing
from high-resolution visual camera images //Journal of Intelligent Manufacturing. – 2019. – Т. 30. – №. 6. – С. 2505-2523.
(https://link.springer.com/article/10.1007/s10845-018-1412-0)
Yang J. et al. Real-time tiny part defect detection system in manufacturing using deep learning //IEEE Access. – 2019. – Т. 7. –
С. 89278-89291. (https://ieeexplore.ieee.org/abstract/document/8750887)
9
Filz M. A., Herrmann C., Thiede S. Simulation-based Assessment of Quality Inspection Strategies on Manufacturing Systems
//Procedia CIRP. – 2020. – Т. 93. – С. 777-782. (https://www.sciencedirect.com/science/article/pii/S2212827120306752)

10.

Подходы к визуализации процесса работы и
оповещения
Решаемые задачи
Сигнальное оповещение о
событии
Вывод текстовых пояснений
Вывод иллюстрированных
инструкций
Подсказки по навигации в
рабочей области
Дополнительная
концентрация внимания в
нужной области
Технические способы
решения
Использование стандартного
монитора
Подсветка рабочей зоны с
использованием
стационарных адресных
светодиодных лент/панелей
Использование мобильных
систем дополненной
реальности
Использование стационарных
системы дополненной
реальности
10

11.

Стационарны адресные светодиодные ленты
Подсветка периметра рабочей области
диодами с адресным управлением
Плюсы использования
• Яркость подсветки
• Дешевизна исполнения
• Возможность изготовления
масштабных LED-панелей
Минусы
• Ограниченные возможности
визуализации (Нет возможности
выводить много текста)
• Перекрытие области видимости
посторонними предметами
• Высокая температура работы при
большом количестве диодов
11

12.

Мобильные системы дополненной реальности:
HoloLens, Google glass и пр.
Проекция изображения
прямо в носимом устройстве
Плюсы использования
• Мобильность
• Системы проекции
совпадают с
направлением взгляда
Минусы
• Для рабочей группы нужно
несколько устройств
• Малое время работы
12

13.

Стационарные системы дополненной реальности:
WOOD-ED TABLE симулятор станков
Проекция изображения на
определенную стационарную
поверхность
Плюсы использования
• Применима для группы людей
• Проста в калибровке и
настройке
• Не требует смены источников
питания
Минусы
• Требуется использование
контрастных проекторов
• Отсутствие мобильности
Ограниченная рабочая область
13