Система интеллектуальной сортировки фруктов на основе роботизированного манипулятора и компьютерного зрения

1.

Система интеллектуальной сортировки
фруктов на основе роботизированного
манипулятора и компьютерного зрения
для конвейерных линий
Алхади Сафаа
группы: СМ7-12М
Московский государственный
технический университет
им. Н.Э. Баумана

2.

введение
В данном проекте разрабатывается интеллектуальная система
сортировки
яблок,
использующая
роботизированный
манипулятор HEX и технологии компьютерного зрения. Цель
системы – автоматизация процесса сортировки яблок на
конвейерных линиях с учетом их размеров, цвета и качества
поверхности.
Московский государственный
технический университет
им. Н.Э. Баумана

3.

Обзор существующих решений:
1. Оптические сортировочные линии:
Данные системы оснащены камерами и сенсорами,
которые анализируют размер, цвет и форму яблок, а также
выявляют дефекты. На основе полученных данных фрукты
классифицируются и направляются в соответствующие
категории. Примером такой системы является линия
сортировки яблок с водной разгрузкой, представленная
компанией «Русбана Инжиниринг».
Московский государственный
технический университет
им. Н.Э. Баумана

4.

2.Роботизированные системы сортировки:
Роботы-манипуляторы используются для перемещения и
сортировки яблок на конвейере. Они оснащены специальными
захватами и системами компьютерного зрения для точного
определения параметров плодов. Например, компания
«РОБОСОРТ» разработала первый российский роботсортировщик, предназначенный для автоматизации процесса
сортировки различных товаров, включая фрукты.
Московский государственный
технический университет
им. Н.Э. Баумана

5.

3. Сортировочные линии с весовыми станциями:
Такие системы используют весовые датчики для
классификации яблок по массе. Они могут быть дополнены
оптическими сенсорами для более точной оценки качества
плодов. Примером является линия сортировки яблок
производительностью 5-6 т/ч, которая сортирует фрукты по
весу, диаметру и цвету.
Московский государственный
технический университет
им. Н.Э. Баумана

6.

Недостатки существующих решений:
Ограниченная гибкость: Многие системы настроены на
сортировку определенных размеров и форм яблок, что
снижает их эффективность при обработке плодов
нестандартных размеров или форм.
Высокая стоимость внедрения:
Современные автоматизированные системы требуют
значительных инвестиций в оборудование и программное
обеспечение, что может быть недоступно для небольших
производителей.
Московский государственный
технический университет
им. Н.Э. Баумана

7.

Постановка задачи:
Целью данного проекта является разработка
интеллектуальной системы сортировки яблок на основе
роботизированного манипулятора типа HEX и технологий
компьютерного зрения. Предполагается устранить указанные
недостатки путем создания более гибкой и адаптивной
системы, способной эффективно сортировать яблоки
различных размеров и форм, снизить затраты на внедрение и
обслуживание, а также обеспечить простоту использования
для операторов.
Московский государственный
технический университет
им. Н.Э. Баумана

8.

Функциональная схема
1. Конвейерная линия - транспортировка яблок на сортировку.
2. Робот HEX — это робот, используемый для захвата и
перемещения яблок.
3.Система машинного зрения (MVS) - анализ качества, цвета,
размера и других параметров яблок с использованием
компьютерного зрения.
4.Контролер управления — решения по обработке и
сортировке данных.
5. Программное обеспечение - алгоритмы машинного зрения
и управление процессором.
Московский государственный
технический университет
им. Н.Э. Баумана

9.

Технические требования (РТС):
1. Обрабатывающий робот (HEX)
Технические требования:
Гексагональный процессор: робот должен обладать достаточной маневренностью и
точностью для выполнения операций по сортировке яблок.
Требования к количеству степеней свободы (например, 6 степеней свободы для
процессора).
Грузоподъемность: процессор должен быть способен удерживать яблоко без
повреждений, учитывая его вес и форму.
Скорость работы: Процессор должен обеспечивать скорость, необходимую для
сортировки яблок в реальном времени, соответствующую скорости конвейера.
Точность захвата и манипулирования: Из-за формы и размера яблока манипулятор
должен иметь возможность точно захватывать яблоко и перемещать его в
определенные места.
Московский государственный
технический университет
им. Н.Э. Баумана

10.

2. Компьютерное зрение
Технические требования:
Камеры и датчики: используйте камеры высокого разрешения, чтобы сделать
снимки яблока, а также датчики, чтобы определить его состояние (цвет,
повреждения, размер, форма).
Алгоритмы обработки изображений: программное обеспечение должно включать
алгоритмы для классификации и распознавания яблок и их дефектов, а также
сортировки их по категориям (например, по цвету, размеру или качеству).
Интерфейс робота: интеграция с системой управления роботом для точной
сортировки.
Московский государственный
технический университет
им. Н.Э. Баумана

11.

3. Программное обеспечение
Технические требования:
Интерфейс управления: программное обеспечение должно предоставлять
интерфейс для настройки и управления роботизированной системой, включая
настройку параметров процессора и камеры, а также алгоритмов сортировки.
Внедрение алгоритмов компьютерного зрения: разработка или интеграция
существующих решений по обработке изображений и машинному обучению для
классификации яблок и их дефектов.
Алгоритмы управления роботом: Система управления роботизированной рукой
должна быть адаптирована для работы с конкретным типом робота Hex, включая
управление степенями свободы и точностью манипуляции.
Интерфейс мониторинга: программное обеспечение должно включать
инструменты для мониторинга работы системы в режиме реального времени,
обнаружения ошибок и улучшения работы.
Московский государственный
технический университет
им. Н.Э. Баумана

12.

4. Транспортная система
Технические требования: Скорость конвейера: конвейерная лента
должна быть совместима с процессором, обеспечивая достаточно
времени для сортировки каждого яблока на основе его
характеристик.
Интерфейс с роботизированной системой: Конвейер должен быть
интегрирован с системой управления для синхронизации скорости
движения и работы процессора.
Московский государственный
технический университет
им. Н.Э. Баумана

13.

Конструкция схвата:
Для захвата яблок различного размера без повреждения важно использовать схват,
который способен адаптироваться под форму и размеры фрукта. Одним из вариантов
является использование пневматического или вакуумного захвата. Вакуумный захват
может быть идеальным решением для робота Hex, так как он позволяет создавать
мягкое, но эффективное сцепление с фруктом, не повреждая его. В этом случае
можно использовать вакуумный насос для создания отрицательного давления и
силиконовые присоски, которые будут мягко обхватывать яблоки.
Датчики усилий:
Для предотвращения повреждения яблок можно интегрировать датчики усилий на
схвате. Эти датчики будут отслеживать силу, с которой схват воздействует на фрукт, и
при превышении определённого порога, сигнализировать системе о необходимости
ослабить захват или скорректировать его.
Московский государственный
технический университет
им. Н.Э. Баумана

14.

Особенности системы управления:
Система управления роботом должна обеспечивать обратную связь по силам, что
позволит роботу адаптировать свою работу в реальном времени. Для этого можно
использовать датчики усилий или тензометрические элементы, которые будут
контролировать силу захвата в процессе манипуляции с яблоком. Такая система
обратной связи позволяет более точно управлять захватом, минимизируя риск
повреждения фруктов. Алгоритм управления должен учитывать данные с датчиков,
анализировать их и корректировать действия робота, чтобы он мог автоматически
изменять силу захвата в зависимости от размера и формы яблока.Такой подход
позволит роботу эффективно работать с яблоками на конвейерной линии,
гарантируя их сохранность и высокую производительность.
Московский государственный
технический университет
им. Н.Э. Баумана

15.

Критерии сортировки яблок
Система использует камеры или датчики для обнаружения яблок, а затем
определяет, пригодно ли яблоко для погрузки, на основе его различных
характеристик, таких как цвет, форма и видимые дефекты. Изображения
обрабатываются с помощью методов компьютерного зрения для определения
характеристик яблока, таких как цвет, форма или наличие дефектов поверхности.
Однако проблема в том, что традиционной фотосъемки с использованием обычных
камер может быть недостаточно, поскольку камерам необходимо определить три
измерения яблока (длину, ширину, высоту), а также его угол на подставке. Поэтому
технология Kinect является хорошим вариантом в данном контексте; Потому что он
предоставляет информацию о глубине и третьем измерении, что помогает
определить точный размер и местоположение яблока. После сбора данных о
яблоках с помощью этих камер или датчиков система вычисляет точное
местоположение каждого яблока на конвейере и вычисляет его угол относительно
моторизованных манипуляторов робота.
Московский государственный
технический университет
им. Н.Э. Баумана

16.

Затем робот вычисляет, как расположить свою руку (или «вилку»), чтобы легко и
надежно достать яблоко. Поскольку яблоки могут быстро перемещаться по
конвейеру, обработка изображений должна выполняться очень быстро, чтобы не
потерять яблоко в процессе обработки. Поэтому может потребоваться повышение
производительности, например, использование методов ускорения обработки
изображений или использование высокоскоростных камер для очень быстрого
получения нескольких изображений. Наконец, робот Hex используется с
возможностью сосать яблоко вместо традиционного захвата, что обеспечивает
более точный захват яблока, не нанося ему повреждений. Система обеспечивает
непрерывность работы на производственной линии, координируя движение робота
со скоростью конвейера и движением яблок на нем.
Московский государственный
технический университет
им. Н.Э. Баумана

17.

Перспективы на будущее
Применение современных методов сортировки:
Свёрточные нейронные сети (CNN): это эффективный метод
классификации изображений, который можно использовать для
обучения системы сортировки яблок.
Обучение сверточных
нейронных сетей будет проводиться на выборке изображений яблок с
различными свойствами (размер, цвет, дефекты).
Может быть
полезно начать с яблок одного сорта, чтобы уменьшить количество
переменных, а затем адаптировать модель к разным сортам.
Использование Kinect: Kinect может быть полезен для создания 3Dизображений, которые могут помочь более точно определить
положение и ориентацию яблок на конвейерной ленте.
Московский государственный
технический университет
им. Н.Э. Баумана

18.

Заключение
:
Система интеллектуальной сортировки фруктов с использованием роботизированного
манипулятора и компьютерного зрения позволяет значительно повысить
эффективность и автоматизацию процессов на конвейерных линиях, сокращая затраты
труда и повышая качество обработки продукции.
Московский государственный
технический университет
им. Н.Э. Баумана

19.

Спасибо!
Московский государственный
технический университет
им. Н.Э. Баумана