Китайському роботу для збору яблук провели корекцію зору
Вчені з школи електроніки та інформаційної інженерії, технологічний університет Хебей, Тяньцзінь, Китай, знайшли спосіб поліпшити здатність до навчання роботів для прибирання яблук.
У своїй статті, опублікованій на порталі Agronomy, автори-Лін Ву, Джі Ма, Юехуа Чжао і Хун Лю – розповідають основні принципи виявлення яблука в складній сцені з використанням поліпшеної моделі YOLOv4.
Яблуко-один з найпопулярніших фруктів, що входить до трійки світових продажів плодової продукції. За неповною статистикою налічується понад 7500 видів яблук.
Одна з головних проблем яблучної індустрії-ручна праця при збиранні врожаю, що вимагає часу і виробничих витрат, а робітники, яким не вистачає знань і досвіду, часто роблять непотрібні помилки.
З постійним розвитком точних сільськогосподарських технологій роботи для збору фруктів набирають популярність.
У системах комплектації агроботів використовуються в основному дві підсистеми: система технічного зору і система маніпулятора.
Система технічного зору виявляє і визначає місцезнаходження фруктів і направляє маніпулятор, щоб відокремити плоди від дерев. Таким чином, надійна і ефективна система технічного зору є ключем до успіху робота-збирача, але через складний фон в садах важко досягти бажаного результату.
Щільне перекриття між листям заважає виявленню яблук, що призводить до помилкового спрацьовування системи або пропуску плодів.
Отже, щоб модель краще навчалася функціям, навчальні дані повинні містити більш повні сцени.
Однак через величезну кількість яблук і складного фону маркування яблук-дуже трудомістка і енерговитратна завдання, в результаті чого кількість більшості наборів даних коливається від десятків до тисяч зображень і охоплює одну сцену.
Щоб подолати цей недолік, ми розробили метод для розширення набору даних, в тому числі, дзеркальне відображення, кадрування, яскравість, розмиття, випадання, обертання, масштабування і перетворення.
Ми вибрали яблуко Ред Фуджі (Red Fuji) в якості експериментального об'єкта. Оскільки в Інтернеті є велика кількість зображень, пов'язаних з яблуками, ми використовуємо мову Python для розробки сканера зображень для завантаження цих зображень партіями, що знижує вартість збору даних і підвищує ефективність.
Основними джерелами зображень в даному випадку є Baidu і Google. Ключові слова для пошуку: Red Fuji Apple, Apple Tree, Apple і т. д.
По-перше, для забезпечення якості зображення ширина або висота просканованого зображення повинна бути не менше 500 пікселів. По-друге, після ручного скринінгу повторювані, нечіткі і непослідовні зображення в основному видаляються. Нарешті, виходить 267 високоякісних зображень, з яких 35 зображень містять тільки одне яблуко, 54 зображення з декількома яблуками без перекриття і 178 зображень з декількома перекриваються яблуками.
Потім ці 267 зображень розширюються до 2670 зображень за допомогою методів збільшення даних.
1. Дзеркало. У садах положення і напрямок яблук різні. Тому ми використовуємо горизонтальне дзеркальне відображення з 50% ймовірністю і вертикальне дзеркальне відображення з 50% ймовірністю для обробки вихідного зображення. Обидва можуть використовуватися окремо або в комбінації.
2. Обрізка зображення. У багатьох яблук, що ростуть разом, будуть проблеми з перекриттям один одного. Тому ми випадковим чином обрізаємо 20% країв вихідного зображення, щоб змоделювати цю сцену.
3. Яскравість зображення. Сильне або слабке освітлення призведе до зміни кольору яблука, що створює величезні перешкоди для виявлення. Тому, щоб підвищити надійність моделі, ми випадковим чином множимо зображення з коефіцієнтом яскравості від 0,5 до 1,5.
4. Розмиття зображення. Іноді зображення, захоплене роботом-збирачем, може бути нечітким або розмитим, що також заважає знаходити плоди. Тому ми використовуємо розмиття по Гауса із середнім значенням 2,0 і стандартним відхиленням 8,0 для збільшення набору даних.
5. Випадання зображення. Яблука часто стикаються з проблемою хвороб і комах-шкідників, покриваючись численними плямами. Тому ми випадковим чином видаляємо точки сітки від 0,01 до 0,1 на вихідному зображенні, і точки сітки заповнюються чорним кольором.
6. Поворот зображення. Подібно дзеркальному методу, поворот призначений для подальшого збільшення кутів огляду зображення. Ми використовуємо випадкове обертання вихідного зображення на кут від -30 ° до 30 ° для збільшення набору даних, а простір, звільнене при повороті, заповнюється чорним кольором.
7. Масштаб зображення. Через різного положення яблук в садах при зйомці зображень будуть присутні яблука різного розміру. Тому, щоб змоделювати цю сцену, ми випадковим чином множимо вихідне зображення з коефіцієнтом масштабування від 0,5 до 1,5.
8. Переклад зображень. Подібно методу кадрування, переклад призначений для подальшого вирішення проблеми скупчення яблук. Тому ми довільно переводимо 20% країв вихідного зображення, а простір після перекладу заповнюємо чорним кольором.
9. Збільшення даних листової ілюстрацій. Щоб збагатити фон і текстуру навчальних зображень, застосовується метод збільшення даних листової ілюстрації, який використовує деякі листові ілюстрації для випадкової вставки на вихідне зображення.
Наприклад, ви бачите 5 видів ілюстрацій яблуневого листя. Формат ілюстрації-PNG, містить тільки сам об'єкт, а фон прозорий, що допомагає захистити вихідне зображення після вставки і уникнути додавання неприпустимого фону.
Результати експериментів показують, що модель, навчена традиційними методами збільшення, і техніка збільшення ілюстрацій в сукупності набагато покращує пошук яблук».
YOLOv4-це сучасна модель виявлення в реальному часі, яка додатково покращена на основі моделі YOLOv3. В результаті оновленого набору даних Середня точність збільшується до 44%».
Також читайте: