Вчені з Данії покращили методи моніторингу бур'янів у густому польовому середовищі
Надійне виявлення бур'янів є важливою умовою для досягнення достовірного моніторингу та боротьби з бур'янами у точному землеробстві.
Дослідники з Данії (Кафедра агроекології, Орхуський університет; Agro Intelligence ApS) повідомили у своїй роботі, опублікованій у журналі Agronomy 2022 на порталі MDPI, що штучний інтелект завдяки науковим зусиллям продовжує вдосконалюватися і є варіанти розпізнавання бур'янів з підвищеною точністю.
«Боротьба з бур'янами відіграє фундаментальну роль у підвищенні врожайності та, отже, збільшенні доходів, – пишуть автори. - Вручну картирувати популяцію бур'янів на гектарах полів трудомістко, забирає багато часу та часто не дає достовірної картини. А обприскування всіх рослин поспіль економічно марнотратне.
У сучасних дослідженнях використовуються три підходи до боротьби з бур'янами: фізичний, біологічний та хімічний підходи. І скрізь потрібна інформація про типи бур'янів, їх кількість, стадії зростання і т. д. Зібравши цю інформацію, створюється точна карта сільськогосподарських угідь, яка потрібна для боротьби з бур'янами на конкретній ділянці.
Точні обробки призводять до зниження та/або оптимальності суміші та дози гербіцидів, які одночасно ефективні та нешкідливі для навколишнього середовища. Сучасні технології в основному зосереджені на автономному виявленні бур'янів з більш високою точністю та меншим екологічним забрудненням.
Останнім часом використання просунутого комп'ютерного зору та методів глибокого навчання значно розширилося за рахунок удосконалення графічних процесорів (GPU).
Графічні процесори дозволяють штучному інтелекту вчитися на велику кількість даних, що необхідно для отримання високих рівнів точності.
Сучасні технології комп'ютерного зору та глибокого навчання демонструють перспективні результати у завданнях класифікації та виявлення бур'янів. Зокрема, в галузі сільського господарства запропоновані методи дають чудову інтерпретацію бур'янів (включаючи тип та кількість).
Існує три основні методи виявлення об'єктів у комп'ютерному зорі: семантична сегментація, виявлення екземплярів та виявлення рамки, що обмежує. Семантична сегментація показує видатні результати при прогнозуванні складу біомаси завдяки класифікації зображень пікселів.
Однак попіксельна класифікація потрібна для високоточних методів боротьби з бур'янами, таких як фізичне управління. На полях із сильною оклюзією підрахунок кількості бур'янів утруднений.
Таким чином, сегментація екземплярів використовується в додатках для виявлення дрібних бур'янів, таких як прополювання типу електрифікації, щоб визначити кількість бур'янів на кожному квадратному метрі.
При виявленні бур'янів з використанням обмежувальних рамок оцінюються місцезнаходження бур'янів та види. Крім того, стадії зростання бур'янів прогнозуються на основі розміру рамок, що обмежують.
Виявлення бур'янів із використанням обмежувальної рамки – це основна інформаційна база для оптимізації інтегрованої боротьби з бур'янами (IWM).
Оскільки згорткові нейронні мережі особливо демонструють видатні характеристики в області комп'ютерного зору, в сучасних роботах спостерігається висока тенденція до виявлення і класифікації бур'янів з використанням алгоритмів глибокого навчання.
У той час як технологія глибокого навчання сильно залежить від великої кількості зображень, маркування даних - трудомістка процедура. З іншого боку, незбалансовані за класами набори даних зміщують мережу в бік класу з більшістю екземплярів, що призводить до більшої невизначеності для моделі. Синтетично згенеровані дані покращують продуктивність моделі за рахунок збільшення позначених даних, забезпечують баланс між кількістю зображень в різних класах і призводять до моделі з кращим узагальненням реальних зображень в польових умовах.
Синтетичні дані з високою схожістю з реальними польовими зображеннями є гарною альтернативою або доповненням до реальних польових даних без міток.
Загальні запропоновані дослідження, засновані на синтетичних даних, поділяються на три групи залежно від того, як генеруються синтетичні дані: метод вирізання та вставки, графічне моделювання та генеративно-змагальні мережі (GAN).
Вибрані зразки для генерації даних довільно повертаються, масштабуються і насичуються перед вставкою в фон ґрунту. Ядро Гауса було прийнято для створення тіні і створення ілюзії глибини в змодельованих зображеннях.
Метод вирізання і вставки — простий і ефективний метод створення синтетичних даних.
У другій категорії ґрафічне моделювання (наприклад, L-система) використовується для створення синтетичних зображень.
У третій категорії для формування синтетичних даних потрібні дві мережі: одна як генератор, а інша як дискримінатор для видалення поганих вибірок. Однак GAN має значно нижчу точність у порівнянні з двома попередніми методами.
Багато з запропонованих алгоритмів виявлення рослин працюють для випадків, коли рослини добре відображені і не було оклюзії, і однією з помітних проблем в наборі сільськогосподарських даних є оклюзія рослин.
Рослини та бур'яни мають або часткову, або сильну оклюзію, що необхідно враховувати при генерації синтетичних даних.
В іншому випадку модель недостатньо надійна, щоб нормально працювати з реальними польовими зображеннями. Багато із запропонованих підходів були оцінені на зображеннях без оклюзії або тільки з низьким рівнем оклюзії. Тому все ще важко оцінити ефективність алгоритмів виявлення рослин на зображеннях, де рослини повністю закриті, оскільки ці випадки близькі до польової ситуації.
Таким чином, мета цього дослідження полягала в тому, щоб визначити застосовність регіональної CNN для виявлення однодольних / дводольних бур'янів в польових умовах і зображень з високим ступенем оклюзії, які необхідні для оцінки розвитку бур'янів.
Щоб досягти цієї мети, були використані дві мережі виявлення об'єктів глибокого навчання, щоб ідентифікувати бур'яни і розпізнавати їх з існуючих густих посівів на зображеннях.
Також важливо відзначити, що в центрі уваги цього дослідження була розробка всього ланцюжка від запису на місці і створення змодельованих зображень, а також використання двох мереж виявлення об'єктів з глибоким навчанням, EfficientDet і YOLOv5, для виявлення і розпізнавання бур'янів в межах зображення з високою оклюзією.
Для розробки ефективного підходу до виявлення бур'янів на червоних, зелених і синіх (rgb) зображеннях дві сучасні моделі виявлення об'єктів, EfficientDet (коефіцієнт 3) і YOLOv5m, були навчені на більш ніж 26 000 позначених на місці зображення з класами однодольних/дводольних рослин, отримані з більш ніж 200 різних полів в Данії.
Набір даних був зібраний за допомогою високошвидкісної камери (HVCAM), оснащеної ксеноновим кільцевим спалахом, яка пригнічує сонячне світло і мінімізує тіні, що дозволяє камері записувати зображення з горизонтальною швидкістю більше 50 км/год.
Був розроблений і використаний новий алгоритм обробки зображень для створення синтетичних зображень для тестування продуктивності моделі на деяких зображеннях зі складним перекриттям, які були належним чином згенеровані з використанням запропонованого алгоритму.
Структура алгоритму представлена наступним чином.
До зображень бур'янів застосований набір перетворень, таких як обертання, збільшення і зменшення масштабу і методи розмиття, які підготували їх до наступного кроку.
Якщо випадково обраний фон містить кілька пікселів, що належать кадрам, то запропонований алгоритм сегментації буде активний і знайде на зображенні пікселі кадру.
Випадкове число від 1 до 100 відноситься до кількості необхідних бур'янів для кожного фонового зображення, яке буде вибрано, і відповідно до вибраного числа буде обраний список бур'янів з усіх доступних зображень бур'янів. Вибране число представляло рівень оклюзії в згенерованих синтетичних зображеннях. Чим більше число, тим важче оклюзія в згенерованих синтетичних зображеннях.
Розроблений алгоритм автоматичної обробки зображень вибирає випадкові координати x і y для розміщення зображення бур'янів на випадково вибраному фоновому зображенні.
Розраховується перекриття між пікселями врожаю і бур'яну, і якщо перекриття становить менше 10 відсотків від розміру бур'яну, координата буде затверджена, і обраний бур'ян вставиться на фон, в іншому випадку область перекриття бур'яну буде усунена, а його межа в поле оновлюється на основі решти бур'янів, яка не перекривається з пікселями обрізки.
Ці кроки повторюються до тих пір, поки всі вибрані бур'яни не будуть правильно вставлені в фонове зображення, і, нарешті, буде згенеровано синтетичне зображення.
Обидві мережі глибокого навчання були навчені на зображеннях на місці, а потім оцінені як на синтетичних, так і на нових невидимих зображеннях на місці, щоб оцінити їх продуктивність.
Отримана Середня точність (AP) моделей EfficientDet і YOLOv5 на 6625 синтетичних зображеннях склала 64,27% і 63,23% відповідно для класу однодольних і 45,96% і 37,11% для класу дводольних.
Ці результати підтвердили, що обидві мережі з глибоким навчанням можуть виявляти бур'яни з високою продуктивністю.
Тим не менш, важливо було перевірити надійність моделі на зображеннях in-situ, на яких є важка оклюзія зі складним фоном. Тому, 1149 польових зображень були записані в 5 різних полях в Данії, а потім використані для оцінки надійності обох запропонованих моделей. На наступному етапі, запустивши обидві моделі на 1149 зображеннях in-situ, отримана Середня точність однодольних / дводольних для моделей EfficientDet і YOLOv5 склала 27,43%/42,91% і 30,70%/51,50% відповідно.
Дослідження показує, що архітектура YOLOv5 з глибоким навчанням забезпечує ефективний підхід до виявлення та розпізнавання бур'янів на зображеннях у вуличних умовах.
YOLOv5 показав кращі результати при виявленні як однодольних, так і дводольних рослин на зображеннях in-situ.
Ці результати показали, що можна надійно використовувати модель YOLOv5 у польових умовах, оскільки її продуктивність та можливості суттєво не знизилися, як у випадку з EfficientDet».
Також читайте: