Aplicação de Deep Learning para deteção de ervas daninhas em plantações de milho doce

As ervas daninhas são plantas indesejadas e invasoras de crescimento rápido, que competem com as culturas por recursos vitais como a água, os nutrientes, o espaço e a luz. As ervas daninhas têm um impacto significativo tanto na produção como na qualidade das culturas. Estima-se que o potencial de rendimento global das culturas possa ser reduzido até 43% na ausência de um controlo eficaz das ervas daninhas, tornando a gestão integrada das ervas daninhas uma componente essencial do planeamento das culturas.

Atualmente o método de controlo mais utilizado é a aplicação de herbicidas químicos, seguido, em menor escala, pelo controlo mecânico. Este último é também efetuado manualmente e é um método economicamente dispendioso. Os herbicidas são aplicados em diferentes fases, principalmente antes da sementeira e durante o crescimento da cultura. Estas aplicações são geralmente efetuadas através de uma pulverização uniforme do herbicida, ou seja, este é aplicado em toda a área cultivada.

No entanto as ervas daninhas não costumam emergir uniformemente no campo, o que indica que uma aplicação uniforme em toda a área cultivada não é adequada. A aplicação de herbicidas por pulverização gera problemas ambientais. Embora existam políticas da UE que controlam e regulam a aplicação de herbicidas, continuam a existir problemas para a saúde das pessoas que trabalham com eles, para além da resistência gerada aos herbicidas químicos causada pelo uso intensivo ao longo de décadas.

As  Redes Neuronais Convolucionais (CNN) são uma aplicação proeminente da Deep Learning, uma área da IA que procura imitar a capacidade do cérebro humano de aprender e processar dados, especialmente em tarefas relacionadas com o processamento de imagens e o reconhecimento visual.

Os atuais sistemas de monda integram diferentes tecnologias. Por exemplo utilizam sistemas de posicionamento global (GPS), sensores óticos e algoritmos computacionais que integrados num único conjunto permitem uma monda de precisão, aplicando herbicidas de forma variável, entregando uma quantidade específica no local exato onde se encontram as ervas daninhas, além de criar mapas detalhados da variabilidade do campo.

Os desenvolvimentos que utilizam métodos de aplicação de herbicidas a taxa variável, como a 'Blue River Technology' da John Deere, o 'WeedSeeker' da Trimble ou a 'Smart Agriculture' da Bosch, entre outros, estão disponíveis comercialmente há alguns anos. Estes desenvolvimentos utilizam algoritmos baseados na visão artificial e em inteligência artificial (IA) para reconhecer as ervas daninhas no campo em tempo real. Uma técnica recente de monda de precisão é a eliminação de ervas daninhas através da utilização de laser. A Carbon Robotics desenvolveu o sistema 'LaserWeeding', que utiliza a IA para identificar as ervas daninhas e as remove utilizando um laser de alta potência, queimando-as em tempo real.

Este desenvolvimento é altamente eficiente na identificação de ervas daninhas, além de reduzir significativamente os impactos ambientais. Por conseguinte, os investigadores do setor agrícola concentram-se em adotar e melhorar as diferentes tecnologias que integram a monda de precisão, a fim de aumentar a eficiência das aplicações. Por exemplo, as arquiteturas de Redes Neuronais Convolucionais (CNN) são utilizadas para melhorar a precisão da deteção de ervas daninhas. Estas são uma aplicação proeminente da Deep Learning, uma área da IA que procura imitar a capacidade do cérebro humano de aprender e processar dados, especialmente em tarefas relacionadas com o processamento de imagens e o reconhecimento visual.

A aplicação de CNN para a identificação de ervas daninhas tem aumentado nos últimos anos.

A aplicação de CNN para a identificação de ervas daninhas tem aumentado nos últimos anos. Os investigadores aplicam diferentes CNN, incluindo YOLO (You Only Look Once), VGG (Visual Geometry Group), ResNet (Residual Networks), GoogLeNet (Inception) e MobileNet. Estas CNN destacam-se pela sua eficiência na identificação rápida e exata da presença de ervas daninhas em diferentes culturas. A sua capacidade de processar imagens em tempo real, classificar objetos e extrair caraterísticas relevantes a diferentes escalas é fundamental para o sucesso dos sistemas de monda de precisão, razão pela qual são frequentemente utilizadas.

A implementação de CNN envolve uma série de etapas. Em primeiro lugar, é efetuada a preparação dos dados, incluindo a aquisição e a rotulagem das imagens. Em segundo lugar, procede-se à seleção e configuração da CNN, o que implica o ajuste dos hiper-parâmetros do modelo. Em terceiro lugar, é efetuado o treino da CNN, geralmente feito utilizando unidades de processamento gráfico (GPU). Em seguida, na quarta fase, o desempenho do modelo é avaliado utilizando métricas padrão, como a precisão média (mAP) e a matriz de confusão. Finalmente, na quinta fase, o modelo treinado é implementado em aplicações do mundo real para utilização prática.

Um exemplo de deteção de quatro tipos de ervas daninhas: Lolium perenne, Sonchus oleraceus, Saolanun nigrum e Poa annua em milho doce (Zea mays L.), desenvolvido pelo Grupo de Investigação Reconhecida - Tecnologias Avançadas Aplicadas ao Desenvolvimento Rural Sustentável (TADRUS) da Escola de Engenharia Agronómica de Palencia da Universidade de Valladolid, é ilustrado abaixo.

Para a aquisição das imagens foi construída uma estrutura móvel de alumínio numa base elevada da estufa automática do campus de La Yutera (Palencia). A estrutura permite um movimento controlado ao longo da base, o que permite uma melhor captura de imagens para o treino da CNN. A estrutura suporta o sistema de visão e o sistema de iluminação (Figura 1). O sistema de visão é constituído por uma câmara reflex Canon 850D com um filtro polarizador circular PL-C 58mm. O sistema de iluminação foi construído com duas lâmpadas LED de luz branca de 6000 K, com filtro polarizador de transmissão: 38% (1,5 f/stop) para evitar o encandeamento das folhas das plantas.

Figura 1. Estrutura móvel de aquisição de imagens.

As imagens foram obtidas no espaço de cor RGB com uma resolução de 6000x4000 pixéis durante 35 dias, distribuídos desde o momento da emergência da planta (dia 12) até ao final da etapa fenológica de desenvolvimento vegetativo (dia 60), obtendo-se um total de 1.640 imagens. Antes de proceder à etiquetagem das imagens foi efetuada uma seleção prévia das imagens mais adequadas para o treino. As imagens que estavam desfocadas ou em que as plantas eram tão grandes que estavam fora da cena foram descartadas. Como resultado deste processo de seleção foram eliminadas um total de 240 imagens, ficando um conjunto final de 1.400 imagens.

Para efetuar a etiquetagem das imagens foi utilizada a ferramenta de código aberto LabelImg. Foram definidas cinco classes de etiquetas, abreviando os nomes das espécies para facilitar a sua gestão: “maíz” para plantas de milho, 'mh1' para Lolium perenne, 'mh2' para Sonchus oleraceus, 'mh3' para Saolanun nigrum e 'mh4' para Poa annua. No total, foram geradas 4.200 etiquetas de caixas delimitadoras para o milho e 10.322 etiquetas para as ervas daninhas. Para o processo de treino, o conjunto de 1.400 imagens foi dividido aleatoriamente em três partes: 70% (980 imagens) para treino, 25% (350 imagens) para validação e 5% (110 imagens) para o conjunto de teste.

Foi utilizada a arquitetura CNN Yolov5s v7.0 desenvolvida pela Ultralytics. Trata-se de um algoritmo de deteção de objetos em imagens em tempo real de código aberto, que se destaca pela sua rapidez e eficácia na deteção e classificação numa única passagem pela rede neural. Os hiper-parâmetros configurados para o treino da CNN foram os seguintes: foram utilizados 300 epochs para o treino, tendo este valor sido selecionado com base em treinos anteriores. O tamanho do lote (batch_size) foi definido como 32, sendo um valor que permite reduzir o overfitting do modelo nas fases iniciais.

Quanto ao tamanho da imagem, os modelos Yolov5 reduzem uniformemente as imagens de entrada para 640x640 pixéis. A taxa de aprendizagem inicial (lr0) e final (lrf) foram definidas como 0,01, o parâmetro de decaimento do peso como 0,0005 e o Momentum como 0,937; os outros hiper-parâmetros utilizados foram os definidos pelo modelo predefinido.

A configuração de hardware detalhada na tabela 1 foi utilizada para o treino e validação do modelo.

Tabela 1. Configuração utilizada para o treinamento do modelo.

Como primeira métrica de avaliação, analisamos a matriz de confusão, Figura 2, que mostra o número de previsões corretas e incorretas para cada classe em comparação com os etiquetas verdadeiras. Na Figura 2 observamos que a CNN Yolov5s v7.0 obteve um desempenho excecional na deteção e classificação tanto do milho como das ervas daninhas, conseguindo uma previsão para o milho de 97%, para as ervas daninhas especificamente 90% para mh2 (Sonchus Oleraceus), para mh1 (Lolium Perenne) 86%, mh3 (Saolanun Nigrum) 78% e mh4 (Poa Annua) 74%.

É importante notar que a CNN Yolov5s v7.0 mostra confusão entre as ervas daninhas, especialmente entre mh2 (Sonchus Oleraceus) e mh3 (Saolanun Nigrum), em 11%, porque, nos estágios iniciais de desenvolvimento das ervas daninhas, as folhas dessas espécies tendem a ter formas semelhantes de folhas largas; o mesmo acontece entre mh1 (Lolium Perenne) e mh4 (Poa Annua), onde a confusão é comum em 7%, embora neste caso as suas folhas sejam estreitas.

Figura 2. Matriz de confusão para as 5 classes do modelo.

Como segunda métrica de avaliação é calculada a precisão média (mean Average Precision - mAP), que é uma medida global do desempenho do modelo quando se considera a exatidão das suas previsões para várias classes de objetos. Quanto mais elevado for o valor de mAP, melhor será o desempenho do modelo. No nosso caso, temos cinco classes, quatro ervas daninhas e uma cultura. A classe do milho tem o valor mais elevado de 0,975 mAP (97,5%), pelo que o seu poder de previsão é superior ao das outras classes. Para as classes de ervas daninhas foram obtidos os seguintes valores de mAP: 'mh1' Lolium perenne 0,851 (85,1%), 'mh2' Sonchus oleraceus 0,902 (90,2%), 'mh3' Saolanun nigrum 0,766 (76,6%) e 'mh4' Poa annua 0,720 (72,0%). Para o modelo global é calculada a média do mAP das 5 classes e obtém-se um valor de 0,836 (83,6%).

Embora o valor do mAP global do modelo (83,6%) seja inferior ao da classe do milho (97,5%), isso não significa que a CNN seja ineficiente, uma vez que, se o objetivo é discriminar o milho das ervas daninhas independentemente da espécie, o modelo é totalmente adequado para ser implementado num sistema de monda de precisão como os mencionados acima.

Para a implementação da CNN foram recolhidas imagens adicionais em diferentes etapas de desenvolvimento da cultura (15, 30 e 45 dias após a plantação), que foram submetidas ao modelo e comparadas com as imagens não rotuladas para visualizar a classificação da CNN. Nas Figuras 3, 4 e 5, os valores nas caixas delimitadoras correspondem às classes, 0: milho, a azul, 1: mh1 (Lolium Perenne) a verde, 2: mh2 (Sonchus Oleraceus) a vermelho, 3: mh3 (Saolanun Nigrum) a ciano, 4: mh4 (Poa Annua) a amarelo. As figuras 3 (a) e (b) mostram a cultura 15 dias após a plantação, a CNN identifica e classifica corretamente todas as plantas na imagem.

Figura 3. (a) Imagem não processada da cultura 15 dias após a plantação. (b) Imagem processada da cultura 15 dias após a plantação.

As figuras 4 (a) e (b) mostram a cultura 30 dias após a plantação. A CNN identifica corretamente as plantas de milho, embora dentro de uma caixa que delimita a terceira planta de milho esteja escondida uma mh4 (4-amarela), isto deve-se principalmente ao facto de durante o treino da CNN não ter havido casos semelhantes, uma planta a seguir à outra, esta situação poderia ser corrigida aumentando a quantidade de imagens de treino com este comportamento.

Figura 4. (a) Imagem não processada da cultura 30 dias após a plantação. (b) Imagem processada da cultura 30 dias após a plantação.

Quanto às ervas daninhas, classe mh1 (1-verde) das 2 plantas presentes o modelo identificou 3, ou seja, classificou mais uma apresentando um caso de falso positivo, identificando-a como mh4 (4-amarela), devido à semelhança entre as folhas (estreitas) das duas classes elas podem ser classificadas erroneamente. Para a classe mh4 (4-amarela), das 4 plantas presentes, duas foram classificadas corretamente, a terceira foi classificada corretamente mas também foi classificada pelo sistema como mh1 (1-verde), corroborando o que foi dito acima. O sistema classifica normalmente as ervas daninhas da mesma forma, como pertencentes às duas classes. A quarta planta mh4 (4-amarela) não foi identificada pelo modelo, não sendo classificada, foi identificada na caixa delimitadora do terceiro milho. Na mh2 (2-vermelha) o sistema encontrou quatro das três, classificando mais uma, tendo novamente um falso positivo, algo semelhante às duas classes anteriores, a forma da folha neste caso larga, o sistema pode classificá-la nas duas categorias. Quanto à mh3 (3-ciano) das duas presentes o sistema classificou-as corretamente, apenas uma foi classificada duas vezes.

As figuras 5 (a) e (b) mostram a cultura 45 dias após a plantação, onde as plantas de milho estão corretamente classificadas. As novas ervas daninhas que emergiram da segunda plantação foram classificadas corretamente.

Figura 5. (a) Imagem não processada da cultura aos 45 dias após a plantação. (b) Imagem processada da cultura aos 45 dias após a plantação.

Como conclusão geral deste estudo, a CNN YOLOv5s é um método alternativo de identificação de ervas daninhas no milho que pode ser integrado em qualquer sistema de monda de precisão. No entanto é necessário continuar a alimentar o modelo com imagens de novas campanhas e enriquecer o conjunto de imagens de treino com todas as variações de luz e condições de campo possíveis, para que se obtenha maior precisão no momento da implementação.

Embora a mAP global do modelo seja de 83,6%, isso não indica que a CNN seja ineficiente; pelo contrário, se o objetivo for identificar e proteger o milho, eliminando qualquer planta que não seja milho, o modelo é altamente eficiente com 97,5%. Neste caso, o sistema de monda de precisão eliminaria todas as ervas daninhas, independentemente da sua espécie, preservando apenas as plantas de milho.

Referencias bibliográficas

• García-Navarrete, O.L.; Santamaria, O.; Martín-Ramos, P.; Valenzuela-Mahecha, M.Á.; Navas-Gracia, L.M. Development of a Detection System for Types of Weeds in Maize (Zea mays L.) under Greenhouse Conditions Using the YOLOv5 v7.0 Model. Agriculture 2024, 14, 286. https://doi.org/10.3390/agriculture14020286

• Wang, B.; Yan, Y.; Lan, Y.; Wang, M.; Bian, Z. Accurate Detection and Precision Spraying of Corn and Weeds Using the Improved YOLOv5 Model. IEEE Access 2023, 11, 29868–29882, doi:10.1109/ACCESS.2023.3258439.

• Zhu, H.; Zhang, Y.; Mu, D.; Bai, L.; Zhuang, H.; Li, H. YOLOX-Based Blue Laser Weeding Robot in Corn Field. Front. Plant Sci. 2022, 13, doi:10.3389/fpls.2022.1017803.

• Mota-Delfin, C.; López-Canteñs, G. de J.; López-Cruz, I.L.; Romantchik-Kriuchkova, E.; Olguín-Rojas, J.C. Detection and Counting of Corn Plants in the Presence of Weeds with Convolutional Neural Networks. Remote Sens. 2022, 14, 4892, doi:10.3390/rs14194892.

• Gallo, I.; Rehman, A.U.; Dehkordi, R.H.; Landro, N.; Grassa, R.L.; Boschetti, M. Deep Object Detection of Crop Weeds: Performance of YOLOv7 on a Real Case Dataset from UAV Images. Remote Sens. 2023, 15, 539, doi:10.3390/rs15020539.