P L A N O D E T R A B A L H O

Título do Projeto: Extração de Informações de Imagens de Folhas de Soja

utilizando Visão Computacional

Título do Plano de trabalho: Reconhecimento Sintático de Padrões para

Inspeção de Folhas de Soja em Imagens Obtidas por Veículos Aéreos Não

Tripulados.

Orientador: Hemerson Pistori (pistori@ucdb.br)

Coorientador: Germani Concenço (germani.concenco@embrapa.br)

Orientando: Kleber Padovani de Souza RA: 809053

Curso: Doutorado em Ciências Ambientais e Sustentabilidade Agropecuária

Semestre: 1

Resumo

A soja é um grão encontrado em diversos alimentos e bastante utilizado em

rações animais e nas indústrias. Contribuindo com a economia de diversos

países, incluindo o Brasil, a soja está entre os grãos mais produzidos em todo o

mundo. Para maximizar sua produção, torna-se necessário o desenvolvimento

de novas tecnologias que minimizem os custos e potencializem as práticas

atuais de manejo. Nesse sentido, este trabalho tem como objetivo a construção

de um sistema de visão computacional para a automatização do processo de

identificação de deficiências nutricionais e infestações de plantas daninhas em

plantações de soja por meio de análise de padrões visuais presentes em

imagens digitais de folhas de soja obtidas por veículos aéreos não tripulados e

remotamente controlados. Com essa automatização, espera-se a redução de

custos e o aumento de precisão no acompanhamento nutricional das plantas.

1. Antecedentes e Justificativa

A soja é um grão – como feijão e ervilha – com grandes concentrações

de proteína e uma fonte de energia muito consumida pelos seres humanos e

outros animais [1, 2, 3, 6]. Ela pode ser encontrada em diversos alimentos,

como óleo, margarina, maionese, salsichas, sorvetes e vários outros. No

entanto, seu maior uso – cerca de 75% – é destinado à alimentação animal,

geralmente, através das rações. Além de ser usada na alimentação, a soja

também é utilizada para outros fins, como o uso nas indústrias farmacêutica e

cosmética [5, 6].

Também conhecida como rainha dos grãos, a soja está entre os grãos

mais produzidos no mundo, com estimativa atual superior à marca de 280

milhões de toneladas de grãos – aproximadamente 15% de toda a produção

[7]. Dentre os países produtores de soja, os Estados Unidos, o Brasil e a

Argentina são os principais responsáveis por esse grande número de

toneladas, representando, juntos, mais de 80% da produção mundial [6].

O Brasil, que compete acirradamente pelo primeiro lugar no ranking de

maiores produtores de soja com os EUA, atualmente, é o segundo maior

produtor de soja no mundo, produzindo 85 milhões de toneladas de grãos de

soja no último ano, de acordo com o Companhia Nacional de Abastecimento, a

CONAB [8].

Segundo a Confederação da Agricultura e Pecuária do Brasil (CNA) e o

IBGE, a safra de grãos de 2013 permitiu crescimentos de 7% no PIB

agropecuário brasileiro e 2,3% no PIB de todo o país. Dentre os produtos que

mais contribuíram para esse aumento, o destaque foi dado à soja, cuja

produção aumentou em 24,3% nesse ano.

Segundo o levantamento da CONAB, dentre os maiores produtores

brasileiros, destaca-se a região Centro-Oeste, cuja produção correspondeu a

mais de 46% da produção brasileira, com considerável colaboração do estado

do Mato Grosso do Sul, que produziu aproximadamente 5,8 milhões de

toneladas, alcançando o quinto lugar no ranking brasileiro. Também de acordo

com a CNA, o grande desempenho na produção de soja de MS tem forte

relação com a capacidade dos produtores rurais da região de absorver as

tecnologias também produzidas no Estado e empregá-las em suas culturas.

O potencial máximo de rendimento do cultivar de soja, assim como todos

os outros cultivares, é determinado por aspectos genéticos e pode ser obtido

somente em condições ambientais ótimas. Nesse contexto, embora, no campo,

a natureza seja a principal responsável por fornecer condições favoráveis para

o desenvolvimento e rendimento da soja, práticas de manejo para manipulação

do ambiente de produção – como a adubação corretiva e o controle de pragas

– podem ser utilizadas com o intuito de maximizar a produção do cultivo[18].

A deficiência de nutrientes produz sintomas diversos nas plantas que,

consequentemente, interferem na capacidade e nos custos de produção das

culturas, que requerem ações específicas, como a adubação corretiva. A

deficiência de fósforo, por exemplo, embora não apresente sintomas bem

definidos, pode reduzir o crescimento de plantas de soja e fazer com que as

folhas apresentem coloração verde-azulada; a falta de potássio também gera a

redução do crescimento e, em estágios severos, faz com que parte das folhas

fique amarelada; e, de modo similar, a deficiência de enxofre, por sua vez,

também torna as folhas amareladas [19, 20, 21].

Além de aspectos nutricionais, outros fatores podem comprometer os

rendimentos das explorações agrícolas. Dentre eles, encontram-se as plantas

daninhas, que são espécies vegetais com grande capacidade de absorção de

nutrientes que se desenvolvem rápida e indesejadamente nos cultivos e,

consequentemente, competem recursos – como nutrientes – com o vegetal

cultivado com fins econômicos. Adicionalmente, no caso da soja, essas plantas

podem reduzir a qualidade dos grãos e aumentar o custo de produção (devido

à aplicação de medidas de combate), que diminuem o rendimento da cultura

[22].

Atualmente, a identificação de deficiências nutricionais do solo é

comumente identificada nas plantações por observações a campo executadas

por especialistas (como agrônomos) com auxílio dos mapas de solo e análises

foliares das propriedades, que permitem a estimativa de nutrientes de regiões

do solo e das plantas amostradas. Devido às grandes extensões das

propriedades, tais observações são geralmente realizadas de modo amostral e,

por vezes, em localizações definidas arbitrariamente. Com isso, algumas

regiões afetadas por anomalias podem deixar de ser identificadas e,

consequentemente, corrigidas [37, 38, 39].

Dentro e fora do Estado, grupos de pesquisa têm desenvolvido trabalhos

em computação com o intuito de colaborar com o agronegócio. Como exemplo,

podemos citar os pesquisadores do Grupo de Computação Científica do

Instituto de Física de São Carlos na Universidade de São Paulo que, com a

colaboração da Faculdade de Zootecnia e Engenharia de Alimentos, avaliam o

estado nutricional do milho a partir de imagens digitais com auxílio da visão

computacional [23, 24, 29, 30] – área de conhecimento que se dedica à

interpretação automática de informações contidas em imagens.

Em [23], foi proposto um sistema de visão computacional para

diagnosticar os índices de nitrogênio, fósforo, potássio e manganês de milho

por meio da análise de imagens de folhas digitalizadas. Para treinar o sistema,

foram utilizadas folhas de milho cultivadas em casa de vegetação, com controle

de deficiências nutricionais. Com base nos resultados obtidos, foi possível

validar a possibilidade de se analisar o estado nutricional dessas folhas por

meio de suas imagens. No entanto, a base de conhecimento obtida por meio

das folhas da casa de vegetação não foi suficiente para a avaliação do estado

nutricional no campo.

De modo similar, foram alcançadas taxas de acerto superiores a 75% na

avaliação dos níveis de cálcio, enxofre e magnésio em milho em [30] obtidas da

análise feita por um sistema de visão computacional de imagens de folhas

digitalizadas. Considerando também os níveis de nitrogênio e potássio, além

dos níveis considerados em [30], em [24], foi possível a predição de

deficiências nutricionais em estágios inicias do crescimento da planta através

da análise de textura de folhas em imagens digitalizadas.

No mesmo contexto, um sistema para a diagnose nutricional de ferro,

boro, zinco e cobre em milho foi proposto em [29]. O sistema também utilizou

imagens escaneadas de folhas de milho cultivadas em casa de vegetação e,

dentro desse ambiente controlado, obteve taxa de acerto média de

aproximadamente 80% para ferro, boro e zinco e de 57,2% para cobre.

Cruvinel e Karam apresentam em [34] um método baseado em visão

computacional para a construção de mapas de aplicação de herbicida em taxa

variável para cultura do milho com foco em plantas invasoras de folhas largas e

estreitas. As taxas de acerto em ambiente de campo foram de 84% para folhas

largas e de 79% para folhas estreitas.

Similarmente, em [35], é proposto um sistema de visão computacional

para o mapeamento de plantas daninhas com o intuito de determinar o

percentual da cobertura vegetal de plantas daninhas em uma lavoura de feijão.

O sistema obteve as imagens por duas câmeras digitais (colorida e

infravermelha), acopladas a uma estrutura móvel. Com base nos resultados,

pode se concluir que as imagens da câmera infravermelha são menos

importantes que as coloridas na identificação de plantas daninhas em lavouras

de plantio direto, onde não há revolvimento de terra.

No município de Ponta Porã, no MS, a Rede AGROBIOCOMP:

Computação Aplicada à Sustentabilidade, com colaboração do Grupo de

Pesquisa, Desenvolvimento e Inovação em Visão Computacional

(INOVISÃO/UCDB), propõe a avaliação do efeito da luminosidade e do

estresse hídrico (conjunto de reações causadas em plantas por falta de água)

em folhas de soja e milho por meio da análise da textura das folhas dessas

plantas em imagens digitais.

Com o intuito de colaborar com o setor agropecuário do Estado do Mato

Grosso do Sul por meio de geração de novas tecnologias, este trabalho tem

como objetivo analisar a aplicação do Reconhecimento Sintático de Padrões na

identificação de anomalias em plantações de soja por meio de padrões visuais

presentes em imagens digitais aéreas previamente processadas por algoritmos

de Visão Computacional e áreas afins, propondo uma nova estratégia para tal

identificação.

Dentre as anomalias consideradas nesta proposta, estão as infestações

de plantas daninhas e as deficiências nutricionais de potássio, enxofre e

fósforo, que estão entre os nutrientes mais exigidos pelas plantas de soja. Para

a identificação das deficiências nutricionais, serão consideradas as alterações

de cores características de cada nutriente e, para a identificação das plantas

daninhas, serão consideradas as concentrações de vegetais nas regiões.

As imagens a serem utilizadas na identificação de anomalias serão

obtidas por meio de VANTs (Veículos Aéreos Não Tripulados), que tratam-se

de pequenos aviões remotamente controlados, equipados com dispositivos de

captura de imagens. Com tal identificação automatizada, espera-se aumentar a

precisão das análises de plantações com custo e tempo comparativamente

menores que o aumento dos números de amostras utilizados habitualmente

nas produções de soja.

Esta proposta será desenvolvida pelo Grupo de Pesquisa,

Desenvolvimento e Inovação em Visão Computacional, o INOVISÃO, criado em

2004 na Universidade Católica Dom Bosco (UCDB), cujo principal objetivo é a

integração de pesquisa, desenvolvimento e inovação para contribuir com o

desenvolvimento do estado do Mato Grosso do Sul. O grupo possui vários

projetos em visão computacional envolvendo aplicações no agronegócio e

outras áreas relevantes à região. Dentre eles, há aplicações para a

identificação automatizada de defeitos em couros bovinos, a contagem

automática de microrganismos em imagens microscópicas e a quantificação de

danos causados por predadores em folhas de soja1.

A apresentação desta proposta está organizada em 5 seções, sendo

esta a primeira. Na seção seguinte, serão apresentados os objetivos geral e

específicos aspirados neste trabalho. Na terceira seção, para contextualização

do leitor, é apresentada uma revisão de literatura sobre veículos aéreos não

tripulados, reconhecimento de padrões e reconhecimento sintático de padrões,

cuja teoria será complementada no Apêndice. Por fim, a metodologia e os

prazos previstos para a execução da proposta são apresentados,

respectivamente, nas duas últimas seções.

2. Objetivos

2.1 Geral

O objetivo deste trabalho é o estudo de técnicas de reconhecimento

sintático de padrões como proposta de solução ao problema da identificação

automática de deficiências nutricionais e infestações de plantas daninhas em

plantações de soja por meio de análise de imagens digitais obtidas por VANTs.

2.2 Específicos

Em consonância com o objetivo geral, pretende-se alcançar os seguintes

objetivos específicos com este trabalho:

Compreender e implementar técnicas de reconhecimento sintático de

padrões aplicadas a imagens;

Obter imagens de folhas de sojas para análise por meio de VANTs;

1 Para maiores informações sobre o grupo INOVISÃO, bem como sobre seus projetos, acesse

http://inovisao.weebly.com/.

Definir e implementar melhorias para a técnica de reconhecimento

sintático de padrões aplicada ao conjunto de imagens obtido;

Executar experimentos sobre imagens para obtenção de resultados;

Realizar análise de resultados obtidos; e

Compartilhar resultados parciais e finais do trabalho via publicações.

3. Revisão de literatura

3.1. Veículos Aéreos Não Tripulados - VANTs

Estudos relacionados aos Veículos Aéreos Não Tripulados (VANT) têm

apresentado crescimento ao redor do mundo, proporcionando com isso novos

avanços na tecnologia computacional, desenvolvimento de software, materiais

mais leves, sistemas globais de navegação, avançados links de dados,

sofisticados sensores e a miniaturização[41].

Para Medeiros[40], os VANTs são pequenas aeronaves que, sem

qualquer contato físico direto, possuem a capacidade de executar tarefas como

monitorar, mapear, entre outras. Essas aeronaves se caracterizam por dois

aspectos básicos: não possuem piloto a bordo e carregam equipamentos –

normalmente sensores que lhes permitem cumprir missões determinadas. Os

VANTs são pilotados ou controlados a distância através de meios eletrônicos e

computacionais.

Medeiros afirma que, na agricultura de precisão, as imagens obtidas são

utilizadas principalmente para monitoramento de lavouras, estimativas de

volume de produção e índice de doenças e pragas. As fotografias aéreas

obtidas a partir do VANT auxiliam no mapeamento das culturas, na avaliação

de áreas cultivas, na detecção de áreas afetadas, em cadastros rurais e no

mapeamento do solo[40].

Herwitz et al, em [42], afirma que a agricultura está se tornando uma

indústria cada vez mais baseada no conhecimento em resposta a

considerações econômicas e ambientais. Os autores realizam um estudo, junto

a Kauai Coffee Company no Hawaí, utilizando VANT para a coleta de imagens

objetivando vigilância e apoio às decisões na plantação de café. Para os

autores, existem vários aspectos de manejo da cultura que podem se beneficiar

de observação aérea. O estudo demonstrou a capacidade de um VANT de

sobrevoar a plantação, equipado com sistemas de imagem para monitorar uma

região agrícola por um período de tempo prolongado, estando os VANTS a

oferecer uma valiosa contribuição para futuro monitoramento de recursos

agrícola.

O estudo se mostrou importante demonstrando que a alta resolução de

imagens foi imediatamente útil para mapear os focos de capim-colonião (um

tipo de planta daninha), bem como para mostrar diferenças na cobertura total

do solo dentro de campos. Assim, para os autores, os VANTs são chamados a

desempenhar um papel mais amplo, complementar ao de satélites e aviões

convencionalmente testados em apoio à agricultura[42].

No ano de 2008, realizou-se em [43] um estudo que investigou o uso de

um VANT para uso em aplicações agrícolas. A área de estudo foi localizada em

Watts Bridge Memorial Airfield no sudeste de Queensland, Austrália. Para os

autores, o uso de VANTs como ferramentas de sensoriamento remoto não é

novo pois já foram utilizados para fotografar pastagens, para busca e

salvamento em deserto, para o monitoramento da maturação do café e em

outras coisas, para monitorar trigo.

O objetivo do estudo de [43] foi avaliar um sistema totalmente autônomo

de aquisição de imagem. Para tanto, testou-se a capacidade do piloto

automático para desencadear um sistema de câmara de detecção remota, bem

como avaliou-se a precisão tridimensional do piloto automático. A capacidade

de adquirir imagens com precisão sobre pontos pré-determinados foi essencial

para garantir a cobertura e agilizar o mosaico das imagens.

Nesse trabalho, a conclusão do estudo fez referência a necessidade de

mais desenvolvimento para superar os problemas de precisão. Todavia, de

acordo com os autores, tomando a capacidade de realizar registro automático e

mosaico das imagens adquiridas e considerando o baixo custo desse sistema

de sensoriamento remoto, há projeção de um grande potencial para os VANTs

serem utilizados em aplicações agrícolas mais amplas[43].

Atualmente, no Brasil, já se pode falar no uso de VANTs gerando

imagens importantes para a agricultura de precisão. O monitoramento de

safras a partir de imagens possibilita a aquisição de dados da área das

lavouras, desde a fase do plantio até a fase da colheita. Tais informações são

úteis para o manejo e monitoramento de safras, bem como na gestão e

logística da produção, entre outros[44].

Em [45], afirma-se que os métodos que se utilizam de VANTs

possibilitam a coleta de dados eficiente, em termos de custo, com o espaço

desejado e resoluções temporais. Para os autores do trabalho, uma importante

vantagem dessa tecnologia se refere ao fato que os dados de sensoriamento

remoto podem ser obtidos ainda que sob condições de imagem pobres, ou

seja, sob a cobertura de nuvens, fato que torna o método operacional em uma

ampla gama de aplicações de medição ambiental.

Os VANTS na agricultura são utilizados em situações diversas, como na

detecção e controle de invasores na plantação. Uma grande vantagem desse

tipo de uso é que os VANTS podem operar a altitudes mais baixa e, portanto,

capturar imagens com uma resolução espacial muito elevada (de alguns

centímetros ou milímetros), o que não seria viável a partir de voos

convencionais ou satélites. Isso é fundamental para discriminar entre as

pequenas mudas de plantas daninhas e de culturas em estágios iniciais, na

maioria dos campos[46].

A expectativa é que os VANTs possam fornecer ferramentas de

sensoriamento remoto que sejam eficientes para a agricultura de precisão,

atuando nos objetivos de permitir o uso eficiente de recursos, proteger o

ambiente e fornecer informações relacionadas a tratamentos de gestão

(utilização de máquinas para aplicações orientadas, semeadura, fertilização e

proteção fitossanitária)[45].

3.2. Reconhecimento sintático de padrões

Para compreensão do reconhecimento de padrões sintáticos, é

necessário compreender antes o que são padrões. Padrões são significados

que nos permitem interpretar os fatos do mundo. Por meio dos padrões que

definimos, somos capazes, por exemplo, de identificar o nome de uma música

que toca, um cheiro, um sabor, mesmo quando eles se apresentam de modo

diferente do conhecido. A Figura 3 ilustra exemplos dessa situação, em que é

possível classificar o padrão (maçã) a que pertencem os três objetos

apresentados, mesmo eles não sendo idênticos.

Figura 1. Ilustração de objetos não idênticos que, no entanto, correspondem ao mesmo

padrão.

O reconhecimento de padrões é a disciplina que se objetiva a descrever

e reconhecer padrões, por vezes, em ambientes ruidosos e complexos [25]. Na

Figura 3, temos um exemplo de aplicação de tal reconhecimento quando

olhamos para os objetos e, com base em nosso conjunto de padrões

conhecidos, os classificamos (no caso, como pertencentes ao padrão maçã).

No entanto, existem vários outros casos em que o reconhecimento de

padrões é utilizado em nosso cotidiano. Para ler, é preciso reconhecer padrões

(letras, palavras, etc.); para cozinhar, é necessário distinguir alimentos de

utensílios, como facas, colheres e outros – que são padrões; para dirigir em

grandes centros, é imprescindível o reconhecimento de semáforos e

sinalizações. Essa grande utilização é um dos principais fatores que tornam o

reconhecimento de padrões relevante atualmente [25, 26].

Embora o reconhecimento de padrões possa ser aplicado em problemas

sem qualquer relação com imagens e visão (como é o caso dos cheiros e

sabores, por exemplo), existe uma rica interseção entre ele e a área da visão

computacional, uma vez que o reconhecimento de padrões é uma importante

etapa em diversos problemas de visão computacional.

O objetivo do reconhecimento de padrões, como pode ter sido

observado nos exemplos anteriores, é a classificação, que se destina a atribuir

uma classe a um objeto com base em suas características e nos padrões

conhecidos [25]. Para humanos, essa tarefa é realizada de forma simples na

maioria dos casos. No entanto, automatizar esse processo com auxílio da

computação nem sempre é igualmente trivial [26].

Em resumo, nos problemas de classificação automática, temos os

objetos que desejamos classificar, um conjunto de classes nas quais esses

objetos serão classificados e um conjunto de características que descrevem

esses objetos. Por exemplo, para classificarmos um conjunto de pessoas como

altas ou baixas, podemos ter como objetos as pessoas a serem classificadas,

como características a altura em centímetros e um conjunto de classes

composto por alto e baixo.

A classificação no exemplo anterior é trivial de ser realizada, mesmo a

um computador, porém, os problemas de classificação, geralmente, não são

tão simples quanto esse [26]. Para os casos mais complexos, existem diversas

estratégias que podem ser aplicadas para a realização da classificação, como

o uso de técnicas matemáticas, estatísticas e de aprendizagem de máquina

[27]. Como ilustração, poderíamos assumir um limiar mínimo de altura para

altos e considera-lo para classificar cada pessoa.

Diferentemente do exemplo anterior, em algumas aplicações,

considerarmos isoladamente pode não ser suficiente, sendo necessário, em

alguns casos, analisarmos também as relações entre essas características. Por

exemplo, para classificarmos se uma frase contém palavras de um idioma,

podemos analisar separadamente essas palavras independentemente da

ordem utilizada, no entanto, para classificarmos se uma frase é coerente

precisaremos analisar a relação das palavras dessa frase, respeitando também

a ordem em que elas aparecem.

Essa relação supracitada entre as características é a base do

reconhecimento sintático de padrões, no qual o padrão se define por uma

composição de sub-padrões mais simples, compostos de sub-padrões ainda

mais simples, chamados de primitivas [28, 25, 27]. Para melhor compreensão,

podemos fazer uma analogia com a leitura. Em textos, temos como padrões

elementares as letras. No entanto, as letras isoladas não nos permitem a

extração de significados e, por isso, é criado um outro padrão mais complexo –

a palavra –, composto de sub-padrões – letras.

Para representar essa relação nos padrões, podemos utilizar

gramáticas, que correspondem a formalismos (ou seja, conjuntos de

procedimentos rigorosamente seguidos) projetados para se definir linguagens.

Geralmente, para utilizarmos gramáticas em reconhecimento de padrões,

modela-se uma gramática para cada classe existente. Assim, ao nos

depararmos com uma nova entrada a ser classificada, verificamos qual das

gramáticas reconhece essa entrada e a associamos consequentemente como

pertencente à classe da respectiva gramática. A utilização de gramática como

reconhecedores de padrões é conhecida na literatura como reconhecimento

sintático de padrões. Para maiores detalhes sobre gramática e seu uso como

reconhecedor, leia o Apêndice.

O reconhecimento sintático de padrões, capaz de identificar padrões

textuais, pode ser adaptado ao reconhecimento de imagens em visão

computacional e, recentemente, tem sido tópico de estudo em alguns trabalhos

científicos [31, 33, 32]. Um dos problemas da sua utilização em problemas de

visão computacional é a transformação das imagens em texto [32, 36].

Os primeiros trabalhos referentes à utilização de cadeias de símbolos e

linguagens formais para descrição de imagens tiveram origem na década de 60

[9, 10]. Um formalismo chamado Linguagem de Descrição de Linguagem

(Picture Description Language, PDL) foi apresentado em [16] como uma

linguagem de discussão sobre imagens tanto para análise (visão

computacional) quanto para geração (computação gráfica).

Também foram propostas representações lineares para tentar capturar

de forma mais natural as relações espaciais entre os elementos de uma

imagem. Em geral, estas representações estendiam o conceito de gramática,

substituindo as cadeias de caracteres por outros elementos mais complexos e

expressivos [15], como por exemplo, matrizes [13] e grafos [14].

Em [17], o uso de gramáticas de padrões expressas através de lógica de

predicados foi proposto para aumentar a acurácia na detecção de objetos.

Técnicas tradicionais de visão computacional eram utilizadas para se obter

uma primeira estimativa sobre os objetivos presentes na imagem e a relação

entre eles e em seguida eram aplicadas técnicas de inferência automática para

aprimorar as estimativas iniciais. Como um subproduto, o sistema proposto por

Shet é capaz de oferecer provas formais sobre o processo de reconhecimento

dos objetos.

Em [4], um mecanismo chamado de gramática visual é aplicado ao

problema de reconhecimento de cenas. A proposta integra técnicas estatísticas

para identificação de regiões de interesse e suas relações espaciais e

geométricas com um forma de gramática de atributos para criar uma hierarquia

entre os elementos inferidos estatisticamente.

4. Metodologia

Será apresentada abaixo a metodologia a ser utilizada para se alcançar

os objetivos anteriormente propostos neste trabalho.

4.1. Compreender e implementar técnicas de reconhecimento sintático de

padrões aplicadas a imagens

Será inicialmente realizada a busca por artigos sobre a utilização de

reconhecimento sintático de padrões em imagens. Em seguida, os artigos

relevantes ao trabalho serão selecionados e lidos. A revisão de literatura

referente a essa leitura será, posteriormente, publicada para compartilhamento

das informações. Por fim, serão procuradas bibliotecas existentes de apoio à

implementação das técnicas estudadas. Com isso, serão realizadas as

adaptações necessárias e codificadas as técnicas de reconhecimento sintático

de padrões. Para o gerenciamento dos processos de desenvolvimento de todos

os códigos desta proposta, será utilizado o modelo de processo ágil Scrum[47]

e, para a documentação dos requisitos, serão utilizados os diagramas de

classe, atividade e casos de uso da UML[48]. Finalmente, para verificação dos

requisitos, serão realizados testes unitários, executados pela ferramenta

JUnit[49].

4.2. Obter imagens de folhas de sojas para análise por meio de VANTs

Uma plantação experimental com deficiências nutricionais e infestações

controladas será produzida em área disponibilizada pelo CeTeAgro (Centro de

Tecnologia em Agronegócio da UCDB) para a obtenção de imagens para

treinamento do sistema. Para isso, será necessária a preparação do solo e das

sementes, seguido do plantio das sementes, para que, assim possam ser

obtidas as imagens aéreas por VANTs nas fases vegetativas e reprodutivas

dos estádios de desenvolvimento da soja. Para identificação posterior de cada

região da plantação (e, consequentemente, cada deficiência nutricional) serão

utilizados marcadores visuais em cada região distinta.

Posteriormente, serão obtidas imagens de plantações de soja em duas

propriedades rurais, localizadas nos municípios sul-mato-grossenses de

Maracajú e Itaporã, juntamente com os respectivos mapas de solos das áreas

plantadas, nas mesmas fases vegetativas e reprodutivas dos estádios de

desenvolvimento da soja do ambiente experimental. Para associação das

informações dos mapas de solo com as imagens, serão utilizadas marcações

que permitam a identificação na imagem dos pontos amostrais utilizados nos

mapas de solo. Serão produzidas, adicionalmente, análises foliares nas

diferentes fases dos estádios nos pontos amostrados dos mapas de solo e em

pontos intermediários, para validação das informações desse mapa.

Por conseguinte, as imagens obtidas serão preparadas com o intuito de

remover ruídos e agrupar as imagens (por mosaico) para produção de imagens

únicas da plantação. Por fim, as imagens serão associadas manualmente a

suas respectivas deficiências nutricionais ou infestações. No caso do ambiente

experimental, serão utilizadas as marcações de áreas inseridas à plantação e,

no caso do campo, serão utilizadas as marcações dos pontos amostrais dos

mapas de solo.

4.3. Definir e implementar melhorias para a técnica de reconhecimento

sintático de padrões aplicada ao conjunto de imagens obtido

As imagens obtidas serão analisadas de acordo com sua deficiência

nutricional ou infestação com o intuito de se identificar as características visuais

e técnicas de visão computacional apropriadas para auxiliarem a identificação

automática de cada padrão existente por meio de reconhecimento sintático de

padrões.

Posteriormente, serão realizadas as implementações de melhorias

necessárias nos algoritmos de reconhecimento sintático de padrões para o

processamento das informações obtidas das imagens.

4.4. Executar experimentos sobre imagens para obtenção de resultados

Para a obtenção dos resultados, serão realizados 3 tipos de

experimentos diferentes: 1) o primeiro experimento avaliará apenas as imagens

do ambiente experimental, em que serão utilizados recortes das imagens

obtidas e já associadas com seus respectivos padrões para o treinamento do

sistema proposto; 2) o segundo experimento considerará as imagens de campo

dos pontos amostrais dos mapas de solo, validando o desempenho do sistema

por meio das informações nutricionais desses mapas; 3) o último experimento

utilizará como referência para treinamento as informações provenientes das

análises foliares, para que possa ser comparado o desempenho e precisão do

sistema proposto com as informações fornecidas pelos atuais mapas de solo.

Para realização dos experimentos, serão utilizados recortes dos pontos

das imagens associados aos seus respectivos índices nutricionais e

infestações. Tais imagens serão utilizadas tanto para o treinamento do sistema

quanto para a etapa de validação de desempenho, que será realizada por meio

de validação cruzada.

Para comparação dos resultados obtidos com o reconhecimento

sintático de padrões, serão executados experimentos similares no conjunto de

imagens produzido, porém, fazendo uso de técnicas de inteligência artificial

tradicionais, sem a utilização de informações sintáticas, como árvores de

decisão, redes neurais e máquinas de vetor de suporte, já implementadas na

biblioteca Weka2.

4.5. Realizar análise de resultados obtidos

Para realização da análise dos resultados obtidos anteriormente, serão

levantadas as hipóteses sobre os resultados tabulados, que, posteriormente,

serão validadas por meio dos testes estatísticos de Friedman [11] e a análise

de variância ANOVA [12].

4.6. Compartilhar resultados parciais e finais do trabalho via publicações

Por fim, serão selecionados eventos e revistas apropriados para a

submissão dos resultados obtidos.

5. Cronograma

2 Para maiores informações sobre a biblioteca Weka, acesse http://www.cs.waikato.ac.nz/ml/weka/.

A Tabela 1 exibe o cronograma previsto para execução da metodologia

apresentada na seção anterior. Para melhor visualização, o período completo foi

dividido em 15 bimestres, totalizando 30 meses, e a metodologia supracitada foi

organizada abaixo em forma de tópicos, cujas identificações dos itens serão utilizadas

como referência no cronograma.

1) Compreender e implementar técnicas de reconhecimento sintático de

padrões aplicadas a imagens

a. Busca por artigos sobre a utilização de reconhecimento sintático

de padrões em imagens;

b. Seleção e leitura de artigos relevantes ao trabalho;

c. Publicação de revisões de literatura;

d. Busca por bibliotecas existentes de apoio à implementação das

técnicas estudadas; e

e. Adaptação e implementação de códigos de reconhecimento

sintático de padrões.

2) Obter imagens de folhas de sojas para análise por meio de VANTs

a. Obtenção de imagens em ambiente experimental

b. Obtenção de imagens no campo

c. Preparação de imagens para pré-processamento

3) Definir e implementar melhorias para a técnica de reconhecimento

sintático de padrões aplicada ao conjunto de imagens obtido

a. Análise de características das imagens e definição de técnica a

ser utilizada

b. Implementação de técnica

4) Executar experimentos sobre imagens para obtenção de resultados

a. Implementação de sistema para experimentos

b. Execução dos experimentos

5) Realizar análise de resultados obtidos.

a. Tabulação dos resultados

b. Análise de resultados

c. Validação de hipóteses

6) Compartilhar resultados parciais e finais do trabalho via publicações

a. Documentar trabalhos realizados

b. Selecionar eventos e revistas apropriados para submissão

c. Adequar e submeter textos para publicação

Item Bimestres

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1.a

1.b

1.c

1.d

1.e

2.a

2.b

2.c

3.a

3.b

4.a

4.b

5.a

5.b

5.c

6.a

6.b

6.c

6. Referências Bibliográficas

[1] SANTOS, R. E.; GROFF, A. M.; ASSAD, N. F. Teores de proteína solúvel e

aminoácidos livres em farinha de soja hidrolisada com enzimas. In: ANAIS DO V

ENCONTRO DE PRODUÇÃO CIENTÍFICA E TECNOLÓGICA, 10, 2010. Campo

Mourão, PR: Núcleo de Pesquisa Multidisciplinar (FECILCAM/NUPEM). ISSN:1981-

6480.

[2] VERNETTI, F. J. Genética da soja: caracteres qualitativos e diversidade genética.

Brasília, DF: Embrapa Informação Tecnológica, 2009. ISBN: 978-85-7383-472-7.

[3] BONATO, E. R.; BERTAGNOLLI, P. F.; LANGE, C. E.; RUBIN, S. A. L. Teor de

óleo e de proteína em genótipos de soja desenvolvidos após 1990. Pesquisa

agropecuária brasileira, Brasília, DF, v. 35, n. 12, 2000. ISSN: 0100-204X.

[4] AKSOY, S. et al. Learning bayesian classifiers for scene classification with a visual

grammar. IEEE Transactions on Geoscience and Remote Sensing, v. 43, p. 581–589,

2005.

[5] BARLETTA, R. V. Grão de soja cru e integral na alimentação de vacas leiteiras.

Dissertação (Mestrado em Nutrição e Produção Animal). Pirassununga, SP: Faculdade

de Medicina Veterinária e Zootecnia, Universidade de São Paulo, 2010.

[6] WWF. The growth of Soy: Impacts and Solutions. (O crescimento da soja: impactos

e soluções). Gland, Suíca: WWF-International (secretariado internacional da Rede

WWF), 2014. ISBN:978-2-940443-79-6. Disponível em:

http://d3nehc6yl9qzo4.cloudfront.net/downloads/wwf_relatorio_soja_port.pdf. Acesso

em: 12/03/2014.

[7] INTERNATIONAL GRAINS COUNCIL. Grain Market Report. IGC: GMR, n. 442,

3, 2014. Disponível em: http://www.igc.int/en/downloads/gmrsummary/gmrsumme.pdf.

Acesso em: 15/03/2014.

[8] COMPANHIA NACIONAL DE ABASTECIMENTO. Acompanhamento da safra

brasileira de grãos. Brasília, DF: Conab, v. 1, n. 1, 3, 2013. ISSN 2318-6852.

Disponível em: http://www.conab.gov.br. Acesso em: 15/03/2014.

[9] EDEN, M. On the formalization of handwriting. In: Am. Math. Soc. Appl. Math

Symp. [S.l.: s.n.], 1961. v. 12, p. 83–88.

[10] NARASIMHAN, R. A Linguistic Approach to Pattern Recognition. Report 121,

Digital Computer Lab, Univ. Of Illinois, Urbana, 1962.

[11] FRIEDMAN, M. The use of ranks to avoid the assumption of normality implicit in

the analysis of variance. Journal of the American Statistical Association, v. 32, n. 200,

p. 675–701, 1937.

[12] PENNY, W.; Henson, R. Analysis of Variance. In K. Friston, J. Ashburner, S.

Kiebel, T. Nichols, and W. Penny, editors, Statistical Parametric Mapping: The analysis

of functional brain images. Elsevier, London, 2006

[13] KIRSCH, R. A. Computer interpretation of english text and picture patterns.

Electronic Computers, IEEE Transactions on, EC-13, n. 4, p. 363 –376, aug. 1964.

ISSN 0367-7508.

[14] PFALTZ, J. L.; ROSENFELD, A. Web grammars. In: IJCAI. [S.l.: s.n.], 1969. p.

609–620.

[15] ROSENFELD, A. Array grammars. In: EHRIG, H. et al. (Ed.). Graph-Grammars

and Their Application to Computer Science. Berlin: Springer , 1987, (Lecture Notes in

Computer Science, v. 291). p. 67–70. ISBN 978-3-540-18771-4.

[16] SHAW, A. C. A formal picture description scheme as a basis for picture processing

systems. Information and Control, v. 14, p. 9–52, 1969.

[17] SHET, V. et al. Predicate logic based image grammars for complex pattern

recognition. Int. J. Comput. Vision, Kluwer Academic Publishers, Hingham, MA, USA,

v. 93, n. 2, p. 141–161, jun. 2011. ISSN 0920-5691.

[18] RITCHIE, S.W.; HANWAY, J.J.; THOMPSON, H.E.; BENSON, G.O. Como a

planta de soja se desenvolve. Piracicaba: POTAFOS, 1997.

[19] ROSOLEM, C. A.; TAVARES, C. A. Sintomas de deficiência tardia de fósforo em

soja. Rev. Bras. Ciênc. Solo, Viçosa , v. 30, n. 2

[20] SFREDO, G. J.; BORKERT, C. M. Deficiências e toxicidades de nutrientes em

plantas de soja. Londrina: Embrapa Soja, 2004.ISSN 1516-781X

[21] BOKERT, C. M. et al. Seja o doutor da sua soja. Piracicaba: Potafos, 1994.

[22] VARGAS, L.; ROMAN, E. S. Manejo e controle de plantas daninhas na cultura de

soja. Passo Fundo: Embrapa Trigo, 2006.

[23] ROMUALDO, L. M. Utilização da visão artificial para diagnóstico nutricional de

nitrogênio, fósforo, potássio e manganês em milho. 2013. Tese (Doutorado em

Qualidade e Produtividade Animal) - Faculdade de Zootecnia e Engenharia de

Alimentos, Universidade de São Paulo, Pirassununga, 2013.

[24] ZúñIGA, A. M. G. Sistema de visão artificial para identificação do estado

nutricional de plantas. 2012. Dissertação (Mestrado em Ciências de Computação e

Matemática Computacional) - Instituto de Ciências Matemáticas e de Computação,

Universidade de São Paulo, São Carlos, 2012.

[25] PIO, J. L. S.; ARAUJO, A. A.; OLIVEIRA, C. J. S. Reconhecimento Sintático e

Estrutural de Padrões. In: SBC - SOCIEDADE BRASILEIRA DE COMPUTAÇÃO.

Jornadas de Atualização em Informática, 2006.

[26] SZELISKI, R. Computer Vision: Algorithms and Applications. Springer-Verlag

New York, Inc., Nova Iorque, NY, EUA, ed. 1, 2010.

[27] ASHT, S.; DASS, R. Pattern Recognition Techniques: A Review. In:

INTERNATIONAL JOURNAL OF COMPUTER SCIENCE AND

TELECOMMUNICATIONS, v. 3, n. 8, 8, 2012.

[28] FU, K. S. Syntactic methods in pattern recognition. Nova Iorque: Academic Press,

1974.

[29] MARIN, M. A. Sistema de visão artificial para a diagnose nutricional de ferro,

boro, zinco e cobre em plantas de milho. 2012. Dissertação (Mestrado em Qualidade e

Produtividade Animal) - Faculdade de Zootecnia e Engenharia de Alimentos,

Universidade de São Paulo, Pirassununga, 2012.

[30] SILVA, F. F. Sistema de visão artificial para a identificação da nutrição de milho

submetido a níveis de cálcio, magnésio e enxofre. 2011. Dissertação (Mestrado em

Qualidade e Produtividade Animal) - Faculdade de Zootecnia e Engenharia de

Alimentos, Universidade de São Paulo, Pirassununga, 2011.

[31] CHANDA, G.; DELLAERT, F. Grammatical Methods in Computer Vision: An

Overview. Georgia Institute of Technology, GIT-GVU-04-29, 2004.

[32] PEDRO, R. W. D.; NUNES, F. L. S.; MACHADO-LIMA, A. Using grammars for

pattern recognition in images: A systematic review. In: ACM COMPUTER SURV., v.

46, n. 2, 11, 2013.

[33] SAVOVA, V.; TENENBAUM, J. B. A grammar-based approach to visual category

learning. In: COGNITIVE SCIENCE CONFERENCE, 2008.

[34] CRUVINEL, P. E.; KARAM, D. Método de reconhecimento de padrões de plantas

invasoras de folhas largas e estreitas da cultura do milho (Zea mays L.) baseado no uso

de informações de textura e visão computacional. In: INAMASU, R. Y.; NAIME, J. de

M.; RESENDE, A. V. de; BASSOI, L. H.; BERNARDI, A. de C. (Ed.). Agricultura de

precisão: um novo olhar. São Carlos, SP: Embrapa Instrumentação, 2011. p. 110-114.

[35] SILVA JUNIOR, M.C. et al. Weed mapping using a machine vision system. Planta

daninha, Viçosa, v. 30, n. 1, Mar. 2012 .

[36] PISTORI, H.; CALWAY, A.; FLACH, P. A new strategy for applying grammatical

inference to image classification problems. In: IEEE INTERNATIONAL

CONFERENCE ON INDUSTRIAL TECHNOLOGY (ICIT), p.1032-1037, 2, 2013.

[37] TONELLO, Maurício Sonda; BORTOLUZZI, Edson Campanhola. Viabilidade

técnica do uso de receptores GPS de navegação para fins de amostragem sistemática de

solo. Rev. Bras. Ciênc. Solo, Viçosa, v. 35, n. 2, Apr. 2011 .

[38] DALCHIAVON, Flávio Carlos et al. Strategy of specification of management

areas: rice grain yield as related to soil fertility. Rev. Bras. Ciênc. Solo, Viçosa, v. 37, n.

1, Feb. 2013 .

[39] PEREIRA, Gener Tadeu et al. Optimization of the sampling scheme for maps of

physical and chemical properties estimated by kriging. Rev. Bras. Ciênc. Solo, Viçosa,

v. 37, n. 5, 2013.

[40] MEDEIROS, F. A. Desenvolvimento de um veículo aéreo não tripulado para

aplicação em agricultura de precisão. Dissertação (Mestrado em Engenharia Agrícola).

Santa Maria, RS: Universidade Federal de Santa Maria, 2007.

[41] JORGE, L. A. C.; INAMASU, R. Y. ; CARMO, R. B. . Desenvolvimento de um

VANT totalmente configurado para aplicações em agricultura de precisão no Brasil. In:

XV Simpósio Brasileiro de Sensoriamento Remoto-SBSR, 2011, Curitiba. Anaiz XV

Simpósio Brasileiro de Sensoriamento Remoto-SBSR, 2011.

[42] HERWITZ ,S.R; et al. Imaging from an unmanned aerial vehicle: agricultural

surveillance and decision support. Computers and Electronics in Agriculture. Volume

44, Issue 1, July 2004, Pages 49–61.

[43] APAN, A.; TROY, J.; LES, C. Z.. The use of an unmanned aerial vehicle as a

remote sensing platform in agriculture. Australian. Journal of Multi-disciplinary

Engineering. Nov. 2010.

[44] SILVA NETO, M.. Como utilizar imagens aéreas na agricultura de precisão? 13 de

Setembro de 2013. Disponível em

<http://www.agrimensordofuturo.com/post.cfm?post=COMO%20UTILIZAR%20IMA

GENS%20A%C3%89REAS%20NA%20AGRICULTURA%20DE%20PRECIS%C3%

83O%3F&id=42> Acesso em 26/11/2013.

[45] HONKAVAARA, E.; SAARI, H.; KAIVOSOJA, J.; PÖLÖNEN, I.; HAKALA, T.;

LITKEY, P.; MÄKYNEN, J.; PESONEN, L. Processing and Assessment of

Spectrometric, Stereoscopic Imagery Collected Using a Lightweight UAV Spectral

Camera for Precision Agriculture. Remote Sens. 2013, 5, 5006-5039.

[46] PEÑA-BARRAGÁN , J.M.; TORRES-SÁNCHEZ, J.; CASTRO, A. I.; LÓPEZ-

GRANADOS, F. Generating weed maps in early-season maize fields by using an

Unmanned Aerial Vehicle (UAV) and object-based image analysis. PLoS ONE, 2013.

[47] SOMMERVILE, I. Engenharia de Software. 9ª edição, São Paulo: Pearson Prentice

Hall, 2011.

[48] GUEDES, G. T. A. UML2: Uma abordagem prática. São Paulo: Novatec Editora,

2009.

[49] BASTOS, A.; RIOS, E.; CRISTALLI, R.; MOREIRA, T. Base de conhecimento

em teste de software. São Paulo: Martins Fontes, selo Martins, 2012.

Apêndice

Gramáticas e reconhecimento sintático de padrões

Como os fundamentos do reconhecimento sintático de padrões são

originários das linguagens formais, para melhor compreensão, será necessária

a revisão de conceitos básicos, como linguagens, gramáticas e suas

particularidades.

Em linguagens formais, dá-se o nome de alfabeto a um conjunto de

símbolos que, associados, produzem palavras. Ao conjunto de palavras sobre

determinado alfabeto, dá-se o nome de linguagem formal (ou simplesmente

linguagem). Para melhor compreensão, podemos usar grosseiramente o idioma

português como analogia de linguagem, em que temos um alfabeto (de A a Z)

sobre o qual é formado um conjunto finito de palavras.

Seguindo o mesmo padrão do idioma português, nas linguagens formais,

também há o conceito de gramática, que corresponde a um formalismo (ou

seja, um conjunto de procedimentos rigorosamente seguidos) projetado para se

definir uma linguagem. Em outras palavras, podemos dizer que, por meio da

gramática, se definem quais são as palavras de uma linguagem.

Por meio de um conjunto de regras bem definidas, a gramática define

como as palavras de uma linguagem podem ser geradas e, consequentemente,

o conjunto de palavras pertencentes a essa linguagem. Toda regra é escrita

comumente na forma αβ, em que α e β correspondem a palavras de dois

alfabetos disjuntos (ou seja, dois alfabetos sem símbolos comuns). Desses dois

alfabetos, um corresponde ao próprio alfabeto da linguagem e seus símbolos

são chamados terminais; já o outro é formado por símbolos denominados

variáveis (ou não-terminais) que auxiliam na geração de palavras.

Formalmente, podemos definir uma gramática como uma quádrupla (V, T,

P, S), de modo que:

V é o conjunto de variáveis

T é o conjunto de terminais (alfabeto da linguagem)

P é o conjunto de regras na forma αβ

S é um elemento de V (ou seja, uma variável) denominado variável de

partida

Como citado, os elementos α e β das regras do conjunto P podem ser

formados por elementos de V e T. Adicionalmente, β pode corresponder a uma

palavra vazia (representada por ε), que indica uma palavra sem símbolos.

Para produzir uma palavra, inicia-se por S e, a partir dele, são realizadas

sucessivas substituições de símbolos, usando as regras de produção. Por

exemplo, considerando a gramática G (V, T, P, S) apresentada na Figura 2,

podemos produzir, iniciando no símbolo inicial X, a palavra bcac seguindo os

seguintes passos:

Tabela 1. Exemplo de derivações por meio de regras de produção para geração da

palavra bcac.

Passo Palavra anterior Regra utilizada Palavra atual

1 X XYcX YcX

2 YcX YXa XacX

3 XacX XYcX XacYcX

4 XacYcX YXa XacXacX

5 XacXacX Xab bcXacX

6 bcXacX Xε bcacX

7 bcacX Xε bcac

Note que, conforme a definição da componente S de G, iniciamos as

substituições com X, que, no primeiro passo, é substituído por YcX pela regra

XYcX; e, em seguida, apenas o símbolo Y da palavra gerada (YcX) é

substituída por meio da regra YXa, produzindo XacX. As substituições

continuam até que, por meio da regra X ε, as ocorrências da variável X são

removidas da palavra gerada.

Figura 2. Elementos V, T, S e P da gramática G. Por simplificação, opcionalmente, as

regras XYcX e Xε deste conjunto P poderiam ser definidas como P={XYcX|ε}.

Podemos utilizar as gramáticas como reconhecedores de entradas pertencentes a ela. Por exemplo, analisando a gramática do exemplo anterior, apresentada na Figura 2, conseguimos identificar que qualquer palavra não vazia que não contenha o símbolo c não pertence à linguagem definida por essa gramática (o símbolo inicial, X, pode ser substituído somente pela palavra vazia ou por YcX e nenhuma regra de produção permite a eliminação de um c produzido).

Dessa forma, podemos utilizar as gramáticas em reconhecimento de padrões se possuirmos uma gramática definida para cada classe existente. Assim, ao nos depararmos com uma nova entrada a ser classificada, podemos verificar qual das gramáticas reconhece essa entrada e associá-la consequentemente como pertencente a essa gramática. Essa utilização de gramática como reconhecedores de padrões é conhecida como na literatura como reconhecimento sintático de padrões.

Por exemplo, suponha que deseja-se identificar em um grupo de indivíduos quais deles são portadores de uma propensão genética para o desenvolvimento de determinada doença. As gramáticas G1(V1, T1, P1, S1) e G2(V2, T2, P2, S2), apresentadas na Figura 3, representam, respectivamente, trechos de códigos genéticos que possuem e não possuem a propensão à doença. Evidentemente, ao analisarmos um indivíduo com um trecho de código genético correspondente a ACTTGGTA, podemos concluir que esse indivíduo pertence ao grupo de propensos – dado que não conseguimos gerar essa sequência em G2.

Figura 3. Elementos V, T, S e P das gramáticas G1 e G2

Em todos os exemplos dados, as gramáticas das classes foram apresentadas. No entanto, em problemas reais, nem sempre a confecção de tais gramáticas é trivial. Identificar as estruturas que compõem a linguagem pode ser um tarefa complexa e humanamente impossível. Felizmente, podemos utilizar como auxílio nessa atividade algoritmos que nos permitem produzir gramáticas para algumas linguagens por meio de inferência gramatical.

Esse reconhecimento sintático de padrões, capaz de identificar padrões textuais, pode ser adaptado ao reconhecimento de imagens em visão computacional e, recentemente, tem sido tópico de estudo em alguns trabalhos científicos. Um dos problemas desta adaptação para lidarmos com reconhecimento sintático de padrões em problemas de visão computacional é a transformação das imagens em texto.

Existem várias técnicas para a transformação de imagens em texto voltadas ao reconhecimento sintático de padrões. A escolha da técnica está fortemente associada ao problema em questão – ou seja, aos padrões que se deseja representar e classificar.

Apenas para ilustração, poderíamos, por exemplo, transformar um objeto da imagem considerando as variações de direção do seu contorno. Na Figura 4(a), vemos o objeto a ser transformado em texto. O contorno desse objeto será projetado em uma grade, como apresentado na Figura 4(b). Considerando as coordenadas de localização, apresentadas na Figura 4(c), tomando o ponto esquerdo superior como ponto de partida e seguindo o contorno do objeto, teríamos as coordenadas S-L-S-S-L-S-L-L-L-L-L-L-SE-N-O-O-N-N-O-N-O-NO-O-O-O-O, transformando assim a imagem em texto.

Figura 4. Exemplo de transformação de imagem em texto.

Vale lembrar, por fim, que, assim como em qualquer aplicação do reconhecimento sintático de padrões, nas aplicações de visão computacional, teremos de lidar também com outro desafio: a criação das gramáticas para cada uma das classes.