Segmentação de imagem - separação de regiõesmandrade/tvd/2006/trabalhos1-2006/... ·...

António Gomes nº 10503198 Nuno Ferreira nº 10503156

Televisão Digital – 2006/07

Relatório do trabalho

Segmentação de imagem - separação de regiões

Televisão Digital 2006/07 António Gomes nº 10503198 Nuno Ferreira nº 10503156

2

1. Índice 1. Índice pg.2 2. Objectivos do Trabalho pg.3 3. Introdução pg.3 4. O Nosso Programa em Poucas Palavras pg.4 5. Princípios Gerais dos Algoritmos Desenvolvidos pg.7

5.1. Detecção de Sementes segundo a Variação do Desvio Padrão Médio

pg.7

5.2. O algoritmo de Region Growing (RG) pg.10 5.3. O Tratamento da Imagem pg.11

6. Ambiente Gráfico pg.13 7. Resultados Obtidos pg.15 8. Análise Crítica pg.22 9. Possível Implementação Prática pg.24


3

2. Objectivos do Trabalho

O objectivo deste trabalho é o desenvolvimento de um programa que realize a detecção de diferentes regiões que existam numa imagem. Para tal dever-se-há utilizar diferentes estratégias.

3. Introdução Com vista ao cumprimento dos objectivos apresentados, partimos para a

aquisição de conhecimentos teóricos que sustentem a realização do trabalho. Com eles percebemos a variedade de possíveis soluções para a detecção de regiões, uns mais simples e de alcance reduzido, outros mais complexos que compensam ao nível da eficácia.

Apresentamos 3 métodos possíveis para detecção de regiões. Os dois primeiros

métodos diferem na forma como determinam as sementes a aplicar no algoritmo de “Region Growing” (RG) e o terceiro diferencia-se do segundo na aplicação do RG visto que utiliza a filtragem de Sobel para destacar os elementos, criando zonas mais homogeneizadas e que incrementam eficácia no algoritmo RG. O primeiro método é, deveras, mais rudimentar. Divide a imagem em 6 fragmentos iguais e atribui como sementes os pontos centrais. Os outros dois baseiam-se num método de escolha de sementes bastante mais complexo baseado na variação do desvio padrão médio, e que será mais tarde especificado.

Todo o trabalho realizado foi feito sobre a ferramenta de trabalho MATLAB. Esperamos que no fim da leitura deste documento todo o nosso trabalho esteja

claramente evidenciado, sem qualquer tipo de dificuldade de interpretação.


4

4. O Nosso Programa em Poucas Palavras Nas próximas linhas vamos expor de forma simples e directa o modo de

funcionamento do nosso programa. Serão apresentados os métodos de selecção de sementes, de filtragem de imagem e de crescimento de regiões.

As várias soluções que decidimos implementar sustentam-se no algoritmo – “Region Growing”. Sinteticamente, este algoritmo funciona do modo que passamos a descrever. O “Region Growing” (crescimento de regiões) tem como primeira etapa a definição da(s) semente(s) a partir da(s) qual(is) se desenvolverá a parte do algoritmo que analisa a imagem. Haverá, de certeza, muitas formas de decisão (…) nós decidimos optar por duas: uma puramente aleatória e outra já baseada em critérios de decisão mais complexos.

A primeira (aleatória), à qual podemos atribuir o nome Subdivisão da Imagem, foi realizada da seguinte forma: a imagem é dividida em 6 partes idênticas e, posteriormente, escolhem-se como sementes os 6 pontos centrais.

O segundo método, Variação do Desvio Padrão Médio, pode ser dividido em diferentes passos: o primeiro passo consiste na segmentação regular da imagem ao longo do eixo dos “y”. De seguida é realizado um varrimento de janela ao longo dos segmentos e calculado o desvio padrão médio para cada janela. Cada segmento irá dar origem a um gráfico com a informação da variação do DPM ao longo do segmento. São extraídos os valores de interesse e guardados para uma posterior depuração. Dada a complexidade do algoritmo associado a este método, este será explicado mais sucinta e pormenorizadamente, numa secção posterior do relatório.

Como foi referido, é a partir destas sementes que se desenvolverá o crescimento de regiões. Este algoritmo baseia-se em critérios de agregação e é aplicado pixel a pixel (operação pontual). Genericamente, analisa a diferença de intensidade de cada pixel com os seus vizinhos e, se a diferença for menos que determinado valor por nós definido (limite de agregação), esse pixel é agregado ao ponto vizinho que o detectou, caso contrário é desprezado.


5

Diagrama 1 – Breve Descrição do Programa


6

5. Princípios Gerais dos Algoritmos Desenvolvidos Os algoritmos por nós desenvolvidos foram os de detecção de sementes segundo

a variação do desvio padrão médio, o algoritmo de region growing e a filtragem pelo método de Sobel. Nesta secção vamos expor mais pormenorizadamente estes algoritmos já aflorados em secções anteriores.

5.1. Detecção de Sementes segundo a Variação do Desvio Padrão Médio (DPM)

O algoritmo de detecção de sementes segundo a variação do desvio padrão

médio já foi sucintamente explicado. Ele actua sobre uma imagem em tons de cinzento (intensidade).

Este método inicia-se com a segmentação da imagem em 5, 10 ou 15 partes idênticas e ao longo do eixo dos ‘y’. Após a segmentação é efectuado um varrimento dos segmentos utilizando uma janela virtual, com uma largura de 10 pixels, que é transladada ao longo do segmento em intervalos de um pixel. Para cada iteração é calculado a variação do desvio padrão médio da área coberta pela janela, isto é, para cada coluna de pixels da janela é obtido o DPM, adquirindo-se assim um vector de 10 elementos representativos dos DPM’s das 10 colunas constituintes da janela. Posteriormente é realizado o DPM do vector de maneira a obter uma medida representativa da variação das colunas, desta maneira, zonas homogéneas, ou de texturas, que apresentem continuidade, terão um valor baixo. Estes valores são guardados e representados num gráfico (Figura 1).

Figura 1 – Etapa 1 do 2º método


7

Na segunda parte do algoritmo são obtidas as zonas intermédias dos vales mais

profundos, para tal, é utilizado um limiar definido no ambiente gráfico como Limite de decisão (STD), o valor predefinido é de 3,5 e situa a linha no valor do máximo do gráfico a dividir por 3,5. Os vales, relativos aos gráficos anteriores, em princípio, irão representar zonas de baixa actividade, ou seja, interiores de regiões. Estas zonas vão caracterizar linhas que intersectam os segmentos na vertical e que definem os pixels de interesse. As zonas intermédias dos vales estão atrasadas em dez pixels em relação à imagem, visto que a janela tem 10 pixels de comprimento. O valor das abcissas é guardado para posterior tratamento (parte 3). A figura 2 explica o processo; a linha vermelha representa o limite de decisão (STD)


Na 3ª parte do algoritmo são estudadas as abcissas obtidas anteriormente.

Pretendemos com este processo, descobrir as ordenadas óptimas para o valor de ‘x’ já obtido. Para tal, executamos um varrimento ao longo da linha vertical; a janela, utilizada neste varrimento é de 5×5. Em cada iteração é calculado a variação do desvio padrão médio, e por fim obtêm-se os gráficos com dos DPM’s ao logo da linha. Para a extracção dos pontos de interesse será necessário especificar um limite de decisão para o qual todos os valores que se encontrem abaixo deste, representarão zonas de interesse e serão, portanto, guardados. Este limite está definido no ambiente gráfico como: Limite de decisão (Depuração) – o valor predefinido é de 2.5, ou seja, o limite será o valor máximo do gráfico a dividir por 2,5. Quanto maior o limite de decisão menos rígida será a selecção de pontos. Caso os vales sejam pouco extensos, serão ignorados. A representação desta etapa encontra-se visualmente descrita na figura 3.


8


No fim do algoritmo teremos um conjunto de pontos, bem definido, que

representará zonas com elevada probabilidade de pertencerem a uma região. Agora cabe ao algoritmo de Region Growing, a boa detecção da região.


9

5.2. O algoritmo de Region Growing (RG) O algoritmo de region growing, como já foi referido, tem como ponto inicial os

pontos definidos como sementes sobre os quais se desenvolverá a parte de análise do algoritmo. O algoritmo é aplicado pixel a pixel e baseia-se em critérios de agregação segundo a diferença de intensidade – se não ultrapassar um certo limite é agregado.

Como forma simples de explicação elaboramos este pequeno

quadro simples, bastante genérico com dois níveis diferentes de intensidade (branco e cinzento). O quadrado assinalado com um X representa um pixel que foi definido como semente. O tipo de conectividade que utilizamos é a denominada conectividade 4, ou seja, só vão ser analisados os pixels que estejam acima, à esquerda, à esquerda ou em baixo (segundo esta ordem),

desprezando, portanto, os pixels que estejam na diagonal. Assim e no primeiro ciclo de execução do algoritmo vão ser agregados dois pixels: o que se encontra à direita e o que está em baixo. Os outros 2 pixels (o de cima e o da esquerda) têm uma diferença de intensidade maior que o limite que seria imposto, sendo por isso desprezados como constituintes da região cinzenta.

Esta segunda imagem exemplifica o referido. O segundo ciclo do algoritmo terá como ponto inicial o primeiro

dos pontos detectados (o que se encontra à direita) e fará o mesmo que foi exposto sobre o primeiro ciclo. Neste caso detectará o pixel que se encontra abaixo (A2), ou seja, os pontos anteriormente agregados não voltam a ser agregados (é a

denominada etiquetagem). O terceiro ciclo terá como ponto inicial o segundo ponto agregado (o A abaixo da semente) e assim sucessivamente. Ou seja, os pontos que serão detectados como agregados serão guardados numa espécie de FIFO e serão analisados segundo a ordem de chegada/agregação. Como anteriormente referido, os pontos que sejam detectados mas que já tenham sido previamente detectados/etiquetados são ignorados, não sendo por isso colocados em fila da de espera no FIFO. Quando se esgotar o FIFO e neste último ponto todos os pontos seus vizinhos (de conectividade 4) estiverem etiquetados o algoritmo termina, finalizando assim o crescimento da região.

A2


10

5.3. O Tratamento da Imagem A filtragem pelo método de Sobel já é realizada directamente pelo MATLAB. Este

filtro é direccionado para um princípio de detecção de contornos, pontos fronteira das regiões que queremos detectar. Estes filtros (Sobel) são do tipo “edge-detection”. São de convolução e operam em matrizes 3x3:

SobelX (detecção de contornos na direcção x)

SobelY (detecção de contornos na direcção y)

Baseiam-se então no cálculo do gradiente das intensidades da imagem em cada

ponto (ao longo dos xx e dos yy). No entanto este filtro é apenas sensível a gradientes de baixa intensidade para

alta e não de alta para baixa intensidade (no sentido positivo dos xx ou dos yy). Por isso “espelhando” a imagem e aplicar a esta imagem “espelhada” também o filtro Sobel resultará numa melhor detecção de contornos. E foi mesmo esta característica que nos apercebemos por aplicação deste filtro.

Por aplicação simples de um filtro Sobel sobre a imagem apercebemo-nos (como diziam os pressupostos teóricos) que seria insuficiente, uma vez que era um grande detector de regiões de fronteira mas não em todos os tipos de fronteira (queremos com isto dizer que para fronteiras de diferentes orientações de gradiente de intensidade não obtinha a mesma qualidade de detecção). Assim decidimos aplicar este filtro 4 vezes: uma para a imagem na sua posição original, outra para uma imagem rodada 90º em torno do seu ponto central, e as outras duas para imagens rodadas 180º e 270º. No final rodamos a imagem resultante para a orientação inicial e somamos as 4 imagens obtidas. Assim já conseguimos obter uma detecção de contornos muito aceitável, ultrapassando a dificuldade de detecção de contornos em situações de alteração de alta intensidade para baixa intensidade. Esta situação encontra-se exemplificada na próxima página.

A partir do resultado anteriormente obtido, fizemos a transformação dessa imagem para imagem binária e a partir desta fizemos o preenchimento de “buracos”, ou seja, sempre que é detectado um contorno fechado este é preenchido. Existe uma função no MATLAB que realiza esta operação (imfill).

-1 0 1

-2 0 2

-1 0 1

1 2 1

0 0 0

-1 -2 -1


11

Assim o crescimento de regiões é feito sobre branco ou preto estando o limite de cada região definido neste passo de detecção de contornos.

O esquema abaixo surge como complemento para melhor compreensão do

porquê da aplicação do filtro de Sobel não apenas à imagem original. Imagem original

+

+

+

=

Figura 4 – Filtragem de Sobel Como se pode verificar a utilização do filtro de Sobel apenas sobre a iamgem

original não foi capaz de detectar todos os contornos. Assim através de 4 rotações e aplicação do filtro a cada uma desses rotações e voltando a rodar as imagens resultantes para a posição original mais a adição destes quatro resultados conseguimos obter regiões fronteira totalemnte definidas.


12

6. Ambiente Gráfico

O ambiente de trabalho tem o aspecto apresentado na imagem.

Figura 5 – Ambiente Gráfico


13

Vamos, nas linhas abaixo, fazer uma descrição das funcionalidades que o nosso

ambiente gráfico apresenta. O topo superior esquerdo do ambiente gráfico tem um menu no qual posso

escolher a fotografia sobre a qual vou fazer correr o programa (Ficheiro). Divide-se em 5 divisões principais (que se encontram numeradas na figura). Na

primeira coluna são apresentados os resultados da manipulação das imagens (menu Imagens - *1). As restantes divisões podem-se considerar divisões de interacção do utilizador com o programa. O número *2 – Ajuste de Imagem permite a filtragem da imagem através de um filtro de média para suavização (que pode ser utilizado mais que uma vez, conforme se queira ou se considere interessante), bem como a variação (aumento) do contraste.

É também o utilizador quem decide qual o método de atribuição de sementes a utilizar. Pode optar pelo Método 1 - *3 ou pelo Método 2 - *4. Em relação ao Método 2 (*4) pode ser definido separadamente o número de divisões da imagem que se pretende (5 ou 10), o Limite de Decisão (STD) e o Limite de Decisão (Depuração) – explicados anteriormente na especificação teórica do método (págs. 7 e 8). Para qualquer um dos métodos são apresentados na imagem os pontos definidos como sementes, bem como o número de pontos detectados.

Por último no ambiente gráfico existe também a possibilidade de se processar o preenchimento de regiões quando se quiser e após a escolha do método de detecção de sementes - *5 (Region Growing). Esta divisão possui também opções condicionadas. A primeira das quais é a utilização da filtragem baseada em Sobel, que só pode ser utilizada caso se tenha optado pelo Método 2 de detecção de sementes – para impor as 3 diferentes hipóteses que apresentamos. A segunda opção condicionada é a definição do Limite de Agregação que avisa que o limite de agregação só pode ser nulo caso se tenha utilizado a filtragem baseada em Sobel (doutra forma não haveria agregação…); este limite de agregação, como foi explicado anteriormente, limitará o valor para decisões de quais os vizinhos a agregar à região.

De salientar que a imagem que se selecciona para execução do programa aparece automaticamente em tons de cinzento (intensidades), sem qualquer interactividade com o utilizador. Optamos por esta solução pois não nos pareceu suficientemente interessante estar a sobrecarregar o ambiente (em termos de apresentação) com uma acção desinteressante e óbvia para o processamento das imagens.


14

7. Resultados Obtidos Nesta secção vamos apresentar os resultados obtidos com diferentes imagens.

De referir que certas imagens apresentam uma espécie de “caixilho em torno da imagem, no entanto é resultado do “copy paste” das imagens.

1º Exemplo Começaremos por demonstrar a actuação do programa sobre uma imagem

sintética por nós criada.

Temos aqui representado a imagem original

A seguir representamos a primeira imagem apresentada pelo

programa (imagem em tons de cinzento e contrastada) logo na primeira abordagem. Consoante a qualidade do monitor pode ser pouco perceptível, mas o triângulo continua lá.

Aqui encontram-se representados os pontos (sementes)

detectados através do método 2.

A imagem segmentada em cinco secções

idênticas e respectivos gráficos da Variação do Desvio Padrão Médio.

Figuras 6, 7, 8 e 9 – Exemplo 1


15

Aqui abaixo são apresentadas as 5 imagens que representam as 5 regiões detectas:

Figura 10 – Exemplo 1 (Regiões)

Testando agora esta situação, mas com tratamento anterior à aplicação do

algoritmo de region growing, através de filtragem de Sobel obtivemos o seguinte.

Figura 11 – Exemplo 1 (Utilização de filtragem de Sobel) Como se pode constatar as regiões detectas ainda se encontram mais bem

definidas e condizentes com a realidade(a reparar principalmente na superfície oval e na superfície triangular.

No entanto, pegando nesta imagem sintética mas, em vez de utilizar o método 2,

utilizar o primeiro método para detecção de sementes…

Representação das sementes… Figura 12 – Exemplo 1 (2º método)

Onde é que está o triângulo?


16

Figura 13 – Exemplo 1 (2º método) Regiões

Nenhum dos pontos/semente calhou dentro do triângulo. O triângulo aparece apenas vincado com o crescimento da região de fundo, como não faz parte da região não é incluída no fundo. Fica provado que o triângulo está lá mas que não é detectado. Visualmente sabemos que existe um triângulo mas o programa em si não guarda as coordenadas dos seus pixels constituintes, ou seja, não é etiquetado.


17

2º Exemplo Agora vamos apresentar uma imagem onde alguns elementos são bastante

contrastantes com o fundo, enquanto que outros se confundem, inclusive ao olho humano. Utilizaremos o método 2.

Aqui está a imagem original. Como podemos verificar

existem arestas dos dados brancos que nem se distinguem as fronteiras com o fundo.

A imagem em tons de cinzento e contrastada.

A imagem segmentada em cinco secções

idênticas e respectivos gráficos da Variação do Desvio Padrão Médio.

Figuras 14, 15 e 16 – Exemplo 2


18

Abaixo as regiões detectadas.

Figura 17 – Exemplo 2 (Regiões) Como se pode observar foram detectados os 3 dados escuros e o fundo,

desprezando os dados claros. 3º Exemplo Mais um exemplo para demonstrar o funcionamento do nosso programa.

Sequencialmente temos a imagem original e a imagem em tons de cinzento contrastada.

Figuras 18 e 19 – 3º Exemplo Utilizamos neste caso o método 1 (método aleatório) para definição das

sementes.

Figura 20 - 3º Exemplo (Subdivisão Aleatória)


19

Foi apenas detectada uma região, o fundo propagou-se pelo objecto.

Figura 21 – Exemplo 3 (propagação entre regiões) Utilizando o método 2 para definição de sementes com 10 subdivisões da

imagem e sem filtragem obtivemos o seguinte.

Figuras 22 e 23 – Exemplo 3 (Método 2)


20

Figura 24 – Exemplo 3 (fusão de regiões)

Mais uma vez o fundo propagou-se pelo objecto detectando apenas uma região. Se utilizarmos filtragem com base no filtro de Sobel obtivemos o seguinte

resultado.

Figura 25 – Exemplo 3 (Utilização de Sobel) Foi possível detectar as duas regiões existentes.


21

4º Exemplo Por último um exemplo doutra imagem sintética mas com uma particularidade

interessante. Possui regiões fechadas e não fechadas. Vamos então apresentar os resultados obtidos para posteriormente comentar.

Primeiramente apresentamos imagem original, imagem em tons de cinzento e sementes obtidas pelo método 2.

Figura 26 – Exemplo 4 (Método 2)

Sem recurso à filtragem foram obtidas as seguintes regiões: céu, nuvem, sol, mar, areia e bola.

Figura 27 – Exemplo 4 (Regiões)


22

Com recurso à filtragem foram obtidos resultados ligeiramente diferentes. Foram

detectados também o guarda-sol e a gaivota, contudo a areia, mar e céu não foram detectados…

Figura 28 – Exemplo 4 (Filtragem Sobel) A título de curiosidade decidimos testar esta imagem de ambiente veraneante,

com o primeiro método de detecção de sementes e deu-nos o seguinte resultado.

Figura 29 – Exemplo 4 (1º Método) Este tipo de decisão para esta imagem foi péssima pois só conseguiu detectar a

areia e o céu.


23

8. Análise Crítica Os exemplos aqui demonstrados provam alguns conceitos que já tínhamos,

mesmo assim permitiu-nos analisar a capacidade de resposta das várias soluções apresentadas para detecção de regiões.

O exemplo 1 mostra-nos que para imagens com diferenças claras entre o objecto e o fundo, ou seja, sem aquele gradiente de intensidades que normalmente acontece numa “imagem real”, a melhor solução é sem dúvida aquela que utiliza o método 2 de obtenção de sementes acompanhado duma filtragem baseada em Sobel. Como o Sobel é um poderoso detector de fronteiras, principalmente para casos em que existam grandes diferenças de intensidade consegue delimitar bem as fronteiras dos objectos binarizando os objectos facilitando assim o crescimento de regiões. Com este primeiro exemplo, fica também provado que a obtenção das sementes através da divisão da imagem pode ter uma capacidade fraca de resposta, caso os centros das subdivisões não se cruzem com todos os objectos presentes. Repare-se que mesmo que se aumentasse o número de subdivisões, os seus centros poderiam mesmo assim não cruzar com certos objectos que fossem mais pequenos.

No exemplo 2 apresentamos uma imagem real com uma particularidade bastante interessante. Dois dos dados são brancos e confundem-se bastante com o fundo. Como se previa, o programa não foi capaz de detectar estes dados. Por um lado com utilização do Sobel não foi possível detectar fronteiras (o gradiente é mínimo, principalmente na parte superior dos dados, não permitindo assim fechar a região para posteriormente efectuar o seu preenchimento). Por outro lado, o algoritmo de crescimento de regiões ao iniciar num ponto relativo ao fundo e ao iniciar a agregação, quando chegar à região que interpretamos (segundo o olho humano) como dado, o algoritmo não vai detectar diferenças significativas de intensidade e vai então agregar ao fundo.

O exemplo 3 surge como confirmação do exemplo 1, numa imagem real, mas com o objecto bem distinguido do fundo. Constata-se que a utilização de filtragem com Sobel é bastante interessante para detecção de objectos com as características da imagem deste exemplo (com margens bem definidas).

Com o exemplo 4 detectamos aspectos bem interessantes. Verificamos que a implementação normal com método 2 de obtenção de sementes e posterior implementação do algoritmo de region growing foram detectadas bastantes regiões desprezando certos elementos como a gaivota e o guarda-sol. Decidimos então testar com tratamento de imagem através do filtro Sobel e verificamos esta curiosidade: conseguiu detectar os objectos que tinham escapado à prévia análise, no entanto, regiões que não tivessem limites fechados (como a areia, o mar e o céu) a capacidade de resposta deste método é bastante ineficaz. Percebe-se que o Sobel não consegue delimitar bem estas regiões para posteriormente se proceder ao preenchimento.

Assim, e em jeito de conclusão podemos afirmar que a melhor solução andará sempre em torno da detecção de sementes com base no método 2 - Detecção de


24

Sementes segundo a Variação do Desvio Padrão Médio. No entanto, e consoante o tipo de imagem, é que devemos decidir se havemos de utilizar tratamento da imagem com base em Sobel.

Pensamos que os resultados por nós obtidos com o nosso trabalho são bastante positivos. Temos a sensação que com mais tempo e mais trabalho sobre esta base será possível construir um potente detector de regiões.


25

9. Possível Implementação Prática Para além de todos os exemplos apresentados sempre tivemos a preocupação de

querer apresentar um exemplo que pudesse ser minimamente útil na realidade, estar fora dos “testes de laboratório”. Lembramo-nos então de testar o programa num exemplo simples como um mapa de Portugal dividido por regiões…

Aqui a imagem original, do nosso Portugal.

Figura 30 – Mapa Regional de Portugal


26

Ao utilizar o nosso programa obtivemos os seguintes resultados:

Figura 31 – Regiões Encontradas


27

Figura 32 – Regiões Encontradas (Continuação)

Como é possível observar, a maior parte das regiões foram encontradas e destacadas. Os resultados são bastante razoáveis. O facto de estarem presentes caracteres, vai dificultar a correcta análise da imagem pelo algoritmo, mas uma suavização da imagem consegue reduzir os danos. A utilização de uma base de dados com as regiões para posterior comparação, seria de grande utilidade se desejássemos automatizar o processo de identificação.

Este tipo de programa tem um variado leque de aplicações e haverão, com certeza, áreas

específicas onde a etiquetagem de regiões deverá ser de grande utilidade, p.e., vídeovigilância, automação industrial, controlo de qualidade, etc…

Segmentação de imagem - separação de regiõesmandrade/tvd/2006/trabalhos1-2006/... ·...

Documents

Transcript of Segmentação de imagem - separação de regiõesmandrade/tvd/2006/trabalhos1-2006/... ·...