Faculdade de Engenharia da Universidade do Porto - …ee98236/relatorio.pdf · 2004. 12. 23. · A...
Transcript of Faculdade de Engenharia da Universidade do Porto - …ee98236/relatorio.pdf · 2004. 12. 23. · A...
-
Universidade do Porto
Faculdade de Engenharia
Caracterização e Visualização de Movimento paraAplicações em Biomecânica
João Campos Menezes Bateira
Relatório do Projecto Final de Curso
Dezembro de 2004
-
Agradecimentos
Quero agradecer ao Professor Miguel Velhote pela disponibilidade e pela orientação dada aotrabalho, à Sra Emília Mendes e ao Centro de Reabilitação Profissional de Gaia, pela disponibi-lização do material de aquisição, ao Ricardo Sousa, pelo apoio, e ao grupo de imagem do INEBpelas excelentes condições de trabalho proporcionadas.
iii
-
"Imaginar, primeiro, é ver.Imaginar é conhecer, portanto agir."
Alexandre O’Neill
-
Conteúdo
1 Introdução 11.1 Âmbito . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Motivação e Objectivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Estrutura e resumo do relatório . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 A análise da marcha humana 52.1 Marcha Humana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 Reabilitação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.3 Métodos de análise da marcha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3 Segmentação da imagem 113.1 Detecção de movimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.1.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.1.2 Subtracção do fundo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143.1.3 Método adaptativo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.2 Regiões em movimento e operações morfológicas . . . . . . . . . . . . . . . . . . 16
4 Caracterização do movimento 194.1 Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.2 Técnica baseada em regiões - Template Matching . . . . . . . . . . . . . . . . . . 214.3 Filtro de Kalman vs Oclusão . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224.4 Método Proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5 Implementação e Resultados Obtidos 355.1 Aquisição da marcha . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355.2 Análise com marcadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365.3 Análise sem marcadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
6 Conclusões e Trabalho Futuro 45
i
-
ii
-
Capítulo 1
Introdução
1.1 Âmbito
Amplamente estudado, o sistema de visão humana é um complexo sistema sensorial que per-
mite ao homem ter uma percepção da realidade e fazer uma posterior análise e interpretação
da mesma. As imagens captadas pela retina são uma fonte de informação emanente a partir
da qual cada indivíduo, consoante a sua sensibilidade, pode efectuar, com algum rigor, oper-
ações de estimação de distâncias, distinção de cores, percepção de movimento, identificação de
objectos e pessoas, entre outras. Como forma de aproximação ao sistema visual humano ten-
tando introduzir o rigor e a velocidade que caracterizam as máquinas, desenvolveu-se a visão
por computador. Através de um processo de captação, processamento, análise e interpretação
de imagens, a máquina é então capaz de retirar alguma informação da realidade como um ser
humano.
Deste modo a visão por computador torna-se uma ferramenta importante com aplicações
1
-
2 CAPÍTULO 1. INTRODUÇÃO
em muitas áreas, por exemplo: a medicina, a biologia, a segurança, as telecomunicações, a
automação. No caso específico da medicina são enúmeras as aplicações de ajuda ao diagnóstico
(Computer Aided Diagnosis) ou de biometria, baseadas em análise de imagem. Exemplo disso
são as análises de radiografias, de imagens ecográficas, de tomografia axial computorizada (TAC),
de cromatografia, tratando-se estes exemplos de imagens temporalmente fixas, bidimensionais
ou tridimensionais.
Outros casos há em que a informação é retirada de uma sequência temporalmente ordenada
de imagens, como quando é necessário o estudo de um dado movimento biomecânico. Tal
acontece, por exemplo, com a análise da marcha humana, havendo nesta áreas aplicações quer
ao nível do diagnóstico, quer ao nível da biometria.
Foi, pois, neste âmbito que se pretendeu combinar e desenvolver, e aqui apresentar, metodolo-
gias de processamento e análise de imagens digitais capazes de fornecer informação fiável e
enriquecedora para o estudo da marcha humana.
1.2 Motivação e Objectivos
A análise de movimentos biomecânicos, em particular o da marcha humana, é uma área que
merece a atenção da comunidade científica há já alguns anos. No entanto, a variedade e a
quantidade de métodos desenvolvidos mostram como é difícil arquitectar sistemas robustos que
demonstrem bons níveis de desempenho nas situações mais diversas. Alguns métodos efecti-
vamente robustos demonstram que na práctica, em aplicações clínicas, são-no em prejuizo das
exigências concretas destas aplicações: falta de automação no processo, falta de rigor e tempo
excessivo na produção de resultados — o que resulta em desconforto para o médico e para os
-
1.3. ESTRUTURA E RESUMO DO RELATÓRIO 3
pacientes analisados.
Assim, propõe-se neste trabalho desenvolver algoritmos de processamento e análise de im-
agem o mais robustos possível, tendo em vista aplicações automáticas de caracterização e análise
da marcha humana. Estes algoritmos passam pela detecção de objectos em movimento numa
sequência de imagens, pelo seu seguimento ao longo da sequência e pela extracção de infor-
mação útil dos mesmos. Não é objectivo do trabalho desenvolver alguma aplicação ou sistema
automático, mas apenas estudar, desenvolver e articular metodologias da análise automática de
movimento aplicadas ao estudo da marcha humana.
1.3 Estrutura e resumo do relatório
O presente relatório está essencialmente dividido em duas partes principais: uma parte teórica
(capítulos 2, 3 e 4), e uma parte prática (capítulo 5). Assim será feita uma apresentação de
cada metodologia com a respectiva fundamentação teórica, com a devida ilustração realizada no
capítulo 5.
Inicialmente, no capítulo 2, será apresentado um breve estudo sobre a marcha humana onde
é explicada a adequação de dois métodos distintos de análise de imagem para o seu estudo e qual
a importância que têm em áreas como a reabilitação. No terceiro capítulo serão apresentadas
metodologias de análise de imagem aplicadas à segmentação de regiões em movimento. Serão
também abordadas técnicas de filtragem morfológica, normalmente usadas em imagens fixas,
mas com interesse para o melhoramente da segmentação. No quarto capítulo apresentar-se-ão
métodos para a caracterização do movimento que passam por técnicas de correspondências de
regiões e pelo uso do filtro de Kalman. Neste capítulo é feita a distinção de metodologias que
-
4 CAPÍTULO 1. INTRODUÇÃO
correspondem às duas diferentes abordagens da caracterização da marcha. No quinto capítulo
serão apresentados os resultados do processamento final, onde serão incluídos aspectos específicos
da implementação das metodologias apresentadas. Com base nestes resultados, e por último,
serão tiradas conclusões e apresentadas propostas de trabalho a desenvolver no futuro.
-
Capítulo 2
A análise da marcha humana
2.1 Marcha Humana
Como forma de familiarização com alguns termos posteriormente relatados e de forma a facilitar
a interpretação dos resultados finais, será pertinente um estudo introdutório à marcha humana,
o qual será de seguida apresentado.
A dinâmica da marcha humana corresponde a um movimento periódico conjunto de juntas
ósseas, músculos e articulações, cujo ciclo está definido pelo intervalo de tempo entre dois con-
tactos do mesmo pé no solo. A este intervalo chama-se passada e, no seu tempo de duração, o
ciclo da marcha é composto por várias fases, cada uma com características muito particulares
e que servem para identificar comportamentos dos membros inferiores do indivíduo nalgumas
situações críticas. As duas fases principais são as de apoio (stence) e de balanço (swing).
Na fase de apoio o indivíduo encontra-se com o pé em contacto com o solo, sendo a sua
duração desde o apoio inicial do calcanhar até ao último contacto dos dedos do pé com o solo.
5
-
6 CAPÍTULO 2. A ANÁLISE DA MARCHA HUMANA
Esta fase está dividida em subfases que estão também definidas pois em cada uma se pode
extrair informação sobre cada membro inferior. Na fase de apoio encontram-se então definidas
as seguintes fases:
fase de contacto inicial — instante em que se dá o contacto do calcanhar com o solo;
fase de absorção do choque — instantes em que a planta do pé está em contacto total com
o solo, e em que todo o peso do corpo é transferido para a perna que inicia a fase de apoio;
fase média de apoio — quando o pé contrário deixa o contacto com o solo, passando o suporte
a ser feito apenas com um pé;
fase terminal de apoio — fase definida desde a altura em que o pé de suporte começa a deixar
o contacto com o solo, até existir o contacto inicial do pé contrário.
A fase de balanço compreende o intervalo desde que o pé começa a deixar o contacto com solo
até que um novo contacto aconteça. Nesta fase também estão definidas várias fases intermédias:
fase de pré-balanço — instantes em que há um duplo suporte (dois pés em contacto com o
solo), mas o pé analisado começa a elevar-se no ar.
fase de balanço inicial — com o pé no ar, começa a flexão do joelho até à posição máxima da
flexão (que não é necessariamente o limite físico da flexão do joelho pois a perna é apenas
dobrada parcialmente);
fase média de balanço — após a flexão do joelho, há um avanço rápido do calcanhar; esta
fase termina quando a tíbia se encontra na vertical;
-
2.2. REABILITAÇÃO 7
Figura 2.1: Fases da marcha humana
a tíbia continua a sua translação até atingir a extensão máxima do joelho; o balanço termina
com a preparação para o contacto do calcanhar com o solo.Do ponto de vista da análise de
imagem, o ciclo de marcha vai ser decomposto numa sequência de imagens através da captação
com uma câmara de vídeo de uma pessoa em marcha normal. Importa pois, conhecer aspectos
referentes à marcha que possam ajudar ao desenvolvimento de algoritmos com vista à sua car-
acterização. O conhecimento do comportamento dinâmico dos membros inferiores e das juntas
ósseas durante o círculo da marcha é sem dúvida um dos pontos de extrema importância. As
próprias características periódicas do movimento que à partida podemos inferir deste estudo são
informação que pode ser tida em conta.
2.2 Reabilitação
Uma das áreas em que o estudo da marcha humana é de maior relevo é a de reabilitação de
indivíduos com membros inferiores amputados que recorrem a próteses para recuperarem as suas
-
8 CAPÍTULO 2. A ANÁLISE DA MARCHA HUMANA
capacidades de marcha normal. As dificuldades em atingir de novo um comportamento normal da
articulação da perna prendem-se com a adaptação do indivíduo à prótese. Essa adaptação deve
ser acompanhada pelo profissional de saúde de forma a corrigir erros que o paciente cometa, pois
o desiquilíbrio e a instabilidade do caminhar podem provocar várias anomalias a nível ortopédico
(na coluna, por exemplo).
Assim torna-se muito útil a um profissional de saúde ter uma ferramenta que lhe dê in-
formação sobre a marcha do paciente. Através da análise da posição da anca, do joelho e do
tornozelo, podem observar-se, por exemplo, as suas trajectórias ao longo do tempo, os ângulos
que cada segmento da perna formam (com a vertical ou entre si), e assim perceber quais os
ajustes a fazer no comportamento do indivíduo em cada fase da marcha.
Esse ajuste muitas vezes é feito pela comparação de gráficos resultantes das medições referi-
das. Normalmente é construída uma base de dados com traçados recolhidos a partir de indivíduos
com membros sãos, que é depois utilizada na comparação. Um gráfico bastante usado que evi-
dencia a característica cíclica da marcha é o ciclograma, que apresenta o ângulo do fémur versus
o ângulo da tíbia [Goswami(1998)].
2.3 Métodos de análise da marcha
Em termos de análise de imagem, os algoritmos já desenvolvidos para a análise da marcha
humana dividem-se, de uma forma prática, em duas categorias: análise com marcadores e análise
sem marcadores.
Os marcadores são normalmente objectos adesivos com uma forma arredondada e de cor
branca ou fluorescente, que são colocados no corpo do paciente, de forma a ficarem visíveis pela
-
2.3. MÉTODOS DE ANÁLISE DA MARCHA 9
Figura 2.2: Ciclograma
câmara, nos pontos que se pretende analisar — por exemplo, na anca, no joelho e no tornozelo. A
colocação dos marcadores obdece às recomendações da Sociedade Internacional de Biomecânica
(International Society of Biomechanics) segundo o estipulado pelo Sistema de Coordenadas de
Juntas Ósseas (Joint Coordinate System [ISB(2002)]).
O uso ou não dos marcadores distingue de uma forma drástica as metodologias de análise
de imagem. No primeiro caso exige-se a detecção e o seguimento dos pontos da imagem cor-
respondentes aos marcadores. No segundo caso será necessário identificar os outros elementos
característicos em cada imagem (usando informação diferente da dada pelos marcadores) a partir
de contornos ou texturas, por exemplo.
-
10 CAPÍTULO 2. A ANÁLISE DA MARCHA HUMANA
-
Capítulo 3
Segmentação da imagem
3.1 Detecção de movimento
3.1.1 Introdução
A fase de partida para a maioria das aplicações de análise de movimento humano é a fase da
detecção do movimento. Numa sequência de imagens é necessário identificar as zonas consid-
eradas em movimento para que o processamento seguinte possa concentrar-se nessas regiões,
abstraindo-se das zonas complementares consideradas zonas de fundo. Este processo de segmen-
tação da imagem em regiões de interesse distingue-se de outros na medida em que aproveita a
informação temporal inerente à própria sequência de imagens. Aqui a segmentação não é vista
como um cálculo aplicado a cada imagem isolada tendo em conta apenas a informação dada por
essa imagem, mas antes reúne informação sobre imagens anteriores da sequência em que esta se
insere.
Como em qualquer processo operante em cadeia, cada fase deve introduzir o menor erro pos-
11
-
12 CAPÍTULO 3. SEGMENTAÇÃO DA IMAGEM
sível, sendo este postulado aplicado também à análise de movimento, cujo resultado é produto de
um conjunto de tarefas intermédias. A detecção de movimento (ou a segmentação propriamente
dita) sendo a primeira fase deste processo, torna-se importante que se lhe dedique toda a atenção
para que seja conseguido o melhor ponto de partida. O desempenho de muitas aplicações de
análise de movimento está fortemente dependente de uma boa segmentação.
Com este propósito foram já desenvolvidas várias metodologias que podem operar de forma
independente ou até combinada. Segundo o estudo apresentado em [Liang Wang(2002)], as
metodologias mais eficazes e por isso mais populares são: subtracção do fundo, diferenciação
temporal, métodos estatísticos e fluxo óptico. Como se pode inferir da diversidade das mesmas,
estas são aplicáveis a situações diferentes, sendo o resultado das suas aplicações muito particular.
Além disso o custo computacional de cada uma é bastante diferente, o que à partida se torna
uma condicionante à escolha.
Os algoritmos baseados em métodos estatísticos têm como suporte uma modelização es-
tatística do fundo da imagem, havendo uma actualização permanente desse modelo. Em cada
imagem é avaliada a classe de cada ponto através comparação com o modelo do fundo. São
métodos robustos em situações de grande variação de luminosidade, presença de ruído e de
sombras, sendo tipicamente as características representadas estatisticamente, os contornos e as
cores.
Já os algoritmos de fluxo óptico são usados para descrever o fluxo de movimento. Nesta
metodologia são calculados vectores que indicam a direcção, o sentido e a intensidade do movi-
mento numa sequência de imagens. Este método pode ser usado para uma inicialização da
segmentação, através do agrupamento de vectores de fluxo num grupo que corresponde a uma
-
3.1. DETECÇÃO DE MOVIMENTO 13
região em movimento. Todavia é um método mais apropriado para aplicações de percepção de
movimento com deslocação do observador, em que se pretende uma aproximação ao sistema de
visão humana, com o objectivo de quantificar a percepção psicofísica de movimento.
O conceito básico da diferenciação temporal consiste na observação de cada pixel em pelo
menos duas imagens consecutivas, avaliando se este está ou não em movimento consoante a
variação da sua intensidade for grande ou pequena. Assim pode concluir-se que este método
é pouco sensível a variações de luminosidade, existindo no entanto alguns defeitos que convém
registar. Em objectos relativamente grandes e de textura homogénea, os pixels centrais do in-
terior dos objectos são vistos como uma região que não se move, pois a sua variação ao longo
de algumas imagens é muito baixa ou mesmo nula. Como consequência disso, apenas serão
identificadas como zonas em movimento as que estiverem próximas dos contornos, deixando um
buraco dentro do objecto. Da mesma forma, no caso de movimentos exclusivamente horizon-
tais, os contornos horizontais de um objecto também não serão identificados como estando em
movimento.
Após o estudo das quatro técnicas enumeradas, estas três anteriores apresentaram-se como
as menos adequadas à segmentação que era pretendida para este trabalho. De facto, as se-
quências de imagens usadas para teste mostram zonas em movimento que nem sempre apresen-
tam um bom contraste com o fundo, dificultando deste modo a modelização estatística. Por
outro lado, os algoritmos de fluxo óptico, podem, ser usados numa inicialização da segmentação
[Dorthe Meyer and Niemann(1997)], mas pecam por serem computacionalmente muito pesados.
A diferenciação temporal pode ser usada em combinação com técnica da subtracção de fundo,
mas apenas em condições específicas (objectos pequenos, movimentos em várias direcções - ver
-
14 CAPÍTULO 3. SEGMENTAÇÃO DA IMAGEM
[Robert T. Collins(2000)]).
Desta forma a técnica escolhida para a segmentação da imagem em zonas de fundo e de
movimento foi a de subtracção de fundo, que será apresentada e explicada de seguida.
3.1.2 Subtracção do fundo
A técnica de segmentação por subtracção do fundo consiste em subtrair à imagem que se quer
segmentar (I) uma imagem de fundo (B). Por imagem de fundo entende-se uma imagem sem a
presença do objecto movente. A diferença entre esta imagem e uma com o objecto em movimento
é apenas esse mesmo objecto, e assim se consegue obter apenas a região da imagem que está em
movimento (BS).
BS = |I −B| (3.1)
Este método é, no entanto, muito sensível a variações da posição da câmara e de luminosidade,
pois logo o fundo da imagem em análise se torna diferente da imagem de fundo. Para ultrapassar
tais obstáculos pode recorrer-se a uma imagem de fundo adaptativa que será dinamicamente
actualizada de forma a compensar as variações referidas (ver “Método adaptativo”). Com o
mesmo objectivo pode ser introduzido um limiar para a diferença de imagens, ou seja, uma
região só será considerada região em movimento se a sua diferença para a imagem de fundo for
superior a um determinado limiar, definido constante ou alterado dinamicamente.
BS : |I −B| > T (3.2)
No âmbito deste trabalho estamos perante uma aquisição de imagens em ambiente controlado —
a iluminação é constante — pelo que se recorreu ao método mais básico de subtracção de fundo:
-
3.1. DETECÇÃO DE MOVIMENTO 15
foi recolhida uma imagem de fundo, sem nenhuma pessoa em cena, e seguidamente, nas mesmas
condições do início, foi adquirida a sequência de imagens com uma pessoa em marcha. A imagem
de fundo é portanto usada para a segmentação de todas as imagens da sequência, e o limiar da
diferença de imagens é igualmente constante.
3.1.3 Método adaptativo
Em condições de alguma variação de luminosidade em que seja impossível manter um ambiente
controlado (por exemplo, devido a um sistema inadequado de iluminação), sugere-se o uso de
uma imagem de fundo adaptativa bem como um limiar para a diferença de imagens variante com
o tempo. A imagem de fundo será actualizada ponderando a imagem de fundo actual e os pixels
que ao longo da sequência menos se movem. O método sugerido em [Robert T. Collins(2000)] é
composto pelas seguintes equações:
Bn+1 =
⎧⎪⎪⎨⎪⎪⎩αBn + (1− α) In se pixel está parado
Bn se pixel está em movimento
n = 1, 2, 3, ..
0 < α < 1
(3.3)
Tn+1 =
⎧⎪⎪⎨⎪⎪⎩αTn + (1− α) (5 |In −Bn|) se pixel está parado
Tn se pixel está em movimento
. (3.4)
em que α é uma constante de tempo que especifica a rapidez com que ocorrem mudanças de
imagem para imagem. Para cada pixel (x) parado, se α for maior que 0.5, é dada maior
importância ao fundo actual e este terá maior peso na próxima imagem de fundo (Bn+1(x)). Se
for inferior a 0.5, a próxima imagem de fundo terá maior presença de pixels “novos” considerados
parados. A mesma regra é aplicada à actualização do limiar adaptativo (Tn(x)). Deste modo
as variações de luminosidade serão permanentemente absorvidas pela imagem de fundo, fazendo
-
16 CAPÍTULO 3. SEGMENTAÇÃO DA IMAGEM
com que a diferença desta para a imagem seguinte seja sempre a menor possível.
3.2 Regiões em movimento e operações morfológicas
Devido ao facto de a segmentação resultante da subtracção de fundo não ser perfeita, foi preciso
recorrer a técnicas que de alguma forma aperfeiçoassem esse resultado de modo a conseguir-se
uma silhueta do objecto em movimento sem buracos e de contornos o mais regulares possível.
O método proposto em [Kameda and Minoh(1996)] baseado no agrupamento de pixels em
movimento, pode ser um bom ponto de partida. Uma boa forma de eliminar o ruído que
persistisse da subtracção do fundo e de ao mesmo tempo preencher espaços que não tivessem
sido vistos como regiões em movimento, seria analisar as vizinhanças de cada pixel da imagem
de subtracção de fundo. Se na vizinhança de cada pixel existir um número mínimo de pontos
considerados pontos em movimento, todos os vizinhos desse pixel passarão a ser considerados
moventes. Caso contrário, todos os pixels desse bloco serão eliminados. Torna-se então necessário
definir uma vizinhança adequada, para evitar que pontos de ruído sejam agregados a pontos
de movimento, e tentar que o maior número de buracos interiores aos objectos moventes seja
preenchido.
Um outro conjunto de operações que permite preencher buracos dos objectos ou eliminar
ruído exterior aos mesmos, é o das operações de filtragem morfológica no qual se inserem os
filtros de abertura e fecho. Este filtros apresentam bons resultados quando operam sobre imagens
binárias (apenas com dois níveis de intensidade) pelo que é necessário binarizar ou a silhueta
resultante das regiões em movimento, ou já a resultante da subtracção de fundo. Sobre uma
imagem binária, os filtros de fecho, numa primeira fase, expandem os pixels a preto até aos
-
3.2. REGIÕES EM MOVIMENTO E OPERAÇÕES MORFOLÓGICAS 17
limites de uma determinada vizinhança (normalmente definida por um elemento estruturante
onde é especificada a extensão da vizinhança e a sua forma — disco, quadrado, linha, etc). A
esta fase chama-se erosão, pois as áreas a branco com pequenas dimensões serão erodidas pela
expansão dos pixels das zonas pretas. De seguida é aplicado o mesmo processo aos pixels que
ainda persistirem das zonas a branco — fase conhecida por dilatação. Assim são eliminadas zonas
de ruído externo ao objecto e são mantidas as suas dimensões.
Os filtros de abertura são em tudo idênticos aos de fecho mas invertem a ordem de aplicação
das fases de erosão e dilatação. Desta forma conseguem-se preencher espaços internos ao objecto
mantendo também as suas dimensões.
-
18 CAPÍTULO 3. SEGMENTAÇÃO DA IMAGEM
-
Capítulo 4
Caracterização do movimento
4.1 Introdução
A caracterização do movimento da marcha humana passa pelo seguimento temporal dos pontos
fundamentais já referidos (anca, joelho e tornozelo). As trajectórias destes pontos serão tanto
mais verdadeiras quanto mais rigorosos forem os métodos de seguimento. Nesta fase, há uma
aproximação muito grande dos domínios da análise de imagem e da medicina, no que concerne
à informação retirada da sequência de vídeo. O diagnóstico e a análise clínica feita pelo médico
ou técnico de saúde estão fortemente dependentes do rigor e fiabilidade do seguimento. Dada a
responsabilidade e exigência postas nesta fase, foi necessário de entre muitas técnicas disponíveis
para o efeito, escolher a(s) mais adequada(s).
Existe já um vasto grupo de metodologias para o seguimento de objectos ou pontos em
movimento, e das quais se destacam as seguintes [Liang Wang(2002)]:
• figura de paus (stick figure) — técnica que implica a prévia obtenção da silhueta do objecto,
19
-
20 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO
a partir da qual se obtem o esqueleto. A esqueletização pode ser feita com a transformada
de distância (distance transform) ou com a transformada de eixos médios (medial axis
transform). Depois de identificadas as juntas ósseas no esqueleto, estas são ligadas por
segmentos de recta semelhantes a palitos.
• contornos — o seguimento dos contornos é muitas vezes aplicado ao seguimento e identifi-
cação de pessoas num determinado espaço. Resultante de uma boa segmentação, é uma
técnica muito usada também na análise da marcha. É também usada a técnica de segui-
mento por contornos activos, também conhecida por snakes. Estes são contornos que se
adaptam aos contornos reais dos objectos de uma forma dinâmica até atingirem um ponto
óptimo de paragem.
• regiões — o seguimento de regiões consiste numa correspondência (matching) entre um
modelo do elemento a seguir (template) e a imagem em que este se encontra. Essa cor-
respondência é feita através de uma correlação que deverá ser máxima no ponto em que
o padrão for encontrado. Existe também o seguimento de regiões pela análise das suas
propriedades e identificação das suas características (pontos, linhas, pontos de canto, cur-
vatura de pontos, etc).
Como forma de apoiar estas metodologias, existem ferramentas matemáticas que robustecem
o seguimento: filtro de Kalman, Algoritmo de Condensação, Redes Bayesianas Dinâmicas, entre
outras.
A escolha para a implementação de um algoritmo de seguimento com recurso a marcadores
recaiu sobre o seguimento de regiões (mais especificamente, o método de Template Matching).
-
4.2. TÉCNICA BASEADA EM REGIÕES - TEMPLATE MATCHING 21
Esta escolha torna-se óbvia quando temos como objectos de seguimento vários círculos, que
correspondem aos marcadores, sendo apenas necessário escolher o modelo do círculo e restringir
a área de correlação (ou de pesquisa) para que falsos pontos não sejam detectados. Para isso
e para resolver problemas que se prendem com a eventual oclusão de alguns marcadores, foi
escolhido o filtro de Kalman, cuja teoria será explicada no capítulo 4.3.
A abordagem sem recurso a marcadores baseia-se nos contornos e no esqueleto do objecto em
movimento. Esta metodologia também faz uso do filtro de Kalman e será devidamente explicada
e ilustrada no capítulo 4.4.
4.2 Técnica baseada em regiões - Template Matching
O algoritmo de template matching (ou block matching) baseia-se na correspondência entre um
modelo T e uma imagem I na qual este modelo possa ser identificado. Neste trabalho pretende-
se identificar os marcadores colocados na perna do caminhante. Para tal foi preciso definir um
modelo dos marcadores que correspondem aproximadamente a círculos brancos. Assim é definida
uma imagem de um círculo com o tamanho aproximado aos pontos dos marcadores visíveis na
imagem, e feita uma correlação matemática entre a matriz de intensidades da imagem e a matriz
de intensidades do modelo. Para cada posição do modelo (cada ponto da imagem) a correlação
é calculada pela multiplicação das intensidades do modelo e da imagem e pela soma desses
valores, sendo o resultado atribuído à posição na qual está centrado o modelo. Espera-se que
a correlação seja máxima nas posições em que se encontram os marcadores. A correlação num
-
22 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO
bloco de dimensões MxN centrado em (i, j) é dado pela seguinte expressão:
Ci,j =
M/2Xk=−M/2
N/2Xl=−N/2
I (i+ k, j + l)T (k, l) (4.1)
Numa primeira abordagem, a correlação foi feita num só varrimento da imagem (rasto de TV
— de cima para baixo, da esquerda para a direita). No entanto um problema surgiu: dada a
pequena dimensão dos marcadores, e consequentemente do modelo, eram identificados também
pontos que nada tinham a ver com os marcadores — por exemplo, pontos pertencentes a zonas
claras, quase brancas como os marcadores. Tornou-se então necessário restringir a área de
pesquisa onde é efectuada a correspondência. A restrição da zona de pesquisa é importante não
só para evitar falsas correspondências, mas também para diminuir o tempo de processamento
computacional do algoritmo1.
Essa restrição foi feita, inicialmente, com a segmentação da imagem de movimento, usando
a técnica de subtracção de fundo, excluindo automaticamente as zonas de fundo. Por forma a
reduzir ainda mais a área de pesquisa (e também para resolver outros problemas de análise de
imagem) foi usado nas restantes imagens da sequência o filtro de Kalman que será apresentado
nas próximas páginas.
4.3 Filtro de Kalman vs Oclusão
O filtro de Kalman é uma ferramenta matemática inserida na área da teoria dos sistemas que tem
como principal função a estimação recursiva do estado de um dado sistema, através de métodos
estatísticos e de forma a minimizar o erro quadrático médio [Welch and Bishop(2004)]. Em cada
1Para optimização da pesquisa em imagens de alta resolução ver [António Mourão and Mendonça(2000)].
-
4.3. FILTRO DE KALMAN VS OCLUSÃO 23
iteração o filtro é capaz de prever o próximo estado de uma certa variável, sendo posteriormente
feita uma medição e uma actualização do estado da mesma. No entanto, o filtro de Kalman
impõe algumas restrições:
• o sistema deve ser linear ou, pelo menos, linearizável em torno de um certo ponto ;
• o ruído inerente ao sistema e às medições deve ser ruído branco de média nula e variância
constante.
O carácter recursivo do filtro permite, para além de um baixo custo computacional, pois em
cada iteração só é considerada a informação do estado anterior, também aperfeiçoa a estimação
com a evolução dinâmica do sistema. É um filtro há muito usado na análise de imagem pois
permite estimar posições e velocidades de elementos numa sequência de imagens, com uma
grande aproximação aos valores reais, e de uma forma rápida, sendo mesmo indicado para
aplicações em tempo real.
Na aplicação do filtro de Kalman é necessário definir inicialmente um modelo do sistema
que deve descrever o melhor possível a sua dinâmica. Esse modelo está incluído na equação da
dinâmica do sistema:
xt = Φxt−1 + ηt−1 (4.2)
Esta equação relaciona as variáveis de estado do sistema do instante anterior com as do instante
actual através da matriz Φ correspondente ao modelo do sistema. O sistema é afectado por
ruído branco de média nula e variância constante Q, e está representado na equação 4.2 pela
matriz η. É ainda necessário definir um modelo de medição que é incluído na equação seguinte:
ut = H.xt + ξt (4.3)
-
24 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO
onde H é a matriz do modelo de medição que nos indica quais as variáveis do sistema que
são observáveis. Este modelo é também afectado por ruído branco de média nula e variância R,
representado na equação 4.3 pela matriz ξ. Na aplicação do filtro de Kalman à análise da marcha
humana, neste trabalho em particular, foram escolhidas para variáveis de estado as posições e
as velocidades dos pontos respectivos aos marcadores. As variáveis observáveis são apenas as
posições, visto ser impossível determinar numa imagem a velocidade de um determinado ponto.
A recursividade do filtro de Kalman está acente essencialmente em duas fases principais:
fase de previsão e fase de actualização.
Na fase de previsão é feita uma extrapolação do estado do sistema no próximo instante de
tempo a partir do conhecimento das variáveis de estado no instante actual. A simbologia relativa
às variáveis usada nas seguintes equações foi estabelecida da seguinte forma:
ˆ : associado à estimação
− : associado à previsão
+ : associado à medição
T : matriz transposta
I : matriz identidade
A previsão é então feita através das seguintes equações:
Previsão de Estado : x̂−t = Φx̂+(t−1) (4.4)
Previsão de Covariância : P−t = ΦP+(t−1)Φ
T +Qt (4.5)
-
4.3. FILTRO DE KALMAN VS OCLUSÃO 25
onde P é a matriz de covariância do sistema cujo significado será explicado mais à frente. A
fase de actualização é descrita pelas seguintes equações:
Ganho de Kalman: Kt = P−t HT£HP−t H
T +Rt¤−1
(4.6)
Actualização de Estado: x̂+t = x̂−t +Kt
£ut −Hx̂−t
¤(4.7)
Actualização de Covariância: P+t = [I −KtH]P−t (4.8)
Nesta fase são já conhecidas as medidas feitas ao sistema, ou seja, as variáveis de estado ob-
serváveis do vector ut da equação 4.3. A diferença£ut −Hx̂−t
¤da equação 4.7 é conhecida
por medida de inovação ou resíduo pois reflecte a discrepância entre a previsão e as medições
efectuadas. Pela equação 4.6 conclui-se que quanto menor for a variância do ruído da medição
Rt, maior será o peso dado pelo ganho de Kalman ao resíduo. Por outro lado, quanto menor for
P−t , menor peso será dado pelo ganho de Kalman ao resíduo. Dito de outro modo, terá maior
peso na fase de actualização a grandeza (medição ou previsão) que apresentar menor incerteza.
A matriz P reflecte a confiança que se pode depositar na estimação das variáveis de estado, ou
por outras palavras, a incerteza existente quanto à posição e velocidade.
Dado o facto de os marcadores se encontrarem colocados em zonas articulares com compor-
tamentos dinâmicos e posições diferentes, será necessário aplicar um filtro a cada marcador. Nas
especificações da dinâmica de cada marcador o modelo de transição de estados será igual para os
três, mas é necessário particularizar as matrizes de variância do erro de posição e velocidade Q.
Esta matriz parte de um conhecimento prévio do sistema e é definida com os valores respectivos
-
26 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO
às variações da posição e velocidade segundo as direcções x e y:
Q =
⎡⎢⎢⎣ σ2r 00 σ2v
⎤⎥⎥⎦ ; σ2r =⎡⎢⎢⎣ σ2r_xx 0
0 σ2r_yy
⎤⎥⎥⎦ ; σ2v =⎡⎢⎢⎣ σ2v_xx 0
0 σ2v_yy
⎤⎥⎥⎦ (4.9)σ2r e σ
2v são matrizes com as variações previsíveis da posição e da velocidade segundo das duas
direcções ortogonais x e y. Pode ainda ser incluída informação sobre as direcções diagonais
xy e yx caso o conhecimento do sistema o permita. As unidades nas quais estas variações
são expressas podem ser, para a posição, o pixel ou o metro, e para a velocidade, o pixel por
segundo ou o metro por segundo, ou também o pixel por imagem ou o metro por imagem. Tanto
as unidades temporais como o conhecimento das variações de posição e velocidade dependem da
frequência de aquisição da câmara usada e da análise atenta da sequência adquirida.
Um dos problemas no seguimento dos marcadores usando técnicas baseadas em correspondên-
cia de regiões, é a oclusão dos marcadores provocada pelo balancear dos braços do indivíduo
quando este caminha. Na sequência de imagens da marcha humana natural, sem restrições, há
situações de oclusão dos marcadores que podem durar até três imagens, o que significa que o al-
goritmo de detecção de marcadores não os identifica nesse período de tempo. Uma solução para
esse problema consiste em aproveitar o carácter estimativo do filtro de Kalman, para estimar as
posições dos marcadores.
Outro problema enunciado no capítulo anterior e que também pode ser resolvido com o filtro
de Kalman tem a ver com a necessidade de diminuição da área de pesquisa dos marcadores de
forma a evitar que sejam feitas correspondências falsas entre o modelo dos marcadores e zonas
com a mesma intensidade. A abordagem feita em [Correia(1995)] sugere o uso da matriz P para
a definição de uma área de pesquisa mais restritiva. Como esta matriz reflecte a incerteza acerca
-
4.4. MÉTODO PROPOSTO 27
da posição e da velocidade do marcador em análise, pode projectar-se uma elipse de pesquisa
com base nos valores e vectores próprios da componente σ2r de P . No instante inicial P será
igual a Q pois a incerteza inicial é igual à variância do erro de posição.
Pt=0 =
⎡⎢⎢⎣ σ2r 00 σ2v
⎤⎥⎥⎦ (4.10)Os vectores próprios de σ2r indicarão as direcções dos eixos da elipse, e os seus valores próprios o
comprimento desses eixos. Quanto maior for a incerteza sobre a posição do marcador, maior será
a área de pesquisa. Este método permite o projecto de uma área com dimensões suficientemente
grandes para que se evite perder o rasto ao marcador, e que ao mesmo tempo elimine áreas onde
pudessem ocorrer falsas correspodências. No capítulo 5 serão abordadas questões específicas da
implementação dos métodos apresentados, bem como os resultados ilustrativos e comparações
entre metodologias.
4.4 Método Proposto
Como foi visto anteriormente as técnicas baseadas em regiões são bastante adequadas para o
seguimento dos marcadores, no entanto não podem ser usadas na abordagem sem marcadores.
Para este efeito propõe-se neste capítulo um método que visa identificar em cada imagem os
pontos de análise (anca, joelho e tornozelo) sem recurso à informação dada pelos marcadores.
O método baseia-se na análise da silhueta resultante da segmentação e na inclusão de in-
formação anatómica do corpo humano. De facto a silhueta e os seus contornos constituem
a informação mais valiosa e mais verdadeira sobre o indivíduo. Se a esta informação for adi-
cionado conhecimento sobre os segmentos do corpo humano, é possível desenvolver um algoritmo
-
28 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO
de seguimento sem marcadores com alguma robustez.
Vários estudos sobre a anatomia humana contribuíram para um conhecimento aprofundado
sobre as características dimensionais do corpo humano [Yoo and Nixon(2003)]. Actualmente
é sabido que a altura a que se encontram as várias juntas ósseas de uma dada pessoa, está
relacionada com a altura da mesma através de uma proporção que pode ser generalizada com
bastante fiabilidade. No caso de uma pessoa com altura H, as proporções que indicam a altura
e as distâncias de algumas juntas ósseas são:
Tabela 4.1: Valores das distâncias e alturas anatómicasAltura Distância ao ponto anterior
Cabeça H −Pescoço 0.870H 0.13HOmbro 0.818H 0.052HCintura 0.530H 0.288HPélvis 0.480H 0.05HJoelho 0.285H 0.195HTornozelo 0.039H 0.246H
Esta informação anatómica é um bom ponto de partida para a determinação dos pontos
característicos, pois é informação que não se altera durante a sequência de imagens.
Numa fase inicial é feita uma medição da altura do indivíduo através da determinação dos
limites superior e inferior da silhueta. Depois inicia-se uma fase iterativa de determinação da
linha correspondente ao centro da silhueta. Nessa fase serão determinados os pontos das juntas
ósseas mencionados acima, mas só até à pélvis, pois o movimento das pernas é demasiado
complexo e requere outro tipo de abordagem. A determinação dos pontos até à pélvis é feito da
seguinte forma:
1. começando no topo da imagem, é feita a determinação do centro da cabeça; como a zona
-
4.4. MÉTODO PROPOSTO 29
Figura 4.1: Dimensões anatómicas da perna de um indivíduo com 1,8m de altura
de altura máxima do indivíduo não corresponde a um só ponto, é necessário encontrar
primeiro o limite direito e depois o limite esquerdo da linha de altura máxima, para só
então determinar-se a posição média.
2. esta posição média será usada como ponto de partida na linha seguinte para a nova de-
terminação dos limites direito e esquerdo; assim estes limites serão encontrados a partir
de um ponto interior à silhueta, tornando-se a determinação dos limites imune ao ruído
exterior (de ocorrência mais provável que o ruído interior); pode então ser calculado o
ponto central através da média das posições dos limites calculados.
3. em cada linha, logo após a determinação do seu ponto central, é calculada a distância
euclideana ao último ponto característico determinado — que inicialmente será apenas o
centro da cabeça ; se essa distância for maior ou igual ao comprimento anatómico calculado,
então esse ponto é marcado como ponto característico e servirá de referência para os pontos
-
30 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO
calculados a partir dele.
4. as duas últimas fases são repetidas até estar determinado o ponto correspondente à pélvis.
A fase seguinte consiste numa análise de imagem mais complexa na qual é necessário extrair
informação sobre a posição de cada perna, a partir da silhueta segmentada previamente. Neste
caso não é possível aplicar o algoritmo anterior, porque quando as pernas estão relativamente
próximas, a silhueta torna-se uma zona homogénea onde é de todo impossível diferenciar as duas
pernas. Desta forma a única fonte de informação credível são os contornos da silhueta.
Esta segunda etapa está faseada da seguinte forma: primeiro é determinada a posição do
joelho direito a partir do contorno direito da silhueta2, e a partir dessa posição é depois de-
terminada a do tornozelo da mesma perna, também a partir do contorno direito. O mesmo
procedimento é feito para a outra perna, mas tendo por base os contornos esquerdos.
Para ser bem sucedida, esta abordagem necessita de medições iniciais cruciais para a de-
terminação da posição dos vários pontos: a distância do contorno ao centro do joelho dcj e a
distância do contorno ao centro do tornozelo dct, que se supõem iguais para as duas pernas.
Estas medições devem ser feitas numa imagem que apresente uma silhueta em que as pernas
estejam juntas. A dcj é determinada pela metade da largura das pernas na altura dos joelhos,
e a dct por uma medida ligeiramente inferior à da djt3.
Para a determinação da posição do joelho direito é utilizado um método de identificação do
2Quando se menciona joelho e contorno direitos, refere-se ao que é visível na imagem. Nem sempre o que estámais à direita na imagem corresponde à perna direita.
3No âmbito deste trabalho estas medidas são feitas de um modo automático mas pouco rigoroso, não havendo,no entanto, influência no desempenho dos algoritmos. No contexto de uma aplicação clínica, o rigor pode serincluído pelo ajuste manual deste parâmetros, bem como os das distâncias entre juntas ósseas. Interessa realçara robusteza do método, que permite esse ajuste — que é indispensável na análise e diagnóstico clínicos — semalterações ao desempenho das metodologias e à fiabilidade dos resultados.
-
4.4. MÉTODO PROPOSTO 31
contorno com base numa pesquisa radial feita pelo deslocamento de um pêndulo, como mostra
a figura 4.2(a). A posição inicial desse pêndulo é de zero graus, estando a sua origem fixada no
ponto respectivo à pélvis. O seu percurso será feito no sentido angular negativo (sentido dos
ponteiros do relógio) e dar-se-á por terminado quando encontrar o contorno da perna. O arco a
descrever do contorno até à posição do joelho é dado pela distância dcj.
O mesmo procedimento é usado na obtenção da posição do tornozelo direito (ver figura
4.2(b)), mas desta vez usando um pêndulo centrado no joelho direito, com um comprimento
igual à distância anatómica do tornozelo ao joelho (0.246H).
Para a determinação da posição do joelho e tornozelo esquerdos, o procedimento é em tudo
idêntico ao utilizado para a perna direita, sendo as únicas alterações feitas na posição inicial de
cada pêndulo e no sentido angular do seu deslocamento.
(a) (b)
Figura 4.2: Pesquisa radial dos pontos característicos
-
32 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO
Com a implementação e teste do algoritmo chegou-se à conclusão que a simples identificação
dos pontos não é suficiente. Em muitas situações a identificação não respeitava as limitações
físicas inerentes ao corpo humano, nomeadamente os ângulos entre os segmentos de cada perna.
É sabido que o joelho tem uma flexão e uma extensão máximas o que equivale a dizer que o
ângulo da tíbia não deve ultrapassar o ângulo do fémur quando a abertura da perna é feita
no sentido do movimento. Na fase de contacto inicial (ver figura 2.1) onde ocorre a extensão
máxima dos dois joelhos, é necessário assegurar ângulos máximos de extensão. Esta restrição é
muito importante para corrigir a posição do joelho e do tornozelo da mesma perna.
Nesta metodologia de análise dos contornos surge uma outra situação crítica que corresponde
ao momento em que as pernas se cruzam. As posições das juntas ósseas de cada perna dependem
dos contornos respectivos pelo que, quando ocorre o cruzamento das pernas, é necessário efectuar
a mudança do contorno de análise, de forma a fazer-se o seguimento correcto de cada perna. Se
assim não fosse, o resultado apresentaria um movimento restringido e ambíguo.
Após um estudo de várias possibilidades, chegou-se à conclusão que a melhor forma de fazer
esta comutação de contornos passa pela determinação da distância euclideana entre juntas ósseas
de ambas as pernas. Quando a distância dos dois joelhos e, ao mesmo tempo, a distância dos
dois tornozelos for inferior a um dado valor, passa a considerar-se, a partir da imagem seguinte,
o contorno direito para a perna esquerda, e o contorno esquerdo para a perna direita. Sempre
que estas distâncias forem mínimas, esta comutação ocorrerá.
Na realidade, a comutação de contornos pode ocorrer mais que uma vez num curto intervalo
de tempo, pois a condição de comutação pode ser cumprida várias vezes até que os pontos se
afastem o suficiente. Para evitar esse problema, é usado um contador auxiliar que nos indica há
-
4.4. MÉTODO PROPOSTO 33
quantas imagens foi feita a última comutação. Assim esta só será realizada se tiver passado o
“tempo” considerado suficiente.
Como foi visto, nesta abordagem é exigida uma boa segmentação do corpo em movimento
para que exista o mínimo de ruído interior e exterior ao corpo. Se por um lado as medições podem
tornar-se menos rigorosas que as do método com marcadores, este método tem a vantagem de
permitir a extracção de informação sobre as duas pernas ao mesmo tempo, tornando ainda
dispensável a colocação dos marcadores no corpo do indivíduo.
-
34 CAPÍTULO 4. CARACTERIZAÇÃO DO MOVIMENTO
-
Capítulo 5
Implementação e Resultados Obtidos
5.1 Aquisição da marcha
Todos os algoritmos de análise e processamento de imagem, bem como o filtro de Kalman, foram
implementados usando a linguagem de programação e a toolbox do Matlab 6.5. A sequência de
imagens usadas para o desenvolvimento e teste dos vários algoritmos foi adquirida no Centro
de Reabilitação Profissional de Gaia com uma câmara digital Canon MV730i a uma taxa de 25
imagens por segundo. Durante a aquisição a câmara manteve-se fixa e foi colocada de modo a
que o seu eixo óptico fosse perpendicular ao plano sagital do indivíduo. A trajectória foi feita
do modo mais rectilíneo possível para evitar erros de perspectiva que prejudicariam as medições
feitas sobre as imagens.
Foram usado marcadores de cartão em forma de círculos com côr amarela fluorescente e de
diâmetro aproximado de 6 cm. Com máximo de rigor possível, foram colocados três marcadores
conforme indicado no capítulo "Métodos de análise da marcha"(ver figura 5.1):
35
-
36 CAPÍTULO 5. IMPLEMENTAÇÃO E RESULTADOS OBTIDOS
Figura 5.1: Colocação dos marcadores reflectores
1. o primeiro foi colocado na zona correspondente ao centro de rotação da anca
2. o segundo colocado perpendicularmente ao eixo de rotação do joelho (e1)
3. o terceiro colocado no maléolo lateral (LM).
5.2 Análise com marcadores
Na análise feita com marcadores é inicialmente realizada uma subtracção de fundo para a de-
tecção das posições iniciais dos marcadores. A primeira imagem da sequência é subtraída a uma
imagem de referência que foi capturada antes de o caminhante aparecer em cena (figura 5.2).
Sobre esta imagem segmentada é feita uma correspondência com o modelo dos marcadores,
de modo a identificar as coordenadas iniciais dos três pontos característicos. Estas coordenadas
são depois usadas pelos filtros de Kalman que farão o seguimento ao longo da sequência. Como
-
5.2. ANÁLISE COM MARCADORES 37
Figura 5.2: Subtracção do fundo
foi dito em capítulo anterior, será usado um filtro de Kalman para cada ponto. O modelo
dinâmico definido é, no entanto, igual para todos, e é representado pela matriz Φ. As variáveis
de estado usadas encontram-se dispostas no vector xt da seguinte forma:
xt =
⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣
xx
xy
ẋx
ẋy
⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦;
xx/y : posição
ẋx/y : velocidade
; Φ =
⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣
1 0 1 0
0 1 0 1
0 0 1 0
0 0 0 1
⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦(5.1)
Assim a equação da dinâmica do sistema (4.2) pode ser representada sob forma das equações da
velocidade e posição de um movimento linear (5.2 e 5.3). A equação da posição (5.3) é obtida
por integração da velocidade (5.2) considerando um intervalo de tempo unitário. Na realidade o
movimento de cada marcador não é linear, na medida em que tem diferentes fases de aceleração.
A fase de balanço é um bom exemplo de um período em que a variação da velocidade é notória,
principalmente do tornozelo. No entanto, dado o intervalo de tempo entre imagens ser muito
curto, não são possíveis trajectórias muito grandes, sendo assim considerado o movimento linear.
ẋt = ẋt−1 (5.2)
xt = xt−1 + ẋt−1 (5.3)
-
38 CAPÍTULO 5. IMPLEMENTAÇÃO E RESULTADOS OBTIDOS
Omodelo de medição referido na equação 4.3 pela matrizH corresponde ao conjunto de variáveis
de estado observáveis, que, no presente caso, são apenas as posições segundo x e y:
H =
⎡⎢⎢⎣ 1 0 0 00 1 0 0
⎤⎥⎥⎦ (5.4)Foi também necessário definir as várias matrizes de variância do erro de posição e velocidade Q.
De acordo com a representação dada pela expressão 4.9 o conhecimento a priori das variações
da posição e da velocidade segundo cada direcção e para cada um dos marcadores, resulta nas
seguintes matrizes:
Qanca =
⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣
122 0 0 0
0 62 0 0
0 0 32 0
0 0 0 22
⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦; Qjoelho =
⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣
132 0 0 0
0 62 0 0
0 0 52 0
0 0 0 32
⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦
Qtornozelo =
⎡⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣
142 0 0 0
0 72 0 0
0 0 52 0
0 0 0 32
⎤⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦(5.5)
Focando agora a atenção na figura 5.3 é bem visível em cada ponto a elipse a azul que representa
a área de pesquisa em que cada filtro de Kalman operará. Esta elipse é projectada pela matriz
das incertezas P que representa a variância do erro de posição de cada marcador (ver capítulo
4.3). No restante processamento a correspondência é feita dentro de cada elipse, sendo que a
medição feita pelo filtro de Kalman corresponde à posição de correlação máxima. Na figura 5.3
os círculos a amarelo representam a identificação dos marcadores e as elipses a azul representam
-
5.2. ANÁLISE COM MARCADORES 39
Figura 5.3: Elipses iniciais de pesquisa do filtro de Kalman
a àrea de pesquisa projectada no instante anterior.Uma fase crítica na análise com marcadores é
o intervalo de tempo em que há oclusão do marcador da anca pelo braço do caminhante. Nesta
situação é usada uma heurística que condiciona a determinação da posição de máxima correlação.
É considerado um limite inferior para o valor da correlação e se a correlação for mais baixa que
esse limite (85% do valor máximo da correlação calculado inicialmente) a posição de máxima
correlação será o centro da elipse. Deste modo a correspondência continua verdadeira para as
situações onde não há oclusão e evita que nas situações de oclusão a correspondência seja feita
com pontos da periferia da elipse, o que corresponderia a uma falsa identificação do marcador.
A figura 5.4 ilustra com bastante clareza a fase da oclusão e o seguimento do marcador da anca.
Depois da aplicação do filtro de Kalman e concluído o seguimento dos três marcadores,
é retirada alguma informação para a avaliação clínica da marcha humana. De seguida serão
apresentados gráficos com informação sobre os vários instantes da sequência de marcha. O
primeiro gráfico corresponde à trajectória dos marcadores (5.5), os três seguintes representam
-
40 CAPÍTULO 5. IMPLEMENTAÇÃO E RESULTADOS OBTIDOS
Figura 5.4: Oclusão do marcador da anca
informação angular de e entre cada segmento da perna(5.6(a)), e o último apresentado (5.6(b))
é o ciclograma.
5.3 Análise sem marcadores
A abordagem sem recurso aos marcadores implica uma segmentação prévia que, como foi visto no
capítulo 3, é composta, no essencial, pelas fases de: subtracção de fundo, agrupamento de pixels
em movimento e operações morfológicas. No entanto o resultado final da segmentação é obtido
só depois de uma combinação das imagens resultantes destas fases. O algoritmo desenvolve-se
nas seguintes etapas:
1. é obtida a imagem resultante da subtracção de fundo, imagem essa que contem bastante
-
5.3. ANÁLISE SEM MARCADORES 41
0 50 100 150 200 250 300−220
−210
−200
−190
−180
−170
−160
−150
−140
−130
−120estimaçaoactualizaçao
Figura 5.5: Gráfico da posição dos marcadores
ruído (fig. 5.7(a))
2. nessa imagem é feito o agrupamento de pixels com blocos de 9x9 (fig. 5.7(b))
3. esta imagem funciona como máscara e vai ser aplicada à imagem da subtracção de fundo
eliminando desta forma todo o ruído externo ao corpo (fig. 5.7(c))
4. é finalmente aplicado um filtro de abertura com um elemento estruturante em forma de
disco com raio 8 de forma a eliminar o ruído interno ao corpo (fig. 5.7(d)); esta operação
só poderia ser efectuada depois da filtragem do ruído externo (pontos 2 e 3).
De seguida serão apresentadas algumas imagens que ilustram a identificação dos pontos
característicos em ambas as pernas (figuras 5.8). As imagens apresentadas apesar de terem sido
adquiridas com marcadores, servem apenas para avaliar o erro da identificação dos pontos.
A informação retirada deste método está representada pelos gráficos da figura 5.9 - quer
para a perna direita quer para a perna esquerda.
-
42 CAPÍTULO 5. IMPLEMENTAÇÃO E RESULTADOS OBTIDOS
0 5 10 15 20 25 30 35 40−40
−20
0
20
40Angulo a partir da anca
0 5 10 15 20 25 30 35 40−100
−50
0
50Angulo a partir do joelho
0 5 10 15 20 25 30 35 40100
150
200Angulo entre femur e tibia
(a)
−30 −20 −10 0 10 20 30−70
−60
−50
−40
−30
−20
−10
0
10
20
30Ciclograma
Angulo a partir da anca
An
gu
lo a
pa
rtir d
o jo
elh
o
(b)
Figura 5.6: Informação angular dos segmentos da perna
(a) (b)
(c) (d)
Figura 5.7: Etapas da segmentação
-
5.3. ANÁLISE SEM MARCADORES 43
Figura 5.8: Identificação dos pontos característicos
50 100 150 200 250 300−220
−210
−200
−190
−180
−170
−160
−150
−140
−130
−120Movimento da perna direita
estimaçaoactualizaçao
(a) perna direita
50 100 150 200 250 300−220
−210
−200
−190
−180
−170
−160
−150
−140
−130
−120Movimento da perna esquerda
estimaçaoactualizaçao
(b) perna esquerda
Figura 5.9: Gráficos com posições dos pontos característicos das duas pernas
-
44 CAPÍTULO 5. IMPLEMENTAÇÃO E RESULTADOS OBTIDOS
0 5 10 15 20 25 30 35 40−40
−20
0
20
40Angulo a partir da anca
0 5 10 15 20 25 30 35 40−50
0
50Angulo a partir do joelho direito
0 5 10 15 20 25 30 35 400
50
100
150
200Angulo entre femur direito e tibia direita
(a) perna direita
0 5 10 15 20 25 30 35 40−40
−20
0
20
40Angulo a partir da anca
0 5 10 15 20 25 30 35 40−50
0
50Angulo a partir do joelho esquerdo
0 5 10 15 20 25 30 35 400
50
100
150
200Angulo entre femur esquerdo e tibia esquerda
(b) perna esquerda
Figura 5.10: Informação angular sobre os segmentos das duas pernas
−40 −30 −20 −10 0 10 20 30 40−50
−40
−30
−20
−10
0
10
20
30
40Ciclograma perna direita
Angulo a partir da anca
An
gu
lo a
pa
rtir d
o jo
elh
o d
ire
ito
(a) perna direita
−40 −30 −20 −10 0 10 20 30 40−50
−40
−30
−20
−10
0
10
20
30Ciclograma perna esquerda
Angulo a partir da anca
An
gu
lo a
pa
rtir d
o jo
elh
o e
squ
erd
o
(b) perna esquerda
Figura 5.11: Ciclogramas
-
Capítulo 6
Conclusões e Trabalho Futuro
Através da análise dos resultados obtidos pode concluir-se que o objectivo principal foi con-
seguido com sucesso. Foram desenvolvidas e combinadas metodologias que permitem extrair
informação sobre a marcha humana, presente numa sequência de imagens, de uma forma prática
e precisa.
Comparando as duas abordagens, com e sem marcadores, os resultados por cada uma ap-
resentados mostram que a primeira (com marcadores) é a mais fiável. De facto este método
apresenta o rigor máximo permitido pela qualidade das imagens, já que consegue identificar
plenamente a posiçao de todos os pontos característicos. Por outro lado, o método sem mar-
cadores está dependente da qualidade da segmentação da imagem bem como da identificação
dos pontos subjacentes aos pretendidos. Nesta abordagem os resultados não são tão fiáveis como
os apresentados pelo outro método, não sendo, no entanto, impossível o seu desenvolvimento a
fim de se aumentar a sua qualidade.
A falta de fiabilidade deste método está patente nos gráficos das trajectórias que demostram
45
-
46 CAPÍTULO 6. CONCLUSÕES E TRABALHO FUTURO
como há restrições físicas que não foram respeitadas. Para além disso, os gráficos com infor-
mação angular apresentam linhas pouco curvilíneas, impróprias de movimentos naturais. Nota-se
também que pequenas imperfeições nas medições são reflectidas com grande notoriedade pelos
gráficos dos ciclogramas. Estas imperfeições são provocadas, em parte, pela determinação do
ponto correspondente à pélvis. A posição deste ponto é influenciada pelo cruzamento dos braços
com o tronco, quando é calculado o centro da silhueta. Como a posição dos pontos das pernas é
dependente da posição da pélvis, o seu erro de posição será reflectido na identificação dos outros
pontos característicos.
Há, porém, todo o interesse em realçar práticas que possam de alguma forma robustecer o
desempenho dos dois métodos, especialmente o método sem marcadores. Estas melhorias po-
dem ser efectuadas quer a nível de harware quer de software ou algoritmia. A nível de harware
podem criar-se condições para uma melhor aquisição de imagens, tentando criar um ambiente
de iluminação o mais difusa possível, ou seja, sem focos apontados directamente ao objecto em
cena, por forma a evitar o aparecimento de sombras indesejáveis. Devem ser usados marcadores
de material fluorescente, e não apenas brancos ou pintados com tinta fluorescente. Podem tam-
bém ser usadas câmaras digitais com frequência de aquisição de imagens superior a 25 imagens
por segundo. Desta forma, por um lado, é conseguida uma análise mais pormenorizada da
marcha, e por outro, são reduzidos os erros na identificação dos pontos característicos, pois os
deslocamentos efectuados entre imagens passam a ser muito mais curtos. A nível de melho-
ramentos no software e nos algoritmos, destaca-se, em primeiro lugar, mas não de uma forma
extremamente necessária, o uso de uma linguagem de programação que proporcione um menor
custo computacional (C ou C++, por exemplo) como forma de melhorar o desempenho tendo
-
47
em vista uma aplicação real. A complexidade dos algoritmos desenvolvidos em Matlab é, no
entanto, perfeitamente compatível com a fase de prototipagem. Em segundo lugar, e com vista
a um melhoramento do método sem marcadores, deve ser estudada a possibilidade de se in-
cluirem outras variáveis de estado no filtro de Kalman. Essas novas variáveis podem passar por
informação angular respectiva a cada segmento de cada perna (e não apenas à posição de cada
ponto): inclinação, deslocamento angular, entre outras. Por último, deve ser aperfeiçoada a fase
da segmentação de imagem, trabalho esse que pode ser bastante facilitado se forem trabalhadas
as condições de iluminação e aquisição de imagem.
As metodologias apresentadas podem ter aplicações várias ainda no âmbito da análise da
marcha, como, por exemplo, a visualização tridimensional dos movimentos da marcha ou o uso
da informação retirada da análise num classificador para ajuda ao diagnóstico. Na primeira
aplicação os métodos aqui apresentados são aplicados a pelo menos duas sequências de imagens
adquiridas com câmaras de diferentes direcções, sendo necessário fazer a posterior conjugação
da informação e a modelização computacional a três dimensões. Na segunda aplicação podem
ser usadas redes neuronais ou HMM (Hidden Markov Models) para desenvolver um classificador
da marcha, que, com recurso a uma base de dados, será capaz de classificar automaticamente a
marcha como contendo ou não patologias.
-
48 CAPÍTULO 6. CONCLUSÕES E TRABALHO FUTURO
-
Bibliografia
[ISB(2002)] ISB recommendation on definitions of joint coordinate system of various joints for
the reporting of human joint motion - part i: Ankle, hip, and spine. Journal of Biomechan-
ics, (35):543—548, 2002.
[António Mourão and Mendonça(2000)] P. M. P. António Mourão and A. M. Mendonça. Track-
ing in high temporal resolution image sequences using block matching techniques. In REC-
PAD2000, pages 179—183. 11th Portuguese Conference on Pattern Recognition, May 2000.
[Correia(1995)] M. V. Correia. Análise de movimento em sequências de imagens. Master’s
thesis, Faculdade de Engenharia da Universidade do Porto, Fevereiro 1995.
[Dorthe Meyer and Niemann(1997)] J. D. Dorthe Meyer and H. Niemann. Model based extrac-
tion of articulated objects in image sequences for gait analysis. 1997.
[Goswami(1998)] A. Goswami. A new gait parameterization technique by means of cyclogram
moments: Application to human slope walking. August 1998.
[Kameda and Minoh(1996)] Y. Kameda and M. Minoh. A human motion estimation method
using 3-successive video frames. 1996.
49
-
50 BIBLIOGRAFIA
[Liang Wang(2002)] T. T. Liang Wang, Weiming Hu. Recent developments in human motion
analysis. May 2002.
[Robert T. Collins(2000)] T. K. Robert T. Collins, Alan J. Lipton. A system for video surveil-
lance and monitoring. 2000.
[Welch and Bishop(2004)] G. Welch and G. Bishop. An introduction to kalman filter. April
2004.
[Yoo and Nixon(2003)] J.-H. Yoo and M. S. Nixon. Markerless human gait analysis via image
sequences. 2003.