Novas abordagens para busca por retrato falado: manipulação de imagem para identificação de...

Novas abordagens para busca por retrato falado: manipulação de imagem para

identificação de suspeitos via algoritmo evolutivo

Jorge Augusto HongoMarcelo Batalha

Série de Seminários

Disciplina de Análise Forense deDocumentos Digitais

Prof. Dr. Anderson [email protected]

http://www.ic.unicamp.br/~rocha

Organização

Seminários – Análise Forense de Documentos Digitais, 2011 4

Organização

‣ Dificuldades do processo forense

‣ Exemplificação: identificação entre raças/etnias diferentes

‣ Premissas do retrato falado

‣ Algoritmo do programa de composição de faces

‣ Aplicações em forense e outros campos

Introdução

Seminários – Análise Forense de Documentos Digitais, 2011

Dificuldades do processo forense

‣ A definição de sucesso para a polícia: nomear o criminoso, prendê-lo e provar a sua participação no crime

‣ O retrato falado é usado na tentativa de obter pelo menos o primeiro aspecto do sucesso

‣ Restrição da memória: aspectos psicológicos e técnicos para a obtenção de um retrato falado

6


Efeito Cross-race

‣ O reconhecimento de face serve como uma evidencia forense e nas cortes tem a influencia direta sobre os jurados.

‣ Infelizmente o reconhecimento pela testemunha ocular é imperfeita e pode levar a julgamentos errôneos como demonstram algumas pesquisas que utilizam o teste de DNA em casos de revisão judicial da pena. [Scheck et al. 2000 apud MacLin et al. 2001]

‣ Os autores examinaram 62 casos, nos quais 52, em que os suspeitos julgados culpados pelo reconhecimento de face, foram atestados como erros.

‣ Nesses casos 69% das vitimas que reconheceram o culpado eram brancos e 57% dos que foram inocentados eram negros, o que aponta uma identificação e julgamento pautado por questões de raça.

‣ A psicologia social, que problematiza e investiga a identificação de suspeitos por vítimas levando em consideração a raça, trabalha com a teoria do cross-race effect, ou seja, a identificação e o reconhecimento de faces de indivíduos e grupos pautados por questões raciais.

‣ O efeito cross-race tem uma forte ligação com o fenômeno chamado de grupo de vantagem; o que na sociologia se conhece por insiders e outsiders. O grupo de vantagem significa que as pessoas avaliam e julgam os membros do seu próprio grupo como melhor e mais justo do que membros de outros grupos (outsiders). O significado do grupo pode se referir a família, colegas de equipe em um time de futebol, colegas, diferentes raças, mesmo toda a humanidade.


‣ Psicólogos sociais provaram nos últimos 30 anos que, mesmo o menor aspecto de diferenciação, como a preferência para o sabor de sorvete ou estilo de música, pode desencadear grupos de vantagem.

‣ Se o fator grupo de construção é a raça de uma pessoa, então o efeito cross race aparece. O favoritismo dos membros do seu grupo também resulta da motivação e da diminuição inata para reconhecer o rosto de uma pessoa de outro grupo ou cultura.

‣ Em [Hess et al. 1995] fica claro que a motivação para decodificar a expressão emocional facial diminui instantaneamente quando o indivíduo percebe que a outra pessoa pertencia a uma outra raça.

‣ O comportamento típico de raça [Slone et al. 2000] tem chamado a atenção para a questão do etnocentrismo e suas consequências, que no limite leva a atitudes negativas frente a outra raça, como o não reconhecimento ou distinção de um indíviduo categorizado como pertencente a uma raça tida com preconceito.

‣ É por esse viés que as pesquisas que envolvem o problema do reconhecimento de faces e questões criminais, como bancos de dados e reconhecimento de vítimas e suspeitas enveredam.

‣ O efeito cross-race influenciam nas nossas percepções, motivações, expectativas e cognição social. Em termos de nossa percepção de rostos, estudos têm mostrado que o reconhecimento de faces raciais ambíguas que têm sido identificadas como uma raça ou outra com base em seu penteado. Da mesma forma, faces com luminosidade ambígua, mas iguais, são interpretados como mais escuro ou mais claro quando acompanhado pelo rótulo de preto ou branco, respectivamente.

‣ A grande maioria dos estudos percorreram pelo interesse entre brancos e negros, mas novas pesquisas tem colocado em teste o reconhecimento de hispanicos e negros [MacLin et al. 2001]: mesmo sendo duas raças estigmatizadas por ser imigrantes e socialmente inferiores, os resultados do efeito cross-race foram proporcionais aos efeitos entre brancos e negros

‣ [Slone et al. 2000] trabalha com o pressuposto do reconhecimento e da familiaridade para o caso de cross-race: o que ele busca é identificar quando a convivência com pessoas de outras raças estimula ou desestimula o reconhecimento de face, tendo como hipótese que a convivencia entre raças diferentes ativam a memória de reconhecimento individual para pessoas de raças diferentes: distinção x todos parecem iguais!

‣ Se é reconhecido o efeito cross-race e que a maioria das identificações e reconhecimento de faces são baseados em paramêtros de raça, tem-se que ter em conta este fenômeno crítico tanto para o desenvolvimento técnico quanto para as questões forenses que envolvem o reconhecimento de face.

8


Premissas do retrato falado

‣ A produção de um retrato falado tem o objetivo de identificar um criminoso a partir da memória de uma testemunha ocular ou vítima.

‣ O método usual envolve a identificação do rosto por meio da descrição de características, cada uma isoladamente.

‣ Questão da dificuldade de identificação: memorização holística de rostos não tratada pelas técnicas tradicionais

‣ Implicações de usar abordagens holísticas no projeto do programa e no treinamento da força policial

9


Reconhecimento de faces por humanos: o que os pesquisadores em visão computacional deveriam saber

[Sinha et al. 2006]

Segundo os autores o objetivo principal dos pesquisadores em visão computacional, incluindo a manipulação de imagens, para fins de reconhecimento, é aproximar os sistemas computacionais, ou mesmo superar a performance do olho humano. Para isso, defendem os autores, os pesquisadores desse campo devem conhecer como o sistema de visão humano funciona.

Apesar de não formularem uma teoria sobre o funcionamento da visão humana, os pesquisadores aprensentam 19 pontos do funcionamento da visão e reconhecimento de faces humano, sobre os quais considera pertinentes para os pesquisadores em visão computacional. Estes pontos embasam a premissa do algoritmo e os cuidados no seu conjunto de treinamento.


SINHA, Pawan; BALAS; Benjamin; OSTROVSKY, Yuri; RUSSEL, Richard. Face Racognition by Humans: nneteen results all computer vision researchers should know about. Proceedings of the IEEE, Vol. 94, No. 11, 2006, p. 1948-1962.Os 19 resultados estão distribuídos assim:

• Reconhecimento como função de resolução do espaço disponível:

Resultado 1. Como os humanos reconhecem uma face familiar em imagens de baixa resolução.Resultado 2. A capacidade de toletar aumentos de degradações aumenta com a familiaridade.Resultado 3. Alta frequência de informação por si só é insuficiente para o reconhecimento facial de boa performance.

• A natureza do processamento: parte x todo:

Resultado 4. Características faciais são processados holisticamente.Resultado 5. Das diferentes características faciais, sobrancelhas estão entre os mais importantes para o reconhecimento.Resultado 6. As importantes relações configurais parecem ser independentes das dimensões de larrgura e altura.

• A natureza dos sinais utilizados: pigmentação, forma e movimento

Resultado 7: Face-forma parece ser codificado em uma forma ligeiramente caricatural.Resultado 8: visualização rosto prolongada pode levar a sequelas de alto nível, o que sugere protótipo baseado em codificação.Resultado 9: sinais de pigmentação são pelo menos tão importante como pistas da forma.Resultado 10: dicas de cores desempenham um papel significativo, especialmente quando deixas forma são degradadas.Resultado 11: Inversão de polaridade do contraste dramaticamente prejudica desempenho do reconhecimento, possivelmente devido à capacidade comprometida para usar pistas pigmentação.Resultado 12: A iluminação muda e influencia no reconhecimento.Resultado 13: Ver generalização parece ser mediada pela associação temporal.Resultado 14: Moção de faces aparece para facilitar o reconhecimento posterior.

• Progressão do desenvolvimento

Resultado 15: O sistema visual começa com um rudimentar preferência por padrões de semelhança a faces.Resultado 16: O sistema visual progride a partir de um fragmento para uma estratégia holística com o avanço da idade.

• Bases Neurais

Resultado 17: O sistema visual humano aparece para se dedicar recursos especializados neural para o rosto percepção.Resultado 18: Latência de respostas para rostos em inferotemporal (TI) córtex é cerca de 120 ms, sugerindo um cálculo grande de demanda e resposta neural.Resultado 19: identidade e expressão facial pode ser processado por sistemas separados.



‣ Resultado 1. Como os humanos reconhecem uma face familiar em imagens de baixa resolução.

© S

inha e

t ta

l (2

00

6)

Diferente dos sistemas automatizados os humanos podem identificar faces com a diminuição da qualidade da imagem. Por exemplo, reconhecemos muitos dos personagens aqui apresentados. Em ordem: Michael Jordan, Wooy Allen, Goldie Hawn, Bill Clinton, Tom Hanks, Saddam Houssein, Elvis Presley, Jay Leno, Dustin Hoffman, Príncipe Charles, Cher e Richard Nixon.

SINHA, Pawan; BALAS; Benjamin; OSTROVSKY, Yuri; RUSSEL, Richard. Face Racognition by Humans: nneteen results all computer vision researchers should know about. Proceedings of the IEEE, Vol. 94, No. 11, 2006, p. 1948-1962.



‣ Resultado 2. A capacidade de toletar aumentos de degradações aumenta com a familiaridade.

© S

inha e

t ta

l (2

00

6)

Quadros de uma sequencia de imagens vídeo interno: (a) imagem orginal; (b) corpo coberto; (c) face coberta. Baseados nessa manipulação, os pesquisadores concluiram que o reconhecimentode uma pessoa familiar através de imagens de baixa definição aumenta com a visão da face.

SINHA, Pawan; BALAS; Benjamin; OSTROVSKY, Yuri; RUSSEL, Richard. Face Racognition by Humans: nneteen results all computer vision researchers should know about. Proceedings of the IEEE, Vol. 94, No. 11, 2006, p. 1948-1962.



‣ Resultado 4. Características faciais são processados holisticamente.

© S

inha e

t ta

l (2

00

6)

Tente nomear os rostos das celebridades representados nas duas metades do imagem da esquerda. Agora tente a imagem certa. Os indivíduos acham muito mais difícil executar esta tarefa, quando as metades estão alinhados (à esquerda) em comparação com as metades desalinhadas (direita), porque o processamento holístico presumivelmente interage (e neste caso, interfere) com o recurso baseado em processamento. Os dois indivíduos aqui mostrados são Woody Allen e Oprah Winfrey.



‣ Resultado 6. As importantes relações configurais parecem ser independentes das dimensões de larrgura e altura.

© S

inha e

t ta

l (2

00

6)

Poucos sistemas de visão computacional trabalham com medições precisas de atributos como a distância entre os olhos largura da boca, e comprimento de nariz. No entanto, parece que o sistema visual humano não depende criticamente sobre essas medidas. Mesmo compressões drástica de rostos não torná-los irreconhecível. Aqui, os rostos das celebridades foram comprimidos a 25% da sua largura original. No entanto, o desempenho de reconhecimento, com este conjunto é o mesmo que o obtido com os rostos original.


Algoritmo do software - Mapeamento

‣ O programa estabelece um conjunto de descritores a serem permutados aleatoriamente por meio de PCA (Principal Component Analysis) segundo 4 etapas:

‣ 1ª etapa: Anotação de uma amostragem com marcações para definir o atributo a ter a sua variação mapeada

‣ 2ª etapa: Extração da intensidade dos pixels ao redor das marcações para definir um vetor com a forma normalizada

‣ 3ª etapa: separação dos PCA destas duas classes de atributos para definir os modos dominantes de variação em relação à forma e textura , com adicional redução de dimensionalidade da representação das duas características.

‣ 4ª etapa: aplicação adicional do PCA para reduzir os vetores de textura e forma para vetores de aparência/anatomia facial.

16


Algoritmo do software - Mapeamento

‣ 3ª etapa: separação dos PCA destas duas classes de atributos para definir os modos dominantes de variação em relação à forma e textura , com adicional redução de dimensionalidade da representação das duas características.

‣ 4ª etapa: aplicação adicional do PCA para reduzir os vetores de textura e forma para vetores de aparência/anatomia facial.

17


Algoritmo do software – Modelando etnias

‣ O algoritmo possui uma função dedicada a geração de faces segundo um grupo étnico para ajudar na convergência da face

‣ Esta mapeia N variáveis com distribuição normal independentes em torno de uma matriz de covariância de uma amostra, dada por c

18


Algoritmo do software – Evolução iterativa

‣ A construção da face do indivíduo ocorre por meio de uma busca no qual nove rostos são gerados por iteração, no qual um rosto é escolhido como o mais parecido. Há a possibilidade de rejeitar alguns rostos explicitamente.

‣ O genótipo relacionado ao rosto escolhido é clonado e perturbado segundo uma probabilidade decrescente conforme o número de iterações.

‣ Nove rostos são gerados a partir desse passo e disponibilizados em ordem aleatória.

‣ Estes passos são repetidos até obter um rosto com proximidade satisfatória.

19


Algoritmo do software – Evolução iterativa

‣ A construção da face do indivíduo ocorre por meio de uma busca no qual nove rostos são gerados por iteração, no qual um rosto é escolhido como o mais parecido. Há a possibilidade de rejeitar alguns rostos explicitamente.

‣ O genótipo relacionado ao rosto escolhido é clonado e perturbado segundo uma probabilidade decrescente conforme o número de iterações.

20

‣ Em um trabalho relacionado [Heidelberg et al. 2009], o uso deste conceito para produzir rostos caricaturados aumentou a taxa de reconhecimento dos rostos de 24,5% para 42%.



‣ Resultado 7: Face-forma parece ser codificado em uma forma ligeiramente caricatural.

© S

inha e

t ta

l (2

00

6)

Especificamente, as caricaturas de faces têm demonstrado apoio ao desempenho de reconhecimento pelo menos, igual ou melhor do que o alcançado com faces verídicas. Rostos caricaturados podem ser criados para exagerar desvios na forma por si só ou uma combinação de desvios na forma e sinais de pigmentação. Em ambos os casos, os indivíduos apresentam uma pequena, mas consistente, preferências para rostos caricaturados. Exemplo de um rosto caricatura. (A) face média do sexo feminino para uma população face particular é apresentada, bem como a (B)''''verídica imagem de um cara exemplar. (C) Criamos uma versão caricatural do exemplar, afastando-se a norma, assim, exagerando diferenças entre a face média eo exemplar. resultado é um rosto com formato''''caricaturado e pigmentação. tais caricaturas são reconhecidos tão bem ou melhor do que as imagens verídicas.


Detalhes adicionais

‣ O programa utiliza a possibilidade de rejeitar faces explicitamente para acelerar a convergência da busca para o rosto desejado; se um genótipo g(x) recair a um valor negativo, a probabilidade dela reaparecer é reduzida.

22



‣ Resultado 9: sinais de pigmentação são pelo menos tão importantes quanto a forma da face.

© S

inha e

t ta

l (2

00

6)

Existem duas formas básicas de se diferenciar uma face, em termos de sua forma, e em termos de como eles refletem a luz, ou a sua pigmentação. Por pigmentação, nos referimos a todas as propriedades da superfície de reflexão, incluindo albedo, especularidade, matiz, translucidez, variação espacial. Ao se referir a todos as propriedades de reflectância das faces, nós preferimos a pigmentação (ou aparência de superfície) ao invés de termos como textura ou cor, mais são comumente usados para se referem a subconjuntos específicos de propriedades de reflectância de superfície (variação espacial no albedo e uma maior reflexão de comprimentos de onda particular, respectivamente).



‣ Resultado 10: dicas de cores desempenham um papel significativo, especialmente quando deixas forma são degradadas.

© S

inha e

t ta

l (2

00

6)

Precisamente como é que a cor informações facilitar o reconhecimento face? Uma possibilidade é que a cor fornece informações de diagnóstico. A expressão informações de diagnóstico refere-se a sugestões de cores que são específicos a um indivíduo, por exemplo, a matiz particular de seu cabelo ou da pele que pode nos permitir identificá-los. Por outro lado, a cor pode facilitar a análise de imagens de baixo nível, e assim, indiretamente, ajudar no reconhecimento facial. Um exemplo de uma tarefa de baixo nível é determinar onde termina uma região e começa o outro em uma segmentação na imagem.As pesquisas na visão computacional tem mostrado que esta tarefa é notoriamente difícil e torna-se ainda mais difíceis quando as imagens são degradadas. A cor pode facilitar esta tarefa, completando a luminância baseado sugestões e, assim, levar a

uma melhor análise de um rosto em termos de suas regiões que o constituem.



Resultado 11: inversão de polaridade do contraste dramaticamente prejudica desempenho do reconhecimento, possivelmente devido à capacidade comprometida para usar pistas pigmentação.

© S

inha e

t ta

l (2

00

6)

Técnicos que trabalham na indústria de retoque de fotos há várias décadas percebeu que eram particularmente caras difícil reconhecer quando vistos em contraste invertida, como em negativos fotográficos. Posteriormente, o fenômeno tem sido estudado extensivamente com a crença de determinar como o reconhecimento pode ser prejudicado, e assim nos ajudar a compreender como ele funciona em condições normais. O contraste de negação é uma manipulação reversível que não removequalquer informação a partir da imagem. Embora nenhuma informação éperdido, a nossa capacidade de utilizar as informações de que a imagem éseveramente comprometida, supostamente devido a ausencia e a dificuldade de identificação de cores.



Resultado 12: A iluminação muda e influencia no reconhecimento.

© S

inha e

t ta

l (2

00

6)

Estas duas imagens demonstram o tipo de iluminação utilizada no experimento. Depois de ser mostrado um imagem como a da esquerda, os indivíduos foram apresentados a direita e indagados se seriam a mesma face. Apesar dos indivíduos de atrapalharem em afirmar categoricamente que é o mesmo rosto, o fizeram pela capacidade de generalização das faces, reconhecendo que a luminosidade dava a aparência de ser faces diferentes.


Usos recentes‣ Na área forense, softwares de composição de faces via algoritmos evolutivos

foram usados sobretudo em países europeus para a identificação de criminosos; nos casos abaixo, os retratos gerados foram usados para estabelecer a conexão entre crimes distintos.

‣ Há pesquisas em outras áreas fazendo uso deste programa para a identificação de padrões matemáticos na percepção de características humanas.

27


Casos

28


Outras aplicações

29

Referências


Referências

[Springer et al. 2009] SOLOMON, Christopher; GIBSON, Stuart; MAYLIN, Matthew. A New Computational Methodologyfor the Construction of Forensic, Facial Composites. IWCF '09 Proceedings of the 3rd International Workshop on Computational Forensics

[Hess et al. 1995] HESS, U.; KAPPAS, A.; BAUSE, R. The intensity of facial expression is determined by underlying affective states and social situations. Journal of Personality and Social Psychology, Band 69(2), S. 280-288

[Sinha et al. 2006] SINHA, Pawan; BALAS; Benjamin; OSTROVSKY, Yuri; RUSSEL, Richard. Face Racognition by Humans: nineteen results all computer vision researchers should know about. Proceedings of the IEEE, Vol. 94, No. 11, 2006, p. 1948-1962.

[MacLin et al. 2001] MACLIN, Otto; MACLIN, Kimberly; MALPASS, Roy. Race, Arousal, Attention, Exposure and Delay: an examination of factors moderating face recognition. Psychology, Public Policy and Law, Vol. 7, No. 1, 2001, p. 134-152.

[Scheck et al. 2000] SCHECK, B.; NEUFELD, P.; DWYER, J. Actual Innocence: five days to execution and other dispatches from the wrongly convicted. New York: Doubleday, 2000.

[Slone et al. 2000] SLONE, Ashlyn; BRIGHAM, John; MEISSNER, Christian. Social and Cognitive Factors Affecting the Own-Race Bias in Whites. Basic and Applied Social Psychology, Vol. 22, No. 2, 2000, p. 71-84.

[Heidelberg et al. 2009] FROWD, C.; BRUCE, V.; HANCOCK, P.; MCINTRE, A.; PITCHFORD, M.; ATKINS, R.; WEBSTER, A.; POLLARD, J.; HUNT, B.; PRICE, E.; MORGAN, S.; STOIKA, A.; DUGHILA, R.; MAFTEI, S.; SENDREA, G. Giving crime the ‘evo’: catching criminals using EvoFIT facial composites. Emerging Security Technologies (EST), 2010 International Conference on.

Obrigado!

Novas abordagens para busca por retrato falado: manipulação de imagem para identificação de...

Documents

Transcript of Novas abordagens para busca por retrato falado: manipulação de imagem para identificação de...