PROJETO: ANÁLISE DE EXPERIMENTOS ESTATÍSTICOS

FATORIAL PARA SISTEMAS DE RECONHECIMENTO DE

FALA

UNIVERSIDADE FEDERAL DE SANTA CATARINA - UFSC

CENTRO TECNOLÓGICO - CTC

DEPARTAMENTO DE AUTOMAÇÃO E SISTEMAS - DAS

Por: David Daniel e Silva, Doutorando - DAS

david@das.ufsc.br

Orientador: Prof. Marcelo Ricardo Stemmer, Dr

marcelo@das.ufsc.br

Motivação

ESTADO DA ARTE

DISCIPLINA DE ANÁLISE DE EXPERIMENTOS

POSSIBILIDADE DE CONTRIBUIÇÃO NOS

PROJETOS DE SISTEMAS DE REC. DE FALA

Introdução( APRESENTAÇÃO DO TRABALHO )

Reconhecimento de Fala

Conceito e Aplicações; Características; Dificuldades/Problemas; Soluções; Modelos; Comentários; Projeto de Análise de Experimentos Estatístico

Aplicado ao RF.

Reconhecimento de Fala( CONCEITO E APLICAÇÕES )

ConceitoProcesso de conversão de um sinal acústico, capturado por um microfone ou dispositivo transdutor similar, para um conjunto de palavras.

AplicaçõesA palavra reconhecida pode ser o resultado final, para aplicações de controle ou dados de entrada. (Interface homem-máquina).

Reconhecimento de Fala( CARACTERÍSTICAS )

PARÂMETROS / FATORESOs sistemas de reconhecimento de fala podem ser caracterizados por muitos parâmetros que o afetam...

ALGUNS PARÂMETROS FAIXA/TIPOModo de Fala Isolada

Contínua Estilo da Fala Lida

Expontânea

Vocabulário Simples ( < 20 )

Grande ( > 20K )

Reconhecimento de Fala( CARACTERÍSTICAS )

PARÂMETROS / FATORES( CONTINUAÇÃO )

ALGUNS PARÂMETROS FAIXA/TIPOLocutor Dependente

Independente

Modelo de Linguagem Estados finitos Sensível ao contexto

Perplexidade Pequena ( < 10 ) Grande ( > 100 )

Transdutor Microfone sem ruído Telefone

RSR(Razão Sinal Ruído) Alta ( > 30 db ) Baixa ( < 10 db )

Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)

FORÇA MUSCULAR

T

T

NARINAS

TRATO NASAL

PULMÕES

PALATO MOLE

TRAQUÉIACORDAS VOCAIS

BOCA

TRATO VOCAL

MODELO DO SISTEMA DO TRATO VOCAL

Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)

Reconhecimento de fala geralmente é mais difícil de ser realizado quando os vocabulários são grandes e/ou tem muitas palavras com sons similares.

O reconhecimento de fala é um problema difícil devido às várias fontes de variabilidade associadas ao sinal de voz.

Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)

VARIABILIDADE FONÉTICA

a acústica dos fonemas (menor unidade sonora na composição de uma palavra), é altamente dependente do contexto em que aparecem.

Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)

VARIABILIDADE FONÉTICA

Nas fronteiras entre palavras, as variações contextuais podem tornar-se bem mais acentuadas fazendo, por exemplo, com que a frase “a justiça é...” seja reconhecida como “ajusticé...”

Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)

VARIABILIDADES ACÚSTICAS

Podem resultar de mudanças no ambiente assim como da posição e características do transdutor.

Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)

VARIABILIDADES INTRA-LOCUTOR

Podem resultar de mudanças no estado físico/emocional dos locutores, velocidade de pronúncia ou qualidade de voz.

Reconhecimento de Fala( DIFICULDADES DOS SISTEMAS DE REC.)

VARIABILIDADES ENTRE-LOCUTORES

Podem resultar das diferenças na condição sócio-cultural, dialeto, tamanho e forma do trato vocal para cada uma das pessoas. Um exemplo: “O caminho está iluminado” - “O caminho está alumiado”.

Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)

SOLUÇÕES

Em termos fonéticos acústicos, a variabilidade dos locutores é tipicamente modelada usando técnicas estatísticas aplicadas a grandes quantidades de dados de treinamento.

Também tem sido desenvolvidos algoritmos de adaptação ao locutor que adaptam modelos acústicos independentes do locutor para os do locutor corrente durante o uso.

Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)

SOLUÇÕES

As variações acústicas são tratadas com o uso de adaptação dinâmica de parâmetros, uso de múltiplos microfones e processamento de sinal.

Na parametrização dos sinais, os pesquisadores desenvolveram representações que enfatizam características independentes do locutor, e desprezam características dependentes do locutor.

Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)

SOLUÇÕES

Os efeitos do contexto linguístico em termos fonético-acústicos são tipicamente resolvidos treinando modelos fonéticos separados para fonemas em diferentes contextos, isto é chamado de modelamento acústico dependente do contexto.

Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)

SOLUÇÕES

A diferença de pronúncias das palavras são processadas de forma que alternativas mais comuns de cada palavra, assim como os efeitos de dialeto e sotaque são tratados ao permitir aos algoritmos de busca encontrarem caminhos alternativos de fonemas através de redes dessas alternativas.

Reconhecimento de Fala( SOLUÇÕES DAS DIFICULDADES DOS SISTEMAS DE REC.)

SOLUÇÕES

Modelos estatísticos de linguagem, baseados na estimativa de ocorrência de seqüências de palavras, são geralmente utilizados para guiar a busca através da seqüência de palavras mais provável.

Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )

MODELOS

Atualmente, os algoritmos mais populares na área de reconhecimento de fala baseiam-se em métodos matemáticos e estatísticos. Dentre estes, dois métodos tem se destacado:

ANN´s - Artificial Neural Networks

HMM - Hidden Markov Models

Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )

MODELO - ANN´s

ARTIFICIAL NEURAL NETWORKS

Método Baseado no Sistema Neuronal Humano (Neurônio).

Teoria combatida por Minsky e Papert que publicaram um

livro em 1969 e provocou a não aceitação das RNA`s entre

os pesquisadores.

Atualmente, muitas pesquisas estão sendo feitas com o

uso de avançados modelos de redes neurais baseados

nas mais recentes descobertas do comportamento do

neurônio humano.

Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )

MODELO - ANN´s

ANN - ARTIFICIAL NEURAL NETWORKS

Boa Capacidade de Generalização;

Certo Grau de Robustez Para Reconhecimento de Padrões;

Função de ativação;

Teoria bem definida (base na matemática);

Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )

MODELO - HMM

HMM - Hidden Markov Models

Método é definido como um par de processos estocásticos (X, Y). O processo X é a medida linear de primeira ordem, e não é diretamente observável, quando o processo Y é uma seqüência de variáveis randômicas de valores tomados de parâmetros acústicos, ou observações.

Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )

MODELO - HMM

HMM - Hidden Markov Models

Boa Capacidade de seleção;

Certo Grau de Robustez Para Reconhecimento de Padrões; Comparações estatísticas de probabilidade com base em um conjunto de amostra;

Teoria bem definida (base estatística e matemática);

Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )

MODELO MAIS RECENTE - SVM

SUPPORT VECTOR MACHINE

Método Baseado na Teoria de Vapnik (1995)

The Nature of Statistical Learning Theory.

Reconhecimento de Fala( MODELOS DE RECONHECIMENTO DE FALA )

MODELO MAIS RECENTE

SVM - SUPPORT VECTOR MACHINE

Diferentes núcleos caracterizam seu modo de reconhecimento de padrões. A correta definição de seus parâmetros implica em alta influência nos resultados obtidos por uma SVM.

Elevada Capacidade de Generalização;

Robustez em Grandes Dimensões (imagens);

Convexidade da função objetivo, implicando na otimização de uma função quadrática, que tem apenas um mínimo (vantagem sobre as RNA´s);

Teoria bem definida (Base na estatística e matemática);

Reconhecimento de Fala( COMENTÁRIO )

COMENTÁRIO

Tanto HMM, como SVM e demais algoritmos para reconhecimento de fala, usam técnicas estatísticas, levando em consideração ocorrências de palavras, fonemas, etc.

Reconhecimento de Fala( COMENTÁRIO )

COMENTÁRIO

As variáveis que influenciam no processo de reconhecimento de fala são em quantidade razoavelmente grandes e de difícil controle.

QUE TAL ENTÃO UMA AJUDA...?

DA ESTATÍSTICA....?

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( CONCEITO DE EXPERIMENTO )

Experimento Estatístico

Literalmente: um teste.

Formalmente: série de testes em que manipula-se as variáveis de entrada de um processo ou sistema para identificar as razões que afetam a saída .

Onde: x1, x2, ..., xn são fatores controláveis;

z1, z2, ..., zm são fatores não controláveis.

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( MODELO GERAL DE UM PROCESSO OU SISTEMA )

Saída

z1 z2 . . . zm

EntradaSISTEMA

x1 x2 . . . xn

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( CONCEITO DE PROJETO FATORIAL )

Muitos experimentos, envolvem o estudo de efeitos de dois ou mais fatores.

Por projeto fatorial, entendemos que em cada teste completo ou replicação do experimento todas as possíveis combinações dos níveis dos fatores são investigadas.

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL )

Exemplo:

Seja A - Fator 1 com a níveis;

B - Fator 2 com b níveis;

Cada replicação contem todas as combinações dos ab tratamentos.

O efeito do fator é definido pela mudança na resposta produzida pela variação no nível do fator.

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL )

Efeito Principal - A , B

Efeito da Interação - AB

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

Para dois níveis (alto ou baixo) em A e B, pode-se considerar os efeitos de cada um como sendo a diferença entre a resposta média do nível alto para o nível baixo do fator.

EfA = A+ - A-

EfB = B+ - B-

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

Numericamente:

EfA = A+ - A-

EfB = B+ - B-

EfA = (40 + 52)/2 - (20 + 30)/2 = 21

EfB = (30 + 52)/2 - (20 + 40)/2 = 11

30 52

20 40Baixo (-)

Alto (+)

Fator A Alto (+)Baixo (-)

Fator B

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

EfA = (40 + 52)/2 - (20 + 30)/2 = 21

EfB = (30 + 52)/2 - (20 + 40)/2 = 11

Os resultados acima indicam que incrementando o nível do fator A do baixo para o alto, causa um incremento de 21 unidades na resposta.

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

Quando passa-se do nível baixo de B para o nível alto, não afetando o comportamento da resposta para o fator A, sugere-se uma não interação entre os fatores.

P/ B-

A = 40 - 20 = 20

P/ B+

A = 52 - 30 = 22

30 52

20 40Baixo (-)

Alto (+)

Fator A Alto (+)Baixo (-)

Fator B

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

Quando passa-se do nível baixo de B para o nível alto, afetando o comportamento da resposta para o fator A, sugere-se uma interação entre os fatores.

P/ B-

A = 50 - 20 = 30

P/ B+

A = 12 - 40 = -28

40 12

20 50Baixo (-)

Alto (+)

Fator A Alto (+)Baixo (-)

Fator B

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

Com Interação

60

50

40

30

20

10

B-

B+

B+B-

- Fator A +

Resposta

60

50

40

30

20

10

B-B+

B+

B-

- Fator A +

Resposta

Sem Interação

AB = (-28 - 30)/2 = -29

AB = (AB+ - AB-)/2

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

Supondo Valores Quantitativos

Modelo de Regressão Linear

y = 0 + 1x1 + 2x2 + 12x1x2 +

Onde:

y é a resposta;

´s são valores correspondentes aos efeitos;

x1 é a variável que representa o fator A, x2 o fator B e é um erro devido ao processo aleatório.

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

Para os fatores A e B sem Interação:

y=35.5 + 10.5x1 + 5.5 x2 + 0.5 x1x2

OU

Curva de resposta

y=35.5 + 10.5x1 + 5.5 x2

Resíduo

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

( EXEMPLO DE PROJETO FATORIAL COM DOIS FATORES A DOIS NÍVEIS )

-1 -0,6 -0,2 0,2 0,6 1

59

49

39

29

19

y

-1

0,6

-0,6-0,2

0,2

1

Resposta da superfície do modelo de regressão.x1

x2

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

(DOIS FATORES )

Problema:

Um experimento é feito para verificar a taxa de acerto de sistemas computacionais de reconhecimento de fala com 4 replicações. Um locutor diferente é sorteado para cada ensaio. A taxa de acerto dos sistemas é verificada frente a dois fatores: 1) quantidade de palavras faladas; 2) Tipo do sistema usadoOs dados de resposta são mostrados na tabela abaixo. a) Faça a análise de variância e diga se o sistema usado e o número de palavras influenciam na taxa de acerto das palavras; b) Plote o gráfico para os resíduos e analise o modelo.

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

(DOIS FATORES )

Dados do experimento

2 4 6 8 10ANN 90 87

89 9185 8684 84

80 7876 92

80 8075 90

80 8275 76

HMM 91 9090 93

88 8486 90

80 9190 88

80 8987 92

90 7880 79

HMM/ANN 97 9996 98

96 9793 98

95 9397 95

96 9590 91

93 9195 90

No de Palavras

Tipo deSistema

i..yNo PalavrasTipo de

Sistema2 4 6 8 10

ANN

HMM

HMM/ANN

90 8789 9189,25 81,6 81,25

91,00 87,00 81,75

97,50 95,00 92,25

.j.y

...y

92,58 89,25 87,87

108,44

118,44

110,215

ij.y

85 8684 84

80 7876 92

80 8075 90

80 8275 76

91 9090 93

88 8486 90

80 9190 88

80 8987 92

90 7880 79

97 9996 98

96 9793 98

95 9397 95

96 9590 91

93 9195 90

84,75 78,25

87,0087,00

93,0096,00

87,08 84,08

103,78

Hipótesesyijk = + i + j + ( )ij + ijk

H0: Não há diferença entre os sistemas.

1 = 2 = ... = a = 0

H0: O No de palavras não afeta o grau de acerto do sistema.

1 = 2 = ... = b = 0

H0: A iteração entre os fatores não afetam a resposta. ( )ij = 0 para todo i, j.

ANOVA

Fonte de variação

Soma dequadrados

gl Quad. médio

F

Sistema 1.438,0 2 719,0 49,23 0,000000

No Palavras 463,1 4 115,8 7,93 0,000063

Sist.*Palavras 64,6 8 8,1 0,55 0,809907

Erro 657,3 45 14,6

Total 2623 59

P

Conclusão I

Rejeita H0 : O sistema e o número de palavras afetam a resultado.

Aceita Ho para a iteração entre eles.

Gráfico de médiasSistema; LS Means

Current effect: F(2, 45)=49,229, p=,00000Effective hypothesis decomposition

Vertical bars denote 0,95 confidence intervals

1 2 3

Sistema

78

80

82

84

86

88

90

92

94

96

98

Ace

rto

Gráfico de médias

Palavras; LS Means

Current effect: F(4, 45)=7,9262, p=,00006Effective hypothesis decomposition

Vertical bars denote 0,95 confidence intervals

2 4 6 8 10

Palavras

80

82

84

86

88

90

92

94

96

98

Ace

rto

Gráfico de médias

Sistema*Palavras; LS Means

Current effect: F(8, 45)=,55316, p=,80991Effective hypothesis decomposition

Vertical bars denote 0,95 confidence intervals

Palavras2 Palavras4 Palavras6 Palavras8 Palavras10

1 2 3

Sistema

70

75

80

85

90

95

100

105

Ace

rto

Gráfico de médias

Sistema*Palavras; LS Means

Current effect: F(8, 45)=,55316, p=,80991Effective hypothesis decomposition

Vertical bars denote 0,95 confidence intervals

Sistema1 Sistema2 Sistema3

2 4 6 8 10

Palavras

70

75

80

85

90

95

100

105

Ace

rto

Gráfico de Resíduos

Normal Prob. Plot; Raw Residuals

Dependent variable: Acerto(Analysis sample)

-10 -8 -6 -4 -2 0 2 4 6 8 10 12 14

Residual

-3,0

-2,5

-2,0

-1,5

-1,0

-0,5

0,0

0,5

1,0

1,5

2,0

2,5

3,0

Exp

ect

ed

No

rma

l Va

lue

,01

,05

,15

,35

,55

,75

,95

,99

Histograma de ResíduosHistogram of Raw Residuals

Dependent variable: Acerto(Analysis sample)

-12 -10 -8 -6 -4 -2 0 2 4 6 8 10 12 14

X <= Category Boundary

0

2

4

6

8

10

12

14

16

18

20

No

. o

f o

bs.

Conclusão II

O gráfico dos resíduos x preditos mostram comportamento dos pontos aleatórios.

Os pontos dos resíduos mostram uma curva normal.

Logo, o modelo é adequado.

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

(2k-p )

CONSIDERAÇÃO AO PROJETO FATORIAL

PARA RECONHECIMENTO DE FALA

perplexidade = Modelo de Linguagem x Vocabulário

Considerando 8 fatores...

Resolução Tratamentos

2v8-2 64

2iv8-3 32

2v8-4 16 (menos custo)

FatoresA-Transdutor B-Vocabulário C- Modo de Fala D- Estilo de Fala

E- Modelo Linguagem F-RSR G- Sistema H-locutor

Resolução 2v8-4 = 16 Tratamentos

ConfusõesE = BCD F = ACD G= ABC H = ABD

A-Transdutor B-Vocabulário C- Modo de Fala D- Estilo de Fala

E- Modelo Linguagem F-RSR G- Sistema H-locutor

E = BCD F = ACD G= ABC H = ABD

TABELA PARA O PROJETO FATORIAL 28-4

A B C D BCD ACD ABC ABD-1 -1 -1 -1 -1 -1 -1 -1

-1 +1 -1 -1 +1 -1 +1 +1

+1 -1 -1 -1 -1 +1 +1 +1

1

2

3

4

5

6

7

8 +1 +1 +1 +1 +1 +1 +1 +1

Y

Y - R

ES

PO

ST

A

REFERÊNCIAS BIBLIOGRÁFICAS

[01] Douglas C. Montgomery. “Design and Analysis of Experiments”. Sixth Edition, Arizona State University, 2005.

[02] Editorial Board: Ronald A. Cole; Joseph Mariani; Hans Uszkoreit; Annie Zaenen and Victor Zue. “Survey of the State of the Art in Human Language Technology”. National Science Foundation Directorate XIII-E of the Commission of the European Communities Center for Spoken Language Undertanding, Oregon Graduate Institute, November 1995.

[03] Sujun Huan and Zhirong Sun. “Support Vector Machine Approach for Protein Subcellular Localization Prediction” Institute of Bioinformatics, Department of Biological Sciences and Biotecnology, Tsinghua University, China. April 2001.

[04] Klaus-Robert Müller, Sebastian Mika, Gunnar Rätch, Koji Tsuda, and Bernhard Schölkopf . “Na Introduction to Kernel-Based Learning.” IEEE Transaction on Neural Networks, vol. 12, No. 2 March 2001.

[05] Marcelo C. Medeiros; Timo Teräsvirta and Gianluigi Rech. “Aspectos Estatísticos da Modelagem de Redes Neurais em Séries Temporais”. DEE, PUC - RJ.

Projeto e Análise de Experimentos Estatísticos Fatorial Para Reconhecimento de Fala

FIM

david@das.ufsc.br

FELIZ NATAL E 2006 CHEIO DE...

SAÚDE E PAZ!!!!