Aprendizagem Automática

Mestrado em Engenharia Informática

14-04-2023 Aprendizagem Automática / Machine Learning

Sumário

Generalização e Overfitting Avaliação de hipóteses e

comparação de resultados

2

14-04-2023 Aprendizagem Automática / Machine Learning

Generalização

Até que ponto a nossa hipótese ira ter o resultado correcto para exemplos fora do conjunto de treino?

3

-4

-3

-2

-1

0

1

2

3

4

-4 -3 -2 -1 0 1 2 3 4

Series1

Series2

-4

-3

-2

-1

0

1

2

3

4

-4 -2 0 2 4

Series1

Series2

Overfitting

Boa generalização (mesmo com erros no conjunto de treino)

Overfitting / Sobre-aprendizagem(má generalização)

Generalização e “overfitting”Como saber quando parar o treino

(aprendizagem supervisionada):

Validação cruzadaCross-validation

treino

teste Paragem

Validação => três conjuntos de dados:◦ Treino, Teste, Validação

Conjuntos pequenos (k-fold validation/leave n-off)1. Dividir dados em k subconjuntos2. Em cada uma de k experiências usar um dos conjuntos

para validação3. Calcular nº médio de iterações (n) para minimizar erro

de validação4. Treinar com todos os dados n épocas

Validação

Cada teste dá um resultado (erro médio, qualidade média, etc.) X = {x1, x2, …, xn}

Um conjunto de testes terá também um média (bem como variância e desvio-padrão)

Média (mean)

Variância (variance)

O desvio padrão (standard deviation)

Avaliação de hipóteses

n

iixn

X1

1

n

ii Xx

nXs

1

2)(1

1)(

n

ii Xx

nX

1

2)(1

)(

7AA/ML, Luís Nunes, DCTI/ISCTE

Um intervalo de confiança de C%, diz-nos que, com C% de probabilidade, a média real (para um número infinito de experiências) estará no intervalo definido por

n é o número de experiências realizadas t a distribuição T-student, parametrizada por C,n.

Ex: O intervalo de confiança de 95%, para um erro médio de 0.1, com variância 0.01, para 30 experiências:

Excel: TINV(1 – C, n-1) = TINV(1 - 0.95, 29) = 2.04

Avaliação de hipóteses

n

s(X) t X,n

s(X)– t X nC,nC,

2.04t95,30

0.103725 0.096275, 30

0.012.04 0.1 ,30

0.012.04– 0.1

8AA/ML, Luís Nunes, DCTI/ISCTE

Para provar (com uma certeza razoável) que um método é melhor que outro é necessário que os intervalos de confiança de ambas as experiências não se sobreponham

Avaliação de hipóteses

9AA/ML, Luís Nunes, DCTI/ISCTE

14-04-2023 Aprendizagem Automática / Machine Learning

Referências

http://en.wikipedia.org/wiki/Student's_t-test

10

14-04-2023 Aprendizagem Automática / Machine Learning

Sumário

Generalização e Overfitting Avaliação de hipóteses e

comparação de resultados

11