Post on 29-Jun-2015
Aprendizagem Automática
Mestrado em Engenharia Informática
14-04-2023 Aprendizagem Automática / Machine Learning
Sumário
Generalização e Overfitting Avaliação de hipóteses e
comparação de resultados
2
14-04-2023 Aprendizagem Automática / Machine Learning
Generalização
Até que ponto a nossa hipótese ira ter o resultado correcto para exemplos fora do conjunto de treino?
3
-4
-3
-2
-1
0
1
2
3
4
-4 -3 -2 -1 0 1 2 3 4
Series1
Series2
-4
-3
-2
-1
0
1
2
3
4
-4 -2 0 2 4
Series1
Series2
Overfitting
Boa generalização (mesmo com erros no conjunto de treino)
Overfitting / Sobre-aprendizagem(má generalização)
Generalização e “overfitting”Como saber quando parar o treino
(aprendizagem supervisionada):
Validação cruzadaCross-validation
treino
teste Paragem
Validação => três conjuntos de dados:◦ Treino, Teste, Validação
Conjuntos pequenos (k-fold validation/leave n-off)1. Dividir dados em k subconjuntos2. Em cada uma de k experiências usar um dos conjuntos
para validação3. Calcular nº médio de iterações (n) para minimizar erro
de validação4. Treinar com todos os dados n épocas
Validação
Cada teste dá um resultado (erro médio, qualidade média, etc.) X = {x1, x2, …, xn}
Um conjunto de testes terá também um média (bem como variância e desvio-padrão)
Média (mean)
Variância (variance)
O desvio padrão (standard deviation)
Avaliação de hipóteses
n
iixn
X1
1
n
ii Xx
nXs
1
2)(1
1)(
n
ii Xx
nX
1
2)(1
)(
7AA/ML, Luís Nunes, DCTI/ISCTE
Um intervalo de confiança de C%, diz-nos que, com C% de probabilidade, a média real (para um número infinito de experiências) estará no intervalo definido por
n é o número de experiências realizadas t a distribuição T-student, parametrizada por C,n.
Ex: O intervalo de confiança de 95%, para um erro médio de 0.1, com variância 0.01, para 30 experiências:
Excel: TINV(1 – C, n-1) = TINV(1 - 0.95, 29) = 2.04
Avaliação de hipóteses
n
s(X) t X,n
s(X)– t X nC,nC,
2.04t95,30
0.103725 0.096275, 30
0.012.04 0.1 ,30
0.012.04– 0.1
8AA/ML, Luís Nunes, DCTI/ISCTE
Para provar (com uma certeza razoável) que um método é melhor que outro é necessário que os intervalos de confiança de ambas as experiências não se sobreponham
Avaliação de hipóteses
9AA/ML, Luís Nunes, DCTI/ISCTE
14-04-2023 Aprendizagem Automática / Machine Learning
Referências
http://en.wikipedia.org/wiki/Student's_t-test
10
14-04-2023 Aprendizagem Automática / Machine Learning
Sumário
Generalização e Overfitting Avaliação de hipóteses e
comparação de resultados
11