SVM Support Vector Machines Ticiano A. C. Bragatto [email protected].
Transcript of SVM Support Vector Machines Ticiano A. C. Bragatto [email protected].
![Page 2: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/2.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
2
Sumário Vladimir Vapnik Histórico Conceito
Classificação Regressão Kernel trick
Aumento de Dimensões Espaços: Entrada versus Característica Classificadores Lineares
Margem Máxima Problemas Primal e Dual
Aplicações Conclusão Como Programar
![Page 3: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/3.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
3
Vladimir Naumovich Vapnik Soviético Mestrado na Universidade do
Uzbequistão(1958) Ph. D. em estatística no
Institute of Control Science de Moscou(1964)
Professor nesse Instituto (1961-1990)
Nomeado professor do Royal Holloway, Universidade de Londres(1995)
AT&T Bell Labs (1991-2001) Atualmente: Funcionário da
NEC e professor na Universidade de Columbia(NY)
![Page 4: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/4.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
4
Histórico
Kernel linear: 1963 – Vladimir Vapnik Kernel trick: 1992 – Boser, Guyon e
Vapnik Regressão: 1997 – Vapnik, Golowich e
Smola
![Page 5: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/5.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
5
Conceito
Classificação Duas classes
Regressão Métodos de treinamento assistido “Kernel trick”
![Page 6: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/6.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
6
Classificação(Vapnik 1963)
Duas classes “Sim” ou “Não” Preto ou Branco Laranja ou Banana 0 ou 1 -1 ou 1 (usado para
as contas) Linear (Vapnik 1963) Kernel trick(Vapnik
et al 1992)
![Page 7: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/7.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
7
Regressão(Vapnick - 1997)
É criada com máxima margem, como problemas de classificação
Pode usar kernels lineares e não lineares(Gauss Radial Basis Function(RBF), polinomial, sigmoidal)
![Page 8: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/8.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
8
Kernel Trick
Converte problemas não lineares em lineares em espaço de altíssima dimensão
Transforma funções que dependem de produto interno
Substitui o produto interno com outras funções: RBF: Polinomial homogêneo: Polinomial não homogêneo: Sigmoidal:
![Page 9: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/9.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
9
Aumento de Dimensões
Para uma função de Base Quadratica
O número de termos (para m dimensões de entrada)=(m+2)(m+1)/2
Para m=2 6-D Para m=3 10-D
E para uma função de kernel elevada a 3?
E como aproximar uma Sigmoidal?
![Page 10: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/10.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
10
Espaços: Entrada versus característica
![Page 11: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/11.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
11
Classificadores Lineares
Dados os dois conjuntos ao lado
Esta é uma boa forma de separação?
![Page 12: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/12.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
12
Classificadores Lineares
Ou esta?
![Page 13: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/13.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
13
Classificadores Lineares
Qual destas é a melhor?
Para RNA, qualquer uma destas retas é satisfatória, uma vez que separou corretamente os conjuntos!
![Page 14: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/14.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
14
Classificadores Lineares
Para SVM, a melhor reta é aquela que mais se distancia dos pontos(vetores) de ambos os conjuntos, formando a maior margem possível
![Page 15: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/15.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
15
Classificadores LinearesMargem Máxima
Intuitivamente é mais seguro Se erramos na localização
das bordas, uma margem maior nos dá menor chance de erro
É imune à remoção de algum vetor que não seja um SV
Segundo a teoria Vapnik-Chervonenkis(1960-90), o erro é minimizado para uma margem maximizada
Empiricamente funciona muito bem
![Page 16: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/16.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
16
![Page 17: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/17.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
17
![Page 18: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/18.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
18
![Page 19: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/19.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
19
![Page 20: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/20.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
20
![Page 21: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/21.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
21
![Page 22: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/22.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
22
![Page 23: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/23.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
23
![Page 24: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/24.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
24
![Page 25: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/25.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
25
Problemas Primal e Dual
Primal Restrição: Erro nos vetores de treino
Dual Restrição: Parâmetro Custo C
![Page 26: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/26.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
26
Aplicações
Identificação de Proteínas, 2000 Impressões Digitais, 2001 Detecção e reconhecimento de faces, 1997/2000 Reconhecimento de textos, 1998 Assinaturas, 2003 Análise de Crédito, 1999 Indústria de Mineração, 2003 Siderurgia, 2004 Técnica ganhadora no concurso mundial de predição
de carga elétrica, 2001
![Page 27: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/27.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
27
Conclusão:Otimização RNA versus SVM
RNA: Mínimo Local Definir a quantidade
de neurônios na camada intermediária
SVM: Mínimo Global Definir o melhor
parâmetro C (custo)
![Page 28: SVM Support Vector Machines Ticiano A. C. Bragatto bragatto@ufpr.br.](https://reader033.fdocumentos.com/reader033/viewer/2022051111/552fc10b497959413d8c1f73/html5/thumbnails/28.jpg)
TE-803 Inteligencia Artificial Aplicada - UFPR
28
Como programar:
MATLAB: Lenta porém não há necessidade de preocupação com o parâmetro C
LibSVM: Biblioteca existente em várias linguagens Usada em diversas aplicações e nossa aula
prática http://www.csie.ntu.edu.tw/~cjlin/libsvm/