Post on 07-Oct-2018
VIIWorkshopdeTecnologias deRedes doPOP-BA26Set2016
Monitoramento deenlacesde100Gbpseconsistência deregras OpenFlow
HumbertoGalizaEngenheiro deRedes Sênior - NEGAmLight RNP
galiza@amlight.net
AMPATH– R&EIXP– RXP – baseado em Miami(NOTA)– Principalpontodeencontro entreRedes Acadêmicas LatinoAmericanas eNorte-Americanas
– Apoio aprojetos depesquisa financiados pelaNationalScienceFoundation(NSF)
2
Quem somos?
AMLIGHT– Projeto cujo objetivo é instalar,operar,monitorar eevoluirumconjunto deenlacesinternacionais interconectandoPontos deTroca deTráfego (em inglês,IXP)Acadêmico emSãoPaulo(BR)eSantiago(CL)comaAMPATHemMiami
IXPDistribuídoPARCERIAENTRE
– ANSP – Rede Acadêmica deSãoPaulo– AURA – Associação deUniversidades paraPesquisa emAstronomia– FIU- FloridaInternationalUniversity– NSF- NationalScienceFoundation– RedClara – Cooperación LatinoAmericanadeRedes Avanzadas– RNP- Rede Nacional deEnsino ePesquisa– REUNA- RedUniversitaria Nacional
3
Quem somos [2]?
NSFsupport forAmLight Express&Protectispartofascalablerationalarchitecture,designedtosupporttheneedsoftheU.S.-WesternHemisphere researchandeducationcommunity thatsupports theevolvingnatureofdiscovery andscholarships. NSFAward#ACI-1451018
4
Evolução daAmLight2015:AmLight-EXP:EXPRESSANDPROTECT
AmLight-ExP:evolução (1/3)
• De2013à Dezembro 2015:6x10G– 40Gbps entreAmericadoSul eMiami– 10Gbps entreSãoPauloeFortaleza/Brasil– 10Gbps entreBrasil eChile
• Janeiro2016:2x10Gadicionados– 60Gbps entreAmericadoSul eMiami– 10Gbps entreSãoPauloeFortaleza/Brasil– 10Gbps entreBrasil eChile
5
• Abril2016:1x100G“entregue”– MiamixSaoPauloviaAtlântico– Primeiro circuito de100Gnocabo SACS– Muito instável• Problemas comcross-conexões,switchesandequipamentos ópticos
• Junho 2016:adicionado mais umlambda100G– MiamixSaoPauloviaPacífico– Segundocircuito de100Gnocabo SACS
AmLight-ExP:evolução (2/3)
6
• FinaldeJunho 2016:Finalmente,estabilidade!– Módulos100GBrocadesubstituídosdevido aproblemas deinteroperabilidadecomaCIENA(sistema óptico submarino)
– Placas daCIENAsubstituídas esistema operacional atualizado– Cross-conexões noTerremark ecabos IFCslimpos (n-vezes)
• Julho 2016:– Upgradedesoftwarenos switchesdaAMPATH:novosmódulos enovoSO
– 100Glinksadicionados à rede deprodução daAmLight-ExP– 2x10GlinksentreSãoPauloeMiamidecomissionados– Capacidade TotalAtual:
• 230Gbps entreAmérica doSul eMiami• 10Gbps entreSãoPauloeFortaleza/Brasil• 10Gbps entreBrasil eChile
AmLight-ExP:evolução (3/3)
7
AmLight-ExP:Topologia Atual
8Aug2016
Validação do100G
9
CENÁRIODETESTESOpenFlow +IXIA100GTrafficGenerator
MLX-USA
MLX-BRA
GERADORDETRÁFEGO3/1
3/2
7/1
2 Flows:sentido EUAà BrasilFlowID:241Priority:32768Status:Active
Rule:InPort: e3/1
Action:FORWARDOutPort:e3/2
FlowID:242Priority:32768Status:ActiveRule:
InPort: e3/2Action:FORWARD
OutPort:e3/1TESTEREFLEXIVO”LOOPLÓGICO”
RECEPÇÃODOTRÁFEGO
Validação do100G[2]
10
CENÁRIODETESTESOpenFlow +IXIA100GTrafficGenerator
MLX-USA
MLX-BRA
GERADORDETRÁFEGO3/1
3/2
7/1
1Flow:sentido Brasilà EUAFlowID:100Priority:32768Status:Active
Rule:InPort: e7/1
Action:FORWARDOutPort:e7/1
Statistics:TotalPkts:28816124846TotalBytes:14154014509497
TESTEREFLEXIVO”LOOPLÓGICO”
Validação do100G[3]
11
CENÁRIODETESTES
Desafios na operação daAmLight
12
CAMADAFÍSICA
• OpenFlow+Portas 100G:Falta desuporte detecnologiaslegadas para validação docaminho físico• WAN-PHY,LFM/CFM,UDLD,BFD,etc.
• Espelhamento detráfego 100Gainda é custoso:• Host100G,TAP,portmirror,etc.)à CAPEx alto
Desafios na operação daAmLight [2]
13
CAMADALÓGICA• Múltiplosusuários emúltiplos
controladores em paralelo:dificuldade imensa detroubleshooting!
• Mesmo situações simplessetornam umpesadelo na horadotroubleshooting.• Ex:Flowem queotráfego
IPv4funcionaeoIPv6não.
NSI
AmLight’sNRENs
FIBRESDN-IPONOS
SouthernLightAmpath2
Virtualization/Slices (FlowSpace Firewall)
Ampath1Andes1
Phys
ical L
ayer
Sout
hbou
nd A
PI:Op
enFlo
w 1.0
North
boun
d:Us
ers’
APIs
NOX
IDCP
Other NRENs
NOX
OpenNSA
OESS
OSCARS
OESS
Andes2
Univ.Twente Demos SDX
Data
Plan
eCo
ntro
l Plan
e
Comogarantir aconsistência dosflowsefazertroubleshootingnesse tipo decenário?
Verificação deConsistência deregrasOpenFlow
FERRAMENTASDETROUBLESHOOTING– Troubleshootingem SDNé uma tarefa complexa eferramentasdevisibilidadederede são necessárias• PlanodeControle ePlanodeDados
– Aferramenta mais simplesparaseter visibilidadedarede é otraceroute.• Ajuda atraçar ocaminho queumdeterminado pacote escolheu pelarede.
– Otracerouteconvencional é limitadoem redes SDN/OpenFlow• Seu princípio defuncionamentoébaseado nocampoTTLdepacotes IP.
15
• Solução baseada noartigo:– Agarwal,Kanak,etal."SDNtraceroute:TracingSDNforwardingwithoutchangingnetwork
behavior."ProceedingsofthethirdworkshoponHottopicsinsoftwaredefinednetworking.ACM,2014.• Softwarenão disponível!
• Características:– Não invasivo:não requer modificação nas regras deprodução– Baixo overhead:requer poucas entradasna TCAM por switch– Generico:pode traçar pacotes Ethernet/IP– Prático:compatível comamaioria dosswitchesSDNexistentes (ou vSwitch)
• Desenvolvido pelaAmLight usandoPython+JavaScript+Ryu +OpenFlow– Opensource:http://github.com/amlight/SDNTrace– Documentação em progresso!
Verificação deConsistência deregrasOpenFlow [2]
16
SDNTrace:visão geral• Faz coloração devértices (Algoritmo deGreedy)datopologia derede• Nessaimplementação,ocampoVLANpriority field(PCP- três bits)são usados para
armazenar ascores:1-green,2-blue,3-chocolate,etc.– 000à reservado paraotráfegodeprodução (sem tagged)
• Instalaçãoderegras OpenFlow nos switches:envie paraocontrolador iftag==cor doswitchadjacente
17
SDNTrace:visão geral [2]• Pesquisador/Engenheiro/Ususário acessa uma interfaceweb
• Seleciona oswitcheaportadeorigem
18
SDNTrace:visão geral [3]• Usuário cria umpacote ”probe”arbitrário• Eescolhe otipo detrace:Layer-2,Layer-3,ou ambos
19
AmLight SDNDataPlane
FIU
AURA
2
23
1
1
32
2
3
1
1 2
13
Match:VLAN:100TCPDest:80HTTP/WEB
Match:VLAN:100TCPDest:25SMTP
Match:VLAN:100
Legado:VLAN– alltraffic,singlepathSDN:”matches”complexos:customização deperfis detráfego
20
Integração comoutras ferramentas demonitoramento
• SDNTrace APIpermite:– Rodar umtraceapartir doseu próprio controlador– Obter atopologiadarede
• Roadmap:– Expandir oSDNTraceparasetornar umSDNLookingGlass• Traceroute,visualização,tráfego eutilização deporta,blackholedetection,etc.
– Lançamento:finaldeste ano
Conclusão
21
LIÇÕESAPRENDIDAS:100G
• Não espere queaativação doseu primeiro 100Gem uma rededeterceiros será fácil – porque não será!
• Higiene é uma OBRIGAÇÃO:fibras econectores temqueestarperfeitamente limpos!
• Umgerador detráfego torna asua vidamuitomais fácil
• Crie um”baseline”compacotes dediferentes tamanhos paraentender os limites doseu equipamento
Conclusão
22
LIÇÕESAPRENDIDAS:Operação eOpenFlow
• Tecnologias já consolidadas ainda não são suportadas emportas 100GcomOpenFlow:mais capacidade emais desafios
• Acombinação entre100GeOpenFlowrequer ainda maisatenção paraaverificação deconsistência deregras na rede
• OSDNTrace consegue debugar flowsarbitrários epacotes semnecessitar denenhum tipo especialdesuporte além doOpenFlow “básico.”
• Acaracterística chave daferramenta é queela não requernenhum tipo demodificação nas regras deprodução.
HumbertoGalizagaliza@amlight.net
Obrigado!Perguntas?
Monitoramento deenlacesde100Geconsistência deregras OpenFlow
VIIWorkshopdeTecnologias deRedes doPOP-BA26Set2016