unican.esvenus.ifca.unican.es/~carreraf/Estadistica/Transparenci... · 2016-10-18 · Cociente de...
Transcript of unican.esvenus.ifca.unican.es/~carreraf/Estadistica/Transparenci... · 2016-10-18 · Cociente de...
Contenidos� Modelosfrenteadatos� Verosimilitud� χ2
� Definiciónyaplicabilidad� Estimacióndeparámetros� Erroresenlosparámetros� Bondaddelajuste
� χ2conerroresenlosdosejes� Régimenpoissonianoconmedidaindependientedelfondo
Teoría1
Teoría2
Teoría3
DATOS
Modelo1
Modelo2
Modelo3
?
?
?
� Confrontamoscondatosmodelos,noteorías� Demostramosteoría(s)falsa(s)peronoverdaderas
� Modeladoestadísticosóloerroresestadísticos� Sisistemáticosdebenincluirseenmodelos
Datos� Reales
� Valoresdemedidas:xi,yi,…,coni=1,…N� Erroresestadísticosenlasmedidasσxi,σyiconi=1,…N� Habitualmentesesuponenerroresdemedidagaussianos
� Siresultandemedidasrepetidas,teoríadelosgrandesnúmeros
� Enteros(conteo)� Valoresdemedidas:ni(númerodeeventos),…,coni=1,…N� Erroresestadísticosenlasmedidas√ni,coni=1,…N� EstadísticaPoissoniana� Enelrégimendemuchascuentas⇒estadísticagaussiana
Modelos� Funcionesquepredicenvaloresdeunasvariablesfrenteaotras
� Contienenparámetroscuyosvaloressequierenestimarutilizandolosdatosmedidosysuserrores
� Unestadísticoútilparacaracterizarelmodelodebe:� Estimarvaloresparámetrosmejorreproducendatos� Incertidumbreenlaestimacióndedichosparámetros� Estimacióndelabondaddelmodelo(medidacuantitativa)
Likelihood
FuncióndeVerosimilitudI� Funcióndeverosimilitud:Dadounmodeloydadosunosparámetros,¿cuáleslaprobabilidad(odensidaddeprobabilidad)dequeelconjuntodedatoshayaocurrido?
� Datos:x1,...,xN independientes
� Parámetros:θ1, …, θp
� Likelihood:L(θ1, …, θp)≡ΠiP(xi;θ1,...,θp) � Probabilidades independientes
FuncióndeVerosimilitudII� Porcomodidad,tambiénseusaelmenosneperianodeLmultiplicadopor2:ℓlog-likelihood� FunciónmonótonadeL:mínimocorrespondeconmáximo� Permitemanejarmenorprobabilidadespequeñas
Es7macióndeparámetros� Máximaverosimilitud(L)omínimoℓ
€
∂L(θ1,...θp )∂θi
= 0 Máximo
€
∂(θ1,...θp )∂θi
= 0 Mínimo
⇒ θ̂1 ,...,θ̂ p
Verosimilitud:ejemplobinomialI� TenemosM muestras,delascualesmpresentanunapropiedaddeterminada� ¿Cuáleslafracciónfdemuestrasquepresentanesapropiedad?:distribuciónbinomial
� Unúnicoparámetrof
P(m,M ) = Mm
!
"#
$
%& f m (1− f )M−m
ℓ = −2 m ln f + (M −m)ln(1− f )+ cte(m,M )[ ]
Mínimo: ∂ℓ∂f f = f̂
= 0 ⇒ mf̂−M −m1− f̂
= 0 ⇒ f̂ = mM
Verosimilitud:ejemplobinomialII� SeestudianloshistorialesmédicosenvariossitiosdeMi personasencadasitio,delascualesmipresentanunadeterminadaenfermedad� ¿Cuáleslafracciónfdepersonasquepadecenlaenfermedad?:distribuciónbinomial
� Unúnicoparámetrof
L( f ) =Mi
mi
!
"
##
$
%
&& f
mi (1− f )Mi−mi
i∏
ℓ = −2 mi ln f + (Mi −mi )ln(1− f )+ cte( mi{ }, Mi{ }))* +,i∑
Mínimo: ∂ℓ∂f f = f̂
= 0 ⇒ mi
f̂−Mi −mi
1− f̂
!
"#
$
%&
i∑ =
(1− f̂ ) mii∑ − f̂ Mi −mi( )
i∑
f̂ (1− f̂ )= 0 ⇒ f̂ =
mii∑Mi
i∑
Verosimilitud:ejemplopoisson� Setoman {ni} i=1...Nmedidasdelascuentasderayosgammadelaradiactividaddeunazona� ¿Cuálserálamejordeterminacióndelaradiactividadenesazonaλ?:distribuciónpoissoniana
� Unúnicoparámetroλ
L(λ) = λ ni
ni!i∏ e−λ = e−Nλ λ ni
ni!i∏
ℓ = −2 −Nλ + ni lnλi∑ + cte({ni})
$
%&
'
()= −2 −Nλ + lnλ ni
i∑ + cte({ni})
$
%&
'
()
Mínimo: ∂ℓ∂λ λ=λ̂
= 0 ⇒−N +ni
i∑λ̂
= 0 ⇒ λ̂ =ni
i∑N
= λ
Verosimilitud:ejemplopoisson� Contajedefotonesopartículasencanalesenergéticos(espectro).Canales:i=1,…,N� Númerodecuentasrecibidasencanal i:ni � Modelo:Cuentasesperadasenelcanali:λi(θ1,…,θp)� Parámetrosdelmodelo:θ1,…,θp
� FuncióndeVerosimilitud:
L(θ1,...,θ p ) =∏i=1N P(ni;λi (θ1,...,θ p )) =∏i=1
N λi (θ1,...,θ p )ni
ni!e−λi (θ1,...,θp )
ℓ θ1,...,θ p( ) = −2 ni lnλi (θ1,...,θ p )− λi θ1,...,θ p( )i=1
N
∑ + cte {ni}( )i=1
N
∑$
%&
'
()
∂ℓ θ1,...,θ p( )∂θ j θ j=θ̂ j
= 0 = −2 ni
∂λi (θ1,...,θ p )∂θ j
λi (θ1,...,θ p )−
∂λi (θ1,...,θ p )∂θ ji=1
N
∑i=1
N
∑
$
%
&&&&
'
(
))))
Verosimilitud:ejemplopoisson� Yelmejorajuste:
� Casoparticulardeλi=θ1cteentodosloscanales
∂λi (θ1)∂θ1
=1
∂ℓ θ1( )∂θ1 θi=θ̂1
= 0 = −2 1θ̂1
ni − 1i=1
N
∑i=1
N
∑$
%&
'
()⇒ θ̂1 =
nii=1
N
∑N
Cocientedeverosimilitudes� MuchasvecestambiénseempleaelcocientedeverosimilitudeslikelihoodratioD=-2ln[L(θ0|x)/L(θ1|x)]=-2lnΛ(x)
� PermitecontrastarlahipótesisH0:θ0conlahipótesisH1:θ1 � EllemadeNeyman-Pearsonmuestraque:
� siusamosΛ(x)≤η como prueba para rechazar H0 en favor de H1 � con P(Λ(x)≤η|H0)=α � esta prueba es la más potente para una probabilidad α con umbral η � tambiénvaleparazonasdelespaciodeparámetros
� Porejemplo,estadísticodeCash:� DividiendoLporsuvalormáximoenelintervalodeinterés(constante)
� ~análogoalχ2
ℓ(θ1,...,θ p ) = −2 lnL(θ1,...,θ p )
maxL(θ1,...,θ p )
"
#$$
%
&''
Limitaciones� Máximaverosimilitudampliamenteusado:
� Permiteestimaciónde“mejores”parámetros� Enciertascondiciones,permiteestimarincertidumbresenesosparámetros(teoremadeWilks)
� Engeneral,noproporcionamedidaabsolutadebondaddelajuste:� Simodeloprecisodeobtencióndedatos:usodesimulacionesparaestimar{Lj}simesperadosycompararconLobs
θ1m,...,θ p
m
Definición(I)� ConjuntodeNparesindependientesdedatosreales
xi, yi, i=1,…N � Losvaloresdexiestánmedidosconprecisióninfinita� Losvaloresdeyiestánmedidosconunerrorestadísticosupuestogaussianoσi.
� Modelo:� Funciónverosimilitud:
€
L θ1,...,θp( ) =12πσ i
2exp −
yi − f xi;θ1,...,θp( )( )22σ i
2
&
'
( (
)
*
+ +
&
'
( ( (
)
*
+ + + i=1
N
∏
€
y = f (x;θ1,...,θp )
Definición(II)
€
χ2(θ1,...,θp ) =yi − f xi;θ1,...,θp( )
σ i
&
' ( (
)
* + +
2
i=1
N
∑
• Distribucióndeprobabilidadconocida• Esunalog-likelihood~-2lnL+cte • Funciónaminimizarparaencontrarlosparámetrosmásverosímiles• Losvaloresconmáserrorestadísticopesanmenosenelχ2• Enelcasodequetodosloserroresseaniguales(σi=σ)equivaleaunajustepormínimoscuadrados.• Esimportantequelosdatosestén“limpios”.Unsolopuntoerróneamentemedido(“outlier”)puedeafectarseveramentealosparámetrosestimados⇒estimadoresrobustos
TeoremadeWilks� Datos:x1,…xN,muestrasdedensidaddeprobabilidadcualquieraP(xi;θ1,…,θp )
� Parámetros:θ1,…,θp,deloscuales:� θ1,…,θqsonlosquesequierenestimar� θq+1,…,θpsonparámetrosdelmodelocuyovalornointeresa(porejemplosistemáticos,calibraciones,etc.)
� ℓ(θ1T,...,θqT) secomportaasintóticamentecomoχ2conqgradosdelibertad� MódulocorrecionesdeordenN-1/2
� EstadísticodeCashcasoparticular
(θ1T ,...,θq
T ) = −2 lnmaxq+1... p P(xi;θ1
T ,...,θqT ,θq+1,...,θ p )
i=1
N
∏
max1... p P(xi;θ1,...,θ p )i=1
N
∏
#
$
%%%%
&
'
((((
Ejemplo:AjusteaconstanteMínimoscuadrados
f (x;a) = a
χ 2 a( ) = yi − aσ
"
#$
%
&'
2
i=1
N
∑ =yi − a( )2
i=1
N
∑σ 2
mínimo ∂χ 2 a( )∂a
a=a0
= 0 =−2 yi − a0( )
i=1
N
∑σ 2 ⇒ a0 =
yii=1
N
∑N
= y
• Ejemplounidimensional:σi=σ constante• Soluciónanalítica• Mínimoχ2 correspondeconelpromedio
Ejemplo:Ajusteaconstante
f (x;a) = a
χ 2 a( ) = yi − aσ i
"
#$
%
&'
2
i=1
N
∑
mínimo ∂χ 2 a( )∂a
a=a0
= 0 = −2yi − a0( )σ i
2i=1
N
∑ ⇒ a0 =
yiσ i
2i=1
N
∑1σ i
2i=1
N
∑= y
• Ejemplounidimensional• Soluciónanalítica• Mínimoχ2 correspondeconlamediaponderada
Ejemplo:Casolinealf (x;a,b) = a+ bx
χ 2 a,b( ) = yi − a− bxiσ i
"
#$
%
&'
2
i=1
N
∑
mínimo
∂χ 2 a,b( )∂a
a=a0
=∂χ 2 a,b( )
∂bb=b0
= 0 a0 =SxxSy − SxSxy
Δb0 =
SSxy − SxSyΔ
donde
S = 1σ i2
i=1
N
∑ Sx =xiσ i2
i=1
N
∑ Sy =yiσ i2
i=1
N
∑
Sxx =xi2
σ i2
i=1
N
∑ Sxy =xiyiσ i2
i=1
N
∑ Δ = SSxx − Sx2
• Soluciónanalíticaenestecaso• Comprobarquecoincideconmínimoscuadradoscuandoσi=const
Minimizacióndeχ2:casogeneral� Métodoiterativo,basadoen
� Valoresinicialesaproximadosdelosparámetros� Linealizaciónalrededordelmínimodelχ2.� Iteraciónenelespaciodeparámetrosdedimensiónp
€
χ2 θ( ) ≈ χ2 θmin( ) + dk θk −θkmin( )
k=1
p
∑ +
12
Dkj θk −θkmin( )
j=1
p
∑k=1
p
∑ θ j −θ jmin( ) + ...
Aproximacionessucesivas(I)� Mínimolocalimplicadk=0
� Utilizando� Podemosaproximarlavariacióndeχ2por
€
∇aχ2 a( )( )
k= Dkja j
j=1
p
∑
€
χ2 a( ) ≈ χ2 0( ) +12
Dkjaka jj=1
p
∑k=1
p
∑ , a = θ −θmin
€
Δχ2 a( ) ≈ 12∇aχ2 a( ) • a
Aproximacionessucesivas(II)� Paraaproximarnoshaciaelmínimohayquebuscarladireccióndelgradientedeχ2enelespaciodeparámetrosymovernosenlamismadirecciónysentidoopuesto(steepestdescent)poraproximacionessucesivas
€
a ≈ −const.∇aχ2 a( )
Aproximacionessucesivas(III)� Convergenciaynúmerodeiteracionesnecesariasdependende:� Comportamientodelafunciónχ2
� Toleranciaenlaprecisiónrequerida
� Buenaeleccióninicialdeparámetros
Aproximacionessucesivas(IV)� Paraencontrarladireccióndemáximapendiente,sebuscanlosautovaloresdelamatrizHessianaD,yseidentificaelmayor.
� LamatrizHessianasepuedeaproximarusandosóloderivadasprimerasdelmodelo:
€
∂ 2χ2 a( )∂ak∂al
= 2 1σ i2
∂f xi;a( )∂ak
∂f xi;a( )∂al
− yi − f xi;a( )[ ]∂2 f xi;a( )∂ak∂al
&
'
( (
)
*
+ + i=1
N
∑
Despreciablecercadelmínimo
Alterna7vas:simplex� Utilizafigurasimplededimensiónp+1
� Valoresiniciales� Realizaunaseriedeoperacionesbuscandounvalormenordelafunción:� Sevacontrayendoydeformandoadaptándoseal“valle”� Separaalencogersehastaundeterminadotamaño:mínimo
Alterna7vas:fuerzabruta� Fuerzabruta:
� Calcularelvalordeχ2enunaporciónsuficientementegrandedelespaciodeparámetrosyconsuficienteresoluciónparaencontrarelmínimo.
� Sepuedeutilizarestemétodoparaunaestimacióninicialdelosparámetrosydespuésrefinarlasconalgunodelosmétodosanteriores.
� Ojoconlosmínimoslocales,convienerepetirempezandoconotrosvaloresiniciales
Medidacuantitativa
Bondaddeunajusteporχ2 � Cantidadrelacionadaconlaprobabilidaddequelosdatosprovengandeunmodeloconlosvaloresajustados.
� Enningúncasoindicasielajusteesbuenoomalo;lavaloraciónrequiereuncriterioadicionalarbitrario.
� AplicableacualquiermodeladoqueutilizeelmétododemáximaverosimilitudatravésdelTeoremadeWilks
� Basadoenpropiedadesestadísticasdeχ2:sumadevarianzasdevariablesgaussianasindependientes.
Densidaddeprobabilidaddeχ2
€
ρν χ2( ) =
1/2
Γν2& ' ( ) * +
e−χ 2
2 χ2
2&
' (
)
* +
ν2−1
Formulación
� Laprobabilidaddequeelestadísticoχ2supereelvalormínimoalcanzadoχ2
mindebesergrandeparaqueelajusteseabueno(Q)� Equivalentemente,laprobabilidaddeelestadísticoχ2seamenorqueelalcanzadodebeserpequeñaparaqueelajusteseabueno.(P=1-Q)
� Dependedelosgradosdelibertad(degreesoffreedomdof):Númerodedatosindependientes–númerodeparámetrosajustados:ν=N-p
P ν, χ 2( ) = 1Γ ν / 2( )
dt e−t tν /2−10
χ 2 /2
∫ Q ν, χ 2( ) =1−P ν, χ 2( ) = 1Γ ν / 2( )
dt e−t tν /2−1χ 2 /2
∞
∫
BondaddelajusteQ
� Q=1-P=P(H0): H0esqueelmodelocorrespondeconlosdatos� Q<<significaqueelmodelonocorrespondealosdatos� P<<indicaqueelmodelopuedecorresponderalosdatos
� Pnosiempreespequeño,debidoaquelosmodelosraramenteconstituyenunadescripcióncompletadelosdatos.Sigrande:� Modeloincorrecto� σidemasiadopequeños(tambiénpasaqueP<<: σidemasiadograndes)� σinogaussianos
� Aproximaciónconservadora:LaprobabilidadQdebesermuypequeña(<0.01%)paraquesepuedaafirmarqueelmodelonoesconsistenteconlosdatos.
P ν, χ 2( ) = 1Γ ν / 2( )
dt e−t tν /2−10
χ 2 /2
∫ Q ν, χ 2( ) =1−P ν, χ 2( ) = 1Γ ν / 2( )
dt e−t tν /2−1χ 2 /2
∞
∫
Q
Q
SignificadodeQ (http://astronomy.swin.edu.au/~cblake/stats.html)
� SupongamosqueuntestdaQ=0.01 � Estosignifica:
� Hayunaprobabilidaddel 1%deobtenerunconjuntodemedidastandiscrepantesomásqueestassielmodeloescorrecto
� EstoNOsignifica:� Laprobabilidaddequeelmodeloesverdaderoes1% � Laprobabilidaddequeelmodeloesfalsoes99% � Sirechazamoselmodelohayunaprobabilidaddel1%deequivocarnos
� LaestadísticaBayesianarespondeaestetipodecuestiones
χ2reducido
� Paravaloresgrandesdelnúmerodegradosdelibertadν,elvalormediodeχ2esν� Intuitivamente,cadagradodelibertadcontribute~1
� Elmáximotambién~ν� Lavarianzaes2ν
� Uncriterioindicativodeunbuenajusteesqueχ2red=χ2/νseadelordendelaunidad.
¿Esunmodelomejorqueotro?� Preguntapocointeresante,salvoqueunmodelorepresentelaextensióndeotro,conelmismoconjuntodedatos:� Modelo1:Ndatos,p1parámetros,ν1=N-p1,χ21� Modelo2:Ndatos,p2parámetros,ν2=N-p2,χ22
� Lógicamenteañadiendoparámetrosalmodeloyminimizandosedebenobtenervaloresmenoresdelχ2� Sip2>p1entoncesχ22<χ21
F-test� ElestadísticoFenestecasosedefinecomo
� Paraqueelmodelo2mejoreel1,laprobabilidadPdebeserpequeña
� Ahoranomultiplicamospor2porqueeltestesunilateral
F =
χ12 − χ2
2
ν1 −ν2χ22
ν2
P H0 ≡ equivalentes( ) = I ν2ν2+(ν1−ν2 )F
ν22,ν1 −ν2
2#
$%
&
'(
Mejoradelmodelo:guíaprác7ca� Concepto:Lainclusióndeunnuevoparámetroenelmodelodebebajarelvalordelχ2en“varias”unidadesparasersignificativa:� Unparámetro“ad-hoc”siemprepuedeanularlacontribucióndeundatoalχ2,esdecirΔχ2~1enunmodelobueno
� Unamejorasignificativa(an-sigma,conn=295%,n=399.73%,etc)debemejoraralrededordeΔχ2~n2×Δp
Intervalosdeconfianza
Obje7vo� Asignarerroresestadísticosalosparámetrosestimadosmediantelaminimizacióndelχ2
� Intervalosdeconfianza:zonasdelespaciodeparámetrosdentrodelascualesseencuentranlosvaloresverdaderosdelosparámetrosconaltaprobabilidad:� 1-sigma68.3%(erroresestándar)� 90%� 2-sigma95.4%
Intervalosyzonasdeconfianza
Lagranventaja:Métododevariacióndelχ2� Lazonaencerradaporχ2min+Δχ2contieneunaprobabilidadconocidaytabuladadecontenerlosvaloresdelosparámetros� Dependedelnúmerodeparámetroscuyosintervalosdeconfianzaquieranobtenersesimultáneamente
1σ(68.3%)Δχ2=2.30
2σ(95.4%)Δχ2=6.17
3σ(99.73%)Δχ2=11.8
Métododevariacióndelχ2Númerodeparámetrossobrelosqueobtenerelerrorsimultáneamente
Probabilidadencerrada
1parámetro 2parámetros
68.3%(1σ) 1.00 2.30
90.0% 2.71 4.61
95.4%(2σ)
4.00 6.17
99% 6.63 9.21
99.73%(3σ)
9.00 11.8
Δχ2
Ejemplo(1parámetro)
€
τGP = 0.04−0.03+0.02 (2σ )
τGP = 0.04−0.01+0.01 (1σ )
Ejemplo:AjusteaconstanteMínimoscuadrados
f (x;a) = a
χ 2 a( ) = yi − aσ
"
#$
%
&'
2
i=1
N
∑ =yi − a( )2
i=1
N
∑σ 2
mínimo ∂χ 2 a( )∂a
a=a0
= 0 =−2 yi − a0( )
i=1
N
∑σ 2 ⇒ a0 =
yii=1
N
∑N
= y
Δχ 2 =1=yi − a1σ( )2
i=1
N
∑σ 2 −
yi − y( )2
i=1
N
∑σ 2 =
N a1σ − y( )2
σ 2 ⇒ a1σ = y ±σN≅ y ± s
N
• Ejemplounidimensional:σi=σ constante• Soluciónanalítica• Mínimoχ2 correspondeconelpromedio• ErrorΔχ2(1σ)correspondeconelerror
enelpromedio
Ejemplo(1parámetro):Ajusteaconstante
f (x;a) = a
χ 2 a( ) = yi − aσ i
"
#$
%
&'
2
i=1
N
∑
mínimo ∂χ 2 a( )∂a
a=a0
= 0 = −2yi − a0( )σ i
2i=1
N
∑ ⇒ a0 =
yiσ i
2i=1
N
∑1σ i
2i=1
N
∑= y
Δχ 2 =1= yi − a1σ
σ i
"
#$
%
&'
2
i=1
N
∑ −yi − yσ i
"
#$
%
&'
2
i=1
N
∑ =1σ i
2i=1
N
∑"
#$
%
&' a1σ − y( )
2⇒ a1σ = y ±
11σ i
2i=1
N
∑= y ±σ y
• Ejemplounidimensional• Soluciónanalítica• Mínimoχ2 correspondeconlamediaponderada• ErrorΔχ2(1σ)correspondeconelerrordelamediaponderada
Parámetros“nointeresantes”� Amenudolosmodeloscontienen
parámetros“nointeresantes”� Ejemplo:calibración
� Sepuedereducirladimensionalidadminimizandosobrelosparámetros“nointeresantes”:TeoremadeWilks
� LosΔχ2correspondientesdebenserlosdelnúmerodeparámetrosrestantes� Loserroressobre1parámetrono
seobtienendeproyectarlosintervalosdeconfianzade2parámetros
� HayqueproyectarelcontornocorrespondienteaΔχ2=1(para1σ),4(para2σ)...
Lamptonetal(1976),ApJ,208,177
Erroresconparámetros“nointeresantes”
� Considéreseunmodelocon2parámetrosajustados(θ1,θ2),delosquesolointeresaestimar(conerrores)θ1.
€
χ12 θ1( ) =minθ 2 χ
2(θ1,θ2)
€
χ12 θ1( ) ≠ χ2 θ1,θ2min( )
Sí
No
=θ1
=θ2
� Minimizarχ2(θ1,θ2)respectoalosdosparámetros,obteniéndose(θ1
min,θ2min)
� Construirlafunción
� “Siguiendoelvalle”:paracadavalordeθ1hayqueencontrarelθ2queminimizaχ2
� Importante:NOUTILIZAR
� Estafunciónesmínimaparaθ1min
� Loserroresenθ1sedebenconstruirusandoχ21(θ1)usandolosvaloresdeΔχ2paraunsoloparámetro.
Ejemplo:Casolinealsisolointeresalapendientef (x;a,b) = a+ bx
χ 2 a,b( ) = yi − a− bxiσ i
"
#$
%
&'
2
i=1
N
∑
mínimo para b fija∂χ 2 a,b( )
∂aa=amin
= 0 ⇒ amin (b) =SyS− b Sx
S= A− bB ,amin (b0 ) = a0
⇒ χ 2 b( ) = yi − amin (b)− bxiσ i
"
#$
%
&'
2
i=1
N
∑
mínimo absoluto∂χ 2 b( )∂b
b=b0
= 0 ⇒ b0 =SSxy − SxSy
Δ, χmin
2 = χ 2 (b0 )
χ 2 b( ) = χmin2 +
b− b0
σ 0
"
#$
%
&'
2
, 1σ 0
2 = Sxx −Sx
2x
S⇒ δ = Δχ 2 =
bδ − b0
σ 0
"
#$
%
&'
2
, bδ = b0 ±σ 0 δ
• Soluciónanalíticaenestecaso• Alminimizarena,quedaunafunción
únicamentedeb,queesunaχ2 (ν=1) • Elmínimoabsolutoeselmismoqueencaso
dedosparámetros,porsupuesto• χ2(b) esunaparábolacentradaenb0:
intervalosdeconfianzasimétricos
Ejemplo:UsodeΔχ2(http://astronomy.swin.edu.au/~cblake/stats.html)
� Ajusteaunarectay=ax+bporχ2:� a0=0.16 b0=0.83 χ2
min=4.28 � Cálculodeχ2enunamatrizdevalores(ai,bi)
� Intervalosdeconfianza2Dcomocontornosdeχ2 constante
� Intervalosdeconfianza1Dminimizandoen1Dparaunpar.fijo
Ejemplo(2parámetros)I(Sección2)� Estudiodelascuentasdegalaxiasendistintaszonasdelcielo
� Seencontróquehabíaunavarianzaenexcesoconrespectoalaesperadaporelnúmerodefuentes
� Estudiadaconlalog-likelihood:
� Seencuentraelmínimo(mejorajuste)� ParalosintervalosdeconfianzaseestudianloscontornosdeΔℓ"(~Δχ2)
=xi − x( )
2
σ i2 +σ 2
i∑ + Ln 2π σ i
2 +σ 2( )#$
%&
i∑
Ejemplo(2parámetros)II(Sección2)� Contornos2D:usandovaloresdeΔχ2paradosgradosdelibertad(1,2,3σ=2.30,6.17,11.8)� Deteccióndedispersiónintrínsecamuysignificativaporquecontornosnoincluyenorigendeejedeordenadas
� Peroparaobtenerintervalosdeconfianzaencadaparámetrohayque:� UsarΔχ2para1gradodelibertad(1,2,3σ=1.00,4.00,9.00)
� “seguirelvalle” χ2min= χ2(99.3,19.8)
Ejemplo(2parámetros)III(Sección2)� FijandolosvaloresdelpromedioybuscandoloscorrespondientesmínimosenΔχ2:� promedio=99.3±0.7(1sigma)
� FijandolosvaloresdeladispersiónintrínsecaybuscandolosmínimosenΔχ2:� dispersión=19.8±0.6(1sigma)
χ2min= χ2(99.3)
χ2min= χ2(19.8)
“Calibración”deΔχ2
� Siloserroresnosongaussianos:� Sesiguepudiendousarχ2paraencontrarlosvaloresdelmejorajuste
� SepuedeusarΔχ2paradelimitarlosintervalosdeconfianza
� NOsepuedenusarlasequivalenciasdeΔχ2conlasprobabilidadesdelatablaanterior
� ¿CómopodemosencontrarlosintervalosdeΔχ2quecorrespondenacadaprobabilidad?� SimulacionesdeMonteCarlo� UsodeP∝exp(-Δχ2/2)
ConceptoymétododeMonte-Carlo� Hipótesis:
� Elmodeloescorrecto� SiθV
1,…,θVpsonlosvalorescorrectos(desconocidos)del
modeloyθmin1,…,θmin
psonlosvaloresobtenidosporlaminimizacióndelχ2,ladistribuciónenθ-θVeslamismaqueenθ-θmin.
� Supongamosmodeloyparámetrosθmin1,…,θmin
p� SimularNconjuntosdeNdatos(xi(k),yi(k),σi
(k),i=1,…N)
� Ajustaracadasimulación(k=1,…, N)elmodelomidiendoparámetrosθ(k)
1,…,θ(k)p
� UsarlosNvaloresdeθ(k)j(k=1,…, N)paradeterminarla
funcióndensidaddeprobabilidaddelparámetroθj,suponiendoqueelvalorverdaderoesθmin
j� Calcularintervalosycontornosdeconfianzausandoqueladistribuciónalrededordeθmin
jeslamismaquealrededordeθV
jparacadaparámetroj=1,…p
EsquemamétodoMC
Simulaciónk=1
Simulaciónk=N
Parámetrosajustados:θ(1)
1,…θ(1)p
Parámetrosajustados:θ(N)
1,…θ(N)p
Suponermodeloypar.θmin
1,…θminp
θ1
p(θ 1)
θ1min
θpp(θ p)
θpmin
MétodoMC(II)� Zonacentradaenθ1
min,…θp
min,queincluyalaprobabilidaddeseada,ylimitadaporχ2=cteeszonadeconfianza� Tambiénsuusandolog-likelihood:ℓ cte
� SiN>>eidénticamentedistribuidos:bootstrap� Noválidoporejemploparaespectros...
95%delassimulaciones
χ2=cte
Probabilidadesapar7rdeΔχ2 o Δℓ� Sepuedeobtenerlaprobabilidadapartirdelaverosimilitud� Sesueledividirlaverosimilitudporsuvalormáximo
� Técnicageneraldeprobabilidades:seintegraatodoelespaciodecadaparámetro“nointeresante”
� Senormalizaalespaciodelosparámetros“interesantes”,demaneraque
� Yestaprobabilidadseusadirectamente:� Moda:máximaprobabilidad,mejorajuste� Intervalosdeconfianza
P(θ1 ,...,θq ) = dθq+1∫ ... dθ p∫ P(θ1 ,...,θq,θq+1,...,θ p )
P(θ1 ,...,θ p )∝ exp(−Δ(θ1 ,...,θ p ) / 2)
1= dθ1∫ ... dθq∫ P(θ1 ,...,θq )
Ejemplo:UsodeΔℓ (http://astronomy.swin.edu.au/~cblake/stats.html)
� P(a,b)∝exp(- Δχ2(a,b)/2) � Normalizando∑i∑j P(ai,bj)=1
� P(a)=∑j P(a,bj) � P(b)=∑iP(ai,b)
Pressetal.(1992),“NumericalRecipes”,CUP
Introducción� Ocurreamenudoquelasmedidasenxeyestánsujetasaerroresenamboscasos,i.e.losdatosson:� x1,…,xNconerroresσxi,…,σxNrespectivamente� y1,…,yNconerroresσyi,…,σyNrespectivamente
� Siseusaχ2paraajustaryfrenteax(ignorandoloserroresenx)saleunresultadodistintoaajustarxfrenteay,ignorandoloserroreseny.
Funcióndeverosimilitud
€
L =12πσ xii=1
N
∏ 12πσ yi
exp −12
x − xiσ xi
&
' (
)
* +
2
+y − yiσ yi
&
' (
)
* +
2&
'
( (
)
*
+ +
&
'
( (
)
*
+ +
Modelo:Unarelaciónentrexey,conparámetrosadeterminar(porejemploy=f(x))
Máximaverosimilitud:minimizarloski2conla
condicióny=f(x)
€
ki2 =
(x − xi)2
σ xi2 +
(y − yi)2
σ yi2
Regresiónlineal� Minimizarloski
2conlacondicióny=a+bx� Enelespacio(x,y)cadavalordeki
2defineunaelipsecentradaen(xi,yi),tantomayorcuantomayoreski
2� Elvalordeki
2mínimocompatibleconelmodelo,correspondealaelipsetangentealarecta.
y
x
k12>k2
2>k32
Regresiónlineal:Solución
ki2 =
yi − a− bxi( )2
σ yi2 + b2σ xi
2
Setrataportantodeminimizarlasiguientefunciónχ2
€
χ2 a,b( ) =yi − a − bxi( )2
σ yi2 + b2σ xi
2i=1
N
∑
LasoluciónnoesanalíticanitansiquieraenelcasolinealLoserroresenx“contribuyen”aloserroresdelχ2peroatravésdelparámetrob
Sustituyendoy=a+bxenlaexpresióndeki2,buscandounasoluciónúnica
parax(rectatangente):
Ejemplo:Regresiónlinealconerroresenambasvariablesy
pendienteunidad
f (x;a,b) = a+ x
χ 2 a( ) = yi − a− xiσ yi
2 +σ xi2
"
#$$
%
&''
2
i=1
N
∑
mínimo ∂χ 2 a( )∂a
a=a0
= 0 = −2yi − a0 − xi( )σ yi
2 +σ xi2
i=1
N
∑ ⇒ a0 =
yi − xi( )σ yi
2 +σ xi2
i=1
N
∑
1σ yi
2 +σ xi2
i=1
N
∑=TS
Δχ 2 =1= yi − a1σ − xiσ yi
2 +σ xi2
"
#$$
%
&''
2
i=1
N
∑ −yi − a0 − xiσ yi
2 +σ xi2
"
#$$
%
&''
2
i=1
N
∑ = S a1σ − a0( )2⇒ a1σ = a0 ±
1S
• Ejemplo:b=1 constante• Soluciónanalítica• Mínimoχ2 ~media ponderada• ErrorΔχ2(1σ)~errormediaponderada
Ejercicio4� ArchivoEjercicio4_Datos.xls
http://venus.ifca.unican.es/~carreraf/Estadistica/Ejercicios!
� En ese fichero hay una tabla que contiene la cantidad denoches perdidas por mal tiempo en un observatorioastronómico, por meses y años. En este ejercicio sepretendeanalizartantolaposiblevariaciónestacionalcomoa largo plazo de la fracción de noches que se pierden pormaltiempo.
Ejercicio4.11. Considerando los distintos meses de cada año como muestras estadísticas
independientes, calcular la fracción de noches perdidas pormal tiempo cadaaño (hay que tener en cuenta que los meses tienen un número de nochesdistinto), y estimar la dispersión cuadrática media en dicha cantidad,suponiendo que sea gaussiana. Con esto se consigue una secuencia de datosxi,yi,σi (dondexieselaño,yilafraccióndenochesperdidaspormaltiempoeseaño,σisuerrorestadístico)alosquesepuedeaplicarlaestadísticaχ2.a. Suponiendo que la fracción de noches perdidas no varía con el año (constante)
estimaresevalorconstante,ydarsuintervalodeconfianzaal90%usandoelmétododevariacióndelχ2.
b. Calcular la bondad del ajuste, es decir la probabilidad de queχ2 seamayor que elmedidoenelsupuestodequeelmodeloseacorrecto.
c. Unmodelodecambioclimáticosimple,prediceque la fraccióndenochesperdidaspormaltiempocrecelinealmenteconeltiempo(años).Ajustarunarecta(constantemás pendiente), estimar los dos parámetros minimizando el χ2. Dar intervalos deconfianzaal90%yal99%delapendientedeesteajuste.
d. UsandoelestadísticoF-test,¿conquéprobabilidadlamejoraenelχ2introducidaporelmodelodelapartadoanteriormejoraelmodeloconstante?
Ejercicio4.22. Considerarahoralavariaciónestacional,esdecirmesames,calculando
para cadames la fracción de noches perdidas pormal tiempo, usandotodos los añosdisponibles, y estimando la dispersión cuadráticamediaenestamedidasuponiendogaussianidad.a. ¿Sonlosdatoscompatiblesconquenohayavariaciónestacional(mesames?
Para ello ajustar una constante y calcular la probabilidad de que el χ2 seamayorqueelmedidosielmodeloescorrecto.
b. Suponerahoraunmodeloenelque la fraccióndenochesperdidaspormaltiempo es una constante más una sinusoide de período anual (12 meses).Calcular los parámetros de este modelo (3 parámetros libres en total: laconstantefc,laamplituddelasinusoidefe yelorigent0).Estimaral90%deconfianza, el valor de la amplitud de la componente estacional eindependientemente,delacomponenteconstante.
f=fc+fesin(2π(t-t0)/τ)c. Considerando los dos parámetros de amplitud fc y fe simultáneamente,
delimitar(usandoelmétododelavariacióndelχ2)lazonaeneseespaciodeparámetrosquecontieneel95.4%deconfianza.
https://heasarc.gsfc.nasa.gov/xanadu/xspec/manual/XSappendixStatistics.html!
Introducción� OcurreamenudoquesemideunavariablediscretasobreunfondoconunnúmeromediodecuentasquenojustificaunaaproximaciónGaussiana
� Enestascircunstancias,seusaunestadístico~Cash� Definiciones:
� SemidenBcuentasenelfondoduranteuntiempotb � SemidenTcuentastotalesduranteuntiempots � Latasadecuentasdelfondoesb(parámetronointeresante)
� Latasadecuentasdelafuenteess (parámetroadeterminar)
MínimoscuadradosI� Entérminosdeχ2:� Denuevo,besunparámetronointeresante,paracadascalculamoselfondob0queminimizalafunción
� Yentonces
LS(s,b) = T − ts (s+ b)[ ]2 + B− tbb( )2
∂LS(s,b)∂b b=b0
= 0⇒ b0 (s) =(Tts +Btb )− ts s
ts2 + tb
2 =αs+β
LS(s) = T − ts s+ b0 (s)[ ]{ }2+ B− tbb0 (s)[ ]2
MínimoscuadradosII� Cuyomínimos0secalculamediante:
� Casomássencillo:ts=tb=t
∂LS(s)∂s s=s0
= 0⇒ s0 =(1+α)ts (T − tsβ)+αtb(B− tbβ)
(1+α)2 ts2 +α 2tb
2
b0 (s) =(T +B)− st
2t=(T +B)2t
−s2=αs+β α = −1/ 2
β = (T +B) / 2t
⎧⎨⎪
⎩⎪
s0 =
t2T − T +B
2⎛
⎝⎜
⎞
⎠⎟+ −
t2
⎛
⎝⎜
⎞
⎠⎟ B−
T +B2
⎛
⎝⎜
⎞
⎠⎟
t2
4+t2
4
=T −Bt
b0 (s0 ) = −12T −Bt
+T +B2t
=2B2t
=Bt
χ2I� Entérminosdeχ2:� Denuevo,besunparámetronointeresante,paracadascalculamoselfondob0queminimizalafunción
� Yentonces
χ 2 (s,b) =T − ts (s+ b)[ ]2
T+B− tbb( )2
B
∂χ 2 (s,b)∂b b=b0
= 0⇒ b0 (s) =(ts + tb )− ts
2s /Tts2 /T + tb
2 / B=αs+β
χ 2 (s) =T − ts s+ b0 (s)[ ]{ }
2
T+B− tbb0 (s)[ ]2
B
χ2II� Cuyomínimos0secalculamediante:
� Casomássencillo:ts=tb=t
∂χ 2 (s)∂s s=s0
= 0⇒ s0 =
(1+α)tsT
(T − tsβ)+tbαB(B− tbβ)
(1+α)2 ts2
T+α 2tb
2
B
b0 (s) =1t2− ts /T1/T +1/ B
=αs+βα = −
1/T1/T +1/ B
β =2 / t
1/T +1/ B
⎧
⎨⎪⎪
⎩⎪⎪
s0 =1t
1/ B1/T +1/ B⎛
⎝⎜
⎞
⎠⎟ T −
21/T +1/ B
⎛
⎝⎜
⎞
⎠⎟+ −
1/T1/T +1/ B
⎛
⎝⎜
⎞
⎠⎟ B−
21/T +1/ B
⎛
⎝⎜
⎞
⎠⎟
1/ B1/T +1/ B⎛
⎝⎜
⎞
⎠⎟2
+1/T
1/T +1/ B⎛
⎝⎜
⎞
⎠⎟2 =
T −Bt
b0 (s 0 ) = −1/T
1/T +1/ BT −Bt
+2 / t
1/T +1/ B=1tB /T +11/T +1/ B
=1tB /T +B / B1/T +1/ B
=Bt
FuncióndeverosimilitudI� Lasdosmedidassonindependientes,asíquelaprobabilidadconjuntaes:
� Denuevo,usamoslalog-likelihoodℓ=-2LnP� Salvoconstantes:
ℓ=-2{T Ln[ts(s+b)]-ts(s+b)+B Ln(btb)-btb}� besunparámetronointeresante,paracadascalculamoselfondob0queminimizalafunción
P(s,b) =ts (s+ b)[ ]T e−ts (s+b)
T !×tbb[ ]B e−tbb
B!
∂(s,b)∂b b=b0
= 0
FuncióndeverosimilitudII
� Trasunpocodeálgebra:
� Elmejorajustepara sesentonceselmínimode:
ℓ=-2{T Ln[ts(s+b0)]-ts(s+b0)+B Ln(b0tb)-b0tb}� Intervalosdeconfianzaen sdadosporΔℓ=Δχ2(ν=1)
b0 =d + (T +B)− s(ts + tb )
2(ts + tb )d = T +B( )− s ts + tb( )"# $%
2+ 4TB(ts + tb ) b0 ≥ 0
FuncióndeverosimilitudIII� Casos especiales:
� T=0: b0=B/(ts+tb) ⇒ℓ=2{sts+B+B Ln[Btb/(ts+tb)]} � mínimos0=0:Δℓ=1⇒s1σ<1/2ts límitesuperior1σ
� B=0:b0=T/(ts+tb)-s≥0 dosposibilidades� s≤T/(ts+tb): ℓ=2{-stb+T-TLn[Tts/(ts+tb)]}↓s↑⇒ mínimo s0=T/(ts+tb) ⇒ b0=0
� b0=0: ℓ=2{sts-TLn[sts]} ⇒ mín s0=T/ts � Δℓ=1=2{s1σts-TLn[s1σts]-T+TLnT} � Solución:raícesdex-Lnx-a=0
� x=s1σts/T � a=1+1/2T>1� Funciónproducto-logx=-W(-e-a)
� Dosraícespara a>1 � Para T=1: a=1.5 raíces x=0.30, 2.36 � Para T>1 lasraícesseaproximanmás
� Acotado por x=0 por abajo
http://www.wolframalpha.com!
FuncióndeverosimilitudIV� Casos especiales:
� B=0:b0=0 ⇒ℓ=2{sts-TLn[sts]} � mínimo s0=T/ts: Δℓ=1 � Solución:raícesdex-Lnx-a=0
� x=s1σts/T � a=1+1/2T>1� ForT>> x=1±ε , Ln(1±ε)~±ε-ε2/2
� 1±ε-±ε+ε2/2=1+1/2T⇒ε=±√T � s1σ=s0±√T/ts errorgaussiano
http://www.wolframalpha.com!
Ejemplo:regímenesPoissonianoyGaussiano
� Doscasos:� B=2, tb=2s y T=3, ts=2s
� s0=0.5, b0=1 � intervalo Δℓ=9: Pois [0,5.02] Gaus [0,3.85]
� B=20, tb=20s y T=30, ts=20s � s0=0.5, b0=1 � intervalo Δℓ=9: Pois [0,1.63] Gaus [0,1.56]
Ejemplo:regímenesPoissonianoyGaussiano
� LimitacionesdeΔℓ=Δχ2 paradeterminarlosintervalosdeconfianza:� Cuandoestamoscercadellímitededefinicióndeunodelosparámetros(latasadecuentassnopuedesernegativa)
� PorqueΔχ2asignaprobabilidadazonasnoútiles
Ejemplo:regímenesPoissonianoyGaussiano
� CalculandolaprobabilidadcomoP(s)∝exp(-Δℓ/2) � NormalizandoPℓ(s)as>0:
� Parabajonúmerodecuentas:probabilidadmuchomásextendidaavaloresgrandesdes
� Paraaltonúmerodecuentas:muchomássimilares