Modelos Estocasticos

5/22/2018 Modelos Estocasticos

1/62

Modelos Estocasticos

Javier Pereira1, Fernando Paredes2,

Macarena Donoso2

1Escuela de Ingeniera Informatica

Universidad Diego Portales2Escuela de Ingeniera Industrial

Universidad Diego Portales

Avenida Ejercito 441

Santiago

2010


2/62

2


3/62

Indice general

1. Revision de conceptos de probabilidades 41.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.1.1. Medida de probabilidad . . . . . . . . . . . . . . . . . . . 51.1.2. Probabilidad condicional . . . . . . . . . . . . . . . . . . . 61.1.3. Independencia . . . . . . . . . . . . . . . . . . . . . . . . 61.1.4. Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . 7

1.2. Variables aleatorias . . . . . . . . . . . . . . . . . . . . . . . . . . 71.2.1. Variables aleatorias discretas . . . . . . . . . . . . . . . . 81.2.2. Variables aleatorias continuas . . . . . . . . . . . . . . . . 81.2.3. Esperanza y momentos de una variable aleatoria . . . . . 9

1.3. Transformadas de una variable aleatoria . . . . . . . . . . . . . . 91.3.1. Transformadas . . . . . . . . . . . . . . . . . . . . . . . . 91.3.2. Transformadaz . . . . . . . . . . . . . . . . . . . . . . . . 10

1.4. Expresiones para variables aleatorias . . . . . . . . . . . . . . . . 101.4.1. Probabilidad conjunta . . . . . . . . . . . . . . . . . . . . 10

Variables aleatorias discretas . . . . . . . . . . . . 10Variables aleatorias continuas . . . . . . . . . . . . 11Covarianza y coeficiente de correlacion . . . . . . . 11

1.4.2. Suma de dos variables aleatorias . . . . . . . . . . . . . . 111.5. Distribuciones de probabilidad . . . . . . . . . . . . . . . . . . . 12

1.5.1. Distribucion de Bernoulli . . . . . . . . . . . . . . . . . . 121.5.2. Distribucion Binomial . . . . . . . . . . . . . . . . . . . . 131.5.3. Distribucion Geometrica . . . . . . . . . . . . . . . . . . . 131.5.4. Distribucion de Pascal . . . . . . . . . . . . . . . . . . . . 141.5.5. Distribucion de Poisson . . . . . . . . . . . . . . . . . . . 141.5.6. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 141.5.7. Distribucion de Erlang . . . . . . . . . . . . . . . . . . . . 151.5.8. Distribucion Normal . . . . . . . . . . . . . . . . . . . . . 15

2. Procesos Estocasticos 172.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.2. Procesos estocasticos estacionarios . . . . . . . . . . . . . . . . . 19

2.2.1. Proceso estocastico estacionario en sentido estricto . . . . 192.2.2. Proceso estocastico estacionario en sentido amplio . . . . 19

1


4/62

2.3. Continuidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.4. Procesos de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.4.1. Proceso de Poisson . . . . . . . . . . . . . . . . . . . . . . 202.4.2. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 20

3. Simulacion 223.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233.2. Proceso de Simulacion . . . . . . . . . . . . . . . . . . . . . . . . 233.3. Simulacion de Monte Carlo . . . . . . . . . . . . . . . . . . . . . 24

3.3.1. Generacion de numeros aleatorios . . . . . . . . . . . . . . 253.3.2. Numeros aleatorios con distribucion especfica . . . . . . . 25

Metodo de transformada inversa . . . . . . . . . . 25Distribucion normal . . . . . . . . . . . . . . . . . 26Distribucion chi-cuadrado . . . . . . . . . . . . . . 27

3.3.3. Ajuste de Distribuciones . . . . . . . . . . . . . . . . . . . 27T-test . . . . . . . . . . . . . . . . . . . . . . . . . 27Kolmogorov-Smirnov . . . . . . . . . . . . . . . . . 28

4. Modelos de Filas de Espera 304.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314.2. Modelo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.2.1. Modelo General: Nacimiento y Muerte . . . . . . . . . . . 314.2.2. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 32

4.3. (M/M/1 :DG//) . . . . . . . . . . . . . . . . . . . . . . . . 334.3.1. Determinacion den y n . . . . . . . . . . . . . . . . . . 334.3.2. Determinacion depn en funcion dep0 . . . . . . . . . . . 344.3.3. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 34

4.4. (M/M/1 :DG/N/

) . . . . . . . . . . . . . . . . . . . . . . . . 354.4.1. Determinacion den y n . . . . . . . . . . . . . . . . . . 354.4.2. Determinacion depn en funcion dep0 . . . . . . . . . . . 354.4.3. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 35

4.5. (M/M/c: DG//) . . . . . . . . . . . . . . . . . . . . . . . . 364.5.1. Determinacion den y n . . . . . . . . . . . . . . . . . . 364.5.2. Determinacion depn en funcion dep0 . . . . . . . . . . . 374.5.3. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 37

5. Procesos de Markov 385.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

5.1.1. Estructura de un proceso de Markov . . . . . . . . . . . . 415.1.2. Algunas aplicaciones de procesos de Markov de tiempo

discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415.1.3. Algunas aplicaciones de procesos de Markov de tiempocontinuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

5.1.4. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . 435.2. Cadenas de Markov de tiempo discreto . . . . . . . . . . . . . . . 45

5.2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . 45

2


5/62

5.2.2. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . 455.2.3. Teoremas de cadenas de Markov . . . . . . . . . . . . . . 47

Forma Canonica de una cadena absorbente . . . . . . . . 47Teorema de cadenas regulares . . . . . . . . . . . . . . . . 48Corolario (calculo del lmite de la probabilidad de estado ) 50

5.2.4. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . 525.3. Cadenas de Markov de tiempo continuo . . . . . . . . . . . . . . 53

5.3.1. Definicion . . . . . . . . . . . . . . . . . . . . . . . . . . . 535.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo . 545.3.3. Propiedad de falta de memoria . . . . . . . . . . . . . . . 545.3.4. Procesos estacionarios . . . . . . . . . . . . . . . . . . . . 55

5.4. Cadenas de Markov con recompensa . . . . . . . . . . . . . . . . 575.4.1. Proceso con recompensa . . . . . . . . . . . . . . . . . . . 575.4.2. Proceso de decision markoviano . . . . . . . . . . . . . . . 58

Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3


6/62

Captulo 1

Revision de conceptos de

probabilidades

4


7/62

1.1. Introduccion

1.1.1. Medida de probabilidad

En la teora de probabilidades, un experimento es cualquier proceso de prue-ba y observacion. Un experimento con un resultado incierto es llamado unexperi-mento aleatorio. El conjunto de resultados posibles de un experimento aleatorioes llamado el espacio de muestra, denotado por . Cada resultado wi de unexperimento aleatorio es llamado un punto de muestra. Si el conjunto de losresultados de un espacio de muestra es numerable, entonces para n resultadosposibles se puede definir ={w1, w2, . . . , wn}.

Un evento es la ocurrencia de uno o varios de los resultados posibles deun experimento. Entonces, un evento es un subconjunto del espacio muestral.Por ejemplo, en el caso de un experimento del lanzamiento de un dado, losresultados posibles son representados por =

{1, 2, 3, 4, 5, 6

}, mientras que

un evento puede ser el conjunto E={2, 3, 5}. Si el experimento consiste en ellanzamiento de dos monedas al aire, cada una con resultado cara (C) y sello(S), se tiene ={(C, C), (C, S), (S, C), (S, S)}; el evento hay al menos unacara en el resultado queda representado por E={(C, C), (C, S), (S, C)}.

SeanA y B dos eventos definidos sobre . Entonces, usualmente se definenlos siguientes eventos:

A B, union de los puntos muestrales de los eventos A y B .A B, interseccion de los puntos muestrales de los eventos A y B .A B, puntos de A no contenidos en B .

SeaFuna familia de subconjuntos de con las propiedades siguientes:

1. F y F.2. Si A F, entonces A F, donde A es el complemento de A, i.e., A =

F A.3. F es cerrado frente a la union y la interseccion. Si A1, A2, . . . , Ak perte-

necen aF, entoncesk

i=1 Ai yk

i=1 Ai tambien estan en F.

El conjuntoFes llamado una-algebra. Una medida de probabilidad defini-da sobre una -algebraFde es una funcion que mapea elementos de F en elintervalo cerrado [0, 1]. De esta manera, la probabilidad de un evento AF serepresenta porP[A]. La medida de probabilidad satisface los siguientes axiomas

de Kolmogorov:1. 0P[A]1.2. P[] = 1.

5


8/62

3. Dados los conjuntos disjuntosA1, A2, . . . , AkF,

P[A1 A2 . . . An] = P[A1] + P[A2] + . . . + P[An].

La tripla (, F , P ) es llamada unespacio de probabilidad. Algunas propieda-des adicionales de una medida de probabilidad son las siguientes:

1. P[A] = 1 P[A].2. P[] = 0.3. Si AB, entonces P[A]P[B].4. Dados A y B cualesquiera,

P[A] = P[A B] + P[A B].5. Dados A y B cualesquiera,

P[A B] = P[A] + P[B] P[A B].

1.1.2. Probabilidad condicional

SeanA, BFdos eventos. La probabilidad condicional de A dado el eventoB, denotada como P[A|B], es definida por:

P[A|B] = P[A B]P[B]

.

Consideremos el ejemplo del lanzamiento de dos dados. Si A es el evento queel resultado es 7 yB el evento que el primer dado resulta 4. Entonces, se verificalo siguiente:

P[A|B] = P[{4, 3}]P[{4, 1}] + P[{4, 2}] + P[{4, 3}] + P[{4, 4}] + P[{4, 5}] + P[{4, 6}] ,

= 1/36

1/6 =

1

6.

1.1.3. Independencia

Dos eventos A y B se dicen independientes si P[A

|B ] = P[A]. De esto se

desprende:

P[A|B] = P[A]=

P[A]P[B]

P[B] ,

6


9/62

con lo cual es inmediato,

P[A B] = P[A]P[B]

1.1.4. Teorema de Bayes

Sea{A1, A2, . . . , An}una particion del espacio , es decir:

Ai, i= 1, . . . , n,Ai Aj =, i , j= 1, . . . , n , i=j ,A1 A2 . . . An= .

Entonces, si P[A]= 0, i= 1, . . . , n, la expresion

P[A] =ni=1

P[A|Ai]P[Ai]

se dice la probabilidad total de A. Ahora, suponiendo que el evento A hasucedido, pero no se conoce cual de los eventos Ak ocurrio

1. Entonces, la pro-babilidad de queAk ocurrio dado queA sucedio queda expresada por

P[Ak|A] = P[Ak A]ni=1 P[A|Ai]P[Ai]

.

Sabiendo queP[A|Ak] = P[Ak A]/P[Ak], se puede escribir

P[Ak|A] = P[A|Ak]P[Ak]ni=1

P[A|

Ai]P[A

i].

Esta es llamada laregla de Bayes. En esta formulaP[Ak] es llamadaprobabi-lidad a priori, mientras que P[Ak|A] es laprobabilidad a posteriori.

1.2. Variables aleatorias

Sea un experimento aleatorio con un espacio de muestra . Una variablealeatoria X es una funcion que mapea elementos en numeros realesx . As,

X: .SeaAx el conjunto de todos los elementos

tal que Xasigna el valor x, es

decir,

Ax={|X() = x}.1Dado que Ak pertenece a la particion de , uno y solo uno de los eventos ha sucedido.

7


10/62

Denotaremos porP[X= x] la probabilidad que la funcionXresulte en el valorx, es decir la probabilidad de Ax. Como ejemplo, si se considera el lanzamiento

de dos dados y definimos la variable aleatoria X :{suma de los resultados},entonces X= 5, es equivalente a:

A5 ={(1, 4), (2, 3), (3, 2), (4, 1)}.con lo cual P[X= 5] = 4/36.

Se define la funcion de distribucion acumuladacomo

FX(x) = P[Xx].Esta expresion denota la probabilidad de que la variable X tome algun valormenor o igual a x. Por sus siglas en ingles, esta funcion es usualmente llamadaCDF (cumulative distribution function).

1.2.1. Variables aleatorias discretas

Una variable aleatoria discreta es una variable aleatoria que puede tomar unnumero contable de valores. Se define apX(x) como la funcion de distribucionde masa (PMF, probability mass function, por sus siglas en ingles) mediante

pX(x) = P[X=x].

La CDF de una variable aleatoria discreta se define por

FX(x) =kx

P[X=k].

1.2.2. Variables aleatorias continuas

Una variable aleatoria continua es una variable aleatoria que puede tomarun numero no contable de valores posibles. Para toda variable aleatoria conti-nua Xexiste una funcion no negativa fX(x), llamada funcion de densidadde probabilidad, definida sobre (, ) tal que para cualquier conjunto devalores A se tiene

P(XA) =A

fX(x)dx.

La funcion de densidad de probabilidad, o PDF (probability distribution fun-ction), es definida por

fX(x) = dFX(x)dx

.

8


11/62

1.2.3. Esperanza y momentos de una variable aleatoria

SI Xes una variable aleatoria, se define la esperanzao media de X, E[X],como

E[X] = X=

i xipX(xi), si X es discreta,

xfX(x)dx, si Xes continua.

El momento n-esimo de una variable aleatoria Xse define como

E[Xn] = Xn =

i x

nipX(xi), si X es discreta,

xnfX(x)dx, si Xes continua.

De esta forma, el primer momento de una variable aleatoria corresponde a laesperanza.El n-esimo momento central, alrededor de la media, es definido por

E[(X X)n] = (X X)n =

i(xi X)npX(xi), si X es discreta,(x X)nfX(x)dx, si Xes continua.

Se ve claramente que el momento central con n = 2 corresponde a la varianza,denotada por 2X .

1.3. Transformadas de una variable aleatoria

1.3.1. Transformada s

Sea Xuna variable aleatoria continua que toma solo valores no negativos.Se define la transformada s de fX(x), denotada por MX(s), como

MX(s) = E[esX ] =

0

esxfX(x)dx

Una propiedad importante de esta transformada es la siguiente:

d

dsMX(s) =

d

ds

0

esxfX(x)dx

=

0

xesxfX(x)dx,

con lo cual se tiene que s = 0 implica

d

dsMX(s= 0) =E[X].

9


12/62

En general,

dndsn

MX(s= 0) = (1)nE[Xn].

1.3.2. Transformada z

SeaXuna variable aleatoria discreta que toma solo valores no negativos. Sedefine la transformada z de pX(x), denotada porGX(z), como

GX(z) = E[zX ] =

x=0

zxpX(x).

Una propiedad importante de esta transformada es la siguiente:

ddz

GX(z) = d

dz

0

zxpX(x)

=0

xzx1pX(x),

con lo cual se tiene que z = 1 implica

d

dzGX(z = 1) =E[X].

En general,

E[Xn] = dndzn

GX(z = 1) + dn1dzn1

GX(z= 1) + . . . + ddz

GX(z= 1).

1.4. Expresiones para variables aleatorias

1.4.1. Probabilidad conjunta

Variables aleatorias discretas Sean X e Y variables aleatorias discretas,entonces se define la PMF conjunta como

pXY(x, y) = P[X= x, Y =y].

Esto implica que las expresiones marginales se obtienen como

pX(x) =y

pXY(x, y),

pY(y) =x

pXY(x, y).

10


13/62

Si X e Yson variables aleatorias independientes, entonces

pXY(x, y) = pX(x)pY(y).

Variables aleatorias continuas Sean X e Y variables aleatorias discretas,entonces se define la PDF conjunta como

fXY(x, y) = 2

xyFXY(x, y).

Las expresiones marginales se obtienen como

fX(x) =

fXY(x, y)dy,

fY(y) =

fXY(x, y)dx.

Si X e Yson variables aleatorias independientes, entonces

fXY(x, y) = fX(x)fY(y).

Covarianza y coeficiente de correlacion Sean X e Y dos variables alea-torias con esperanzas E[X] = X y E[Y] = Y , respectivamente, y varianzas2X y

2Y , respectivamente. Se define la covarianza de X e Y, denotado por

Cov(X, Y) = XY como

Cov(X, Y) = E[(X X)(Y Y)],= E[XY ] XY.

Si X eY son independientes, E[XY ] = E[X]E[Y] con lo cual C ov(X, Y) = 0.Se define el coeficiente de correlacion deX e Y por

XY = XYXY

.

1.4.2. Suma de dos variables aleatorias

SeaXe Ydos variables aleatorias continuas independientes. DefinamosS=X+ Y, como la suma de las variables aleatorias tales que el siguiente conjuntoD puede ser considerado:

D = {(x, y)|x + ys},= {(x, y)|xs y}.

As, consideremos la CDF de S como la expresion

11


14/62

FS(s) = P[X+ Y s] = P[Xs y] =

sy

fXY(x, y)dxdy,

=

sy

fX(x)dx

fY(y)dy,

=

FX(s y)fY(y)dy.

La PDF de esta expresion se puede obtener como

fS(s) = d

dsFS(s) =

d

ds

FX(s y)fY(y)dy,

=

d

ds FX(s y)fY(y)dy,

=

fX(s y)fY(y)dy.

Esta ultima expresion es conocida como la integral de convoluciony se denotapor

fS(s) = fX(s) fY(s).Eb general, si Ses la suma de n variables aleatorias independientes X1, X2, . . . , X n,

con PDFs fXi(x), i= 1, . . . , n, se tiene

fS(s) = fX1(s)

fX2(s) . . .

fXn(s).

1.5. Distribuciones de probabilidad

1.5.1. Distribucion de Bernoulli

Una prueba de Bernoulli es un experimento que tiene dos resultados posibles,los cuales se denominanexito yfracaso. La probabilidad de exito se denota por

p, con lo cual la probabilidad de fracaso es denotada por (1p). Sea X unavariable aleatoria representando los dos resultados posibles, tal que X = 1cuando el resultado esexitoyX= 0 si el resultado es fracaso. Se tiene entonces

pX(x) =

1 p, si x = 0,

p, si x = 1.

FX(x) =

0, si x


15/62

Ademas, se verifica

E[X] = p,

2X = p(1 p),GX(z) = 1 p + zp.

1.5.2. Distribucion Binomial

Supongamos que se desarrollann experimentos de Bernoulli independientes,cada uno con probabilidad de exito p, y X(n) es una variable aleatoria represen-tando el numero de exitos en esos experimentos. Entonces, X(n) es una variablealeatoria Binomial con parametros (n, p). Se tiene entonces

pX(n)(x) =n

x

px(1 p)nx x= 0, 1, 2, . . . , n .

FX(n)(x) = P[X(n)x] =x

k=0

n

k

pk(1 p)nk (1.1)

Ademas, se verifica

E[X(n)] = np,

2X(n) = np(1 p),GX(n)(z) = (zp + 1 p)n.

1.5.3. Distribucion Geometrica

Supongamos que se desarrolla una serie de experimentos de Bernoulli inde-pendientes, hasta que ocurre el primer exito. Sea X la variable aleatoria repre-sentando el numero de pruebas de Bernoulli hasta el primer exito. Entonces, Xes una variable aleatoria Geometrica con parametro (p). Se tiene entonces

pX(x) = px(1 p)x1 x= 1, 2, . . . .

FX(x) = P[Xx] = 1 (1 p)x (1.2)Ademas, se verifica

E[X] = 1/p,

2X = 2 p

p2 ,

GX(z) = zp

1 z(1 p) .

13


16/62

1.5.4. Distribucion de Pascal

Supongamos que se desarrolla n experimentos de Bernoulli independientes.Sea Xk la variable aleatoria representando el numero de pruebas de Bernoullihasta el k-esimo exito. Entonces, Xk es una variable aleatoria de Pascal conparametro (n,k,p). Se tiene entonces

pXk(x) =

n 1k 1

pk(1 p)nk k= 1, 2, . . . ; n= k, k+ 1, . . . .

FXk(x) = P[Xkx] =x

n=k

n 1k 1

pk(1 p)nk (1.3)

Ademas, se verifica

E[Xk] = k/p,

2Xk = k(1 p)

p2 ,

GXk(z) = zp

1 z(1 p)k

.

1.5.5. Distribucion de Poisson

Una variable aleatoria discreta Xes llamada variable aleatoria de Poissoncon parametro si su PMF y CMF son definidas por

pX(x) =

x

x!e

k= 0, 1, 2, . . . .

FX(x) = P[Xx] =x

k=0

k

k!e (1.4)

Ademas, se verifica

E[X] = ,

2X = ,

GX(z) = e(z1).

1.5.6. Distribucion Exponencial

Una variable aleatoria continuaXes llamada variable aleatoria exponencialcon parametro si su PDF y CDF son definidas por

fX(x) =

ex, x0,0, x < 0.

14


17/62

FX(x) = P[X

x] = 1

ex (1.5)

Ademas, se verifica

E[X] = 1/,

2X = 1/2,

MX(s) =

s + .

1.5.7. Distribucion de Erlang

La distribucion de Erlang es una generalizacion de la distribucion exponen-cial. Una variable aleatoria continua exponencial es usualmente utilizada para

representar el intervalo de tiempo entre dos eventos sucesivos. Una variable alea-toria continua de Erlang representa el intervalo de tiempo entre un evento y elk-esimo evento siguiente. Una variable aleatoria Xk se dice variable aleatoria deErlang dek-esimo orden con parametro si su PDF y CDF son definidas por

fX(x) =

kxk1ex

(k1)! , x0,0, x


18/62

fX(x) = 1

2e

x2

2

< x T) = eT, (2.3)

o equivalentemente, P(t T) = 1eT. Esta probabilidad es exactamentela CDF de la funcion exponencial representada por f(T) = eT. De estaforma, el proceso estocastico de conteo Poisson tiene asociado un proceso es-tocastico de tiempo de ocurrencia del evento. El valor esperado y la varianza det bajo la distribucion exponencial son expresadas por E(t) = 1

y V(t) = 1

2 ,respectivamente.

Las siguientes propiedades son interesantes en esta distribucion, cuando seconsidera los modelos de filas de espera:

20


23/62

1. Dados 0t1t2 yt0, se tiene

P(t1 < t < t1+ t)> P(t2 < t < t2+ t) (2.4)

2. Falta de memoria:

P(t > r+ t|t >t) = P(t >t,t > r+ t)P(t >t) ,

= P(t > r+ t)

P(t >t) ,

= e(r+t)

et ,

= er,

= P(t > r).

3. Sean t1, t2, . . . , tn variables aleatorias exponenciales independientes, conparametros 1, 2, . . . , n, respectivamente. Sea M la variable aleatoriaque expresa el mnimo de los valores de lasn variables exponenciales:

M= mn{t1, t2, . . . , tn}.

Entonces,

P(M > t) = P(t1

> t, t2

> t, . . . , tn

> t),

= P(t1 > t)P(t2 > t) . . . P (tn> t),

= e1te2t . . . ent,

= exp

ni=1

it

,

es decir, M es una variable aleatoria con distribucion exponencial deparametro =

ni=1 i.

21


24/62

Captulo 3

Simulacion

22


25/62

3.1. Introduccion

3.2. Proceso de Simulacion

La simulacion es el proceso por el cual se imita el comportamiento de unsistema para estudiar la interaccion entre sus componentes y las relaciones causa-efecto que comparten. En general, un proceso de simulacion corresponde a lassiguientes etapas:

Definicion del problema:

En esta etapa se identifica y formula el problema de investigacion, se es-tablecen los objetivos del analisis y se planifica el proceso de simulaciony analisis de los resultados. La simulacion puede tener un proposito ex-plicativo o prescriptivo. Se dice que el proposito es descriptivo cuando el

analista busca conocer las tendencias del comportamiento del sistema fren-te a distintos escenarios. Se dice que el propsito es prescriptivo cuando elanalista desea conocer la respuesta del sistema en un momento especficodel tiempo.

Comprension de datos

En esta etapa se identifica las variables que sirven para representar lascomponentes del sistema simulado y sus interacciones. Las variables pue-den ser clasificadas como:

exogenas, actuan solo como causas en las interacciones en las queparticipan.

endogenas, actuan como efectos en las interacciones en las que par-

ticipan.

Para las variables exogenas hay dos estrategias basicas para obtener datosque caracterizan su comportamiento: uso de datos recolectados median-te un metodo estadstico (muestreo o censo) o analtico (ej., ecuacionesdiferenciales), y generacion de datos mediante un proceso de generacionestocastico.

En el primer caso, el comportamiento de una variable puede ser dichodeterminstico, mientras que en el segundo caso se puede decir estocastico.

Preparacion de datos

En esta etapa, las variables son preparadas formateadas, escaladas, codifi-

cadas y/o transformadas para que las componentes y relaciones entre ellaspuedan ser simuladas consistentemente.

Modelamiento

En esta etapa se establecen las relaciones entre las variables identificadasy se construye un modelo simulable. Un modelo simulable es aquel donde

23


26/62

las relaciones causa-efecto, los mecanismos de cambio de estado de todaslas variables del modelo, y los eventos que los gatillan, son definidos, deter-

minista o estocasticamente. El primer estado de una variable del modelose dice estado inicial. El ultimo estado que una variable alcanza en unmodelo simulado se diceestado final.

Simulacion

La simulacion consiste en el desarrollo de los eventos que gatillan los cam-bios de estado de todas las variables del modelo simulable, desde el estadoinicial hasta el alcance del estado final de cada una de ellas. Si el desarro-llo de los eventos ocurre a intervalos regulares de tiempo, la simulacion sedice de intervalo regular. Caso contrarios, se dice simulaci on por eventos.

El modelo simulable debe ser validado para garantizar que las variablesque representan el sistema y las relaciones entre ellas han sido correcta-

mente definidos. Esto se realiza usualmente mediante la definicion de casosde prueba a traves de los cuales comportamientos conocidos del sistemasimulado pueden ser reproducidos. De lo contrario, el modelo debe serajustado.

Analisis y evaluacion de resultados

Los resultados de la simulacion de un modelo validado pueden ser ana-lizados para identificar el comportamiento del sistema bajo diferentes si-tuaciones, es decir, estados iniciales de las variables. El conjunto de valo-res iniciales de las variables del modelo es denominado una configuracininicial, y constituyen un escenario. El proceso de la simulacion permiteconocer la respuesta del sistema bajo distintos escenarios. La evaluaci onde los resultados de la simulacion es el metodo por el cual un analista es-

tablece una relacion causa-efecto entre le escenario o configuracion inicialy los resultados. Usualmente la evaluacion se reporta usando metricas querepresentan el comportamiento del sistema frente a los escenarios.

Implementacion

La etapa de implementacion considera el uso del modelo en un ambientedonde cumple el proposito para el que fue definido.

3.3. Simulacion de Monte Carlo

Se dice que una simulacion es de Monte Carlo cuando las variables exogenasadoptan valores mediante un proceso de generacion de numeros aleatorios. En

este caso, la generacion supone la identificacion de una funcion de densidad deprobabilidad asociada a cada variable exogena. Por esta razon una simulacionde Monte Carlo es denominada tambien simulacion estadstica. En general, elMetodo de Monte Carlo es cualquier tecnica que utiliza la generacion de numerosaleatorios para obtener soluciones de problemas determinsticos.

24


27/62

3.3.1. Generacion de numeros aleatorios

Un aspecto fundamental de la simulacion de Monte Carlo es el uso de ungenerador de numeros aleatorios, un procedimiento para producir secuenciasde numeros de acuerdo a una distribucion de probabilidad. Esto significa quela distribucion de frecuencias de la serie de numeros producidos satisface laspropiedades de la distribucion de seleccionada. Salvo que se indique lo contrario,un numero aleatorio es una observacion producida a partir de una distribucionuniforme. Si la distribucion es discreta, los numeros aleatorios son enteros, delo contrario, se produce numeros aleatorios reales.

Cuando se considera numeros aleatorios enteros pertenecientes a una secuen-cian1, n2, . . . , np, la probabilidad pj de la observacion nj esta dada por:

pj = 1

np n1+ 1 . (3.1)

En el caso de numeros aleatorios uniformes en el intervalo [a, b], la distribucionde probabilidad queda expresada como:

pj =

1ba si axb0 si no.

(3.2)

El metodo congruencial mixto es un procedimiento que genera una secuenciade numeros aleatorios enteros xn en un intervalo [0, m 1], usando la ecuacionrecurrente:

xn= (axn1+ c)(mod m), (3.3)

donde a, c y m son parametros tales que (a < m) y (c < m). El metodo congruen-cial multiplicativo supone c = 0, mientras que el metodo congruencial aditivoa= 1 y c = xn1 (o algun valor anterior axn). El valor inicial de la secuencia esun numerox0, denominado semilla, que puede ser elegido desde una tabla comola Rand. En cualquiera de estos casos, el procedimiento genera numerospseudo-aleatorios. Notese que este procedimiento implica xn {0, 1, 2, . . . , m 1}. Porlo tanto, m es el numero de valores diferentes que se pueden obtener con elprocedimiento. Si se quiere generar numeros aleatorios en un computador, sepuede elegir m = 2b, dondeb representa el numero de bits del procesador.

Si se desea generar numeros aleatorios uniformesyn, una regla usual a aplicares la siguiente:

yn=xn+

12

m . (3.4)

3.3.2. Numeros aleatorios con distribucion especfica

Metodo de transformada inversa Sea X una variable aleatoria para lacual se desea generar observaciones. Conociendo que F(x) = P(X x) es lafuncion de distribucion acumulada, se puede detallar el metodo de transformadainversa como:

25


28/62

1. Generar numero aleatorio uniforme r[0, 1].

2. Establecer F(x) = r y despejar x.

Por ejemplo, en el caso de la distribuci on exponencial f(x) =ex(x0), setiene que F(x) = 1 ex. Entonces, haciendoF(x) = r es facil obtener

x= ln(1 r)

. (3.5)

El teorema siguiente establece las condiciones por las cuales el metodo des-crito es aplicable.

Teorema 1. SeaXuna variable aleatoria continua cuya funcion de distribucionacumuladaFes continua, tal que la inversaF1 existe. SiU = F(X) es unavariable con distribucion uniforme en el intervalo(0, 1), entoncesX= F1(U)

sigue la distribucionF.Demostracion. Puesto que F es invertible se tiene F1(u)x. Enseguida,

P r(F1(u)x) = P r(UF(X)), (3.6)ya que F es monotona creciente. Luego, sabiendo que P r(U y) = y, seconcluye

P r(F1(u)x) = F(X). (3.7)

Distribucion normal El teorema central del lmite senala que la suma de

n numeros aleatorios uniformes sigue una distribucion normal aproximada conmedian/2 y desviacion estandar

n/12. Entonces, si se genera numeros aleato-

rios uniformes r1, r2, . . . , rn, se puede obtener una observacion x que sigue unadistribucion normal aproximada con media y desviacion estandar mediantela formula

x=

n/12

ni=1

ri+ n2

n/12. (3.8)

Cuandon = 12

x=

n

i=1ri n

2

+ . (3.9)

26


29/62

Distribucion chi-cuadrado Se sabe que la variable aleatoriaY definida co-mo una suma de los cuadrados de n variables aleatorias xi distribuidas normal-

mente sigue una distribucion chi-cuadrado. Entonces, para generar valoresy deYbasta usar la formula

y=

ni=1

x2i , (3.10)

y generar los valores xi mediante las ecuaciones (3.8) o (3.9).

3.3.3. Ajuste de Distribuciones

T-test Supongamos una muestra aleatoria iid X1, X2, . . . , X n, de n valores,asociada a una funcion de distribucion desconocida, F(x).

El testto t-testde Student es un tipo de prueba que se utiliza para determi-

nar la cercana entre las medias de dos poblaciones de datos. Existen distintasversiones para el test (muestras independientes, mismo o diferente tamano, va-rianzas iguales o diferentes, etc.). En el caso que se quiera determinar si la mediade una muestra es significativamente similar a la media de una poblacion, se uti-liza el siguiente estadstico, distribuido como t-student:

t=X S/

n

, (3.11)

donde X es la media de la muestra, la media poblacional, S la desviacionestandar de la muestra y n el tamano de la muestra. Entonces, se realiza lasiguiente prueba:

H0 : X=

H1 : X=

Por las caractersticas de la prueba, y la forma de la distribucion t-student, estaes una prueba dicha de dos colas.

Dada una muestra de datos, y una media poblacional conocida, la hipotesisse acepta al nivel de significancia, conn 1 grados de libertad, si la siguientecondicion se cumple:

t/2tt/2, (3.12)indicando la caracterstica de simetra de la distribucion t-student.

Si la desviacion estandar de la poblacion es conocida, se puede usar el testz, que considera que el estadstico de error se distribuye como una variablealeatoria normal estandarN(0, 1):

z=X /

n

. (3.13)

27


30/62

En ese caso, la prueba es la misma, y la hipotesis se acepta al nivel designificancia si la siguiente condicion se cumple:

z/2zz/2, (3.14)donde el valor de z/2 se obtiene de tabla. Este test funciona bien cuando elnumero de datos de la muestra es grande, a diferencia del t-test, adaptado amuestras pequenas. En efecto, este ultimo se dice un test no parametrico, muyutil cuando se dispone de pocos datos, pero donde se conoce que estos provienende una distribucion normal.

Como ejemplo, considere que se tiene una muestra aleatoria de datos:

X={25,8, 24,2, 22,7, 18,8, 25,7, 22, 6, 20,0, 12,1, 15,2, 6,1}.Suponga que los datos se distribuyen normalmente y que la media poblacional

es = 15,0.1. calcule el valort;

2. identifique en tabla el valor crtico t/2, a un 95 % (http://en.wikipedia.org/),con 10 grados de libertad;

3. determine el intervalo de confianza para la media poblacional;

4. si se conociera la media poblacional, identifique cual es el intervalo quedebiese contener la media muestral para que el 95 % de las veces esa mediafuese significativamente cercana a la media de la poblacion;

5. en el caso anterior, modifique los datos originales hasta encontrar un in-tervalo que no contenga la media muestral.

Kolmogorov-Smirnov Supongamos una muestra aleatoria iid X1, X2, . . . , X n,de n, asociada a una funcion de distribucion desconocida, F(x). Sea S(x) lafuncion de distribucion emprica basada en la muestra aleatoria, y F(x) unafuncion de distribucion hipotetica, completamente especificada.

Se defineS(x) como la funcion de distribucion emprica que aproximaF(x),la cual queda determinada por:

S(x) = 1

n

ni=1

Ixix, (3.15)

dondeIxix es el numero de elementosxi de la muestra inferiores o iguales ax.Se define el estadstico,

D=supx|F(x) S(x)|

n , (3.16)

donde se realiza la siguiente prueba:

28


31/62

H0 : F(x) = F(x) x (3.17)H1 : F(x)=F(x) x

Si D excede el valor de tabla Dt, al nivel y n grados de libertad, se dice quela hipotesisH0 se rechaza al nivel de significancia .

Como ejemplo, considere que se tiene una muestra aleatoria de datos X1 =0,621, X2 = 0,503, X3 = 0,203, X4 = 0,477, X5 = 0,710, X6 = 0,581, X7 =0,329, X8 = 0,480, X9 = 0,554, X10 = 0,382. La hipotesis indica que estos sedistribuyen uniformemente. Usar el test de KS de una muestra para validar laafirmacion:

1. grafique la funcion de distribucion acumulada teorica (F(x));

2. grafique la funcion de distribucion emprica (S(x));

3. determineD;

4. identifiqueDt (usando tabla), al nivel = 0,05;

5. indique si H0 se rechaza o acepta.

29


32/62

Captulo 4

Modelos de Filas de Espera

30


33/62

4.1. Introduccion

Los modelos de filas de espera se identifican mediante la notacion de Kendall[5], la cual propone que un modelo se describa por la nomenclatura siguiente:

(a/b/c) : (d/e/f),

donde

a: distribucion de tiempo de llegada

b: distribucion de tiempo de servicio

c: numero de servidores en paralelo

d: disciplina de servicio

e: numero maximo de tems permitidos en la fila

f: tamano de la fuente de llegada

Por ejemplo, un modelo para el cual las tasas de llegada y de servicio son de tipoPoisson, o Markovianas, con un servidor, con esquema de servicio cualquiera, sinrestriccion del numero de tems, y fuente infinita, queda descrito por M/M/1 :DG//.

4.2. Modelo de Poisson

Los modelos de tipo Poisson se caracterizan por tasas de llegada y de servicio

Poisson, es decir, tiempo entre llegadas y tiempo de servicio exponenciales.En las secciones siguientes presentamos el modelo general de los sistemas conprocesos estocasticos de Poisson, y modelos para casos particulares, usualmenteencontrados en la literatura [3, 5, 6].

4.2.1. Modelo General: Nacimiento y Muerte

Supongamos un sistema que ha alcanzado el estado estable, es decir, el pro-ceso estocastico se mantiene en estado estacionario donde las variables repre-sentativas del modelo son estables. En otras palabras, es posible suponer que losmomentos de primer y segundo orden del modelo, en cualquiera de sus variablesaleatorias, pueden ser estimados de manera robusta. Esto significa tambien quela distribucion de probabilidad asociada a un tipo de variable (por ejemplo la

llegada) no cambia en el tiempo.El ob jetivo del modelo que se presenta aqu abajo es encontrar las represen-

taciones generales de las variables de desempeno del sistema de la fila de esperay el servicio.

Sea,

31


34/62

n, numero de tems en el sistema (fila y servicio);

n, tasa de llegada (nacimiento) de los tems;

n, tasa de salida o servicio (muerte);

pn, probabilidad de estado estable de que haya n tems en el sistema.

En estado estable, los flujos de ingreso y salida del sistema deben igualarse.Entonces, para que el sistema se estabilice enn tems, debe suceder

n1pn1+ n+1pn+1 = (n+ n)pn n= 1, 2, . . . . (4.1)

es decir, las tasas esperadas de llegada desde los estados n 1 y n+ 1 debenser iguales a las tasas esperadas de salida desde el estado n. En otras palabras,debe mantenerse el equilibrio de flujos.

Cuandon = 0, se tiene

1p1 = 0p0. (4.2)

Entonces,

p1 = (01

)p0. (4.3)

Para n = 1,

0p0+ 2p2 = (1+ 1)p1, (4.4)

con lo cual es facil comprobar que

p2 = ( 0121)p0, (4.5)

y por induccion se verifica

pn= (n1n2 . . . 0

nn1 . . . 1)p0 n= 1, 2, . . . . (4.6)

Sabiendo que

n=0pn= 1, se determina el valor de p0.

4.2.2. Medidas de desempeno

Supongase que hay c servidores que trabajan en paralelo y que sirven unafila unica. Las medidas de desempeno de tal sistema se definen como:

Ls, numero esperado de tems en el sistema (fila y servicio);

Lq, numero esperado de tems en la fila;

Ws, tiempo esperado de tems en el sistema (fila y servicio);

Wq, tiempo esperado de tems en la fila;

32


35/62

Es facil ver las relaciones siguientes

Ls =n=0

npn (4.7)

Lq =n=c

(n c)pn (4.8)

La llamada formula de Little que relaciona el numero de tems y el tiempode espera es la siguiente:

Ls = efWs (4.9)

Lq = efWq. (4.10)

dondeefse define como la tasa de llegada efectiva. Supongase que el numerode tems en el sistema es limitado. Entonces, cada vez que el sistema alcanzael valor N, la tasa de llegada real disminuye. efse interpreta como la tasa dellegada cuando ese lmite puede ser alcanzado. As,

= ef+ perdidos. (4.11)

Claramente, si el sistema tiene capacidad infinita, = ef. Por otro lado, setiene la siguiente relacion entre los tiempos esperados

Ws= Wq+1

, (4.12)

Multiplicando ambos lados de la ecuacion por ef, se deduce

Ls= Lq+ef

, (4.13)

Notese que perdidos = pN, es decir, la tasa de perdida depende de laprobabilidad del sistema de alcanzar N tems.

4.3. (M/M/1 :DG//)4.3.1. Determinacion de n y n

En este modelo la tasa de llegada y de servicio es independiente del numero

de tems en el sistema. El estado estable supone tambien que el proceso es-tocastico de llegada y salida es estable. Entonces, se verifica n = y n =para todo n. Adicionalmente, no existe lmite para el numero de tems en elsistema por lo cual ef =.

33


36/62

4.3.2. Determinacion de pn en funcion de p0

Definiendo = , se verifica

pn= np0 n= 0, 1, 2, . . . . (4.14)

El valor de p0 se obtiene sabiendo que

p0(1 + + 2 + . . .) = 1. (4.15)

Si


37/62

4.4. (M/M/1 :DG/N/)En este modelo, el numero de tems en el sistema esta limitado a N. Uti-

lizando un procedimiento similar al anterior se puede obtener los resultadosindicados a continuacion.

4.4.1. Determinacion de n y n

Cuando el sistema llega a su lmite, la tasa de llegada se ve limitada, noas la tasa de servicio.

n=

si n = 0, . . . , N 1,0 si n > N 1, (4.27)

n= si n0. (4.28)4.4.2. Determinacion de pn en funcion de p0

Revisando la expresion para pn de la ecuacion (4.6), se puede ver que

pn=

np0 si nN,0 si n > N,

(4.29)

Mediante la ecuacion (4.29) y teniendo presente el lmite de tems en elsistema, se puede escribir

p0(1 + + 2 + . . . + N) = 1, (4.30)

lo que conduce a

p0 =

11N+1 si = 1,1

N+1 si = 1,(4.31)

de manera que se obtiene

pn=

(1)n

1N+1 si = 1,1

N+1 si = 1,n= 0, . . . , N (4.32)

4.4.3. Medidas de desempeno

Cuando el sistema llega a N tems, la esperanza de perdida de tems que

llegan desde la fuente es perdidos= pN. Esto implica

ef= perdidos= (1 pN) (4.33)Luego, se puede determinar Ls cuando = 1:

35


38/62

Ls =Nn=0

npn (4.34)

= (1 )

1 N+1Nn=0

nn (4.35)

= (1 )

1 N+1 d

d

Nn=0

n (4.36)

= (1 )

1 N+1 d

d

1 N+1

1

(4.37)

= 1 (N+ 1)N + N N+1

(1 )(1 N+1) . (4.38)

entonces,

Ls=

(1(N+1)N+NN+1)

(1)(1N+1) = 1,

N2 = 1.

(4.39)

El resto de las medidas se determina usando las ecuaciones de la secci on4.2.2.

4.5. (M/M/c: DG//)Supongase que hay c servidores que trabajan en paralelo y que sirven una

fila unica. El numero de tems en la fila es ilimitado, lo mismo que la fuente dellegadas.

4.5.1. Determinacion de n y n

Dado que no hay lmite en la fila, no existen tems perdidos por lo cual latasa de llegada iguala la tasa efectiva, es decir, ef =. Ademas, si la tasa deservicio en cada servidor es, entonces a tasa maxima de servicio decservidoresesta dada por c. Existe una situacion especial cuando el numero de tems aservir es inferior al numero de servidores. Entonces,

n = (4.40)

n =

n n < c

c nc (4.41)

36


39/62

4.5.2. Determinacion de pn en funcion de p0

Usando la ecuacion (4.6), se puede ver que:

pn =

n

(Q

ni=1i)

p0 n < cn

(c)(nc)(Q

ci=1i)

p0 nc (4.42)

=

n

(n!n)p0 = n

n!p0 n < cn

c!c(c)(nc)p0 =

n

c!c(nc)p0 nc

Para determinar p0 se sabe que

n=0pn = 1. Entonces, suponiendo quec


40/62

Captulo 5

Procesos de Markov

38


41/62

5.1. Introduccion

La teora de probabilidad moderna estudia los procesos aleatorios donde elconocimiento de resultados previos influye en las predicciones para experimentosfuturos. A inicios del 1900, Andrei A. Markov propuso el estudio de experimentossecuenciales, donde las predicciones de los resultados de experimentos futurosfueran condicionados por los resultados de experimentos pasados. Estos fueronllamados experimentos secuenciales. Posteriormente, Norbert Wiener y AndreiKolmogorov dieron forma a la teora que se conoce comocadenas de Markov.

Se dice que el proceso estocastico definido por las distribuciones de transiciones unproceso de Markov de primer ordensi la relacion (5.2) es satisfecha.Si el estado futuro depende del estado actual y del estado precedente, el procesoes llamado de segundo orden, y as sucesivamente. En general, diremos que lamatrizP = (pij) (i, j = 1, . . .), es la matriz de transicion homogenea, es decir,las probabilidades de transicion son independientes del tiempo.

Ejemplo 1. Consideremos un modelo basico para aproximar las caractersticasde un medio de comunicacion de datos en una red de estaciones comunicandopor va inal ambrica. El modelo supone dos estados:

e1: medio esta ocupado,

e2: medio esta desocupado.

Luego, existe un proceso estocastico por el cual el medio cambia de estado. Sietrepresenta el estado del medio en el tiempo t, se dice que hay unatransicion deun pasocuando el medio esta en el estadoe(t+1) en el tiempot +1. Denotaremosporpij la probabilidad siguiente:

pij =P(et+1 = ej|et = ei) i, j {1, 2}, (5.1)es decir, la probabilidad de ir del estado ei al estado ej en un paso, o bien enun intervalo de tiempo. En general, se supondra que:

pij = P(et+1 = ej|et= ei, et1 = ei1 , et2 = ei2 , et3 = ei3 , . . .). (5.2)O sea, la probabilidad de transicion de llegar al estado ej en el tiempo t+ 1,en un paso, depende solo del estado del medio en el tiempo t. En este caso, elproceso se dice sin memoria cumpliendo lapropiedad de Markov.

En el ejemplo, seaP la matriz de transicion de estados, en un paso, definidade la siguiente manera:

P =

p11 p12p21 p22

, (5.3)

donde, j

pij = 1, pij0. (5.4)

39


42/62

Notese que cada fila implica una distribucion de probabilidades, y se supondra quelas distribuciones entre filas son independientes. Sea qit la probabilidad que el

medio este en el estado i en el tiempo t. Entonces,i

qit= 1, qi,t0 (5.5)

Si se deseara simular las transiciones de estado del medio se podra proceder dela siguiente manera:

1. Inicio

2. t= 0: definir el estado inicial del medio, usando la informacionq10 yq20.

3. t > 0: Para cada t

a) determinar el siguiente estado a visitar;b) mover el medio al estado a visitar;

4. Fin

Para determinar el estado a visitar, se puede usar la informacion de la distri-bucion de probabilidad del estado inicial de la transicion, generando la CFD yenseguida determinar la inversa, como usual. Dado que en este caso se tienendistribuciones discretas, es necesario definir los intervalos en el rango[0, 1] quedescriben cada estado a visitar. El estado inicial del sistema, se podra generaraleatoriamente, usandoq10 yq20.

Una cadena de Markov es un caso especial de proceso de Markov donde

el espacio de estados es discreto y se ha especificado la matriz P y las probabi-lidades inicialesqit. Los estadosei(i= 1, 2, . . .) forman un conjunto enumerable(finito o infinito). Segun que el espacio de estados o el tiempo de un procesosean continuos o discretos, se puede distinguir los siguientes tipos de procesosde Markov (ver Cuadro 5.1):

Cadena de Markov de tiempo discreto (o cadena de Markov de estado ytiempo discretos).

Cadena de Markov de tiempo continuo.

Proceso de Markov de tiempo discreto.

Proceso de Markov de tiempo continuo.

40


43/62

Cuadro 5.1: Tipos de procesos de Markov

Espacio de estadosDiscreto Continuo

Tiempo Discreto CM de tiempo discreto PM de tiempo discreto

Continuo CM de tiempo continuo PM de tiempo continuo

5.1.1. Estructura de un proceso de Markov

Un proceso de salto es un proceso estocastico que hace transiciones entreestados discretos en tiempos fijos o aleatorios. En esos procesos, el sistema entraen un estado, permanece un tiempo llamado el tiempo de espera y luego saltaa otro estado, etc. Si los tiempos de salto son discretos, el proceso es llamadocadena de salto.

Hay dos tipos de proceso de salto: puro y explosivo. En un proceso explosivo,el proceso hace infinitos saltos en un intervalo finito de tiempo. En un procesopuro, el proceso hace un numero finito de saltos en un intervalo de tiempo. Silos tiempos de espera de un proceso de salto de tiempo continuo se distribuyenexponencialmente, el proceso es llamado proceso de salto de Markov. Este tipode proceso es una cadena de Markov de tiempo continuo si el tiempo de esperadepende solo del estado actual. Si los tiempos de espera de un proceso de saltode tiempo discreto son geometricamente distribuidos, el proceso es llamadoca-dena de salto de Markov. Notese que para el caso de transiciones que ocurrena intervalos regulares (das, semanas, meses, etc.), una cadena de Markov no esuna cadena de salto de Markov.

No todos los sistemas fsicos pueden ser modelados por procesos de salto. Enesos casos, el espacio de estados y el tiempo son continuos. Un ejemplo de ello

es el movimiento Browniano, descrito por primera vez por el botanico RobertBrown en 1828, quien observo que las partculas de polen suspendidas en unfluido se movan de una manera irregular.

5.1.2. Algunas aplicaciones de procesos de Markov de tiem-

po discreto

Los procesos de Markov han sido aplicados a diversos problemas. Aqu sepresentan algunos bien conocidos.

Proceso de ramificacion

Considerese un sistema que consiste inicialmente de un conjunto finito deelementos. A medida que el tiempo pasa, cada elemento puede desaparecer

independientemente con probabilidadp0 o producirk otros elementos conprobabilidadpk(k = 1, 2, . . .. El comportamiento de los nuevos elementoses igual al de sus padres. Sea Xn el tamano de la poblacion despues de nde estos eventos. El proceso {Xn|n0} es una cadena de Markov llamadaproceso de ramificacion.

41


44/62

Los proceso de ramificacion se usan en diferentes dominios de la ciencia yla ingeniera: crecimiento de poblacion, expansion de una epidemia, fision

nuclear.

Movilidad social

En sociologa se ha usado cadenas de Markov para determinar como lasclases sociales de padre, abuelo, etc., afectan la clase social de los hijos.Esto esta basado en el hecho que las personas pueden ser clasificadas entres niveles: clase alta, clase media, clase baja. Cuando las probabilidadescondicionales son conocidas, se pueden usar para representar las transicio-nes entre clases de las generaciones sucesivas en una familia, modelandola movilidad social como una cadena de Markov.

Proceso de decision de Markov

Un proceso de decision de Markov se usa para modelar sistemas dinami-cos inciertos cuyos estados cambian con el tiempo. En tales sistemas, eltomador de decision debe tomar una decision en el tiempo, con resultadosinciertos. Cada accion tomada por el decisor puede generar una recompen-sa o un costo. El objetivo es encontrar una secuencia optima de accionesque le permitan al decisor obtener la maxima recompensa esperada en unintervalo de tiempo, finito o infinito.

5.1.3. Algunas aplicaciones de procesos de Markov de tiem-

po continuo

Aplicaciones de procesos de Markov en tiempo continuo ya han sido identi-ficadas anteriormente en este libro. Aqu presentamos casos usuales.

Sistemas de filas

Como hemos visto, los sistemas de filas pueden encontrarse en multiplesaplicaciones. En general, un sistema de filas consiste de una fila y unconjunto de servidores. Cuando la llegada de los elemento a la fila sigueuna distribucion de Poisson, y los servidores tienen un tiempo de serviciodistribuido exponencialmente, el numero de elementos se comporta comouna cadena de Markov.

Inventario

Supongamos una bodega donde se controla el inventario de cierto tipode producto mediante un mecanismo de reposicion, el cual opera por lanecesidad de responder a la demanda. Sea c la capacidad (en unidades) de

la bodega, In el numero de unidades de producto en el tiempo n y dn lademanda de unidades en el mismo perodo. El administrador de la bodegaha definido un modelo de reposicion que se aplica cada perodo: si el nivelde inventario desciende mas abajo de un nivel permitido m, se pide lacantidad necesaria para llegar hasta el nivel c, de lo contrario se reponela cantidad demandada en el perodo. La variable siguiente representa el

42


45/62

comportamiento del numero de unidades de producto en inventario, alinicio de cada perodo:

In=

max{0, c dn} In1mmax{0, In1 dn} In1 > m

Si d1, d2, . . ., son independientes e identicamente distribuidas, el proceso{In|n0}es una cadena de Markov.

5.1.4. Ejemplos

A continuacion se presenta algunos ejemplos que dan cuenta de la variedadde problemas que pueden ser modelados usando procesos de Markov.

Antiguamente, las universidades admitan solo estudiantes hombres. Su-pongamos que en ese tiempo 80 % de los hijos de hombres que iban aHarvard fueron a Harvard y el resto fue a Yale, 40 % de los hijos de loshombres de Yale fueron a Yale, y el resto se divida entre Harvard y Dart-mouth; y de los hijos de los hombres de Dartmouth, 70% fue a Dartmouth,20 % a Harvard y 10 % a Yale. La matriz de transiciones en este caso es

P=

0, 8 0, 2 00, 3 0, 4 0, 3

0, 2 0, 1 0, 7

El presidente de una nacion le dice a una persona A sobre su intencion deir a la re-eleccion. La personaA transmite a otra personaB esa intencion,

la personaB la transmite aC, etc. Supongamos que hay una probabilidada de que la intencion positiva se cambie a negativa cuando se transmiteel mensaje, y una probabilidad b de que la respuesta negativa se cambie apositiva. Entonces, la matriz de transiciones de cambios en las respuestasesta dada por:

P =

1 a a

b 1 b

El tipo mas simple de herencia en animales puede ser considerado medianteun par de genes G y g. Un individuo puede tener una combinacion GGo Gg, gG o gg. Usualmente, los tipos GG y Gg son indistinguibles enapariencia, y se dice que G domina al gen g. Un individuo es llamado

dominante si tiene genes GG, recesivo si tiene genes g g y hbrido si tieneuna mezcla Gg (ogG).

En una pareja de animales, la cra hereda un gen del par de cada padre, yel supuesto basico de la genetica es que esos genes son seleccionados alea-toriamente, independientemente uno del otro. Este supuesto determina la

43


46/62

probabilidad de ocurrencia de cada tipo de cra. La cra de dos padres do-minantes debe ser dominante, la de dos padres recesivos debe ser recesivo,

y la de uno dominante con uno recesivo debe ser hbrida.

En una pareja con un animal dominante y el otro hbrido, cada cra debeobtener un gen G del primero y tiene igual probabilidad de obtener un Go ung del segundo. Esto implica que hay una probabilidad igual de teneruna cra dominante o hbrida. Nuevamente, en una pareja de un recesivoy un hbrido, hay igual probabilidad de obtener un recesivo o un hbrido.En una pareja de dos hbridos, la cra tiene igual chance de tener un Go un g de cada padre. En consecuencia, las probabilidades son 1/4 paraGG, 1/2 para Gg y 1/4 para gg.

Consideremos un proceso de emparejamientos continuos. Comencemos conun individuo de caracter genetico conocido y emparejemoslo con un hbri-do. Suponemos que hay al menos una cra. Una cra es elegida al azar y

es emparejada con un hbrido y este proceso es repetido a traves de unnumero de generaciones. El tipo genetico de la cra elegida en generacionessucesivas puede ser representado por una cadena de Markov. Los estadosson dominante, hbrido y recesivo. Las probabilidades de transicion son:

P=

0, 5 0, 5 00, 25 0, 5 0, 25

0 0, 5 0, 5

Considerese el ejemplo de inventario de la seccion 5.1.3. La probabilidadde que el valor de demanda dj ocurra es expresada comoP(dj = k) = ak.De esta manera, si el estado del inventario en un momento es Ij , unademanda dj = k implica que el inventario hace una transicion a Ij + kcon probabilidad de transicion ak. Entonces, si se define como estadosdel proceso los valores de inventario m, m+ 1, m+ 2, . . . , c, la matriz detransiciones de probabilidad que indica el cambio de un nivel de inventarioa otro puede escribirse como

P =

a0 0 . . . . . . . . . 1 a0a1 a0 . . . . . . . . . 1 F(1)a2 a1 . . . . . . . . . 1 F(2). . . . . . . . . . . . . . . . . .acm1 acm2 . . . . . . . . . 1 F(c m 1)acm acm1 . . . . . . . . . 1 F(c m)

dondeF(j) =j

r=0 ar.

44


47/62

5.2. Cadenas de Markov de tiempo discreto

5.2.1. Introduccion

El proceso de tiempo discreto{Xk, k = 0, 1, 2, . . .} es llamado una cadenade Markov si para todo i, j , k, . . . , m, se cumple lo siguiente:

P(Xk = j |Xk1 = i, Xk2 = n, . . . , X 0 = m) = P(Xk = j |Xk1 = i) = pijk(5.6)

La cantidad pijk es llamada la probabilidad de transicion de estado, que esla probabilidad condicional que el proceso estara en el estado j, en el tiempok inmediatamente despues de la transicion, dado que esta en el estado i en eltiempok 1. Una cadena de Markov que obedece esta regla es llamada cadenade Markov no homogenea. Se habla de unacadena de Markov homogeneacuando

esta no depende de la unidad de tiempo, es decir, pijk = pij :

P(Xk = j |Xk1 = i, Xk2 = n, . . . , X 0 = m) = P(Xk = j |Xk1 = i) = pij ,(5.7)

que es llamada la probabilidad de transicion de estado homogenea, que satisfacelas siguientes condiciones:

1. 0pij1;2.

ipij = 1, i= 1, 2, . . ..

De la definicion precedente se obtiene la siguiente regla de la cadena de Markov:

P(Xk = j, Xk1= i1, Xk2 = i2, . . . , X 0 = ik) (5.8)

= P(Xk = j |Xk1 = i1)P(Xk1 = i1, Xk2 = i2, . . . , X 0 = ik)= P(Xk = j |Xk1 = i1)P(Xk1 = i1|Xk2 = i2)

P(Xk1 = i1, Xk2 = i2, . . . , X 0 = ik)

. . .

= pi1jpi2i1. . . pikik1P(X0 = ik)

5.2.2. Ecuaciones de Chapman-Kolmogorov

Dada una cadena de Markov, supongase que se desea conocer la probabilidadde que el sistema este en el estado j en el tiempo t1. Esta probabilidad sedetermina considerando que ent0el sistema puede estar en alguno de los estadosi del sistema y que se hace una transici on desde ah segun probabilidad detransicion pij :

qj1 = q10p1j+ q20p2j+ q30p3j+ . . . .

=i

qi0pij .

45


48/62

En el caso general se tiene

qjn = q1(n1)p1j+ q2(n1)p2j+ q3(n1)p3j+ . . . .

=i

qi(n1)pij

=i

q1(n2)p1i+ q2(n2)p2i+ q3(n2)p3i+ . . .

pij

=k

qk(n2)i

pkipij

Usualmente se define p(2)kj =

ipkipij , como la probabilidad de ir de k a j endos pasos. Se puede demostrar por induccion que

qjn =k

qk0p(n)kj .

Las ecuaciones de Chapman-Kolmogorov se definen como

p(n)kj =i

p(n1)ki pij i, j (5.9)

En terminos generales, las ecuaciones de Chapman-Kolmogorov se escribencomo

p(n)kj =i

p(nr)ki p

(r)ij k, j (5.10)

Esto se puede probar si se observa lo siguiente:

p(n)kj = P[Xn= j |X0 = k] (5.11)

=i

P[Xn= j, Xr = i|X0 = k] (5.12)

=i

P[Xn= j |Xr = i, X0 = k]P[Xr =i|X0 = k] (5.13)

=i

P[Xn= j |Xr = i]P[Xr = i|X0 = k] (5.14)

=

ip(nr)ki p

(r)ij (5.15)

En notacion matricial, (5.10) equivale a

P(n) =P(n1)P, (5.16)

dondeP(n) es la matriz de transiciones en n pasos. En consecuencia, definiendoqn= (q1n, q2n, . . .), se puede escribir

46


49/62

qn = q0P(n).

5.2.3. Teoremas de cadenas de Markov

Definicion 1. Un estado i de una cadena de Markov se diceabsorbente si esimposible dejarlo, es decir, pii = 1. Una cadena de Markov es absorbente si ellatiene al menos un estado absorbente y si es posible ir de cada estado a un estadoabsorbente (no necesariamente en un paso).

Definicion 2. En una cadena de Markov absorbente, un estado que no es ab-sorbente es llamado estado transiente.

Ejemplo 2. Consideremos como ejemplo la matriz siguiente:

P=

1 0 00, 25 0, 5 0, 25

0 0 1

. (5.17)

En este caso, los estados 1 y 3 son abosrbentes, mientras que el estado 2 estransiente. La cadena se dice absorbente y cuando el proceso alcanza un estadoabsorbente se dice que es absorbido.

Forma Canonica de una cadena absorbente

Consideremos una matriz de transicion de una cadena de Markov, con testados transientes y r estados absorbentes. Entonces, podemos acomodar lasfilas de la matriz de tal manera que se tiene la representacion siguiente:

P =

Q R

0 I

. (5.18)

Q es una matriz det testados transientes, R es una matriz de t r,I es unamatriz der r estados absorbentes. Se puede mostrar la propiedad siguiente:

P(n) =

Q(n) *

0 I

, (5.19)

tal que lmnQ(n) 0.

Teorema 2. En una cadena de Markov absorbente, la probabilidad que el pro-ceso sea absorbido es1 (es decir, Q(n) 0).

Ejemplo 3. Consideremos la matriz siguiente:

P=

1 0 00, 25 0, 5 0, 25

0, 3 0, 3 0, 4

. (5.20)

47


50/62

En este caso, por el teorema anterior es facil ver que las potencias de la matrizde transiciones convergen a la siguiente matriz (verifquelo):

P(n) =

1 0 01 0 0

1 0 0

. (5.21)

Teorema de cadenas regulares

Definicion 3. Una cadena de Markov se dice ergodicasi es posible ir de cual-quier estado a cualquier estado (no necesariamente en un paso).

Definicion 4. Una cadena de Markov se diceregular si alguna potencia de lamatriz de transicion tiene solo elementos positivos.

Ejemplo 4. La matriz siguiente es ergodica, pero no regular:

P =

0 0 11 0 0

0 1 0

. (5.22)

Una caracterstica interesante de esta matriz es la periodicidad. Verifique queP(1) =P(3k+1), k= 1, 2, . . ..

Cualquier matriz que no tiene ceros es una matriz regular. Sin embargo, unamatriz regular puede tener ceros. Un ejemplo de eso es la matriz siguiente:

P=

0, 25 0, 75 00, 4 0, 3 0, 30, 3 0, 3 0, 4

. (5.23)

que converge a la siguiente matriz (verifquelo)

P(n) =

0, 33 0, 45 0, 220, 33 0, 45 0, 22

0, 33 0, 45 0, 22

. (5.24)

Teorema 3. SeaP la matriz de transiciones de una cadena y seaqel vector deprobabilidad que representa la distribucion de partida. Entonces, la probabilidadde la cadena de estar en el estado i luego den pasos esta en lai-esima entradadel vector

q(n) =qP(n) (5.25)

Teorema 4 (Fundamental del lmite para cadenas regulares). SeaP la matrizde transiciones de una cadena regular. Entonces, sin , la matrizP(n) seaproxima a una matrizWcon todas sus filas iguales al vector ={1, 2, . . .}.Este vector es estrictamente positivo, es decir, lmn qjn = j(j), tal que,

j =i

ipij (5.26)

48


51/62

donde,

jj = 1.

Demostracion. 1 :SeaXuna cadena de Markov con matriz de transiciones P, partiendo en el

estadosi. SeaYuna cadena de Markov con matriz de transiciones P, partiendocon probabilidades iniciales dadas por el vector fijo . Los procesos X e Y sesuponen independientes.

Consideremos una tercera cadena de Markov con matriz de transiciones P,que observa los procesosXe Y. Los estados deP son los pares ordenados (i, j),es decir, los pares tales queX=i y Y =j al mismo tiempo. Las probabilidadesde transicion estan dadas por

P[(i, j), (k, l)] = pikpjl ,

indicando que el proceso X hace una transicion de i a k, y en el mismo

intervalo de tiempo el procesoYhace una transicion dej a l. Dado queP esregular, hay un n tal que p

(n)ik >0 para todo i y k. Entonces para P

tambienes posible ir de (i, j) a otro estado (k, l) en a lo mas n pasos. Esto implica queP tambien es una cadena regular.

ConsideremosTel tiempo en que P llega por primera vez al estado (k, k),es decir, X e Y estan en el mismo estado. A partir de ese primer momento, enel largo plazo X e Yno debieran tener diferencias pues estan gobernadas porla misma matriz de transiciones. Es facil ver que P(T > n)0 si n . SinT, dado que X e Y estan en el mismo estado en el tiempo T, se verifica

P(Xn= j, nT) = P(Yn= j, nT).Multiplicando ambos lados de la ecuacion anterior por P(nT), la formula deprobabilidad condicional implica

P(Xn= j|nT) = P(Yn= j|nT).Sabemos que para todon,P(Yn= j) = j (consecuencia de la ecuacion (5.10)).Ademas,

P(Yn= j) = P(Yn= j, nT) + P(Yn= j,n < T).Pero P(Yn= j,n < T)0 si n , pues P(n < T)0 cuandon . Demanera que,

P(Yn= j, nT)j , si n Esto implica

P(Xn= j, nT)j , si n 1W. Doeblin, Expose de la Theorie des Chaines Simple Constantes de Markov a un Nombre

Fini dEtats, Rev. Mach. de lUnion Interbalkanique, vol. 2 (1937), pp. 77-105.

49


52/62

Pero, usando el mismo razonamiento anterior, dado que P(n < T)0 cuandon

, se puede concluir,

P(Xn= j)j , si n ,lo que demuestra el teorema.

Notese que si ={1, 2, . . .}, la expresion (5.26) puede ser escrita como

= P, (5.27)

de manera que se interpreta como el vector propio por la izquierda de P.

Corolario (calculo del lmite de la probabilidad de estado )

Sea P(X(0) =i) la probabilidad de que el proceso esta en el estado i antes

de que se haga la primera transicion. Entonces el conjunto de todas las posi-bilidades, es decir,{P(X(0) = i)}, define la condicion inicial, tal que para unproceso den estados se tiene

ni=1

P(X(0) =i) = 1. (5.28)

Sea P(X(m) = j) la probabilidad de que el proceso este en el estado j alfinal de m transiciones, entonces para un proceso de n estados se tiene

P(X(m) = j) =

ni=1

P(X(0) =i)p(m)ij . (5.29)

Por el teorema anterior, se sabe que P(X(m) = j) se aproxima a una constantea medida que m , es decir,

lmm

P(X(m) = j) = j . (5.30)

Pero, de la ecuacion 5.10 se sabe que

p(m)ij =k

p(m1)ik pkj i,j, (5.31)

con lo cual se tiene

j = lmm

k

p(m1)ik pkj (5.32)

=k

kpkj (5.33)

50


53/62

Ejemplo:

Considerese la matriz de probabilidades siguiente:

P=

0, 6 0, 40, 35 0, 65

(5.34)

Determnese las probabilidades lmite de estado.

Solucion:

Por la ecuacion (5.26),

1 = 0, 61+ 0, 352 (5.35)

2 = 0, 41+ 0, 652 (5.36)

1 = 1+ 2 (5.37)

Hay tres ecuaciones y dos variables, por lo cual una de las ecuacioneses redundante. Usando la primera y tercera ecuaciones se puede mostrarfacilmente que ={1, 2}={7/15, 8/15}.

El teorema siguiente proporciona una base para calcular las probabilidadesde estado mediante simulacion.

Teorema 5 (Ley de los grandes numeros para cadenas de Markov ergodicas).Sea Hnj la proporcion de veces en n pasos que una cadena ergodica (seccion5.2.4) esta en el estado j . Entonces, para cualquier > 0,

lmn

P(|Hnj j |> )0, (5.38)independiente del estado de partida.

Ejemplo:

Suponga que la matriz de transiciones que representa los cambios de mo-dulacion en un canal inalambrico es la siguiente :

P =

1/2 1/4 1/41/2 0 1/2

1/4 1/4 1/2

Determnese las probabilidades lmite de estado.

Simule el sistema para mostrar que las proporciones de ocurrencia de esta-do se acercan a las probabilidades lmite. Corra simulaciones de distintasduraciones.

51


54/62

El valor medio de capacidad de canal en cada estado es dado por los valoressiguientes:

1 = 500kbps

2 = 1mbps

3 = 2mbps

(5.39)

Calcule la esperanza de la capacidad del canal mediante simulacion yusando las probabilidades de estado.

5.2.4. Tiempos de retorno

Sea f(n)jj la probabilidad de regresar al estado j en n pasos. Entonces, setiene:

pjj = f(1)jj

p(2)jj = f(2)jj + f

(1)jj pjj

p(3)jj = f

(3)jj + f

(2)jj pjj + f

(1)jj p

(2)jj

. . .

p(n)jj = f

(n)jj + f

(n1)jj pjj + f

(n2)jj p

(2)jj + . . . + f

(1)jj p

(n1)jj ,

es decir,

p(n)jj =f

(n)jj +

n1k=1

f(nk)jj p

(k)jj . (5.40)

Esto implica

f(n)jj =p

(n)jj

n1k=1

f(nk)jj p

(k)jj . (5.41)

El sistema puede retornar a j en 1, 2, 3, . . . , n , . . . pasos. Luego,f(n)jj define una

distribucion de probabilidad si

n=1 f(n)jj = fjj = 1. En ese caso, el sistema

vuelve al estado j . El tiempo medio de regreso es definido como

jj =n=1

nf(n)jj (5.42)

Segun el valor de jj y fjj , los estados de una cadena de Markov se puedenclasificar como sigue:Una cadena es irreducible si todos sus estados son ergodicos.

52


55/62

estado transitorio fjj


56/62

pij(t) = P(X(t + s) = j |X(s) = i), (5.45)pj(t) = P(X(t) = j), (5.46)

donde,pij(t) es la probabilidad de que el proceso ira desde el estadoi al estadoj en un tiempo t, y pj(t) es la probabilidad de que el sistema esta en el estadoj en el tiempo t. Dado que estas son probabilidades, se tiene

j

pij(t) = 1, (5.47)

j

pj(t) = 1. (5.48)

5.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo

Considerese la siguiente ecuacion:

pij(t + s) =k

P(X(t + s) = j, X(t) = k|X(0) =i),

=k

P(X(t + s) = j, X(t) = k, X(0) =i)

P(X(0) =i) ,

=k

P(X(t) = k, X(0) =i)

P(X(0) =i)

P(X(t + s) = j, X(t) = k, X(0) =i)

P(X(t) = k, X(0) =i))

,

=k

P(X(t) = k|X(0) =i)P(X(t + s) = j|X(t) = k, X(0) =i),=k

P(X(t) = k|X(0) =i)P(X(t + s) = j|X(t) = k),

con lo cual se obtiene:

pij(t + s) =k

pik(t)pkj(s). (5.49)

Esta es la ecuacion de Chapman-Kolmogorov para el caso de cadenas de Markovde tiempo contnuo.

5.3.3. Propiedad de falta de memoria

Consideremos una cadena de Markov de tiempo contnuo, homogenea. SeaTila variable que representa el tiempo que el proceso ha gastado desde un instante0 hasta que se encuentra en el estado j . Asimismo, consideremosTi el tiempoque el proceso pasa en el estadoi antes de encontrarse enj. Entonces, se observaque la igualdad

54


57/62

P(X(t + s) = j |X(s) = i) = P(X(t) = j |X(0) =i),equivale a

P(Ti> t + s|Ti > s) = P(Ti > t|s + Ti> s)= P(Ti > t|Ti> 0)= P(Ti > t). (5.50)

Hay una distribucion de probabilidad que tiene esta propiedad, llamada falta dememoria, que es

P(

Ti> t) = et,

es decir, la distribucion exponencial con funcion de densidad f(t) =et. Enefecto, se tiene la siguiente relacion

P(Ti> t + s|Ti> s) = P(Ti > t + s, Ti> s)P(Ti> s)

,

= P(Ti > t + s)

P(Ti> s) ,

= e(t+s)

es ,

= et,

= P(Ti> t).

5.3.4. Procesos estacionarios

Supongamos un proceso{X(t)|t0}yX(t) N, en estado estacionario, talque el proceso puede realizar transiciones de un estado a otro adyacente comosi fuera un proceso de conteo. Entonces, sea

- n, estado actual del proceso;

- n, frecuencia esperada de cambio desde el estadon al n +1 (nacimiento),por unidad de tiempo ;

- n, frecuencia esperada de cambio desde el estado n al n

1 (muerte),

por unidad de tiempo;

- pn(t), probabilidad de que el proceso este en el estado n en el tiempo t.

En estado estable, los flujos de ingreso y salida del sistema deben igualarse.Entonces, para que el sistema se estabilice en el estado n, debe suceder

55


58/62

n1pn1(t) + n+1pn+1(t) = (n+ n)pn(t) n= 1, 2, . . . . (5.51)

es decir, las tasas esperadas de llegada y de salida en el estado ndeben igualarse,manteniendo el equilibrio de flujos. Esto es equivalente al razonamiento quepermite obtener las probabilidades de estado en el caso de filas de espera.

Consideremos ahora la posibilidad que el proceso pueda realizar transicionesdesde o hacia un estadoj desde cualquier otro estadoi = 1, 2, . . .. Entonces, sea

- i, tasa esperada de salida desde el estado i a cualquier otro estado, porunidad de tiempo;

- ij, tasa esperada de salida desde el estado i al estado j, por unidad detiempo;

- pi(t), probabilidad de que el proceso este en el estado i en el tiempo t.

Para que el sistema este en equilibrio enj , es decir, que las entradas igualen lassalidas, se debe cumplir2

i=j

ijpi(t) = jpj(t) j = 1, 2, . . . . (5.52)

Ademas, si el proceso es ergodico, entonces se cumplei=j

iji = jj j = 1, 2, . . . , (5.53)

donde i, i = 1, 2, . . ., corresponden a las probabilidades de estado l mite, defi-

nidas por

i = lmt

pij(t) j = 1, 2, . . . , (5.54)

que satisfacen i

ipij(t) = j j = 1, 2, . . . . (5.55)

Ejemplo 6. Consideremos como ejemplo dos equipos de proyecto sometidos aun programa de desarrollo de un sistema crtico. Cada uno de los equipos de tra-bajo puede desarrollar continuamente. Sin embargo, por diferentes condicioneslos equipos se retrasan. Cuando eso ocurre, se asigna recurso adicional al equipo

retrasado, pero ese recurso alcanza solo para un equipo a la vez. El tiempo mediode retraso de cada equipo es de1 da, el que debe recuperarse lo antes posible.El tiempo medio de recuperacion es de1/2 da.

2Notese que en el caso del proceso de conteo, dado el estado n la frecuencia esperada decambio es tal que n = n+ n.

56


59/62

Definamos la variable aleatoria X(t), numero de equipos retrasados en eltiempo t. Luego, X(t)

{0, 1, 2

}. Si la unidad temporal es 1 da, entonces se

puede ver lo siguiente:

w0 = 0 (5.56)

w1 = 1+ 1

w2 = 2

Notemos que si los equipos estan desarrollando normalmente, la tasa potencialde retraso en un da sera igual a0 = 2, pues ambos equipos podran fallar. Encambio, si uno de los equipos se retraso, solo un equipo podra entrar en retrasoen un da, es decir, 1 = 1. Por otro lado, la tasa de recuperacion depende del

recurso asignado de tal manera que1 = 2 y2 = 2. Por lo tanto,

w0 = 2 (5.57)

w1 = 3

w2 = 2

Usando la ecuacion (5.53) se llega a:

20 = 21 (5.58)

31 = 20+ 2222 = 1

Sabiendo ademas que 0 + 1 + 2 = 1, se puede determinar facilmente que(0, 1, 2) = (2/5, 2/5, 1/5).

5.4. Cadenas de Markov con recompensa

5.4.1. Proceso con recompensa

Se dice que una cadena de Markov genera recompensas si una transicion

implica una ganancia (o perdida). Dada que las transiciones se realizan en pro-babilidad, la recompensa obtenida a partir de un estado inicial corresponde auna ganancia (o perdida) esperada.

Ejemplo 7. Supongamos un sitio Web de noticias que tiene tres tipos de pagi-nas: 1, noticias polticas; 2, noticias economicas, 3, noticias deportivas. Luego

57


60/62

de un experimento desarrollado con una muestra relevante de usuarios se deter-mino que un usuario puede hacer transiciones de un tipo de pagina a otro segun

la siguiente matriz de transiciones:

P=

0, 25 0, 5 0, 250, 4 0, 3 0, 3

0, 3 0, 3 0, 4

,

Cada vez que un usuario realiza un cambio de estado el periodico digital recibeuna recompensa neta que proviene de los anuncios pagados por las empresas quepublicitan en el medio. Supongamos que la ganancia neta por cada cambio deestado queda definida por la siguiente matriz

R=

10 5 2, 55 3 4

4 1 2

.

El periodico esta interesado en saber cual es la ganancia que obtiene porun usuario que visita el sitio duranten minutos. Entonces, seagi,n la gananciaesperada enn pasos, a partir del estadoi = 1. Luego, la ganancia esperada en unpaso, a partir dei = 1, se calcula como100, 25+50, 5+2, 50, 25. Asimismo,la ganancia esperada en dos pasos a partir dei = 1, gi,2, esta determinada por

gi,2 =3

j=1

pij {rij+ gj,1} .

Para el ejemplo se tiene

gi,2 = 0, 25 {10 + (10 0, 25 + 5 0, 5 + 2, 5 0, 25)} += 0, 5 {5 + (5 0, 4 + 3 0, 3 + 4 0, 3)} += 0, 25 {2, 5 + (4 0, 3 1 0, 3 + 2 0, 4)} .

En terminos generales, se tiene lo siguiente

gi,n=mj=1

pij {rij+ gj,n1} .

5.4.2. Proceso de decision markoviano

En el ejemplo de la seccion 5.4.1, supongamos que una vez que se llega a un

estado el periodico tiene la opcion de realizar una accion que cambia el mode-lo de recompensa y las probabilidades de transicion. Por ejemplo, para evitarla perdida que puede implicar la transicion desde el estado 3 al estado 2, eleditor puede introducir un anuncio viral que aumenta la posibilidad de perma-nencia del usuario en la pagina de noticias. Entonces, supongase que el editordel periodico tiene dos acciones posibles: introducir un anuncio viral (accion 1),

58


61/62

o no introducir el anuncio (accion 2). Las opciones disponibles conducen a lasmatrices de transicion y recompensas siguientes:

P1 =

0, 30 0, 4 0, 30, 225 0, 375 0, 4

0, 5 0, 25 0, 25

,

R1 =

7 7 34 6 2

5 2 1

.

P2 =

0, 25 0, 5 0, 250, 4 0, 3 0, 3

0, 3 0, 3 0, 4

,

R2 = 10 5 2, 55 3 4

4 1 2 .

Entonces, el editor del periodico se enfrenta al problema de determinar cualsera la estrategia que le genere el mayor retorno esperado en una sesi on deusuario tpica. Si k representa el numero de una accion, entonces un editor quedesea maximizar sus ganancias aplicara la siguiente funcion para determinar laganancia esperada en n minutos, dado un estado inicial i:

gi,n= maxk{1,2}

mj=1

pkij

rkij+ gj,n1

.

Notese que esta es una formula recursiva que indica que la ganancia esperada

en n pasos, a partir del estado i, depende de las acciones futuras del tomadorde decision. Este modelo de calculo es llamadoprogramacion dinamicadonde elresultados se puede determinar calculando los terminos en gj,1, gj,2, . . . , gj,n1,etc., hasta llegar a gj,n.

59


62/62

Bibliografa

[1] Banks, J., Carson, J., Nelson, B. and Nicol, D., Discrete-Event System Si-mulation. 3rd edition, Prentice-Hall, 2001.

[2] Feller, W., An Introduction to Probability Theory and Its Applications,

second edition, John Wiley & Sons, 1971.

[3] Prawda, J., Metodos y Modelos de Investigacion de Operaciones. VolumenII, Modelos Estocasticos, Editorial Limusa, 1987.

[4] Ross, S., Introduction to Probability Models, Eight Edition, Academic Press,2003.

[5] Taha, H., Investigacion de Operaciones, Alfaomega, 1995.

[6] Winston, W., Operations Research: Applications and Algorithms, DuxburyPress, 1994.

60

Modelos Estocasticos

Documents

Transcript of Modelos Estocasticos