CONTROLE OTIMO DE SISTEMAS SUJEITOS A SALTOS COM CADEIA DE MARKOV … · 2014-09-20 · Keywords|...

CONTROLE OTIMO DE SISTEMAS SUJEITOS A SALTOS COM CADEIA DEMARKOV EM UM ESPACO DE ESTADOS GERAL

Oswaldo Luiz do Valle Costa∗, Danilo Zucolli Figueiredo∗

∗Departamento de Engenharia de Telecomunicacoes e Controle,Escola Politecnica da Universidade de Sao Paulo, CEP: 05508-900 - Sao Paulo, Brasil

Emails: [email protected], [email protected]

Abstract— The linear quadratic (LQ) optimal control problem for discrete-time Markov Jump Linear Systems(MJLS) with a Markov chain taking values in a general Borel space S is studied in this paper. The obtainedresults generalize previous results in the literature, that consider only the case of the Markov chain taking valuesin a finite or infinite countable space. It is shown that the solution of the LQ optimal control problem is derivedin terms of a positive semi-definite solution S(`), ` ∈ S, of S-coupled algebraic Riccati equations. Sufficientconditions are obtained, based on the stochastic stabilizability and on the stochastic detectability of the systems,for the existence and uniqueness of the solution.

Keywords— Linear Quadratic Optimal Control, Markov Jump Linear Systems, General Borel Space, Riccatiequations.

Resumo— O problema do controle otimo linear quadratico (LQ) para Sistemas Lineares a tempo discreto comSaltos Markovianos (MJLS) em que a cadeia de Markov toma valores em um espaco geral de Borel S e estudadoneste artigo. Os resultados obtidos generalizam resultados anteriores da literatura, que consideram apenas ocaso em que a cadeia de Markov toma valores em um espaco finito ou infinito contavel. Mostra-se que a solucaodo problema do controle otimo LQ e obtida em termos de uma solucao positiva semi-definida S(`), ` ∈ S, deequacoes de Riccati S-acopladas. Sao obtidas condicoes suficientes, baseadas na estabilizabilidade estocastica ena detectabilidade estocastica dos sistemas, para a existencia e unicidade da solucao.

Palavras-chave— Controle Otimo Linear Quadratico, Sistemas Lineares Sujeitos a Saltos Markovianos, Es-paco Geral de Borel, Equacoes de Riccati.

1 Introducao

Sistemas lineares que estao sujeitos a mudancasabruptas em suas estruturas tem recebido grandeatencao ultimamente, especialmente o caso em queas mudancas abruptas sao modeladas por uma ca-deia de Markov. Na literatura internacional, essaclasse de modelos e chamada de Markov JumpLinear Systems (MJLS) - Sistemas Lineares comSaltos Markovianos - e ja existe uma grande quan-tidade de resultados sobre esse assunto. Pode-semencionar (Mariton, 1990; Ji et al., 1991; Costaand Fragoso, 1993; Bernard et al., 1997; Draganand Morozan, 2004; Dragan et al., 2010), comouma amostra de trabalhos sobre esse tema. Nes-ses trabalhos, foi assumido que o espaco de estadosda cadeia de Markov toma valores em um espacode estados finito. Mas, como apontado em (Costaand Fragoso, 1995), ha importantes diferencas en-tre o caso finito e o caso infinito contavel. Porexemplo, em (Costa and Fragoso, 1995) foi mos-trado que para o caso em que o espaco de estadosda cadeia de Markov e infinito contavel, estabili-dade em media quadratica e estabilidade estocas-tica (estabilidade-`2) nao sao mais equivalentes.Devido a isso, o caso em que a cadeia de Mar-kov tem espaco infinito contavel tambem recebeuatencao e alguns resultados acerca do problema docontrole otimo LQ e da equacao algebrica infini-tamente acoplada associada ao problema de con-trole tem sido estudados. Pode-se citar os arti-gos (Costa, do Val and Fragoso, 2005; Ungure-

anu et al., 2013) como uma amostra de trabalhosnessa direcao. Apenas mais recentemente, o casoem que a cadeia de Markov toma valores em umespaco geral de Borel comecou a ser analisado.Em relacao a alguns resultados sobre estabilidadepode-se mencionar (Li et al., 2012) e (Kordonisand Papavassilopoulos, 2014), em que a estabili-dade exponencial quase certa e a estabilidade emmedia quadratica foram consideradas. No artigo(Costa and Figueiredo, 2014) foram obtidas con-dicoes necessarias e suficientes para a estabilidadeestocastica, tendo sido demonstrado que a estabi-lidade estocastica e equivalente ao raio espectralde um operador linear limitado em um espaco deBanach ser menor que um ou a existencia de umasolucao de uma equacao do tipo Lyapunov. Ja emrelacao ao problema do controle otimo LQ, pode-se citar (Kordonis and Papavassilopoulos, 2014),que apresenta um tratamento para o problema emtermos de equacoes integrais de Riccati. A escas-sez de resultados para MJLS com cadeia de Mar-kov tomando valores em espaco de estados geralconstitui a principal motivacao para o estudo doproblema do controle otimo LQ para essa classede sistemas.

O presente artigo pode ser visto como umacontinuacao do trabalho (Costa and Figueiredo,2014). Os resultados acerca da estabilidade esto-castica anteriormente obtidos sao agora aplicadosao problema do controle otimo LQ. Considera-seum MJLS a tempo discreto e assume-se que os

Anais do XX Congresso Brasileiro de Automática Belo Horizonte, MG, 20 a 24 de Setembro de 2014

753

saltos sao modelados por uma cadeia de Markovhomogenea no tempo θ(k); k ∈ N tomando va-lores em um espaco geral de Borel S e com kernelde probabilidade de transicao G(·|·) com densidadeg(·|·) com respeito a uma medida σ-finita µ em S.

O artigo esta organizado da seguinte maneira.Na secao 2 e definida a notacao e alguns conceitospreliminares. Resultados sobre estabilidade, queserao utilizados ao longo do artigo, sao apresen-tados na secao 3. O problema do controle otimoLQ e alguns resultados auxiliares sao abordadosna secao 4. O principal resultado deste traba-lho e apresentado na secao 5, Teorema 16, queestabelece que no caso de (A,B) ser estocastica-mente estabilizavel, existe uma solucao S para asequacoes algebricas S-acopladas de Riccati. PorS-acopladas deve-se entender que as equacoes al-gebricas de Riccati sao acopladas via uma inte-gral sobre um kernel de probabilidade de transicaoG(·|·) com densidade g(·|·) com respeito a uma me-dida σ-finita µ em S. Caso adicionalmente (C,A)seja estocasticamente detectavel, entao S e unica(no sentido µ-quase em toda parte) entre as so-lucoes positivas semi-definidas, e estabilizante efornece uma solucao para o problema do controleotimo LQ. Alem disso, qualquer iteracao da equa-cao a diferencas de Riccati comecando a partirde uma funcao de S em matrizes positivas semi-definidas ira convergir para S µ-quase em todaparte. Na secao 6 apresenta-se um exemplo nu-merico basedo num modelo de receptor solar ter-mico, proposto inicialmente em (Sworder and Ro-gers, 1983). O artigo e finalizado com as conclu-soes na secao 7.

2 Notacao e conceitos preliminares

Para X e Y espacos de Banach complexos, denota-se por B (X,Y) o espaco de Banach de todos osoperadores lineares limitados de X em Y, com anorma induzida representada por ‖ · ‖. Por sim-plicidade, sera denotado B (X) := B (X,X). ParaT ∈ B (X), o raio espectral de T sera denotadopor rσ(T ). Como de costume, T ≥ 0 (T > 0) sig-nificara que o operador T ∈ B (X) e positivo semi-definido (positivo definido, respectivamente). Amedida de Dirac centrada num ponto fixo x ∈ Xsera denotada por δx. O espaco Euclidiano n-dimensional complexo (real) sera denotado por Cn(Rn, respectivamente) e o espaco linear das matri-zes complexas m×n com norma limitada sera de-notado por B(Cn,Cm), com B(Cn) := B(Cn ,Cn)e B(Cn)

+:= L ∈ B(Cn);L = L∗≥0. Os autova-

lores de uma matriz P ∈ B(Cn) serao denotadospor λi(P ), i = 1, . . . , n, e o operador traco portr(·). Tanto a norma induzida em B(Cn) quantoa norma Euclidiana padrao em Cn serao represen-tadas por ‖ · ‖. Nesse caso, para toda A ∈ B(Cn),‖A‖2 = maxi=1,...,n λi(A

∗A). Para V > 0 define-se a norma ‖.‖V em Cn como ‖x‖2V := x∗V x.

Proposicao 1 Para todo W ∈ B(Cn) existe umadecomposicao W j, j = 1, 2, 3, 4, tal que W j ≥ 0,∥∥W j

∥∥ ≤ ‖W‖ para j = 1, 2, 3, 4 e W = (W 1 −W 2) +

√−1(W 3 −W 4).

Prova: Veja (Costa, Fragoso and Marques, 2005,p. 18). 2

Seja X um espaco de Borel, isto e, um sub-conjunto de Borel de um espaco metrico completoe separavel. A associada σ-algebra de Borel seradenotada por B(X ). Para X , Y espacos de Bo-rel, a famılia de todos os kernels estocasticos emX dado Y e denotada por P(X|Y). Seja S umespaco de Borel e µ uma medida σ-finita em S.Sera dito que P ∈ Hn,m1 se P (·) : S → B(Cn,Cm)e mensuravel e ‖P‖1 :=

∫S ‖P (t)‖µ(dt) < ∞,

e, de forma analoga, que P ∈ Hn,msup se P (·) :S → B(Cn,Cm) e mensuravel e ‖P‖sup :=ess-sup‖P (t)‖; t ∈ S = infb; ‖P (t)‖ ≤ b µ −quase em toda parte em S <∞. E facil de mos-trar que (Hn,m1 , ‖ · ‖1) e (Hn,msup , ‖·‖sup) sao espacosde Banach (veja (Costa and Figueiredo, 2014)).Por simplicidade, sera denotado Hn1 := Hn,n1 ,Hnsup := Hn,nsup, e Hn+

1 := P ∈ Hn1 ;P (t) ≥0, ∀t ∈ S, Hn+

sup := P ∈ Hnsup;P (t) ≥0, µ − quase em toda parte em S. Sera dito

que P ≥ P se P (`) ≥ P (`) µ-quase em toda

parte em S. Sera denotado por Hn,msup = L ∈Hn,msup ;L(`) e real para todo ` ∈ S. Conceito

analogo sera usado para Hnsup, Hn,m1 , etc.

3 Estabilidade estocastica

Seja S um espaco de Borel e µ uma medida σ-finitaem S. Num espaco de probabilidade (Ω,F ,P)sera considerada uma cadeia de Markov homoge-nea θ(k); k ∈ N tomando valores em S e comkernel de transicao G(·|·) com densidade g(·|·) comrespeito a µ, tal que para todo k ∈ N,

G(θ(k + 1) ∈ C|θ(k) = `) =

∫C

g(t|`)µ(dt). (1)

Considere o seguinte sistema linear a tempo dis-creto com saltos markovianos (MJLS)

x(k + 1) = Γ(θ(k))x(k) (2)

com x(0) = x0, θ(0) = θ0, e (x0, θ0) comdistribuicao µ na medida de probabilidade µem Rn × S. Seja Fk∞k=0 uma filtragemtal que Fk representa a σ-algebra gerada porx(0), θ(0), . . . , x(k), θ(k). Denota-se µS a mar-ginal de µ em S, isto e, µS(B) = µ(Rn×B), paratodo B ∈ B(S). Assume-se nesse trabalho que

A1) Γ ∈ Hnsup.

A2) E(‖x0‖2) <∞.

A3) µS µ (ou seja, µS e absolutamente contı-nua com respeito a µ).


754

Como demonstrado em (Costa and Figueiredo,2014), existe uma funcao mensuravel ν de S em[0,∞) e um kernel estocastico K(·|·) ∈ P(Rn|S)tais que para todo C ∈ B(Rn) e B ∈ B(S),

µ(C ×B) =

∫B

K(C|`)ν(`)µ(d`) (3)

e pode-se definir R = R(`); ` ∈ S ∈ Hn+1 com,

para cada ` ∈ S,

R(`) :=

∫Rn

uu∗K(du|`)ν(`). (4)

A seguir e apresentado o conceito de estabi-lidade estocastica, ja conhecido na literatura deMJLS, que sera utilizado nas secoes posteriores.

Definicao 2 O sistema (2) e estocasticamente es-tavel (SS) se

∑∞k=0E(‖x(k)‖2) <∞ para qualquer

condicao inicial (x0, θ0) satisfazendo as HipotesesA2) e A3).

Para V ∈ Hn1 , U ∈ Hnsup e ` ∈ S, define-se

L(V )(`) :=

∫Sg(`|t)Γ(t)V (t)Γ(t)∗µ(dt), (5)

E(U)(`) :=

∫SU(t)g(t|`)µ(dt). (6)

Note que L e E sao operadores lineares positivos(ou seja, L(V ) ≥ L(V ) sempre que V ≥ V , e omesmo vale para E). Alem disso, de (2), tem-separa qualquer V ∈ Hn+

sup,

E(x(k + 1)∗V (θ(k + 1))x(k + 1)) =

E(E(x(k)∗Γ(θ(k))∗V (θ(k + 1))Γ(θ(k))x(k)|Fk)) =

E(x(k)∗Γ(θ(k))∗E(V (θ(k + 1))|Fk)Γ(θ(k))x(k)) =

E(x(k)∗Γ(θ(k))∗E(V )(θ(k))Γ(θ(k))x(k)). (7)

Como demonstrado em (Costa and Figuei-redo, 2014), L ∈ B(Hn1 ) com ‖L‖ ≤ ‖Γ‖2sup eE ∈ B(Hnsup) com ‖E‖ ≤ 1.

Define-se agora para todo ` ∈ S, k ∈ N,

F (k + 1, `) := E(x(k + 1)x(k + 1)∗g(`|θ(k)), (8)

F (0, `) := R(`), (9)

onde R ∈ Hn+1 foi definido em (4). O proximo

resultado estabelece um vınculo entre F (k, `), ooperador L e a estabilidade estocastica do sistemadescrito por (2).

Proposicao 3 Tem-se que para todo k ∈ N,F (k) = F (k, `); ` ∈ S ∈ Hn+

1 e, para todo ` ∈ S,

F (k + 1, `) = L(F (k))(`). (10)

Alem disso, o sistema (2) e SS para toda condi-cao inicial (x0, θ0) satisfazendo as Hipoteses A2)e A3) se e somente se rσ(L) < 1.

Prova: Veja (Costa and Figueiredo, 2014). 2

4 Problema do controle otimo LQ eresultados auxiliares

No espaco de probabilidade (Ω,F ,P) considereagora o seguinte MJLS

x(k + 1) = A(θ(k))x(k) +B(θ(k))u(k), (11)

com A ∈ Hnsup, B ∈ Hm,nsup e satisfazendo as mes-mas Hipoteses da secao 3. A seguir e definido oproblema do controle otimo LQ que sera conside-rado.

Definicao 4 Seja U a classe de controles u =u(0), u(1), . . . tal que u(k) e Fk mensuravel eo sistema (11) e estavel em media quadratica nosentido que E(‖x(k)‖2) → 0 conforme k → ∞para qualquer condicao inicial (x0, θ0) que satis-faca as Hipoteses A2) e A3). Para u ∈ U e (x0, θ0)satisfazendo as Hipoteses A2) e A3), define-se ocusto linear quadratico J(x0, θ0, u) como

J(x0, θ0, u) :=∞∑k=0

E(‖C(θ(k))x(k)‖2

+ ‖D(θ(k))u(k)‖2), (12)

onde C ∈ Hn,rsup, D ∈ Hm,psup e D(`)∗D(`) ≥ εDI µ-quase em toda parte em S, para algum 0 < εD ≤ 1.O custo LQ otimo e definido como

J(x0, θ0) := infu∈U

J(x0, θ0, u). (13)

Sera util considerar o problema a horizonte finito.Tome T ∈ N positivo, Q ∈ Hn+

sup e UT como aclasse de controles u = u(0), u(1), . . . , u(T ) talque u(k) e Fk-mensuravel. O custo LQ a horizontefinito e definido como

JTQ(x0, θ0, u) := E(T−1∑k=0

‖C(θ(k))x(k)‖2

+ ‖D(θ(k))u(k)‖2 + x(T )∗Q(θ(T ))x(T ))

e o custo LQ otimo a horizonte finito e definidocomo

JTQ(x0, θ0) := infu∈UT

JTQ(x0, θ0, u). (14)

A seguir sao apresentadas algumas definicoes re-lacionadas a estabilizabilidade estocastica e detec-tabilidade estocastica do sistema (11).

Definicao 5 Sera dito que (A,B) e estocastica-

mente estabilizavel se para algum F ∈ Hn,msup tem-se que rσ(L) < 1, onde L e como em (5), comΓ(`) = A(`) + B(`)F (`), ` ∈ S. Nesse caso, seradito que F estabiliza estocasticamente (A,B).

Definicao 6 Sera dito que (C,A) e estocastica-

mente detectavel se para algum H ∈ Hr,nsup tem-se que rσ(L) < 1, onde L e como em (5), comΓ(`) = A(`) +H(`)C(`), ` ∈ S.


755

Esta secao e finalizada com alguns resultadosauxiliares que serao uteis ao longo do artigo.

Proposicao 7 Suponha que S, S ∈ Hn+sup e que

para qualquer condicao inicial (x0, θ0) satisfa-zendo as Hipoteses A2) e A3), com x0 tomandovalores em Rn, tem-se que E(x∗0S(θ0)x0) ≤E(x∗0S(θ0)x0) entao S(`) ≤ S(`) µ-quase em todaparte em S. Particularmente, E(x∗0S(θ0)x0) =

E(x∗0S(θ0)x0) implica S(`) = S(`) µ-quase emtoda parte em S.

Prova: Defina o conjunto compacto Ψ = x ∈Rn; ‖x‖ ≤ 1 ⊂ Rn e a funcao mensuravel v(·, ·) :

Rn × S → R como v(x, `) = x∗(S(`) − S(`))x.Tem-se que para ` ∈ S fixo, v(·, `) e uma fun-cao contınua em Rn. Tome uma funcao de S emR dada por v1(`) = maxx∈Ψ v(x, `). Note quev1(`) ≥ 0, pois maxx∈Ψ v(x, `) ≥ v(0, `) = 0.Ordenando os n autovalores (nao necessariamente

distintos) de S(`)− S(`) como λ1(`) ≥ . . . ≥ λn(`)tem-se que v1(`) = maxλ1(`), 0 ≥ 0 e, por-

tanto, S(`) ≤ S(`) se e somente se v1(`) = 0. DaProposicao D.5 em (Hernandez-Lerma and Las-

serre, 1996), existe um seletor mensuravel f1(·) :

S → Ψ tal que v1(`) = v(f1(`), `). Considereo conjunto mensuravel Λ1 = ` ∈ S; v1(`) >0. Suponha momentaneamente que µ(Λ1) >0. Como na Proposicao 4.3 em (Costa and Fi-gueiredo, 2014), pode-se encontrar uma densi-dade ν1 com respeito a µ tal que ν1(`) > 0para ` ∈ Λ1, ν1(`) = 0 for ` ∈ Λc1, e que∫

Λ1ν1(`)µ(d`) = 1. Considere uma condicao ini-

cial (x0, θ0) com distribuicao µ1 definida como se-gue: tome o kernel estocastico K1(·|·) ∈ P(Rn|S)como K1(C|`) = δf1(`)(C) para todo C ∈ B(Rn)

(lembre que δ(·) representa a medida de Dirac),e defina µ1(C × B) =

∫BK1(C|`)ν1(`)µ(d`) de

modo que as Hipoteses A2) e A3) sao satisfeitas.

Entao, E(x∗0(S(θ0) − S(θ0))x0) = E(v(x0, θ0)) =∫Λ1v(f1(`), `)ν1(`)µ(d`) =

∫Λ1v1(`)ν1(`)µ(d`) >

0, pois v1(`)ν1(`) > 0 para ` ∈ Λ1.

Mas E(x∗0(S(θ0) − S(θ0))x0) > 0 contradiz

E(x∗0S(θ0)x0) ≤ E(x∗0S(θ0)x0). Por esse motivodeve-se ter µ(Λ1) = 0. 2

A seguir e enunciado o ultimo resultado auxi-liar desta secao.

Proposicao 8 Considere uma sequencia Sn ∈Hn+

sup com supn ‖Sn‖sup ≤ b para algum b ≥ 0.

Entao ha Sif , Ssp ∈ Hn+sup tais que µ-quase em

toda parte em S tem-se para todo x ∈ Rn que

limn→∞

x∗Sn(`)x = x∗Sif (`)x, (15)

limn→∞

x∗Sn(`)x = x∗Ssp(`)x. (16)

Prova: Da hipotese que supn ‖Sn‖sup ≤ b pode-se encontrar um conjunto mensuravel Λ ⊂ S tal

que µ(Λc) = 0 e que supn ‖Sn(`)‖ ≤ b paratodo ` ∈ Λ. Para cada ` ∈ Λ, defina α(x, `) =limn→∞ x∗Sn(`)x. Seja ei o vetor unitario da di-recao da i-esima coordenada em Rn. Seguindoos mesmos passos da prova da Proposicao D.1.4em (Davis and Vinter, 1985) pode-se definir paracada ` ∈ Λ os elementos (i, j) da matriz simetricaSif (`) como (Sif (`))ii = α(ei, `), (Sif (`))ij =12 (α(ei + ej , `) − α(ei, `) − α(ei, `)), i 6= j (para` ∈ Λc, pode-se definir Sif (`) de forma arbitraria).Entao os elementos (Sif (·))ij sao funcoes mensu-raveis de S em R e, como demonstrado na Pro-posicao D.1.4 em (Davis and Vinter, 1985), (15) esatisfeita. Raciocınio analogo mostra (16). 2

5 Resultado principal

Nesta secao e enunciado o Teorema 16, que e oprincipal resultado do artigo. Inicialmente seraointroduzidos alguns resultados preliminares.

Definicao 9 Para Z ∈ Hn+sup os operadores V, G,

R sao definidos, para ` ∈ S, como

V(Z)(`) := D(`)∗D(`) +B(`)∗E(Z)(`)B(`),

G(Z)(`) := V(Z)−1B(`)∗E(Z)(`)A(`),

R(Z)(`) := C(`)∗C(`) +A(`)∗E(Z)(`)A(`)+

−A(`)∗E(Z)(`)B(`)V(Z)(`)−1B(`)∗E(Z)(`)A(`).

Proposicao 10 V, G e R mapeiam Hn+sup em, res-

pectivamente, Hm+sup , Hn,msup e Hn+

sup. Alem disso,V(Z)−1 ∈ Hm+

sup para Z ∈ Hn+sup.

Prova: Segue os mesmos argumentos que a Pro-posicao 3 em (Costa and Fragoso, 1995). 2

Tome Q ∈ Hn+sup e, para um inteiro positivo T

fixo, defina para k = T − 1, . . . , 0,

STT := Q, STk := R(STk+1), (17)

GTk := G(STk+1) e V Tk := V(STk+1).

Proposicao 11 Tem-se que

JTQ(x0, θ0, u) =

E( T−1∑k=0

‖B(θ(k))∗E(STk+1)(θ(k))A(θ(k))x(k)+

V Tk (θ(k))u(k)‖2V Tk (θ(k))

)+ E(x∗0S

T0 (θ0)x0) (18)

Alem disso, E(x∗0ST0 (θ0)x0) = JTQ(x0, θ0) =

JTQ(x0, θ0, uT ), onde uT (k) = −GTk (θ(k))x(k).

Prova: E obtido como nas Proposicoes 4 e 5 em(Costa and Fragoso, 1995)). 2

As solucoes de interesse S ∈ Hn+sup satisfazem

as equacoes de Riccati S-acopladas

S(`) = R(S)(`) µ− quase em toda parte em S.(19)


756

Definicao 12 Sera dito que S e uma solucao es-tabilizante para (19) se S ∈ Hn+

sup e K = −G(S)estabiliza estocasticamente (A,B).

Proposicao 13 Suponha que (A,B) e estocasti-camente estabilizavel. Tome Q = 0 em (17). En-

tao existe S ∈ Hn+sup, tal que ST0 (`)→ S(`) µ-quase

em toda parte em S conforme T → ∞. Ademais,tem-se que (19) e satisfeita.

Prova: E facil notar que ST−10 (`) ≤ ST0 (`) para

todo T = 1, 2, . . .. Seguindo os mesmos argumen-tos da Proposicao 6 em (Costa and Fragoso, 1995)tem-se, da hipotese que (A,B) e estocasticamenteestabilizavel, que E(x∗0S(θ0)x0) ≤ dE(‖x0‖2)para algum d > 0, para qualquer condicao ini-cial (x0, θ0) satisfazendo as Hipoteses A2) e A3).Da Proposicao 7, tem-se que ST0 (`) ≤ dI µ-quaseem toda parte em S, e entao supT ‖ST0 ‖sup ≤ d.

Da Proposicao 8, existe S ∈ Hn+sup tal que ST0 (`)→

S(`) conforme T →∞, µ-quase em toda parte emS, completando a prova. 2

Proposicao 14 Suponha que (C,A) e estocasti-

camente detectavel e S ∈ Hn+sup satisfaz (19). En-

tao S e uma solucao estabilizante para (19).

Prova: Para S ∈ Hn+sup satisfazendo (19) e K =

−G(S), pode-se mostrar que, para d0 :=‖S‖supεD

,

E( ∞∑k=0

‖C(θ(k))x(k)‖2 + ‖K(θ(k))x(k)‖2)

≤ d0E(‖x0‖2). (20)

Considere agora L como em (5), com Γ(`) =A(`) + B(`)K(`). Para o sistema (2), defina asequencia F (k, `) como em (8), (9). Tem-se, daProposicao 3, que a equacao (10) e satisfeita, istoe, F (k) = Lk(R). Como (C,A) e estocastica-mente detectavel, pode-se encontrar H ∈ Hr,nsup

tal que rσ(L) < 1, onde L como em (5) comΓ(`) = A(`) +H(`)C(`), ` ∈ S. Escolha ε > 0 tal

que (1 + ε2)rσ(L) < 1 e defina Lε = (1 + ε2)L, tal

que rσ(Lε) < 1. Do Lema 1 em (Kubrusly, 1985)

e do fato de que rσ(Lε) < 1, tem-se que existem

escalares a > 0, 0 < b < 1 tais que ‖Lkε ‖ ≤ abk.Defina Dε(U)(`) ∈ B(Hn1 ), para U ∈ Hn1 , como

Dε(U)(`) = (1 +1

ε2)

∫Sg(`|t)(B(t)K(t)

−H(t)C(t))U(t)(B(t)K(t)−H(t)C(t))∗µ(dt).

Defina a sequencia M(k) em Hn+1 , para k =

0, 1, . . ., e ` ∈ S, como

M(k + 1, `) = Lε(M(k))(`) +Dε(F (k))(`) (21)

M(0, `) = R(`). (22)

Pode-se demonstrar que M(k) ≥ F (k) ≥ 0 e que,para algum c > 0,

E( ∞∑i=0

‖Dε(F (i))‖1)≤ cE(‖x0‖2). (23)

Alem disso, e possıvel mostrar que, para Rcomo em (4), tem-se

∞∑k=0

‖Lk(R)‖1 ≤a

1− b‖R‖1 +

a

1− bcE(‖x0‖2).

(24)

Para concluir a prova, o objetivo sera mos-tra que para qualquer W ∈ Hn1 tem-se que∑∞k=0 ‖Lk(W )‖1 < ∞, de modo que, do Lema 1

em (Kubrusly, 1985), rσ(L) < 1. Da Proposicao 1,pode-se determinar W j ∈ Hn+

1 , j = 1, 2, 3, 4, talque W = (W 1 −W 2) +

√−1(W 3 −W 4). Entao

da linearidade de L tem-se que

∞∑k=0

‖Lk(W )‖1 ≤4∑j=1

∞∑k=0

‖Lk(W j)‖1 (25)

e de (25) pode-se notar que e suficiente mos-trar que

∑∞k=0 ‖Lk(P )‖1 < ∞ para qualquer

P ∈ Hn+1 . Considere P ∈ Hn+

1 arbitrario etome P r(`) = ‖P (`)‖I. Claramente tem-se queP (`) ≤ P r(`) e P r ∈ Hn+

1 . Como L e um ope-rador positivo tem-se que 0 ≤ Lk(P ) ≤ Lk(P r)e, portanto, ‖Lk(P )‖1 ≤ ‖Lk(P r)‖1. Da provado Teorema 5.3, ii) → iii) em (Costa and Figuei-redo, 2014), pode-se encontrar condicoes iniciais(x0, θ0) tais que R(`) definido como em (4) podeser escrito como R(`) = P r(`). De (24), comR = P r, tem-se que

∑∞k=0 ‖Lk(P r)‖1 < ∞ para

P r(`) = ‖P (`)‖I, com P ∈ Hn+1 arbitrario, com-

pletando a prova da proposicao. 2

Demonstra-se agora a unicidade da solucao es-tabilizante de (19) em Hn+

sup.

Proposicao 15 Se S e uma solucao estabilizantede (19) entao e unica. Alem disso, fazendo K =−G(S) tem-se que para qualquer condicao inicial(x0, θ0) satisfazendo as Hipoteses A2) e A3) tem-se

J(x0, θ0) = E(x∗0S(θ0)x0) = J(x0, θ0, u), (26)

onde J(x0, θ0) e J(x0, θ0, u) sao como em (13) e(12), respectivamente, e u(k) = K(θ(k))x(k).

Prova: Fazendo Q = S em (17) resulta que ST0 =S e V Tk = V = V(S) para todo T devido a (19). Apartir da Proposicao 11 e tomando o limite con-forme T → ∞ em (18) tem-se que para qualqueru ∈ U ,

J(x0, θ0, u) = E(x∗0S(θ0)x0)+

E( ∞∑k=0

‖B(θ(k))∗E(S(θ(k))A(θ(k))x(k)

+ V (θ(k))u(k)‖2V (θ(k))

)(27)


757

devido ao fato que u ∈ U (veja defini-cao 4) e que 0 ≤ E(x(T )∗S(θ(T ))x(T )) ≤‖S‖∞E(‖x(T )‖2) → 0 conforme T → ∞. Es-colhendo u(k) = u(k) = K(θ(k))x(k) em (27)

obtem-se (26). Suponha que S e outra solucaoestabilizante de (19). Repetindo os mesmos argu-mentos acima resulta que

J(x0, θ0) = E(x∗0S(θ0)x0) = E(x∗0S(θ0)x0) (28)

para qualquer condicao inicial (x0, θ0) satisfa-zendo as Hipoteses A2) e A3). De (28) e da Propo-

sicao 7, tem-se que S(`) = S(`) µ-quase em todaparte em S, completando a prova da proposicao.2

Agora e possıvel enunciar o principal resul-tado do artigo.

Teorema 16 Se (A,B) e estocasticamente esta-bilizavel entao

(i) para ST0 (`) como definido na Proposicao 13,

existe S ∈ Hn+sup satisfazendo (19) tal que

ST0 (`) → S(`) µ-quase em toda parte em Sconforme T →∞.

Se adicionalmente (C,A) e estocasticamente de-tectavel entao

(ii) S e a solucao estabilizante de (19) eE(x∗0S0(θ0)x0) = J(x0, θ0) = J(x0, θ0, u),onde u(k) = K(θ(k))x(k), K = −G(S).

(iii) para qualquer Q ∈ Hn+sup e a sequencia Y Tk =

R(Y Tk+1), Y TT = Q, tem-se que Y T0 (`)→ S(`)µ-quase em toda parte em S conforme T →∞.

(iv) S e a unica solucao de (19) em Hn+sup.

Prova: Da Proposicao 13 tem-se a prova de (i).

Da Proposicao 14 e 15 resulta (ii). E facil cons-

tatar que (iii) implica (iv) (se S e outra solu-

cao de (19) em Hn+sup entao tome Q = S, de

modo que a partir de (iii) tem-se que Y T0 =

S = S). Falta demonstrar (iii). Tem-se queY Tk (`) ≥ STk (`) para k = T, T − 1, . . . , 0. Defato, para k = 0 o resultado e imediato, poisY TT = Q ≥ 0 = ST0 . Suponha que vale parak + 1, isto e, que Y Tk+1 − STk+1 ≥ 0. Fazendo

FTk = −G(Y Tk+1), GTk = −G(STk+1), resulta, apos

manipulacoes algebricas, que (Y Tk (`) − STk (`)) =(A(`) + B(`)FTk (`))∗E(Y Tk+1 − STk+1)(`)(A(`) +

B(`)FTk (`))+(FTk (`)−GTk (`))∗V(STk+1)(`)(FTk (`)−GTk (`)) ≥ 0 mostrando que realmente Y Tk (`) ≥STk (`) para k = T, T − 1, . . . , 0. Da Proposi-

cao 8, tem-se que existe Ysp, Yif ∈ Hn+sup tais que

limT→∞YT0 (`) = Ysp(`) e limT→∞ Y T0 (`) = Yif (`)

µ-quase em toda parte em S. Como Y T0 ≥ ST0

e limT→ ST0 (`) = S(`) conclui-se que µ-quase emtoda parte em S

Yif (`) ≥ S(`). (29)

Por outro lado, fazendo K = −G(S) re-sulta, apos manipulacoes algebricas, queY Tk (`) = K(`)∗D(`)∗D(`)K(`) + C(`)∗C(`) +(A(`)+B(`)K(`))∗E(Y Tk+1)(`)(A(`)+B(`)K(`))−(FTk (`) − K(`))∗V(Y Tk+1)(`)(FTk (`) − K(`)), isto

e, Y Tk (`) ≤ K(`)∗D(`)∗D(`)K(`) + C(`)∗C(`) +(A(`) + B(`)K(`))∗E(Y Tk+1)(`)(A(`) + B(`)K(`)).

Notando que Y Tk+1 = Y T−1k resulta, da expres-

sao acima, que Y T0 (`) ≤ K(`)∗D(`)∗D(`)K(`) +C(`)∗C(`)+(A(`)+B(`)K(`))∗E(Y T−1

0 )(`)(A(`)+B(`)K(`)). Considere qualquer x ∈ Rn.Pre e pos multiplicando a ultima expres-sao por x∗ e x, respectivamente, escrevendoy(`) = (A(`) + B(`)K(`))x e tomando o lim-sup conforme T → ∞ demonstra-se, de posseda Proposicao 8 e do lema de Fatou, queµ-quase em toda parte em S, x∗Ysp(`)x ≤x∗[K(`)∗D(`)∗D(`)K(`) + C(`)∗C(`) + (A(`) +B(`)K(`))∗E(Ysp)(`)(A(`) + B(`)K(`))]x.Como x e arbitrario, resulta da ultima ex-pressao que µ-quase em toda parte em S,Ysp(`) ≤ K(`)∗D(`)∗D(`)K(`) + C(`)∗C(`) +(A(`) + B(`)K(`))∗E(Ysp)(`)(A(`) + B(`)K(`)).Considere uma condicao inicial (x0, θ0)satisfazendo as Hipoteses A2) e A3) etome u(k) = Kx(k) = −G(S)x(k). De(7) e da ultima expressao, obtem-se queE(x(k)∗Ysp(θ(k))x(k)) ≤ E[‖C(θ0)x(k)‖2 +‖D(θ0)u(k)‖2 + x(k + 1)∗Ysp(θ(k + 1))x(k + 1)].Iterando esta ultima expressao resulta queE(x∗0Ysp(θ0)x0) ≤

∑T−1k=0 E[‖C(θ0)x(k)‖2 +

‖D(`)u(k)‖2]+E[x(T )∗Ysp(θ(T ))x(T )]. Tomandoo limite conforme T →∞ nesta ultima expressao

e notando que E(x(T )∗Ysp(θ(T ))x(T )

)→ 0

conforme T → ∞ (devido ao fato de que K es-tabiliza (A,B)), obtem-se que E(x∗0Ysp(θ0)x0) ≤J(x0, θ0, u) = E(x∗0S(θ0)x0). De (29), tem-se queE(x∗0Yif (θ0)x0) ≥ E(x∗0S(θ0)x0) e combinando-acom a Proposicao 8 e com (29), resulta que

E(x∗0S(θ0)x0) ≤ E(x∗0Yif (θ0)x0)

= E( limT→∞

x∗0YT0 (θ0)x0)

≤ E(limT→∞x∗0Y

T0 (θ0)x0)

= E(x∗0Ysp(θ0)x0) ≤ E(x∗0S(θ0)x0), (30)

e vale E(x∗0S(θ0)x0) = E(x∗0Yif (θ0)x0) =E(x∗0Ysp(θ0)x0) = E(x∗0S(θ0)x0). Da Proposicao7, obtem-se (iii). 2

6 Exemplo numerico

O modelo de um sistema receptor solar termico foiproposto em (Sworder and Rogers, 1983) e estu-dado em (Costa, Fragoso and Marques, 2005, p.


758

Tabela 1: Parametros do modelo do receptor solartermico

Ensolarado (i = 1) Nublado (i = 2)

a11 = 0.9, a12 = 0.7 a21 = 0.95, a22 = 1.15

b11 = 0.3, b12 = −0.1 b21 = 0, b22 = 0.95

p11 = 0.9767 p22 = 0.9565

167). O principal objetivo do controle desse sis-tema e regular o fluxo de agua de alimentacao deuma caldeira, de modo a manter a temperaturado vapor de saıda dentro de limites adequados. Adinamica do sistema e fortemente dependente daexposicao instantanea ao sol. Aqui serao conside-radas apenas duas condicoes atmosfericas: 1) en-solarado e 2) nublado. A dinamica do receptor so-lar termico e descrita pelo seguinte MJLS escalar:x(k + 1) = a(θ(k))x(k) + b(θ(k))u(k), onde θ(k)e uma cadeia de Markov tomando valores no con-junto S = 1× [0, 1]∪2× [0, 1]], e a(θ(k)),b(θ(k)), sao caracterizados da seguinte maneira.Para i = 1, 2, 0 ≤ t ≤ 1, considera-se que a(i, t) =ai1 + t(ai2− ai1) e b(i, t) = bi1 + t(bi2− bi1). Paraθ(k) = (i, t), considera-se que θ(k + 1) = (j, U),onde U e distribuıda uniformemente no intervalo[0, 1], e j = 1 com probabilidade pi1, e j = 2com probabilidade pi2. Evidentemente vale quepi1 + pi2 = 1, pij ≥ 0, i, j = 1, 2. Entao, para` = (i, t) ∈ S tem-se que em cada condicao at-mosferica (i = 1 ensolarado e i = 2 nublado) adinamica, dada por a(θ(k)) e b(θ(k)), pode to-mar qualquer valor de acordo com uma distribui-cao uniforme no intervalo contınuo determinadopor ai1, ai2 e bi1, bi2, respectivamente. Na ta-bela 1 estao descritos os parametros consideradosneste exemplo. Para a funcao custo, foram ado-tados os valores constantes C(`) = c = 0.1884 eD(`) = d = 1.

Conforme Teorema 16, as solucoes de interesseS(i, t) ≥ 0, i = 1, 2, 0 ≤ t ≤ 1, e os ganhos docontrole otimo K(i, t) ≥ 0, i = 1, 2, 0 ≤ t ≤ 1 saotais que

S(i, t) = c2 +(a(i, t)d)2y(i)

d2 + b(i, t)2y(i),

y(i) = pi1

∫ 1

0

S(1, s)ds+ pi2

∫ 1

0

S(2, s)ds,

a(i, t) = ai1 + t(ai2 − ai1),

b(i, t) = bi1 + t(bi2 − bi1),

K(i, t) = − a(i, t)b(i, t)y(i)

d2 + b(i, t)2y(i).

As equacoes acima foram resolvidas considerando-se uma aproximacao via discretizacao do espacoS. Nas figuras 1 e 2 estao representadas, respec-tivamente, as solucoes S(i, t) e os ganhos K(i, t),i = 1, 2, do controle otimo.

Tambem foi realizada uma simulacao de

0 0.2 0.4 0.6 0.8 10.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55

Figura 1: Solucoes positivas S(1, t) representadapor traco com asterisco e S(2, t) por traco contı-nuo

0 0.2 0.4 0.6 0.8 1−0.4

−0.35

−0.3

−0.25

−0.2

−0.15

−0.1

−0.05

0

0.05

Figura 2: Ganhos do controle otimo K(1, t) re-presentado por traco com asterisco e K(2, t) portraco contınuo

Monte Carlo com 1000 possıveis trajetorias para osistema sob controle otimo para a condicao inicialx(0) = 1 e clima ensolarado. O resultado dessasimulacao e representado na figura 3.

7 Conclusoes

Neste artigo analisou-se o problema do controleotimo LQ para MJLS a tempo discreto assumindoque os saltos sao modelados por uma cadeia deMarkov homogenea no tempo tomando valoresnum espaco geral de Borel. Este trabalho podeser visto como uma continuacao do artigo (Costaand Figueiredo, 2014), em que foram apresentadosresultados de estabilidade estocastica para essaclasse de sistemas. O principal resultado obtidoesta enunciado no Teorema 16, que estabelece quesob o pressuposto de (A,B) ser estocasticamenteestabilizavel existe uma solucao S para as equa-coes algebricas S-acopladas de Riccati. O Teo-rema 16 estabelece ainda que, caso (C,A) sejatambem estocasticamente detectavel, entao S eunica (no sentido µ-quase em toda parte) entre assolucoes positivas semi-definidas, e estabilizante efornece uma solucao para o problema do controle


759

0 1 2 3 4 50

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

tempo [min]

x(k)

trajetóriastrajetória média

Figura 3: Simulacao de Monte Carlo do sistemasob controle otimo

otimo LQ. Alem disso, qualquer iteracao da equa-cao a diferencas de Riccati comecando a partirde uma funcao de S em matrizes positivas semi-definidas ira convergir para S µ-quase em todaparte. Esses resultados generalizam resultados an-teriores em que se consideravam apenas os casosem que o espaco de estados da cadeia de Markovera dado por um conjunto finito ou infinito conta-vel.

Agradecimentos

Este trabalho contou com o apoio financeiro daFAPESP e do CNPq, auxılio 301067/09-0.

Referencias

Bernard, F., Dufour, F. and Bertrand, P. (1997).On the JLQ problem with uncertainty, IEEETransactions on Automatic Control 42: 869–872.

Costa, E. F., do Val, J. B. R. and Fragoso, M. D.(2005). A new approach to detectability ofdiscrete-time infinite Markov jump linear sys-tems, SIAM Journal Control and Optimiza-tion 43: 2132–2156.

Costa, O., Fragoso, D. and Marques, R. (2005).Discrete-Time Markov Jump Linear Systems,Probability and Its Applications, Springer.

Costa, O. L. V. and Figueiredo, D. (2014). Sto-chastic stability of jump discrete-time linearsystems with Markov chain in a general Bo-rel space, IEEE Transactions on AutomaticControl 59: 223–227.

Costa, O. L. V. and Fragoso, M. D. (1993). Sta-bility results for discrete-time linear systemswith Markovian jumping parameters, Jour-nal of Mathematical Analysis and Applicati-ons 179: 154–178.

Costa, O. L. V. and Fragoso, M. D. (1995).Discrete-time LQ-optimal control problemsfor infinite Markov jump parameter systems,IEEE Transactions on Automatic Control40: 2076–2088.

Davis, M. H. A. and Vinter, R. B. (1985). Sto-chastic Modelling and Control, Chapman andHall.

Dragan, V. and Morozan, T. (2004). The linearquadratic optimization problems for a class oflinear stochastic systems with multiplicativewhite noise and Markovian jumping, IEEETransactions on Automatic Control 49: 665–675.

Dragan, V., Morozan, T. and Stoica, A. M. (2010).Mathematical Methods in Robust Controlof Linear Stochastic Systems (MathematicalConcepts and Methods in Science and Engi-neering), Springer-Verlag, New York.

Hernandez-Lerma, O. and Lasserre, J. (1996).Discrete-Time Markov Control Processes:Basic Optimality Criteria, Vol. 30 of Applica-tions of Mathematics, Springer-Verlag, NewYork.

Ji, Y., Chizeck, H. J., Feng, X. and Loparo, K. A.(1991). Stability and control of discrete-timejump linear systems, Control Theory and Ad-vanced Technology 7: 247–270.

Kordonis, I. and Papavassilopoulos, G. (2014).On stability and LQ control of MJLS witha Markov chain with general state space,IEEE Transactions on Automatic Control59(2): 535–540.

Kubrusly, C. S. (1985). Mean square stabilityfor discrete bounded linear systems in Hil-bert spaces, SIAM Journal on Control andOptimization 23: 19–29.

Li, C., Chen, M. Z. Q., Lam, J. and Mao, X.(2012). On exponential almost sure stabilityof random jump systems, Automatic Control,IEEE Transactions on 57(12): 3064 –3077.

Mariton, M. (1990). Jump Linear Systems in Au-tomatic Control, Marcel Decker.

Sworder, D. D. and Rogers, R. O. (1983). AnLQG solution to a control problem with so-lar thermal receiver, IEEE Transactions onAutomatic Control 28: 971–978.

Ungureanu, V. M., Dragan, V. and Morozan, T.(2013). Global solutions of a class of discrete-time backward nonlinear equations on orde-red Banach spaces with applications to Ric-cati equations of stochastic control, OptimalControl Applications and Methods 34: 164–190.


760

CONTROLE OTIMO DE SISTEMAS SUJEITOS A SALTOS COM CADEIA DE MARKOV … · 2014-09-20 · Keywords|...

Documents

Transcript of CONTROLE OTIMO DE SISTEMAS SUJEITOS A SALTOS COM CADEIA DE MARKOV … · 2014-09-20 · Keywords|...