Introdução ao Controlo Óptimo 1
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
6.Introdução ao Controlo Óptimo
J. Miranda Lemos
Professor Catedrático do IST
2012
Introdução ao Controlo Óptimo 2
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Bibliografia
Luenberger, D. (1979). Introduction to Dynamic Models - Theory, Models
and Applications. Wiley.
Lewis, F. e V. Syrmos (1995). Optimal Control. 2ª ed. John Wiley & sons.
Bryson A. e Ho (1975). Applied Optimal Control. Hemisphere Publishing
Corporation.
Introdução ao Controlo Óptimo 3
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo: Carro de empurrar
Pretende-se acelerar um carro de modo a maximizar a distância total
percorrida num intervalo de tempo fixo T menos o esforço total medido por
Esforço u t dt
T
1
2
2
0
( )
z=0
zu
Qual deve ser a função
u t t T( ) 0 ?
Introdução ao Controlo Óptimo 4
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Formulação matemática do problema
Dinâmica do carro (assume-se massa=1):
d z
dtu
2
2
Objectivo: Escolher a função
u t t T( ) 0
que maximiza
J u z T u t dt
T
( ) ( ) ( ) 1
2
2
0
Espaço total
percorrido
Esforço
dispendido
J é uma "função"
que transforma
funções em
números reais
A dinâmica do carro
impõe uma restrição
Introdução ao Controlo Óptimo 5
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O funcional J faz corresponder a cada elemento do espaço das funções
seccionalmente contínuas no intervalo [0, T] um número real.
Tt
u
J(u) R
Consoante a "forma" da função, assim o valor de J correspondente.
Repare-se que não podemos
encontrar a função u que máximiza
J resolvendo a equação dJ
du 0
porque u é uma função e existe
num espaço de dimensão infinita
Introdução ao Controlo Óptimo 6
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O problema do Braquistocróno foi publicado em 1 de Janeiro
de 1667 por Johann Bernouilli como um desafio à comunidade
científica. Nada é mais atractivo para as pessoas inteligentes
do que um honesto problema que as desafie e cuja solução
traga fama e permaneça como um monumento duradouro,
escrevia ele.
Galileo sabia já, 60 anos antes, que o trajecto de tempo
mínimo não podia ser uma recta, embora pensasse, erroneamente, que era um arco de
circunferência.
Ao desafio de Johann Bernouilli corresponderam seis dos espíritos mais brilhantes da
época: O seu irmão mais velho Jacob, Leibniz, Tschirnhaus, l'Hopital e Newton (que
publicou a solução anonimamente e sobre a qual Leibniz disse a célebre frase
"reconheço o leão pelas suas garras".
Introdução ao Controlo Óptimo 7
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Uma perspectiva histórica do problema do Braquistocróno e das suas
relações com o Controlo Óptimo pode ser vista em
Sussmann, H. J. e J. C. Willems (1997). 300 Years of Optimal Control: From
the Brachystochrone to the Maximum Principle. IEEE Control Systems,
17(3):32-44.
Introdução ao Controlo Óptimo 8
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Princípio de Pontryagin - Formulação do Problema
Sendo x o estado do sistema com entrada u, que satisfaz a equação de
estado seguinte
Ttxxuxfx ,0)0(),( 0 T fixo u t U( )
pretende-se determinar a função u , definida no intervalo 0, T que maximiza o
funcional de custo J definido por
J u x T L x u dt
T
( ) ( ( )) ( , ) 0
Introdução ao Controlo Óptimo 9
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Examinemos a estrutura do funcional de custo
J u x T L x u dt
T
( ) ( ( )) ( , ) 0
Contribuição para J
associada ao estado
terminal x(T)
Contribuição para J , associada
ao que sucede durante o intervalo
de optimização
L denomina-se função
Lagrangeana
Limite superior do intervalo
de optimização, suposto fixo
Introdução ao Controlo Óptimo 10
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Para perceber o papel do custo terminal imaginemos que somos donos de um
restaurante que pretendemos gerir por forma a maximizar o lucro.
O lucro obtido com o restaurante depende de duas parcelas
Lucro total = Lucro obtido na venda + Lucro obtido ao longo do
do tempo com a
venda de comida
Valor terminal
Introdução ao Controlo Óptimo 11
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Repare-se que há problemas importantes em que:
O valor de T é livre e não fixo à partida
Há restrições no estado terminal
É possível estender o Princípio de Pontriagyn para estes casos.
Introdução ao Controlo Óptimo 12
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A variável manipulada u toma valores no conjunto U dos valores admissíveis
para o controlo.
Este conjunto traduz restrições no valor de u.
Por exemplo, no caso em que a variável manipulada é a abertura de uma
válvula, em que 0 corresponde a válvula toda aberta e 100 a válvula toda
fechada, é
U 0 100,
Eventualmente, podemos estar interessados em resolver o problema de
optimização num conjunto de valores admissíveis que é um subconjunto
deste.
Introdução ao Controlo Óptimo 13
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Princípio de Pontriagyn
Ao longo da trajectória óptima para x, u e verificam-se as seguintes
condições necessárias para a maximização de J:
( , ) ( ) ,x f x u x x t T 0 00 u t U( )
( ) ( ) , , t t f x t u t L x t u tx x
T xx x x T
( )
Para cada t, a hamiltoniana H definida por
H x u f x u L x u( , , ) ( , ) ( , )
é máxima para o valor óptimo de u(t).
Condição terminal
no co-estado
Introdução ao Controlo Óptimo 14
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
É utilizada a seguinte notação:
x x x T
x x T n x x T
xx
x
x
x( )
( ) ( )( )
( ) ( )
1
L x uL
x
L
xx
n
( , )
1
f
f
x
f
f
f
x
f
x
f
x
f
x
f
x
f
x
f
x
x
n
n
n n n
n
1
1
1
2
1
2
1
2
2
2
1 2
O vector designa-se por co-
estado e a respectiva equação
diferencial por equação adjunta.
Introdução ao Controlo Óptimo 15
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A condição de máximo para a Hamiltoniana significa que, ao longo das
trajectórias de x e definidas pelo controlo óptimo u, se verifica para cada
instante de tempo t
H t x t v H t x t u t( ( ), ( ), ) ( ( ), ( ), ( ))
qualquer que seja o valor de v.
O Princípio de Pontriagyn permite pois transformar um problema de
minimização em ordem numa função num problema de minimização em
ordem à variável u(t), para cada instante t.
Introdução ao Controlo Óptimo 16
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
No caso em que o óptimo da Hamiltoniana é atingido no interior do conjunto
de controlos admissíveis U , a condição de máximo é satisfeita numa das
soluções da equação
dH
du 0
Repare-se que esta equação pode ter outras soluções, correspondentes a
mínimos ou a pontos de estacionariedade.
Se o óptimo fôr atingido na fronteira de U , a equação anterior não pode ser
utilizada para o determinar.
Introdução ao Controlo Óptimo 17
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O Princípio de Pontriagyn é uma condição necessária satisfeita pelas
soluções do problema de controlo óptimo.
Pode haver funções de controlo que satisfação o Princípio de Pontriagyn mas
que não correspondem a máximos do funcional de custo.
O interesse do Princípio de Pontriagyn nestes casos consiste em reduzir o
número de hipóteses para as funções de controlo óptimo, tornando então
possível eliminar as soluções não óptimas, por exemplo analisando-as uma a
uma.
Introdução ao Controlo Óptimo 18
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Tal como foi formulado, o Princípio de Pontriagyn diz respeito à maximização
de um funcional.
O problema da minimização de um custo pode ser facilmente tratado
multiplicando o respectivo funcional por -1.
Introdução ao Controlo Óptimo 19
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo 1
Pretende-se desenhar uma curva x t( ) que comece em x( )0 0 , cuja
inclinação máxima seja 1 e que atinja a altura máxima para Tt .
O problema pode ser formulado como um problema de controlo óptimo com
dinâmica
( ) ( )x t u t x( )0 0 U u u | 1
e funcional de custo
J x T ( )
Quais as condições impostas pelo Princípio de Pontriagyn?
Introdução ao Controlo Óptimo 20
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
( ) ( ) , , t t f x t u t L x t u tx x
T xx x x T
( )
Como
f x ux ( , ) 0 e L x u( , ) 0
a equação adjunta reduz-se a
( ) t 0
com a condição terminal
( )T 1 pois ( ( )) ( )x T x T
Logo
( )t t T 1 0
Introdução ao Controlo Óptimo 21
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A Hamiltoniana é
H f L u u
Para cada t o valor de u que maximiza H no conjunto U é pois
u topt ( ) 1
x(t)
T t
x(T)
0
Curva óptima
Curvas possíveis
mas não óptimas
Introdução ao Controlo Óptimo 22
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O exemplo anterior pode ser facilmente resolvido sem ferramentas
matemáticas avançadas (se queremos subir o mais possível, devemos ter a
derivada sempre no valor máximo). No entanto, é interessante ver a resposta
dada pelo Princípio de Pontriagyn.
Considere-se agora um exemplo simples mas não trivial.
Introdução ao Controlo Óptimo 23
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo 2 - Carro de empurrar
z=0
zu
Objectivo: Escolher a função u t t T( ) 0 que maximiza
J u z T u t dt
T
( ) ( ) ( ) 1
2
2
0
sendo a dinâmica do carro dada por (condições iniciais nulas):
d z
dtu
2
2
Introdução ao Controlo Óptimo 24
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Sugestão:
Tomar como variáveis de estado
x z posiçao
x z velocidade
1
2
" "
" "
e escrever o modelo de estado na forma
( )x f x
Escrever as condições impostas pelo Princípio de Pontryagin
Concluir destas condições qual o controlo óptimo
Introdução ao Controlo Óptimo 25
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Modelo de estado
x x
x u
1 2
2
( , )
x
xf
x
xu
1
2
1
2
f x u
f x u
x
u
1
2
2( , )
( , )
f
f
x
f
x
f
x
f
x
x
1
1
1
2
2
1
2
2
0 1
0 0
Introdução ao Controlo Óptimo 26
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
J u x T u t dt
T
( ) ( ) ( ) 1
2
0
1
2
x T x T( ) ( ) 1 donde x x T( ) 1 0
L x u u t( , ) ( ) 1
2
2
donde L x ux ( , ) 0 0
A equação adjunta é f Lx x ou seja
1 2 1 2
0 1
0 0
1
2 1
0
1 2 1 0( ) ( )T T
Introdução ao Controlo Óptimo 27
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
1
2 1
0
1 2 1 0( ) ( )T T
Neste caso a equação adjunta pode resolver-se independentemente da
equação de estado.
Como
( )1 0t conclui-se 1( )t Cte
Da condição final 1 1( )T conclui-se
1 1( )t
Introdução ao Controlo Óptimo 28
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A equação para 2 ( )t é
( ) 2 1t
Como 1 1( )t esta equação escreve-se
( )2 1t
ou seja
2 ( )t C tte
Da condição final 2 0( )T vem
2 ( )t T t
Introdução ao Controlo Óptimo 29
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Hamiltoniana:
H x u x u u , , 1 2 2
21
2
Neste caso não há restrições (os valores possíveis para u são todo o conjunto
) pelo que a condição de máximo para a Hamiltoniana se obtém de
H
u 0
ou seja 2 0 u para cada t
O controlo óptimo é, portanto
u t t T topt ( ) ( ) 2
0
T
T t
u(t)
Introdução ao Controlo Óptimo 30
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Nestes dois exemplos é possível resolver as equações do co-estado
independentemente das do estado e do valor do controlo óptimo.
Normalmente não é assim. As equações do estado e do co-estado
aparecem acopladas, formando um sistema de 2n equações diferenciais a
2n incógnitas, em que parte das incógnitas é especificada no início e outra
parte no fim do intervalo de integração.
Veremos (por exemplo para dinâmica linear e custo quadrático) que em certos
casos é possível desacoplar estas equações.
Introdução ao Controlo Óptimo 31
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Lev Pontryagin (1908-1988) é uma figura controversa.
Matemático brilhante, cegou aos 14 anos num acidente,
o que não o impediu de se distinguir pelos seus
trabalhos na teoria do Controlo Óptimo. O anúncio do
Princípio ao qual o seu nome é ligado, feito no
Congresso Internacional de Matemática de 1958, foi
inicialmente recebido com grande frieza. A isto não foi alheia a motivação
militar por detrás deste resultado relacionada com o planeamento das
trajectórias de mísseis.
Introdução ao Controlo Óptimo 32
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Demonstração do Princípio de Pontryagin
Objectivo:
Demonstrarar o Princípio do Máximo de Pontryagin para problemas
sem restrições no estado terminal através de uma técnica de variação.
Introdução ao Controlo Óptimo 33
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Princípio de Pontryagin - Formulação do Problema
Sendo x o estado do sistema com entrada u, que satisfaz a equação de
estado seguinte
Ttxxuxfx ,0)0(),( 0 T fixo u t U( )
pretende-se determinar a função u , definida no intervalo 0, T que maximiza o
funcional de custo J definido por
J u x T L x u dt
T
( ) ( ( )) ( , ) 0
Introdução ao Controlo Óptimo 34
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Estratégia para demonstrar o Princípio de Pontryagin
Se uopt é a função que maximiza o funcional J u( ) qualquer "pequena"
variação através de uma função u leva à diminuição do valor de J u( ) :
J J u u J uopt opt ( ) ( ) 0
Introdução ao Controlo Óptimo 35
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Passos na demonstração do Princípio de Pontryagin
Modificação do funcional de custo através de uma funcional de custo por
forma a simplificar o cálculo da sua variação quando o controlo é
perturbado
Cálculo da relação existente entre uma variação "pequena" no controlo
óptimo e a correspondente variação no funcional. Retêm-se apenas
termos de 1ª ordem
Exprimir a condição de que a variação do funcional é negativa através de
uma condição de máximo na Hamiltoniana para cada instante de
tempo.
Introdução ao Controlo Óptimo 36
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Modificação do custo
J J t x t f x t u t dt
T
( ) ( ) ( ( ), ( ))0
Como o termo entre parentesis rectos é nulo ao longo das trajectórias do
sistema, J J pelo que o valor de u que optimiza J é o mesmo que
optimiza J .
Assim, podemos escolher por forma a simplificar o problema.
A esta quantidade (vectorial) dá-se o nome de co-estado.
Introdução ao Controlo Óptimo 37
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A Hamiltoniana
A função Hamiltoniana é definida por
H x u f x u L x u , , , ,
Com esta definição, o funcional modificado pode pois escrever-se:
J J t x t f x t u t dt x T L x u f x u x dt
T T
( ) ( ) ( ( ), ( )) ( ( ) , , 0 0
ou seja
J x T H t x t u t t x t dt
T
( ) ( ), ( ), ( ) ( ) ( ) 0
Introdução ao Controlo Óptimo 38
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Variação do Controlo Óptimo
Seja u t t T( ), 0 a função que traduz o controlo óptimo
Em conjunto com a condição inicial imposta ao estado, ele determina a
trajectória de estado x t t T( ), 0 .
T T0 0t
u(t)x(t)
t
Introdução ao Controlo Óptimo 39
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
É feita uma variação "pequena" da função u que define o controlo óptimo,
obtendo-se uma função designada por v.
A variação é pequena no sentido em que, para cada uma das componentes
ui e vi dos vectores u e v, se tem
u t v t dti i
T
( ) ( ) 0
sendo um número pequeno.
Introdução ao Controlo Óptimo 40
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A trajectória de estado correspondente a v depende essencialmente do
controlo e desvia-se pouco do estado óptimo x correspondente a u.
Seja x t( ) esta variação no estado.
T T0 0t
u(t)x(t)
t
v(t)x(t)+x(t)
Seja J a correspondente variação na função objectivo
J J v J u ( ) ( )
sendo u óptimo esta variação do custo é negativa.
Introdução ao Controlo Óptimo 41
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Cálculo da variação do funcional
Recorde-se que
J x T H t x t u t t x t dt
T
( ) ( ), ( ), ( ) ( ) ( ) 0
A variação é assim
J x T x T x T H x x v H x u x dt
T
( ) ( ) ( ) , , , , 0
Introdução ao Controlo Óptimo 42
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Recorde-se a regra de integração por partes:
Como d
dtab ab ab
é ab dt ab ab dt
TT
T
00
0
Aplique-se esta regra com
a x b
( ) ( ) ( ) ( ) xdt T x T x xdt
T T
0 0
0 0
Repare-se que x( )0 0 porque a variação do controlo óptimo não causa
qualquer variação na condição inicial do estado.
Introdução ao Controlo Óptimo 43
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
( ) ( ) xdt T x T xdt
T T
0 0
Tinha-se concluído que a variação do funcional é
J x T x T x T H x x v H x u x dt
T
( ) ( ) ( ) , , , , 0
Assim:
J x T x T x T T x T H x x v H x u x dt
T
( ) ( ) ( ) ( ) ( ) , , , ,
0
Através da integração por partes conseguimos exprimir as variações na
derivada do estado em variações no estado (e derivadas do coestado ).
Introdução ao Controlo Óptimo 44
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
J x T x T x T T x T H x x v H x u x dt
T
( ) ( ) ( ) ( ) ( ) , , , ,
0
Vamos aproximar o efeito da variação do estado na variação dos termos em
e H através de desenvolvimentos em série de Taylor de primeira ordem:
x T x T x T x T x Tx( ) ( ) ( ) ( ) ( )
H x x v H x v H x v xx , , , , , ,
Introdução ao Controlo Óptimo 45
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Assim, a menos de termos de ordem superior ou igual a 2:
J x T T x T H x u xdt H x v H x u dtx x
T T
( ) ( ) ( ) , , , , , ,0 0
Escolhendo de modo a que satisfaça a equação diferencial
( ) ( ), ( ), ( ) t H t x t u tx
com a condição final
( ) ( )T x Tx
a expressão da variação do funcional reduz-se a
J H t x t v t H t x t u t dt
T
( ), ( ), ( ) ( ), ( ), ( )0
Introdução ao Controlo Óptimo 46
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
J H t x t v t H t x t u t dt
T
( ), ( ), ( ) ( ), ( ), ( )0
Esta expressão traduz o efeito na variação do funcional de uma variação do
controlo óptimo.
Repare-se que , x e u são conhecidos e independentes da variação v .
Em particular, x e são calculados integrando as equações do estado e do
co-estado com o controlo óptimo u .
Perturbado Óptimo
Introdução ao Controlo Óptimo 47
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
J H t x t v t H t x t u t dt
T
( ), ( ), ( ) ( ), ( ), ( )0
Se u é óptimo, tem então de ser para cada instante t:
H t x t v H t x t u t ( ), ( ), ( ), ( ), ( )
v U
Esta afirmação necessita ser demonstrada.
Introdução ao Controlo Óptimo 48
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
J H t x t v t H t x t u t dt
T
( ), ( ), ( ) ( ), ( ), ( )0
Suponhamos que existia um instante t1 e uma função tal que
H t x t t H t x t u t ( ), ( ), ( ) ( ), ( ), ( )1 1 1 1 1 1
Sendo H uma função contínua, existirá um intervalo t t1 1 , em que
esta propriedade se verifica. Escolha-se v t u t( ) ( ) excepto neste intervalo
em que se faz v t t( ) ( ) . Com esta escolha do controlo, a variação é
J H t x t v t H t x t u t dtt
t
( ), ( ), ( ) ( ), ( ), ( )
1
1
0
valendo a desigualdade porque a integranda é positiva em todo o intervalo.
Isto contraria a hipótese de u ser o controlo óptimo.
Introdução ao Controlo Óptimo 49
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo: Optimização de um Fermentador
Objectivo:
Aplicação do Princípio de Pontryagin à resolução de um problema
com motivação em aplicações e em que a equação adjunta depende
do controlo óptimo
Introdução ao Controlo Óptimo 50
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Fermentador para a obtenção de penicilina
X - Quantidade de fungos
por unidade de volume
P - Quantidade de penicila
por unidade de volume
u - Variável manipulada: taxa de
adição de substracto
(açúcares para "alimentação"
dos fungos).
Os fungos produzem penicilina.
u
água
fria
água
aquecida
ar
agitador
X, P
Introdução ao Controlo Óptimo 51
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Um modelo muito simplificado do fermentador
X buX X
( )P c u X 1
Resultados mais realistas requerem modelos mais complexos.
Crescimento devido
ao "alimento"
Mortalidade
Produção dos
fungos
Inibição da
produção
pelo substracto
Introdução ao Controlo Óptimo 52
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Efeito inibidor do substracto
A penicilina é produzida pelos fungos cuja população, para tal, deve crescer.
Para tal deve ser adicionado substracto ("alimento").
O substracto tem no entanto um efeito de inibição da produção da penicilina.
Para maximizar a produção de penicilina, há portanto um compromisso na
escolha da taxa de adição de substracto, que vai ser a variável manipulada.
Este efeito está incluído no modelo considerado.
Introdução ao Controlo Óptimo 53
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
X buX X
( )P c u X 1
Por simplicidade, admite-se que o sistema de unidades é tal que
b c 1 1 05 .
Tem-se assim o modelo:
XuXX 5.0
XuP )1(
Condições iniciais:
X
P
( )
( )
0 1
0 0
Introdução ao Controlo Óptimo 54
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Problema de Controlo Óptimo do Fermentador
Modelo de estado e condições iniciais:
XuXX 5.0
XuP )1(
Objectivo:
Determinar u t t T( ) 0 , T fixo, por forma a que J P T ( ) seja máximo,
sujeito à restrição (que define o conjunto dos controlos admissíveis):
0 1 u
Escreva a equação adjunta para este problema.
Condições iniciais:
X
P
( )
( )
0 1
0 0
Introdução ao Controlo Óptimo 55
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Recordações úteis:
dx
dtf x u ( , )
x x( )0 0
J x T L x u dtT
( ) ( , )0
Equação adjunta e condição terminal no co-estado:
' ' ( , ) ( , ) f x u L x ux x ( ) ( ( ))T x Tx
Atenção: Neste problema,
x tX t
P t( )
( )
( )
Introdução ao Controlo Óptimo 56
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O funcional de custo em geral é
J x T L x u dtT
( ) ( , )0
Neste caso
J P Tfermentador ( )
Conclui-se assim que neste problema a Lagrangiana é nula: L x u( , ) 0
e o custo terminal é: ( ( )) ( )x T P T , pelo que
x
x x T
x Tx x
( ( )
( )
1 2
0 1
Introdução ao Controlo Óptimo 57
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O co-estado tem neste caso duas componentes
' ( ) ( ) ( )t t t 1 2
Como a lagrangiana é nula, a sua derivada parcial em ordem ao estado
também o é:
L x ux ( , ) 0
Como f x u
f x x u
f x x u
u x
u x( , )
( , , )
( , , )
( . )
( )
1 1 2
2 1 2
1
2
05
1 é f x u
u
ux ( , )
.
05 0
1 0
Introdução ao Controlo Óptimo 58
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Equação adjunta:
' ' ( , ) ( , ) f x u L x ux x
f x uu
ux ( , )
.
05 0
1 0 L x ux ( , ) 0
Neste caso particular a equação do co-estado é pois:
( . ) ( ) 1 1 205 1u u
2 0
Com condição terminal
1 20 1( ) ( )T T
Introdução ao Controlo Óptimo 59
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
( . ) ( ) 1 1 205 1u u
2 0
1 20 1( ) ( )T T
Tendo em conta as condições terminais
2 1( )t 0 t T
e a equação para a primeira componente do co-estado reduz-se a
( . ) 1 105 1u u
Dificuldade: A equação depende de u t( ) e u t( ) depende de ( )t …
Introdução ao Controlo Óptimo 60
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Sugestão:
a) Escreva a Hamiltoniana para este caso particular. Recorde que
H x u f L( , , ) '
b) Admita que conhece ( )t . Determine u t( ) que maximiza H , para cada t .
Tenha em conta a restrição 0 1 u e admita que X 0
c) Da alínea b) conhece a forma de u t( ) em função de t . Em particular, qual
o valor óptimo de u t( ) para t próximo de T ? E qual a correspondente
equação para 1( )t neste período de tempo?
d) Ande "para trás" no tempo. O que acontece a 1( )t ? E a u toptimo ( ) ?
Introdução ao Controlo Óptimo 61
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
H f L '
H f X P f X P 1 1 2 2 0( , ) ( , )
H u X u X 1 05 1( . ) ( )
Pode ser escrita como
H u X ( ) ( . ) 1 11 1 05
A Hamiltoneana H é uma função linear de u .
Admitindo que a biomassa é positiva ( X 0), H ser crescente ou decrescente
depende apenas do sinal de 1 1 .
Introdução ao Controlo Óptimo 62
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
H u X ( ) ( . ) 1 11 1 05
Intervalo de valores
admissíveis para u
0 1 u u10
Neste caso
u =0opt
Neste caso
u =1opt
H(u)H(u)
1 1
1 1
Introdução ao Controlo Óptimo 63
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Como se tem a condição terminal
1 0( )T
para t próximo de T é, neste período de tempo, 1 0( )t . Logo, como
1 1( )T , o controlo óptimo correspondente é:
u topt ( ) 0
A equação adjunta (neste período, próximo do fim) fica
( . ) 1 105 1u u
( ) . 1 105 1t
=0 =0
Introdução ao Controlo Óptimo 64
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A equação adjunta próximo do final do intervalo de optimização é
( ) . ( ) 1 105 1t t 1 0( )T
Tem por solução
1
0 51
051( )
.
. ( )t e t T
u =0 Tt
(t)1
(t)1
opt
Evolução do coestado
e controlo óptimo
próximo do fim do
intervalo de
optimização
Introdução ao Controlo Óptimo 65
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
u =0 Tt
(t)1
(t)1
opt
"Andando" neste sentido u
passa a ser 1 no instante ts em
que
1 1( )ts
1
051 1
05
05 05
2 5 139
0 5
0 5.
.
log . . ( )
log . .
. ( )
. ( )
e
e
t T
t T o T
t T
t T
s
s
s
s
Introdução ao Controlo Óptimo 66
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo para a situação em que T=5
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5-1
0
1
2
3
4
5
6
7
t
Lambda
uopt
Introdução ao Controlo Óptimo 67
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50
1
2
3
4
5
6
7
Tempo
X
Puoptimo
uoptimo
A solução óptima admite a seguinte
interpretação: Inicialmente, todo o
esforço é para fazer crescer a
população de fungos. Devido ao efeito
inibidor do substracto não há
produção de penicilina.
A partir do instante de comutação o
controlo é escolhido por forma a
maximizar a produção de penicilina
Introdução ao Controlo Óptimo 68
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
É interessante ver que, admitindo a forma "tudo ou nada" da função de
controlo, o instante de comutação calculado corresponde de facto a um
máximo. Repare-se que o
Princípio de Pontryagin nos deu
não apenas o instante de comutação,
mas também a forma da
função de controlo óptimo.
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 50
1
2
3
4
5
6
7
ts
P(T
)
Introdução ao Controlo Óptimo 69
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O modelo à partida é muito simplificado. A utilização de modelos mais
realistas (em que as taxas de crescimento dependem, elas próprias, do
estado) conduz a um problema de Controlo Óptimo dito "Singular", em que
a Hamiltoniana não depende explicitamente de u.
Num problema real de optimização de fermentadores, T não é à partida fixo,
mas deve resultar da optimização. isto conduz aos problemas de tempo
terminal livre.
A existência de um modelo é crítica. Em processos de fermentação é muito
difícil dispor de bons modelos devido à variabilidade genética dos fungos (a
qual é encorajada para aumentar a produção).
Introdução ao Controlo Óptimo 70
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Embora baseado num modelo muito simples, este exemplo ilustra alguns
aspectos importantes:
A maneira backwards (do fim para o princípio) de integrar as equações do
co-estado
A solução bang-bang (tudo ou nada) do controlo óptimo, que implica a
existência de restrições
Introdução ao Controlo Óptimo 71
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Princípio de Pontryagin - Formulação do Problema
com restrições de igualdade no estado terminal
Sendo x o estado do sistema com entrada u, que satisfaz a equação de
estado seguinte T fixo ( , ) ( ) ,x f x u x x t T 0 00 u t U( )
pretende-se determinar a função u , definida no intervalo 0, T que maximiza o
funcional de custo J definido por
J u x T L x u dt
T
( ) ( ( )) ( , ) 0
sujeita às restrições no valor terminal do estado
x T xi i( ) i r n 1 2, , ,
Introdução ao Controlo Óptimo 72
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Recorde-se a expressão para a variação do funcional de custo
J x T T x T H x u xdt H x v H x u dtx x
T T
( ) ( ) ( ) , , , , , ,0 0
Para estas componentes, não existem assim condições terminais no co-
estado ou seja i T i r( ) , , , 1 2 são livres.
A variação é zero para as componentes
especificadas x T x i ri i( ) , , , 1 2
Introdução ao Controlo Óptimo 73
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo: Transferência entre órbitas com naves de pequeno impulso
Um exemplo de aplicação de problemas de controlo óptimo com restrições no
estado terminal é a transferência entre órbitas com naves em que está
disponível um pequeno impuldo. A figura mostra um exemplo.
Introdução ao Controlo Óptimo 74
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A resolução destes problemas implica métodos numéricos para a resolução
do problema de valores na fronteira. Para naves fora da atmosfera terrestre
pode ser utilizado o shooting method. Neste método, a condição inicial do co-
estado vai sendo ajustada por forma a gerar trajectórias que respeitem a
condição final. Para aeronaves em que há termos de atrito o shooting method
fica instável (numericamente) e é necessárioo recorrer a um método de
gradiente.
Referências:
A. E. Bryson Jr. (1996). Optimal Control - 1950 to 1985. IEEE Control Systems, 16(3)26-33.
Introdução ao Controlo Óptimo 75
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O Problema Linear Quadrático
Objectivo:
Introduzir o Problema Linear Quadrático e os elementos básicos da sua
solução. Mostrar que o controlo resultante estabiliza a cadeia fechada.
Introdução ao Controlo Óptimo 76
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Formulação do Problema Linear Quadrático
Dinâmica:
( ) ( ) ( )x t Ax t bu t
x x( )0 0 u t Rm( )
Funcional de custo:
J x t Qx t u Ru dt
T
1
20
( ) ( ) Q Q 0 R R 0
Pretende-se minimizar o funcional J pelo que a Lagrangiana deve ser
L x u x Qx u Ru( , ) ( ) 1
2
T fixo
Introdução ao Controlo Óptimo 77
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Equação adjunta
f Lx x
( ) ( ) ( ) t t A x t Q sujeita à condição terminal ( )T 0
Hamiltoniana
H x u f x u L x u( , , ) ( , ) ( , )
H x u t Ax t t bu t x t Qx t u t Ru t( , , ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1
2
1
2
Introdução ao Controlo Óptimo 78
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Condição (necessária) de mínimo da Hamiltoniana
A Hamiltoniana
H x u t Ax t t bu t x t Qx t u t Ru t( , , ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1
2
1
2
é uma função quadrática. Uma condição necessária de mínimo é pois
H
u 0
ou seja
( ) ( )t b u t R 0
pelo que o controlo óptimo verifica
u t R b t( ) ( ) 1
Introdução ao Controlo Óptimo 79
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A trajectória óptima do estado verifica pois
( ) ( ) ( )x t Ax t bR b t 1
( ) ( ) ( ) t Qx t A t
sujeiro às condições
x x( )0 0 ( )T 0
Trata-se de um problema em que as incógnitas (x e ) estão específicadas
em dois pontos (0 e T). Diz-se um problema de valores na fronteira em dois
pontos (Two point boundary value problem). Como resolvê-lo?
u topt ( )
Introdução ao Controlo Óptimo 80
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
As equações do estado e do co-estado, com o controlo óptimo, são:
x Ax bR b 1
Qx A
Admita-se que existe uma matriz P t( ) , tal que
Px
Sendo assim, as equações do estado e do co-estado escrevem-se:
x A bR b P x 1
Q A P x
Repare-se que, se conhecermos a matriz P t( ) , a equação de estado fica
desacoplada da do co-estado, podendo ser resolvida separadamente.
Introdução ao Controlo Óptimo 81
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Vamos então tentar obter uma equação verificada pela matriz P t( ) . Tem-se
Px
Derivando
Px Px
Usando as equações diferenciais do estado e do co-estado:
Q A P x Px P A bR b P x 1
ou seja, pondo x em evidência:
P PA A P PbR b P Q x 1 0
Introdução ao Controlo Óptimo 82
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
P PA A P PbR b P Q x 1 0
Para que esta identidade seja satisfeita para todo o x , o termo entre
parêntesis tem de ser nulo.
Obtém-se assim a equação diferencial de Riccati:
P PA A P PbR b P Q1
P T( ) 0 (porquê?)
Introdução ao Controlo Óptimo 83
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Problema Linear Quadrático (LQ) - Resumo
Dado sistema com dinâmica linear
( ) ( ) ( )x t Ax t bu t x x( )0 0 u t Rm( )
O controlo que minimiza o custo quadrático de horizonte finito
J x t Qx t u Ru dt
T
1
20
( ) ( ) Q Q 0 R R 0
é dado pela retroacção do estado de ganho variável no tempo:
u t K t x t( ) ( ) ( ) K t R B P t( ) ' ( ) 1
em que P(t) é a matriz simétrica definida positiva que satisfaz a equação
diferencial de Riccati
P PA A P PbR b P Q1 P T( ) 0
Introdução ao Controlo Óptimo 84
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo (Controlo LQ de um Sistema de 1ª ordem)
Considere-se o sistema de primeira ordem, instável em cadeia aberta
( ) ( ) ( )x t x t u t x( )0 1
Pretende-se determinar a lei de controlo que minimiza
J u x t ru t dtT
( ) ( ) ( ) 1
2
2 2
0 T r 0 0,
A solução é dada por
( ) ( ) ( )p t p tr
p t 21
12
p T( ) 0
u t K t x t( ) ( ) ( ) K tr
p t( ) ( )1
Introdução ao Controlo Óptimo 85
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
0 2 4 6-5
-4
-3
-2
-1
0u(t)
0 2 4 60
0.2
0.4
0.6
0.8
1x(t)
0 2 4 60
1
2
3
4
5K(t)
0 2 4 60
0.1
0.2
0.3
0.4
0.5P(t) para vários T
r=0.1
r=1
r=1
r=0.1
r=0.1
r=1
Introdução ao Controlo Óptimo 86
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Como se pode observar, diminuindo o peso no custo da acção de controlo,
r , o sistema fica mais rápido (o transitório do estado extingue-se mais
rapidamente), o mas o ganho aumenta (compare-se com a situação que se
tem no Controlo de Variância Mínima dessintonizado).
Aumentando o horizonte, a solução da equação de Riccati é inicialmente uma
constante bem definida, tendo um transitório próximo do intervalo de
optimização.
Isto sugere que, quando o horizonte T a solução da equação de Riccati
fica constante para todo o t.
Introdução ao Controlo Óptimo 87
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O exemplo anterior sugere que se considere o problema de minimizar o custo
quadrático sobre um horizonte infinito
J x t Qx t u t Ru t dtLQ
' ( ) ( ) ' ( ) ( )0
A solução deste problema vem dada pelo controlo por retroacção do estado
u t Kx t( ) ( ) K R B P 1 '
em que P é a solução da equação algébrica de Riccati, dada por
PA A P PbR b P Q 1 0
Introdução ao Controlo Óptimo 88
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Se o sistema
( ) ( ) ( )x t Ax t bu t
fôr estabilizável, i. e., se existir um vector de ganhos F tal que o sistema em
cadeia fechada
( ) ( )x t A bF x t
é estável, então a solução da equação de Riccati algébrica é semidefinida
positiva (pelo menos) e corresponde ao limite da solução da equação
diferencial de Riccati quando o horizonte T é sucessivamente aumentado.
Introdução ao Controlo Óptimo 89
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Problema: Dado o sistema definido pelo diagrama de blocos
1
s+1
1
s
xxu0
k k
2 1
2 1
-
+
+
Determinar os valores de k1 e k2 que optimizam
J x Qx t u Ru t dt
' ( ) ' ( )0
Q
1 0
0 01. R 1
Introdução ao Controlo Óptimo 90
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Modelo de estado do sistema em cadeia aberta
X ss
X s1 2
1( ) ( )
donde ( ) ( )x t x1 2
X ss
U s2
1
1( ) ( )
ou sX s X s U s2 2( ) ( ) ( ) donde ( ) ( ) ( )x t x t u t2 2
O modelo de estado é portanto
x
x
x
xu
1
2
1
2
0 1
0 1
0
1
Introdução ao Controlo Óptimo 91
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A equação Algébrica de Riccati:
PA A P PBR C P Q ' '1 0
neste caso é
p p
p p
p p
p p
p p
p p
p p
p p
11 12
12 22
11 12
12 22
11 12
12 22
11 12
12 22
0 1
0 1
0 0
1 1
0
1
1
10 1
1 0
0 01
0 0
0 0
.
ou seja
0
0
0 0 1 0
0 01
0 0
0 0
11 12
12 22 11 12 12 22
12
2
12 22
12 22 22
2
p p
p p p p p p
p p p
p p p
.
Introdução ao Controlo Óptimo 92
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
0
0
0 0 1 0
0 01
0 0
0 0
11 12
12 22 11 12 12 22
12
2
12 22
12 22 22
2
p p
p p p p p p
p p p
p p p
.
Igualando as entradas correspondentes destas matrizes, obtêm-se as
equações seguintes:
p12
2 1
p p p p11 12 12 22 0
2 01 012 22 22
2p p p .
A equação p12
2 1 é verificada por p12 1 . No entanto, apenas a raíz positiva
leva a uma matriz P definida positiva. Assim, é p12 1 .
Introdução ao Controlo Óptimo 93
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
p p p p11 12 12 22 0
2 01 012 22 22
2p p p .
Sendo p12 1 , estas equações reduzem-se a
p p11 22 1
p p22
2
222 19 0 .
A segunda equação tem como raízes 1 2 9. . Uma vez mais deve ser
tomada a raiz positiva para que a matriz P seja sefinida positiva. Assim:
P
17 1
1 0 7
.
.
Introdução ao Controlo Óptimo 94
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
P
17 1
1 0 7
.
.
O vector de ganhos óptimo vem dado por
K R B P 1 '
K
0 1
17 1
1 0 71 0 7
.
..
A lei de controlo óptimo LQ é pois:
u t x x( ) . 1 2076
Introdução ao Controlo Óptimo 95
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Regulação Quadrática da Saída com horizonte infinito
Há situações em que se pretende regular a saída do sistema. Modelo:
( ) ( ) ( )x t Ax t bu t y t Cx t( ) ( )
com o funcional de custo:
J y t u t dt
2 2
0( ) ( )
Repare-se que, como
y t x t C Cx t2 ( ) ' ( ) ' ( )
este problema reduz-se ao anterior fazendo a seguinte escolha da matriz Q :
Q C C '
Introdução ao Controlo Óptimo 96
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
A solução do problema de minimizar
J y t u t dt
2 2
0( ) ( )
em que o sistema é modelado por
( ) ( ) ( )x t Ax t bu t y t Cx t( ) ( )
é dada por
u t Kx t( ) ( ) K R B P 1 '
em que P é a única solução definida positiva da seguinte equação algébrica
de Riccati
PA A P Pbb P C C 1
0
'
Introdução ao Controlo Óptimo 97
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Relativamente a esta lei de controlo tem-se o seguinte teorema:
Se o par (A, B) fôr estabilizável (ver definição acima) e o par (A, C) fôr
observável, a solução definida positiva da equação algébrica de Riccati existe
e é única, e o sistema em cadeia fechada é assimptoticamente estável.
O par (A,C) é observável se
car
C
CA
CA
n n x
n
1
dim( )
Introdução ao Controlo Óptimo 98
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Uma matriz P diz-se definida positiva se
x Px' 0 x 0
Diz-se semidefinida positiva se
x Px' 0 x 0
Introdução ao Controlo Óptimo 99
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Questão: Qual a colocação dos pólos da cadeia fechada que corresponde a
minimizar J (no caso em que o sistema é SISO)?
Resposta [Chang/Letov]: Os pólos do sistema realimentado óptimo (com
T ) são as n raízes estáveis do polinómio )(s de grau n2 dado por
)()(1
)()()( sbsbsasas
em que
BAsIadjCsb )()(
)det()( AsIsa
Zeros do sistema
Pólos do sistema
Introdução ao Controlo Óptimo 100
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
)()(1
)()()( sbsbsasas
Se 1ss é uma raiz de )(s , então:
0)()(1
)()()( 11111 sbsbsasas
Neste caso, também se tem para 1ss :
0)()(1
)()()( 11111 sbsbsasas
ou seja, se 1ss é uma raiz de )(s , então 1ss também o é.
Introdução ao Controlo Óptimo 101
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
As raízes de )(s são simétricas relativamente ao eixo imaginário.
Como os pólos do sistema controlado são dados pelas raízes estáveis de
)(s , o sistema em cadeia fechada com controlo óptimo LQ de horizonte
infinito é estável.
Podemos sempre
escolher n pólos
estáveis
Introdução ao Controlo Óptimo 102
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Solução do Problema LQ ( T ) por colocação de pólos
A solução do problema LQ de horizonte infinito pode ser feita do seguinte
modo:
1. Determinar
)()(1
)()()( sbsbsasas
2. Determinar )(san raízes estáveis de )(s .
3. Calcular o vector de ganhos de retroacção do estado tal que o sistema em
cadeia fechada tem os pólos na posição dessas raízes.
Introdução ao Controlo Óptimo 103
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo
Dado o sistema
uxx
1
0
04
10
xy 01
Qual a lei de controlo por retroacção do estado que minimiza
10)()(0
22
dttutyJ
Introdução ao Controlo Óptimo 104
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Em primeiro lugar é necessário obter a função de transferência em cadeia
aberta. Em geral, isso pode ser feito com as expressões
BAsIadjCsb )()( )det()( AsIsa
Neste caso, é fácil obter a função de transferência recorrendo à manipulação
de diagramas de blocos. As equações de estado são representadas
graficamente através de um diagrama de blocos, que é simplificado até se
obter a função de transferência.
Os alunos são convidados a resolver o mesmo problema recorrendo às
expressões acima.
Introdução ao Controlo Óptimo 105
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Equações de estado:
21 xx
uxx 12 4
Diagrama de blocos equivalente:
Introdução ao Controlo Óptimo 106
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Us
s
sY )1(4
1
1
2
2
Us
sY
4
12
)1()( ssb
4)( 2 ssa
Introdução ao Controlo Óptimo 107
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Os pólos óptimos são as duas raízes estáveis de
)()(1
)()()( sbsbsasas
4)( 2 ssa )1()( ssb
)1)(1(1
)4()( 22 ssss
2sz 0)1(1
)4( 2 zz
01.161.82 zz 6.41 z 5.32 z
14.21 s 14.22 s 87.13 s 87.14 s
21 s
Mudança de
variável
Introdução ao Controlo Óptimo 108
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O vector de ganhos óptimos é determinado por forma a que os pólos da
cadeia fechada sejam –2.14 e –1.87
O polinómio característico desejado para a cadeia fechada é pois
401.4)87.1)(14.2()( 2 sssss
Introdução ao Controlo Óptimo 109
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Diagrama de blocos do sistema em cadeia fechada com retroacção (genérica)
do estado:
uy
4
1 1s s
+
-1+s
kk
xx
1
21
2
-
+
+
-
1
s1+s
4-k -k s
2
1 2
Introdução ao Controlo Óptimo 110
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Equação característica da cadeia fechada
11
4 02 1 2
sk k s
Polinómio característico da cadeia fechada
K s s k s k( ) 2
2 1 4
Comparando com o polinómio característico desejado
( ) .s s s 2 4 01 4
Obtêm-se os ganhos óptimos
k kopt opt
1 28 4 01 .
Introdução ao Controlo Óptimo 111
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O "root square locus"
As frequências naturais ("pólos") do sistema em cadeia fechada com controlo
LQ de horizonte infinito são dadas pelas raízes estáveis de
a s a s b s b s( ) ( ) ( ) ( ) 1
0
A esta equação pode dar-se a forma
11
b s b s
a s a s
( ) ( )
( ) ( )
O que acontece a estas raízes quando o peso no controlo varia?
Introdução ao Controlo Óptimo 112
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
a s a s b s b s( ) ( ) ( ) ( ) 1
0
Quando o peso no controlo é muito grande ( grande) a equação fica
aproximadamente:
a s a s( ) ( ) 0
Assim, neste caso, os pólos da cadeia fechada, ou são os pólos da cadeia
aberta se estes forem estáveis ou os seus simétricos se estes estiverem no
semiplano complexo direito.
Introdução ao Controlo Óptimo 113
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
a s a s b s b s( ) ( ) ( ) ( ) 1
0
Analogamente, se fôr muito pequeno, os pólos da cadeia fechada
aproximam-se dos zeros da cadeia aberta se estes forem de fase mínima (ou
seja, se estiverem à esquerda do eixo imaginário) ou dos seus simétricos se
os zeros estiverem à direita.
Se houver mais pólos do que zeros, os pólos restantes tendem para .
Repare-se que não se pode ter 0 para o problema LQ em tempo contínuo
pois os ganhos do controlador seriam infinitos. Esta situação é diferente em
tempo discreto, onde é possível ter 0 .
Introdução ao Controlo Óptimo 114
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Para valores intermédios de os pólos do sistema com controlo óptimo
podem obter-se traçando o root-locus de
11
b s b s
a s a s
( ) ( )
( ) ( )
e tomando a sua parte estável.
É a isto que se chama o root-square-locus.
Introdução ao Controlo Óptimo 115
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Root square locus - exemplo
Considere-se o modelo do sistema instável em cadeia aberta correspondente
à linearização do pêndulo invertido:
.
x x u
0 1
0 25 0
0
1
y 1 1
A função de transferência em cadeia fechada é
b s
a s
s
s
( )
( ) .
1
0 252
Introdução ao Controlo Óptimo 116
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O root square locus correspondente é
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
Real Axis
Imag
Axi
s
-1 -0.5
Introdução ao Controlo Óptimo 117
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Estabilidade relativa do Controlador LQ
Considere-se o sistema descrito pelo modelo de estado linear:
( ) ( ) ( )x t Ax t bu t
)()( tCxty
Têm-se as seguintes definições:
Transformada de Laplace da Matriz de Transição de estado do sistema em
cadeia aberta:
1)(
AsIs
Introdução ao Controlo Óptimo 118
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Ganho de malha:
Obtido interrompendo a cadeia de controlo à entrada e multiplicando todos os
ganhos.
(sI-A) b-1
-
k
u x
bsksL )()(
Desigualdade de Kalman:
1)(1 jL
Introdução ao Controlo Óptimo 119
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Consequência da Desigualdade de Kalman:
1)1()(1)(1 jLjL
1
|L(j )-(-1)|
Re
Im
L(j )
-1
Conclusão: O diagrama de
Nyquist de )( jL nunca entra
dentro da cirdunferência de raio 1,
centrada em –1.
Introdução ao Controlo Óptimo 120
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
-2
Re
Im
-1
No caso mais desfavorável, o
controlador LQ tolera uma redução do
ganho de ½ até que o ganho de malha
atinja o ponto –1.
A margem de ganho é pois de pelo
menos 0.5.
Introdução ao Controlo Óptimo 121
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Re
Im
-1
60o
No caso mais desfavorável o
controlador LQ tolera uma redução
da fase de pelo menos 60o até que o
ganho de malha atinja o ponto –1.
A margem de fase do controlador LQ
é de pelo menos 60o.
Introdução ao Controlo Óptimo 122
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O Filtro de Kalman-Bucy
Objectivo: Dimensionar os ganhos do observador usando um critério de
optimização.
Modelo do processo:
)()()()( twtbutAxtx
)()()( tvtCxty
Os sinais v e w são sinais grancos e Gaussianos tal que
)()()( o
T QtwtwE )()()( o
T RtvtvE
Sinais de ruído
branco gaussiano
Introdução ao Controlo Óptimo 123
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O filtro de Kalman-Bucy dá recursivamente a estimativa x̂ do estado que é:
Centrada:
0)(ˆ)( txtxE
Minimiza:
0
2)(ˆ)( dttxtx
ou seja o erro tem energia mínima.
Introdução ao Controlo Óptimo 124
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Equações do filtro de Kalman-Bucy
A estimativa x̂ é propagada no tempo resolvendo a equação diferencial:
))(ˆ)(()()(ˆ)(ˆ txCtyLtbutxAtx o
O vector de ganhos óptimo é dado por
1 o
T
o RCL
A matriz é a solução simétrica e semidefinida positiva da equação de Riccati
algébrica do filtro, dada por:
01 CRCQAA o
T
o
T
Introdução ao Controlo Óptimo 125
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
O filtro de Kalman-Bucy é um observador óptimo em que a larguira de banda é
ajustada por forma a optimizar a relação sinal/ruído, escolhendo um ganho adequado.
Repare-se que se não houver ruído de observação ( 00 R ), o problema fica
singular, sendo o vector de ganhos infinito.
Introdução ao Controlo Óptimo 126
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Regulador Linear Quadrático Gaussiano (LQG)
Combina:
A estimação do estado com um filtro de Kalman
com
A realimentação da estimativa x̂ com um controlador óptimo LQ,
projectado supondo que se tem acesso ao estado.
Processo
Filtro K-B k
yu
-
O Teorerma de Separação é válido para o controlador LQG.
Introdução ao Controlo Óptimo 127
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Rudolph Kalman nasceu em 1930, em Budapest na Hungria.
Emigrou para os U.S.A., onde estudou no MIT e, posterior-
mente, na Universidade de Colúmbia, onde fez o seu
doutoramento. No início dos anos 60, o seu nome ficou
ligado aos artigos que estabeleceram os fundamentos do
Controlo LQ e LQG e à filtragem óptima linear com base no
modelo de estado, que desenvolveu em conjunto com Richard Bucy.
Foi Kalman que “trouxe” para a comunidade do Controlo os métodos
desenvolvidos por Lyapunov 70 anos antes e que os aplicou ao estudo da
estabilidade de sistemas descritos por modelos de estado lineares.
Introdução ao Controlo Óptimo 128
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Equações do Regulador LQG
Equações do estimador:
))(ˆ)(()()(ˆ)(ˆ txCtyLtbutxAtx o
1 o
T
o RCL
01 CRCQAA o
T
o
T
0 T
Equações do regulador
)(ˆ)( txKtu PBK T
1
0
1 QPPBBPAPA TT
Introdução ao Controlo Óptimo 129
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Função de transferência do regulador LQG
ooCLQG LCLBKAsIKsG1
)(
É semelhante à do compensador baseado em observador que se estudou no
capítulo sobre RLVE.
A diferença reside no modo como são calculados os ganhos K e oL , que
aqui são calculados por forma a optimizar um funcional (cada um deles).
Introdução ao Controlo Óptimo 130
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Recuperação do Ganho de Malha
Loop Transfer Recovery (LTR)
Não há qualquer garantia sobre as margens de estabilidade (margem de
ganho e margem de fase) do regulador LQG. Estas margens podem ser
perigosamente baixas, dependendo das características estatísticas do ruído.
Idéia: Usar os parâmetros que definem a estatística do ruído, oR e oQ como
parâmetros de ajuste para recuperar o ganho de malha que se obteria com
um regulador LQ (e que tem boas características de estabilidade relativa).
É nisto que consiste o controlo LQG-LTR (LQG com recuperação do ganho
der malha).
Introdução ao Controlo Óptimo 131
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Pode demonstrar-se que se:
1) )(sG é de fase mínima;
2) 10 R e TBBqQ 2
0
Então
)()(lim sLsL LQLQGq
Isto sugere que se projecte um filtro de Kalman-Bucy em que o parâmetro q
é muito elevado.
Introdução ao Controlo Óptimo 132
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Exemplo: Controlo de um integrador duplo
Este e outros sistemas podem ser modelados como um integrador duplo,
tomando como variáveis de estado
zx 1 zx 2
Introdução ao Controlo Óptimo 133
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Modelo do integrador duplo
Modelo de estado do integrador duplo:
xy
ux
x
x
x
01
1
0
00
10
2
1
2
1
Função de transferência do integrador duplo:
2
1)(
ssG
Introdução ao Controlo Óptimo 134
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Integrador duplo com regulador LQ
-1/s 1/s
k k1
2 xx1
2
Pretende-se esciolher os ganhos 1k e 2k por forma a minimizar o custo
quadrático de horizonte inifinito:
0
22 )()(2
1dttutyJLQ
Assume-se que se tem acesso directo à medida de 1x e 2x .
Introdução ao Controlo Óptimo 135
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Equação Algébrica de Riccati (ARE):
0'1
' PPBBQPAPA
00
10A
1
0B
01C
00
0101
0
1'CCQ
A ARE fica:
00
00
10
00
00
01
00
10
01
00
32
21
32
21
32
21
32
21
pp
pp
pp
pp
pp
pp
pp
pp
02
1
2
32
321
2
2
pp
ppp
p
21
12P
Introdução ao Controlo Óptimo 136
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Ganho óptimo:
PBKLQ '1
Como
10'B
21
12P
Vem
21LQK
Introdução ao Controlo Óptimo 137
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Com os ganhos óptimos, a dinâmica do sistema em cadeia fechada fica:
21
10LQBKA
Equação característica da cadeia fechada:
012det 2 ssBKAsI LQ
Pólos da cadeia fechada
)1(2
22,1 js
O sistema em cadeia fechada fica estável e com um coeficiente de
amortecimento 707.0 .
Introdução ao Controlo Óptimo 138
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Resposta ao escalão do sistema com controlo LQ
0 1 2 3 4 5 6 7 8 9 100
0.2
0.4
0.6
0.8
1
1.2
1.4
Time
x1
Introdução ao Controlo Óptimo 139
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Ganho de malha com controlo LQ:
BAsIKBsKsLLQ
1)()(
2
12)(
s
ssL
1/s 1/s
+skk1 2
L (s)LQ
-4 -3 -2 -1 0 1
-4
-3.5
-3
-2.5
-2
-1.5
-1
-0.5
0
0.5
1
Como esperado, o ganho de malha não entra no círculo de raio 1.
Introdução ao Controlo Óptimo 140
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Modelo do integrador duplo com ruído:
)(
)()(
1
0
)(
)(
00
10
)(
)(
2
1
2
1
2
1
tw
twtu
tx
tx
tx
tx
)()(
)(01)(
2
1tv
tx
txty
Os sinais v , 1w e 2w são sinais estocásticos mutuamente independentes,
cujas características estatísticas são usadas para ajustar o ganho de malha:
oQtwtwtw
twE
)()(
)(
)(21
2
1
oRtvE )(2
Introdução ao Controlo Óptimo 141
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Diagrama de blocos do integrador duplo com ruído:
1s
1s
ux
w w v
xy
+ +1
12
2+
Vamos assumir
10
010Q
1oR
Introdução ao Controlo Óptimo 142
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Integrador duplo com controlador LQG
1s
1s
ux
w w v
x y+ +
1
12
2+
1s
1s
x x
+ +12
+
+
-
-L L12
kk12
1k , 2k projectados tal
como no regulador LQ.
1L , 2L projectados de
acordo com o
dimensionamento do
filtro de Kalman-Bucy
Introdução ao Controlo Óptimo 143
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Cálculo dos ganhos do filtro de Kalman-Bucy
Equação de Riccati para o filtro:
01 CRCQAA o
T
o
T
Assumindo
32
21
e usando o método dos coeficientes
indeterminados obtém-se a solução definida positiva:
31
13
Introdução ao Controlo Óptimo 144
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Ganhos óptimos do filtro:
1
31
o
T RCL
Função de transferência do compensador LQG:
LLCBKAsIKG LQLQCLQG
1)(
4.157.1
)31.0(14.3
js
sGCLQG
Introdução ao Controlo Óptimo 145
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Pólos da cadeia fechada do integrador duplo com LQG:
j12
2
2
3 j
Pólos do sistema
controlado com LQ,
supondo acesso ao estado
Pólos do filtro
Introdução ao Controlo Óptimo 146
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Comparação dos reguladores LQ e LQG
1. O LQ tem maiores margens de estabilidade.
2. Nas baixa frequência o ganho de malha do LQ é maior do que o do LQG.
Isto implica que o LQ tem melhores propriedades de seguimento do que o
LQG.
3. A frequência de corte é maior no LQ do que no LQG
a. O LQ é mais susceptível ao ruído
b. O LQ é mais rápido a responder
4. Na alta frequência, a inclinação da curva de ganho é –20dB/déc no LQ e
–60db/déc no LQG. O LQ é mais susceptível ao ruído do que o LQG, mas
tem melhor estabilidade relativa.
Introdução ao Controlo Óptimo 147
J. Miranda Lemos IST-Área Científica de Sistemas, Decisão e Controlo
Recuperação do ganho de malha no integrador duplo com controlo LQG
10-1
100
101
102
-100
-50
0
50G
ain
[db]
10-1
100
101
102
-250
-200
-150
-100
freq. [rad/s]
Phase [
º]
1000,100,1q
Top Related