Álgebra Lineal Ma1010 - cb.mty.itesm.mxcb.mty.itesm.mx/ma1010/materiales/a843-13.pdf · Métodos...

Métodos Iterativos para Resolver Sistemas Lineales Álgebra Lineal - p. 1/30

Álgebra LinealMa1010

Métodos Iterativos para Resolver Sistemas LinealesDepartamento de Matemáticas

ITESM

IntroduccionObjetivosGeneralidadesUn ejemploVentajas yDesventajasIterativo GeneralMetodo JacobiEjemplo 1ConvergenciaDiagonalmenteDominanteEjemplo 2ReordenamientoGauss-SeidelEjemplosCostoComputacional


Introducción

En esta lectura veremos procedimientos iterativospara resolver un sistema de ecuaciones lineales.El primero de ellos conocido como elprocedimiento de Jacobi basado en la idea depunto fijo y un segundo procedimiento conocidocomo método de Gauss-Seidel el cual es unamodificación simple del procedimiento de Jacobi.Introduciremos el concepto de matrizdiagonalmente dominante el cual se relaciona conla garantía de convergencia en la aplicación de losmétodos vistos. Veremos que en algunos casos esposible replantear el sistema para garantizar laconvergencia. Asimismo se comentará en quésituaciones los métodos iterativos son másconvenientes a los métodos directos.



Se recomienda utilizar el archivo de excel que seprovee para ilustrar la convergencia de losmétodos, sobre todo los siguientes hechos:■ Que la convergencia se tiene siempre que la

matriz es diagonalmente dominante, sin importarcual sea la semilla o el vector de constantes.

■ Que cuando la matriz de coeficientes no esdiagonalmente dominante, se puede tenerconvergencia ya sea por que la semilla es laadecuada ya sea por el vector de constantes.

En términos formales, que la condicional Si lamatriz de coeficientes es DD, entonces Jacobiconverge es cierta, mientras que su recíproca nolo es.



Objetivos

Será importante que usted■ Entienda los conceptos:

◆ método iterativo,◆ ecuación de recurrencia,◆ convergencia,◆ matriz diagonalmente dominante

■ En términos cualitativos◆ Entienda la diferencia entre un método directo

y uno iterativo.◆ Entienda la conveniencia de usar un método

iterativo y uno directo.■ Entienda y mecanice los procedimientos de

◆ Método de Jacobi, y◆ Método de Gauss-Seidel.



Generalidades

Un método iterativo es un método queprogresivamente va calculando aproximaciones a lasolución de un problema. En Matemáticas, en unmétodo iterativo se repite un mismo proceso demejora sobre una solución aproximada: se esperaque lo obtenido sea una solución más aproximadaque la inicial. El proceso se repite sobre estanueva solución hasta que el resultado másreciente satisfaga ciertos requisitos. A diferenciade los métodos directos, en los cuales se debeterminar el proceso para tener la respuesta, en losmétodos iterativos se puede suspender el procesoal termino de una iteración y se obtiene unaaproximación a la solución.



Método Iterativo: Un ejemplo

Considere el problema de encontrar una raíz a unaecuación cuadrática, por ejemplo:

f(x) = x2 − x− 2 = 0





f(x) = x2 − x− 2 = 0

Un método directo para resolverlo es aplicar lafórmula general

x =−(−1)±

√

(−1)2 − 4(1)(−2)

2(1)= −1, 2





f(x) = x2 − x− 2 = 0

Un método directo para resolverlo es aplicar lafórmula general

x =−(−1)±

√

(−1)2 − 4(1)(−2)

2(1)= −1, 2

Un método iterativo para resolver ecuaciones esel método de Newton que consiste en usar lafórmula de mejora:

xi+1 = xi −f(xi)

f ′(xi)= xi −

xi2 − xi − 2

2 xi − 1



Si tomamos como primera aproximación x0 = 3(para i = 0), tendremos

x1 = x0 −x0

2 − x0 − 2

2 x0 − 1= 3−

32 − 3− 2

2 · 3− 1≈ 2.2




x1 = x0 −x0

2 − x0 − 2

2 x0 − 1= 3−

32 − 3− 2

2 · 3− 1≈ 2.2

Si ahora tomamos como aproximación x1 = 2.2 yaplicamos de nuevo la fórmula tendremos:

x2 = x1−x1

2 − x1 − 2

2 x1 − 1= 2.2−

2.22 − 2.2− 2

2 · 2.2− 1≈ 2.011




x1 = x0 −x0

2 − x0 − 2

2 x0 − 1= 3−

32 − 3− 2

2 · 3− 1≈ 2.2

Si ahora tomamos como aproximación x1 = 2.2 yaplicamos de nuevo la fórmula tendremos:

x2 = x1−x1

2 − x1 − 2

2 x1 − 1= 2.2−

2.22 − 2.2− 2

2 · 2.2− 1≈ 2.011

Si ahora tomamos como aproximación x2 = 2.011y aplicamos de nuevo la fórmula tendremos:

x3 = x2−x2

2 − x2 − 2

2 x2 − 1= 2.011−

2.0112 − 2.011− 2

2 · 2.011− 1≈ 2.00004

Etceterá.



Ventajas y Desventajas

Un elemento en contra que tienen los métodositerativos sobre los métodos directos es quecalculan aproximaciones a la solución.




Un elemento en contra que tienen los métodositerativos sobre los métodos directos es quecalculan aproximaciones a la solución. Losmétodos iterativos se usan cuando no se conoceun método para obtener la solución en formaexacta.




Un elemento en contra que tienen los métodositerativos sobre los métodos directos es quecalculan aproximaciones a la solución. Losmétodos iterativos se usan cuando no se conoceun método para obtener la solución en formaexacta. También se utilizan cuando el métodopara determinar la solución exacta requiere muchotiempo de cálculo, cuando una respuestaaproximada es adecuada, y cuando el número deiteraciones es relativamente reducido.



Método Iterativo General

Un método iterativo consta de los siguientespasos.





1. inicia con una solución aproximada (Semilla),






2. ejecuta una serie de cálculos para obtener o construir una mejor aproximaciónpartiendo de la aproximación semilla. La fórmula que permite construir laaproximación usando otra se conoce como ecuación de recurrencia.






2. ejecuta una serie de cálculos para obtener o construir una mejor aproximaciónpartiendo de la aproximación semilla. La fórmula que permite construir laaproximación usando otra se conoce como ecuación de recurrencia.

3. se repite el paso anterior pero usando como semilla la aproximación obtenida.



Metodo de Jacobi: Idea

El método Jacobi es un método iterativo pararesolver sistemas de ecuaciones lineales mássimple y se aplica sólo a sistemas cuadrados, esdecir a sistemas con tantas incógnitas comoecuaciones.



1. Primero se determina la ecuación derecurrencia. Para ello se ordenan lasecuaciones y las incógnitas. De la ecuación i sedespeja la incógnita i. En notación matricial seescribirse como:

x = c+Bx

donde x es el vector de incógnitas.




x = c+Bx

donde x es el vector de incógnitas.2. Se toma una aproximación para las soluciones

y a ésta se le designa por xo




x = c+Bx

donde x es el vector de incógnitas.2. Se toma una aproximación para las soluciones

y a ésta se le designa por xo

3. Se itera en el ciclo que cambia la aproximación

xi+1 = c+Bxi



Ejemplo

Partiendo de (x = 1, y = 2) aplique dos iteracionesdel método de Jacobi para resolver el sistema:

[

5 x + 2 y = 1

x − 4 y = 0

]

Soluci on



Ejemplo


[

5 x + 2 y = 1

x − 4 y = 0

]

Soluci on

x = 0.20 + 0.00 x − 0.40 y

y = 0.00 + 0.25 x + 0.00 y



Ejemplo


[

5 x + 2 y = 1

x − 4 y = 0

]

Soluci on

x = 0.20 + 0.00 x − 0.40 y

y = 0.00 + 0.25 x + 0.00 y[

x

y

]

=

[

0.20

0.00

]

+

[

0.00 −0.40

0.25 0.00

] [

x

y

]


Aplicamos la primera iteración partiendo de x0 = 1.00 yy0 = 2.00:

x1 = 0.20 + 0.00 (1.00) − 0.40 (2.00) = −0.60

y1 = 0.00 + 0.25 (1.00) + 0.00 (2.00) = 0.25



x1 = 0.20 + 0.00 (1.00) − 0.40 (2.00) = −0.60

y1 = 0.00 + 0.25 (1.00) + 0.00 (2.00) = 0.25

Aplicamos la segunda iteración partiendo de x1 = −0.60 yy1 = 0.25:

x2 = 0.20 + 0.00 (−0.60) − 0.40 (0.25) = 0.10

y2 = 0.00 + 0.25 (−0.60) + 0.00 (0.25) = −0.15



x1 = 0.20 + 0.00 (1.00) − 0.40 (2.00) = −0.60

y1 = 0.00 + 0.25 (1.00) + 0.00 (2.00) = 0.25

Aplicamos la segunda iteración partiendo de x1 = −0.60 yy1 = 0.25:

x2 = 0.20 + 0.00 (−0.60) − 0.40 (0.25) = 0.10

y2 = 0.00 + 0.25 (−0.60) + 0.00 (0.25) = −0.15

Aplicamos la siguiente iteración partiendo de x2 = 0.10 yy1 = −0.15:

x3 = 0.20 + 0.00 (0.10) − 0.40 (−0.15) = 0.26

y3 = 0.00 + 0.25 (0.10) + 0.00 (−0.15) = 0.025


Aplicamos la siguiente iteración partiendo de x3 = 0.26 yy3 = 0.025:

x4 = 0.20 + 0.00 (0.26) − 0.40 (0.025) = 0.190

y4 = 0.00 + 0.25 (0.26) + 0.00 (0.025) = 0.065



x4 = 0.20 + 0.00 (0.26) − 0.40 (0.025) = 0.190

y4 = 0.00 + 0.25 (0.26) + 0.00 (0.025) = 0.065


x5 = 0.20 + 0.00 (0.19) − 0.40 (0.065) = 0.174

y5 = 0.00 + 0.25 (0.19) + 0.00 (0.065) = 0.0475



x4 = 0.20 + 0.00 (0.26) − 0.40 (0.025) = 0.190

y4 = 0.00 + 0.25 (0.26) + 0.00 (0.025) = 0.065


x5 = 0.20 + 0.00 (0.19) − 0.40 (0.065) = 0.174

y5 = 0.00 + 0.25 (0.19) + 0.00 (0.065) = 0.0475


x6 = 0.20 + 0.00 (0.174) − 0.40 (0.0475) = 0.181

y6 = 0.00 + 0.25 (0.174) + 0.00 (0.0475) = 0.0435



Si uno dispone de una hoja de cálculo comoEXCEL es fácil realizar los cálculos anteriores:

i xi yi xi+1 yi+1 Di

0 1.000 2.000 -0.600 0.250 1.750

1 -0.600 0.250 0.100 -0.150 0.700

2 0.100 -0.150 0.260 0.025 0.175

3 0.260 0.025 0.190 0.065 0.070

4 0.190 0.065 0.174 0.047 0.017

5 0.174 0.047 0.181 0.043 0.007

6 0.181 0.043 0.182 0.045 0.001donde

Di = max (|xi − xi+1|, |yi − yi+1|)



Si se grafica las aproximaciones obtenidas en elplano x− y se obtendrá algo como:



Convergencia y convergencia en Jacobi

Uno de los principales problemas de los métodositerativos es la garantía de que el método va aconverger, es decir, va a producir una sucesión deaproximaciones cada vez efectivamente máspróximas a la solución.




Uno de los principales problemas de los métodositerativos es la garantía de que el método va aconverger, es decir, va a producir una sucesión deaproximaciones cada vez efectivamente máspróximas a la solución. En el caso del método deJacobi no existe una condición exacta para laconvergencia.




Uno de los principales problemas de los métodositerativos es la garantía de que el método va aconverger, es decir, va a producir una sucesión deaproximaciones cada vez efectivamente máspróximas a la solución. En el caso del método deJacobi no existe una condición exacta para laconvergencia. Lo mejor es una condición quegarantiza la convergencia, pero en caso de nocumplirse puede o no haberla es la siguiente:

Si la matriz de coeficientes original delsistema de ecuaciones es diagonalmentedominante , el método de Jacobi seguroconverge.



Matriz Diagonalmente Dominante

Una matriz se dice matriz diagonalmentedominante, si en cada uno de los renglones, elvalor absoluto del elemento de la diagonalprincipal es mayor que la suma de los valoresabslutos de los elementos restantes del mismorenglón.



Matriz Diagonalmente Dominante

Una matriz se dice matriz diagonalmentedominante, si en cada uno de los renglones, elvalor absoluto del elemento de la diagonalprincipal es mayor que la suma de los valoresabslutos de los elementos restantes del mismorenglón. A veces la matriz de un sistema deecuaciones no es diagonalmente dominante perocuando se cambian el orden de las ecuaciones ylas incógnitas el nuevo sistema puede tener matrizde coeficientes diagonalmente dominante.



Ejemplo

Son matrices diagonalmente dominantes:

[

4 1

3 8

]

,

4 1 1

2 8 −3

3 2 9

,

−6 1 2

1 3 0

3 2 −9



Ejemplo

No son matrices diagonalmente dominantes:

[

4 4

3 8

]

,

4 1 3

2 8 1

3 −10 2

,

4 1 1

2 8 −7

3 −10 20



Orden conveniente para Jacobi

En ciertas ocasiones al aplicar Jacobi la matriz noes diagonalmente dominante y por tanto noexistirá garantía de convergencia. Sin embargo, enalgunos casos será posible reordenar lasincógnitas en otra manera de forma que la nuevamatriz de coeficientes sea diagonalmentedominante. Esto se puede detectar revisandotodos los posibles ordenamientos de las incógnitasy ver cómo es la matriz resultante. Claro que estoconlleva un bueno número de pruebas pues elnúmero posible de ordenamientos en n variableses (n− 1)! pero cuando n es reducido es sencillo.Veamos algunos ejemplos.



Ejemplo

Indique cuál es el orden conveniente para aplicarJacobi al sistema:

3 x + 12 y − z = −2

11 x − 4 y + 3 z = −3

−3 x − 2 y − 12 z = −2



Ejemplo


3 x + 12 y − z = −2

11 x − 4 y + 3 z = −3

−3 x − 2 y − 12 z = −2

→

3 12 −1

11 −4 3

−3 −2 −12



Ejemplo


3 x + 12 y − z = −2

11 x − 4 y + 3 z = −3

−3 x − 2 y − 12 z = −2

Soluci onCon el orden y → x → z el sistema y su matriz decoeficientes quedan:

12 y + 3 x − z = −2

− 4 y + 11 x + 3 z = −3

− 2 y − 3 x − 12 z = −2

→

12 3 −1

−4 11 3

−2 −3 −12

la matriz de coeficientes es diagonalmentedominante �



El Método de Gauss-Seidel: Idea

El método de Gauss-Seidel es muy semejante almétodo de Jacobi.



El Método de Gauss-Seidel: Idea

El método de Gauss-Seidel es muy semejante almétodo de Jacobi. Mientras que en el de Jacobise utiliza el valor de las incógnitas para determinaruna nueva aproximación, en el de Gauss-Seidel seva utilizando los valores de las incógnitas reciencalculados en la misma iteración, y no en lasiguiente.



Por ejemplo, en el método de Jacobi se obtiene enel primer cálculo xi+1, pero este valor de x no seutiliza sino hasta la siguiente iteración.



Por ejemplo, en el método de Jacobi se obtiene enel primer cálculo xi+1, pero este valor de x no seutiliza sino hasta la siguiente iteración. En elmétodo de Gauss-Seidel en lugar de eso se utilizade xi+1 en lugar de xi en forma inmediata paracalcular el valor de yi+1 de igual manera procedecon las siguientes variables;



Por ejemplo, en el método de Jacobi se obtiene enel primer cálculo xi+1, pero este valor de x no seutiliza sino hasta la siguiente iteración. En elmétodo de Gauss-Seidel en lugar de eso se utilizade xi+1 en lugar de xi en forma inmediata paracalcular el valor de yi+1 de igual manera procedecon las siguientes variables; siempre se utilizan lasvariables recien calculadas.



Método de Gauss-Seidel: Ejemplos

Ejemplo

Partiendo de (x = 1, y = 2) aplique dos iteracionesdel método de Gauss-Seidel para resolver elsistema:

[

5 x + 2 y = 1

x − 4 y = 0

]



Método de Gauss-Seidel: Ejemplos

Ejemplo

Partiendo de (x = 1, y = 2) aplique dos iteracionesdel método de Gauss-Seidel para resolver elsistema:

[

5 x + 2 y = 1

x − 4 y = 0

]

Soluci onDebemos primeramente despejar de la ecuaciónla incógnita correspondiente.

x = 0.20 + 0.00 x − 0.40 y

y = 0.00 + 0.25 x + 0.00 y



x1 = 0.20 + 0.00 (+1.000) − 0.40 (2.00) = −0.600

y1 = 0.00 + 0.25 (−0.600) + 0.00 (2.00) = −0.15



x1 = 0.20 + 0.00 (+1.000) − 0.40 (2.00) = −0.600

y1 = 0.00 + 0.25 (−0.600) + 0.00 (2.00) = −0.15

Aplicamos la segunda iteración partiendo de x1 = −0.600 yy1 = −0.15:

x2 = 0.20 + 0.00 (−0.600) − 0.40 (−0.15) = 0.26

y2 = 0.00 + 0.25 (0.26) + 0.00 (−0.15) = 0.065



Ejemplo

Partiendo de (x = 1, y = 2, z = 0) aplique dositeraciones del método de Gauss-Seidel pararesolver el sistema:

10 x + 0 y − z = −1

4 x + 12 y − 4 z = 8

4 x + 4 y + 10 z = 4



Ejemplo

Partiendo de (x = 1, y = 2, z = 0) aplique dositeraciones del método de Gauss-Seidel pararesolver el sistema:

10 x + 0 y − z = −1

4 x + 12 y − 4 z = 8

4 x + 4 y + 10 z = 4

Soluci onDebemos primeramente despejar de la ecuaciónla incógnita correspondiente.

x = −0.10 + 0.00 x + 0.00 y + 0.10 z

y = 0.66 − 0.33 x + 0.00 y + 0.33 z

z = 0.40 − 0.40 x − 0.40 y + 0.00 z


Aplicamos la primera iteración partiendo de x0 = 1.00,y0 = 2.00, y z = 0.00:

x1 = −0.10 + 0.00(1.00) + 0.00 (2.00) + 0.10 (0.00) = −0.1

y1 = 0.66 − 0.33(−0.10) + 0.00 (2.00) + 0.33 (0.00) = 0.70

z1 = 0.40 − 0.40(−0.10) − 0.40 (0.70) + 0.00 (0.00) = 0.16


Aplicamos la primera iteración partiendo de x0 = 1.00,y0 = 2.00, y z = 0.00:

x1 = −0.10 + 0.00(1.00) + 0.00 (2.00) + 0.10 (0.00) = −0.1

y1 = 0.66 − 0.33(−0.10) + 0.00 (2.00) + 0.33 (0.00) = 0.70

z1 = 0.40 − 0.40(−0.10) − 0.40 (0.70) + 0.00 (0.00) = 0.16

Aplicamos la segunda iteración partiendo de x1 = −0.10 yy1 = 0.70 y z1 = 0.16:

x1 = −0.10 + 0.00(−0.10) + 0.00 (0.70) + 0.10 (0.16) = −0.084

y1 = 0.66 − 0.33(−0.084) + 0.00 (0.70) + 0.33 (0.16) = 0.748

z1 = 0.40 − 0.40(−0.084) − 0.40 (0.748) + 0.00 (0.16) = 0.134



Costo computacional

Es difícil estimar el costo computacional de unmétodo iterativo, pues de antemano se desconocecuántas iteraciones requerira para obtener unarespuestas que satisfaga al usuario.Generalmente, se procede a calcular el costocomputacional por iteraci on .



En el caso del método de Jacobi la relación derecurrencia utilizada es:

xi+1 = c+Bxi



Utilizando esta información podemos concluir quesi el algoritmo toma m iteraciones entonces el totalde FLOPs será de:

2mn2

Álgebra Lineal Ma1010 - cb.mty.itesm.mxcb.mty.itesm.mx/ma1010/materiales/a843-13.pdf · Métodos...

Documents

Transcript of Álgebra Lineal Ma1010 - cb.mty.itesm.mxcb.mty.itesm.mx/ma1010/materiales/a843-13.pdf · Métodos...