Analisi numerica/Sistemi lineari

Indice del libro

Nel seguito, salvo indicazioni contrarie, sia una matrice quadrata di ordine , e due vettori di . Chiameremo sistema lineare di n incognite in n equazioni (o sistema lineare di ordine n) una relazione del tipo

Tale sistema, come è noto, ammette un'unica soluzione se e solo se ; in caso contrario la soluzione esiste (non unica) solo se . Nel seguito ci riferiremo principalmente a sistemi in cui la matrice abbia determinante non nullo.

Condizionamento modifica

Metodi diretti modifica

In questa sezione analizzeremo i metodi diretti, ossia quei metodi che non costruiscono una successione di approssimanti che converga verso la soluzione del sistema, ma cercano piuttosto di effettuare una serie di passaggi algebrici per giungere direttamente alla soluzione. In genere si tratta di fattorizzazioni della matrice, ossia delle scomposizioni che tendono a ricondurre il sistema a due o più sistemi da risolvere in successione, la cui complessità sia però molto inferiore a quella del sistema di partenza.

Sistemi triangolari modifica

I sistemi triangolari sono quelli in cui la matrice abbia la struttura triangolare (inferiore o superiore). Essi sono particolarmente facili da risolvere, anche a mano, se si utilizza l'algoritmo delle sostituzioni successive. Vediamo ad esempio come si risolve un sistema triangolare superiore (il caso inferiore è completamente speculare e il lettore può provare a impostarne la risoluzione come esercizio). Sia dato dunque un sistema della forma

 

Appare evidente che l'ultima equazione si risolve rispetto a   con una sola operazione, dividendo il termine noto per il coefficiente  . Ma fatto ciò, nella penultima equazione il termine   può essere portato a secondo membro, in quanto completamente noto, e si può risolvere come prima rispetto a  , e così via. Il costo computazionale di tale risoluzione è abbastanza basso: all'i-esima equazione (partendo dal basso) occorre fare   moltiplicazioni,   somme e una divisione, per un totale di   operazioni. Sommando per i che va da 1 a  , otteniamo

 

Il metodo di eliminazione gaussiana modifica

Data la facilità con cui si risolve un sistema triangolare, cercare di ricondurre il sistema ad una serie di sistemi triangolari sembrerebbe una buona idea. Ovviamente tale procedimento non deve essere troppo costoso, altrimenti la strategia perde di utilità. Un metodo particolarmente adatto a questo scopo è il cosiddetto metodo di eliminazione gaussiana (in breve MEG), che si impara a fare a mano, per piccoli sistemi, già alle scuole superiori. La strategia è molto semplice e si basa su due semplici proprietà delle equazioni:

  • moltiplicando entrambi i membri di un'equazione per un numero diverso da zero, la soluzione non cambia.
  • sommando a entrambi i membri di un'equazione una stessa quantità, la soluzione non cambia.

Sfruttando queste due semplici proprietà, si cerca di ridurre la complessità delle equazioni in modo successivo: si comincia dalla prima equazione, esprimendo   in funzione delle altre   incognite, dopodiché si sostituisce la sua espressione nelle altre equazioni. In questo modo si ottiene un sotto-sistema di ordine  , cui si può applicare lo stesso procedimento, fino ad ottenere un sistema banale di ordine 1, che si risolve in un passaggio. Fatto questo, sostituendo a ritroso, si ottiene il valore di tutte le altre incognite. Vediamo di fare un esempio pratico, per capire come opera a livello algebrico il MEG. Supponiamo di voler risolvere il sistema

 

La prima cosa che vogliamo fare è di eliminare   dalla seconda e terza equazione. Per fare questo, dobbiamo combinarle linearmente con la prima in modo da annullare il coefficiente della prima colonna. Se sommiamo la seconda alla prima moltiplicata per   e sommiamo la terza alla prima moltiplicata questa volta per  , otteniamo un nuovo sistema della forma

 

Come si può osservare, le operazioni che vengono fatte sulle righe della matrice vanno fatte anche sul termine noto. A questo punto la seconda e terza equazione sono indipendenti da  . Ripetiamo il procedimento per eliminare   dalla terza equazione, sommandola alla seconda moltiplicata per  , ottenendo

 

Ci siamo dunque ricondotti ad un sistema triangolare superiore, la cui risoluzione richiede   operazioni con l'algoritmo delle sostituzioni successive e il problema può dunque considerarsi risolto.

Fattorizzazioni modifica

Introduciamo ora i metodi di risoluzione diretta, i quali operano sostanzialmente fattorizzando la matrice, ossia esprimendola come prodotto di matrici dotate di strutture particolari, in modo da ridurre il sistema alla risoluzione di più sistemi, ma di complessità decisamente inferiore.

Fattorizzazione LU modifica

Anche il MEG ha un'interpretazione fattorizzata. Più precisamente ci si riferisce al MEG come metodo di fattorizzazione LU, dove le due lettere stanno per Lower e Upper, in quanto il MEG coincide con un metodo di fattorizzazione in due matrici, la prima triangolare inferiore e la seconda triangolare superiore. Per capire come sono fatte le matrici del MEG, ripensiamo ai passi dell'algoritmo.

All'i-esimo passo, dobbiamo eliminare la variabile   dalle equazioni successive. Per far questo prendiamo la generica riga j-esima (con  ) e la sommiamo alla prima riga, premoltiplicata per  . Quindi stiamo premoltiplicando la matrice per il vettore riga

 

In realtà, volendo eliminare tutte le variabili con indice minore di j dalla riga j-esima in un'unica operazione, dobbiamo premoltiplicare per la matrice

 

Dunque, definendo la matrice

 

il MEG opera la trasformazione  , da cui ricaviamo che  . Ora, il calcolo di un'inversa è in genere brutto numericamente, ma data la particolare forma delle  , abbiamo che

 

per cui anche la costruzione della matrice   risulta abbastanza semplice.

Una volta completata la fattorizzazione, bisogna risolvere in sequenza

 

 

per ottenere la soluzione del problema di partenza. Il costo computazionale della fattorizzazione è di   flops, cui poi si aggiungono i   flops necessari per la risoluzione dei due sistemi triangolari. La maggior parte del costo computazionale risiede quindi nella fattorizzazione. Questo va tenuto in considerazione, nel caso si debbano risolvere più sistemi lineari aventi la stessa matrice, in modo da effettuare una volta sola la fattorizzazione.

Analizziamo alcune proprietà della fattorizzazione LU. Cominciamo con l'esporre il risultato principale.

Data una matrice A, esiste un'unica fattorizzazione LU se e solo se i minori principali di ordine   hanno tutti determinante non nullo.

Notiamo che non è richiesto che la matrice A sia non singolare. Se A è singolare, giunti all'ultimo passo della fattorizzazione (ammettendo che ciò sia possibile) ci si troverà con  , ma dato che non ci sono passaggi che richiedono la divisione per tale coefficiente, la fattorizzazione esiste comunque. Ovviamente il sistema lineare non sarà risolvibile in modo univoco; sarà indeterminato se anche   risulterà nullo, altrimenti sarà impossibile.

Fattorizzazione di Cholesky modifica

Metodo di Thomas modifica

Fattorizzazione QR modifica

Metodi iterativi modifica

Nell'analisi numerica in generale, si dicono iterativi, tutti quei metodi che costruiscono delle successioni di approssimanti della soluzione del problema reale. Salvo casi particolari, dunque, nessuna delle approssimazioni generate coincide con la soluzione esatta del problema; quello che però il metodo iterativo punta a soddisfare è un criterio di convergenza della soluzione approssimata, in una norma appropriata, alla soluzione esatta.

Nel caso dei sistemi lineari, dato che si lavora in  , tutte le norme sono equivalenti. Tuttavia le norme più comunemente utilizzate per ottenere stime di convergenza sono quella euclidea e quella dell'energia; quest'ultima è definita solo per sistemi con matrice simmetrica e definita positiva in quanto è data da

 

dove   è l'usuale prodotto scalare in  , mentre   è la norma euclidea.