Minimi Quadrati

Da Wikipedia, l'enciclopedia libera.

Questa voce sembra trattare lo stesso argomento della voce Metodo dei minimi quadrati. Contribuisci unendo i contenuti in una pagina unica, seguendo le linee guida. (Vedi anche la lista delle altre pagine da unire).

Questa voce di matematica è solo un abbozzo: contribuisci a migliorarla secondo le convenzioni di Wikipedia.

Il metodo dei minimi quadrati è una tecnica di ottimizzazione che permette di trovare una funzione che si avvicini più possibile ad un'interpolazione di un insieme di dati (tipicamente punti del piano). In particolare la funzione trovata deve essere quella che minimizza la somma dei quadrati delle distanze dai punti dati. Questo metodo va distinto da quelli per l'interpolazione dove si richiede che la funzione calcolata passi esattamente per i punti dati.

L'utilizzo più frequente è nell'approssimare l'andamento di dati sperimentali con linee di tendenza. Anche altri problemi di ottimizzazione come la minimizzazione dell'energia o la massimizzazione dell'entropia, possono essere riformulati in una ricerca dei minimi quadrati.

Indice

1 Formulazione del problema
- 1.1 Esempio
2 Soluzione del caso lineare
3 Voci correlate
4 Collegamenti esterni

[modifica] Formulazione del problema

Siano x e y due vettori di cui le componenti formano le coppie (x_i,y_i) con i=1,2,...,n che rappresentano i dati in ingresso. Vogliamo trovare una funzione f tale che $f(x_i)\approx y_i$ . Per ottenere una "buona" funzione la si può determinare in modo da minimizzare S dove $S = \sum_{i=1}^n (y_i - f(x_i))^2$ e cioè minimizzando il quadrato della distanza fra f(x_i) e y_i. Da qui il nome "minimi quadrati".

Nei casi pratici in genere f(x) è parametrica: in questo modo il problema si riduce a determinare i parametri che minimizzano la distanza dei punti dalla curva. Naturalmente per ottenere un'unica curva ottimizzata e non un fascio, sono necessari un numero di punti sperimentali maggiore del numero di parametri da cui dipende la curva. In genere dai dati sperimentali ottenuti ci si apetta una distribuzione regolata da relazioni determinate per via analitica; risulta utile quindi parametrizzare la curva teorica e determinare i parametri in modo da minimizzare S.

[modifica] Esempio

$f (x) = m x + q$

La funzione interpolante desiderata è una retta, i parametri sono due m e q: per essere determinati univocamente servono almeno due punti da interpolare.

In tal caso è possibile scrivere in modo esplicito i valori dei parametri m e q.

Si consideri di avere N coppie $(x i, y i)$ . Allora i coefficienti sono:

$m=\frac{\sum x_i \cdot \sum y_i- N \sum y_i x_i}{(\sum x_i)^2-N\sum (x_i)^2}$

$q=\frac{\sum x_i \cdot \sum (x_i y_i)- \sum (x_i)^2\sum y_i}{(\sum x_i)^2-N\sum (x_i)^2}$

$f (x) = x a$

La funzione interpolante desiderata è un'esponenziale e possiede un solo parametro; diversamente dall'esempio precedente la funzione non è lineare rispetto ai parametri.

[modifica] Soluzione del caso lineare

Sia f(x) una funzione lineare rispetto ai parametri

$f(x) = p_1 f_1(x) + p_2 f_2(x) + \dots + p_k f_k(x)$

dove p_i sono i k parametri, $k\ll n$ e n è il numero di punti noti.

Si può riorganizzare la situazione attraverso il sistema lineare sovradimensionato

$Ap \approx y$

dove

$A = \begin{bmatrix} f_1(x_1) & \dots & f_k(x_1)\\ \vdots & & \vdots\\ f_1(x_n) & \dots & f_k(x_n) \end{bmatrix} p = \begin{bmatrix} p_1\\ \vdots\\ p_k \end{bmatrix} y = \begin{bmatrix} y_1\\ \vdots\\ y_n \end{bmatrix}$

Il problema di minimizzare S si riconduce dunque a minimizzare la norma del residuo $\|r\|=\|Ap-y\| \|r\|^2=\|Ap-y\|^2 = ([Ap]_1 - y_1)^2 + \dots + ([Ap]_n - y_n)^2 = \sum_{i=1}^n (f(x_i) - y_i)^2 = S$