Metodo della max verosimiglianza

Vota questo articolo
(0 Voti)

Una volta analizzato il metodo dei momenti, vediamo un altro modo per trovare stimatori puntuali chiamato metodo della massima verosimiglianza.

Consideriamo un campione $X_1,\dots , X_n$ con funzione di densità congiunta $f(X_1,\dots ,X_n;\theta)$. Poichè tale campione è formato da variabili aleatorie indipendenti la funzione di densità congiuntà sarà uguale al prodotto delle singoli funzioni di densità marginali: $$f(x_1,\dots ,x_n;\theta)=f(x_1,\theta)\cdot\dots\cdot f(x_n,\theta)$$

La congiuntà viene indicata con $L(\theta)$ che prende il nome di funzione di verosimiglianza $$L(\theta)=f(x_1,\dots ,x_n;\theta)$$

Indichiamo con $\hat{\theta}$ il valore stimato che rende massima la funzione di verosimiglianza. Essendo $L(\theta)$ una funzione quasi sempre derivabile, posso calcolare la sua derivata e imporla uguale a zero per trovare il valore massimo: $$\frac{d L(\theta)}{d\theta}=0$$

Molto spesso, per semplicità di calcolo, si preferisce derivare (quindi massimizzare) la funzione logaritmica $ln[L(\theta)]$ al posto di $L(\theta)$ dato che entrambe assumono il valore massimo nello stesso punto.

Esempio 1

Supponiamo di avere il campione $X_1,\dots , X_n$ con distribuzione di Bernoulli e quindi ciascuna variabile con densità: $$f(x,p)=p^x(1-p)^{1-x},\quad X\in{0,1}$$

Trovare lo stimatore di massima verosimiglianza del valore $p$.

Per l'indipendenza delle variabili bernoulliane, la funzione congiunta o funzione di verosimiglianza è il prodotto delle marginali: $$L(p)=\prod_{i=1}^n f(x_i,p)=p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i}$$

Cerchiamo il valore di p che rende massima la funzione appena scritta. A tal scopo, consideriamo il log della funzione in modo da abbassare le sommatorie presenti nell'esponente e quindi ad avere una f in una forma più semplice: $$\begin{eqnarray*} ln[L(p)]&=&\ln[p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i}]=\\ &=& \sum_{i=1}^nx_i\ln p+\left(n-\sum_{i=1}^nx_i\right)\ln(1-p)\\ \end{eqnarray*}$$

Derivando quest'ultima funzione rispetto a p e imponendola uguale a zero, otteniamo: $$\frac{d ln[L(p)]}{d p}=\sum_{i=1}^nx_i\cdot\frac{1}{p}-\left(n-\sum_{i=1}^nx_i\right)\frac{1}{1-p} =0$$

$$\begin{array}{l} \frac{\sum_{i=1}^nx_i-p\sum_{i=1}^nx_i-np+p\sum_{i=1}^nx_i}{p(1-p)}\\ \sum_{i=1}^nx_i-np=0\\ p=\frac{\sum_{i=1}^nx_i}{n}=\overline{X}_n \end{array}$$ che è proprio la media campionaria.

Esempio 2

Considerando i dati dell'esercizio visto qui, calcolare gli stimatori di massima verosimiglianza per i parametri $\mu$ e $\sigma$ della funzione di densità congiunta di un campione proveniente da popolazione normale.

Sfruttando l'indipendenza delle variabili normali $X_i$, la funzione da massimizzare è: $$\begin{eqnarray*} L(\mu ,\sigma)&=& \prod_{i=1}^n\left(\frac{1}{\sqrt{2\pi}\sigma}\right)e^{-\frac{1}{2}\left(\frac{x_i-\mu}{\sigma}\right)^2}= \\ &=&\left(\frac{1}{2\pi\sigma^2}\right)^{n/2}e^{-\frac{1}{2}\sum_{i=1}^n\left(\frac{x_i-\mu}{\sigma}\right)^2}\end{eqnarray*}$$

Prendiamo la funzione logaritmo per semplicità: $$\begin{eqnarray*} \ln[L(\mu ,\sigma)]&=& -\frac{n}{2}\ln 2\pi-\frac{n}{2}\ln\sigma^2-\frac{1}{2}\sum_{i=1}^n\left(\frac{x_i-\mu}{\sigma}\right)^2= \\ &=& -\frac{n}{2}\ln 2\pi-\frac{n}{2}\ln\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\end{eqnarray*}$$

Calcoliamo la sua derivata rispetto al parametro $\mu$ e imponiamola uguale a zero per trovare lo stimatore di massima versosimiglianza per la media: $$\begin{array}{l} \frac{\partial\ln[L(\mu ,\sigma)]}{\partial\mu}=\frac{1}{\sigma^2}\sum_{i=1}^n(x_i-\mu)=0\\ \sum_{i=1}^nx_i-n\mu=0\\ \mu=\frac{\sum_{i=1}^nx_i}{n}=\overline{X}_n \end{array}$$

Calcoliamo adesso la derivata della funzione di verosimiglianza rispetto al parametro $\sigma$ e imponiamola uguale a zero per trovare lo stimatore di massima versosimiglianza per la deviazione standard: $$\begin{array}{l} \frac{\partial\ln[L(\mu ,\sigma)]}{\partial\sigma}=-\frac{n}{2}\cdot\frac{1}{\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2=0\\ \frac{-n\sigma^2+\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2}{2\sigma^4}=0\\ \sigma^2=\frac{\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2}{n}\\ \sigma=\sqrt{\frac{\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2}{n}}\end{array}$$

Facciamo osservare che i due stimatori trovati sono identici a quelli ricavati nell'esercizio di riferimento  $$(\hat{\theta}_1,\hat{\theta}_2)=\left(\frac{\sum_{i=1}^nx_i}{n},\sqrt{\frac{\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2}{n}}\right)$$

Letto 146 volte

Effettua il LOGIN al sito per aggiungere commenti oppure REGISTRATI se non hai ancora un account.

I cookie rendono più facile per noi fornirti i nostri servizi. Con l'utilizzo dei nostri servizi ci autorizzi a utilizzare i cookie.