Metodo della max verosimiglianza

Una volta analizzato il metodo dei momenti, vediamo un altro modo per trovare stimatori puntuali chiamato metodo della massima verosimiglianza.

Consideriamo un campione $X_1,\dots , X_n$ con funzione di densità congiunta $f(X_1,\dots ,X_n;\theta)$. Poichè tale campione è formato da variabili aleatorie indipendenti la funzione di densità congiuntà sarà uguale al prodotto delle singoli funzioni di densità marginali: $$f(x_1,\dots ,x_n;\theta)=f(x_1,\theta)\cdot\dots\cdot f(x_n,\theta)$$

La congiuntà viene indicata con $L(\theta)$ che prende il nome di funzione di verosimiglianza $$L(\theta)=f(x_1,\dots ,x_n;\theta)$$

Indichiamo con $\hat{\theta}$ il valore stimato che rende massima la funzione di verosimiglianza. Essendo $L(\theta)$ una funzione quasi sempre derivabile, posso calcolare la sua derivata e imporla uguale a zero per trovare il valore massimo: $$\frac{d L(\theta)}{d\theta}=0$$

Molto spesso, per semplicità di calcolo, si preferisce derivare (quindi massimizzare) la funzione logaritmica $ln[L(\theta)]$ al posto di $L(\theta)$ dato che entrambe assumono il valore massimo nello stesso punto.

Esempio 1

Supponiamo di avere il campione $X_1,\dots , X_n$ con distribuzione di Bernoulli e quindi ciascuna variabile con densità: $$f(x,p)=p^x(1-p)^{1-x},\quad X\in{0,1}$$

Trovare lo stimatore di massima verosimiglianza del valore $p$.

Per l'indipendenza delle variabili bernoulliane, la funzione congiunta o funzione di verosimiglianza è il prodotto delle marginali: $$L(p)=\prod_{i=1}^n f(x_i,p)=p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i}$$

Cerchiamo il valore di p che rende massima la funzione appena scritta. A tal scopo, consideriamo il log della funzione in modo da abbassare le sommatorie presenti nell'esponente e quindi ad avere una f in una forma più semplice: $$\begin{eqnarray*} ln[L(p)]&=&\ln[p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i}]=\\ &=& \sum_{i=1}^nx_i\ln p+\left(n-\sum_{i=1}^nx_i\right)\ln(1-p)\\ \end{eqnarray*}$$

Derivando quest'ultima funzione rispetto a p e imponendola uguale a zero, otteniamo: $$\frac{d ln[L(p)]}{d p}=\sum_{i=1}^nx_i\cdot\frac{1}{p}-\left(n-\sum_{i=1}^nx_i\right)\frac{1}{1-p} =0$$

$$\begin{array}{l} \frac{\sum_{i=1}^nx_i-p\sum_{i=1}^nx_i-np+p\sum_{i=1}^nx_i}{p(1-p)}\\ \sum_{i=1}^nx_i-np=0\\ p=\frac{\sum_{i=1}^nx_i}{n}=\overline{X}_n \end{array}$$ che è proprio la media campionaria.

Esempio 2

Considerando i dati dell'esercizio visto qui, calcolare gli stimatori di massima verosimiglianza per i parametri $\mu$ e $\sigma$ della funzione di densità congiunta di un campione proveniente da popolazione normale.

Sfruttando l'indipendenza delle variabili normali $X_i$, la funzione da massimizzare è: $$\begin{eqnarray*} L(\mu ,\sigma)&=& \prod_{i=1}^n\left(\frac{1}{\sqrt{2\pi}\sigma}\right)e^{-\frac{1}{2}\left(\frac{x_i-\mu}{\sigma}\right)^2}= \\ &=&\left(\frac{1}{2\pi\sigma^2}\right)^{n/2}e^{-\frac{1}{2}\sum_{i=1}^n\left(\frac{x_i-\mu}{\sigma}\right)^2}\end{eqnarray*}$$

Prendiamo la funzione logaritmo per semplicità: $$\begin{eqnarray*} \ln[L(\mu ,\sigma)]&=& -\frac{n}{2}\ln 2\pi-\frac{n}{2}\ln\sigma^2-\frac{1}{2}\sum_{i=1}^n\left(\frac{x_i-\mu}{\sigma}\right)^2= \\ &=& -\frac{n}{2}\ln 2\pi-\frac{n}{2}\ln\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\end{eqnarray*}$$

Calcoliamo la sua derivata rispetto al parametro $\mu$ e imponiamola uguale a zero per trovare lo stimatore di massima versosimiglianza per la media: $$\begin{array}{l} \frac{\partial\ln[L(\mu ,\sigma)]}{\partial\mu}=\frac{1}{\sigma^2}\sum_{i=1}^n(x_i-\mu)=0\\ \sum_{i=1}^nx_i-n\mu=0\\ \mu=\frac{\sum_{i=1}^nx_i}{n}=\overline{X}_n \end{array}$$

Calcoliamo adesso la derivata della funzione di verosimiglianza rispetto al parametro $\sigma$ e imponiamola uguale a zero per trovare lo stimatore di massima versosimiglianza per la deviazione standard: $$\begin{array}{l} \frac{\partial\ln[L(\mu ,\sigma)]}{\partial\sigma}=-\frac{n}{2}\cdot\frac{1}{\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2=0\\ \frac{-n\sigma^2+\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2}{2\sigma^4}=0\\ \sigma^2=\frac{\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2}{n}\\ \sigma=\sqrt{\frac{\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2}{n}}\end{array}$$

Facciamo osservare che i due stimatori trovati sono identici a quelli ricavati nell'esercizio di riferimento  $$(\hat{\theta}_1,\hat{\theta}_2)=\left(\frac{\sum_{i=1}^nx_i}{n},\sqrt{\frac{\sum_{i=1}^n\left(x_i-\overline{X}_n\right)^2}{n}}\right)$$

Questo sito usa i cookies per fornirti una migliore esperienza di navigazione. Prendi visione della privacy policy e clicca su "Accetta" per proseguire.