6.2 Correlação

Nesta seção vamos introduzir o coeficiente de correlação, estudar suas propriedades, e relacioná-lo com o método dos mínimos quadrados. Observamos que esta seção não será usada no restante do livro.

Dada uma variável aleatória $X$ não-degenerada com segundo momento finito, definimos a padronização de $X$ como sendo a variável aleatória

\tilde{X}=\frac{X-\mathbb{E}X}{\sqrt{\mathbb{V}X}}.

Ou seja, a padronização é a transformação afim crescente que leva $X$ em $\tilde{X}$ com as propriedades que $\mathbb{E}\tilde{X}=0$ e $\mathbb{V}\tilde{X}=1$ . Observe também que a padronização de $X$ é uma variável aleatória adimensional, pois $\sqrt{\mathbb{V}X}$ é medido na mesma unidade de $X$ .

Definição 6.15 (Coeficiente de correlação).

Dadas duas variáveis aleatórias $X$ e $Y$ com variâncias finitas e positivas, definimos o coeficiente de correlação $\rho(X,Y)$ entre $X$ e $Y$ como:

\rho(X,Y)=\mathop{\mathbf{Cov}}\nolimits\left(\frac{X-\mathbb{E}X}{\sigma(X)},% \frac{Y-\mathbb{E}Y}{\sigma(Y)}\right).

O coeficiente de correlação é adimensional, pois ele depende apenas das padronizações de $X$ e $Y$ . Outras propriedades do coeficiente de correlação são dadas na proposição a seguir.

Proposição 6.16 (Propriedades do coeficiente de correlação).

Dadas $X$ e $Y$ variáveis aleatórias com variâncias finitas e positivas, valem:

(1)

$\rho(X,Y)=\rho(Y,X)$ ;
(2)

$\rho(X,Y)=\frac{\mathop{\mathbf{Cov}}\nolimits(X,Y)}{\sigma(X)\sigma(Y)}$ ;
(3)

$\rho(X,X)=1$ ;
(4)

$\rho(aX+b,Y)=\frac{a}{|a|}\rho(X,Y)$ se $a,b\in\mathbb{R},\ a\neq 0$ ;
(5)

$\rho(aX+b,cY+d)=\frac{ac}{|ac|}\rho(X,Y)$ se $a,b,c,d\in\mathbb{R}$ e $a,c\neq 0$ .

Demonstração.

O item (1) é imediato da definição de coeficiente de correlação e da simetria da covariância. Para o item (2) basta utilizar o item (2) da Proposição 6.14. Do item (2) segue que $\rho(X,X)=\frac{\mathop{\mathbf{Cov}}\nolimits(X,X)}{(\sigma(X))^{2}}=\frac{% \mathbb{V}X}{(\sigma(X)^{2})}=1$ , o que prova o item (3). Para mostrar o item (4), calculamos

	$\displaystyle\rho(aX+b,Y)$	$\displaystyle=\frac{\mathop{\mathbf{Cov}}\nolimits(aX+b,Y)}{\sigma(aX+b)\sigma% (Y)}=\frac{a\mathop{\mathbf{Cov}}\nolimits(X,Y)+b\mathop{\mathbf{Cov}}% \nolimits(1,Y)}{\|a\|\sigma(X)\sigma(Y)}$
		$\displaystyle=\ \frac{a\mathop{\mathbf{Cov}}\nolimits(X,Y)}{\|a\|\sigma(X)\sigma% (Y)}=\frac{a}{\|a\|}\rho(X,Y),$

onde a segunda e a terceira igualdades acima seguem dos itens (2) e (1) da Proposição 6.14, respectivamente.

Provamos o item (5) utilizando os itens (1) e (4):

	$\displaystyle\rho(aX+b,cY+d)$	$\displaystyle=\tfrac{a}{\|a\|}\rho(X,cY+d)=\tfrac{a}{\|a\|}\rho(cY+d,X)$
		$\displaystyle=\frac{ac}{\|ac\|}\rho(Y,X)=\tfrac{ac}{\|ac\|}\rho(X,Y).\qed$

Exemplo 6.17.

Sejam $(X,Y)$ vetor aleatório com densidade conjunta dada por $f_{XY}(x,y)=\mathds{1}_{[0,1]}(x)\mathds{1}_{[0,1]}(y)$ , $Z=\min\{X,Y\}$ e $W=\max\{X,Y\}$ , então:

	$\displaystyle\mathbb{E}[ZW]$	$\displaystyle=\mathbb{E}[XY]=\int_{0}^{1}\int_{0}^{1}xy\,\mathrm{d}x\mathrm{d}% y=\frac{1}{4}$
	$\displaystyle\mathbb{E}Z$	$\displaystyle=\int_{0}^{1}\left[\int_{0}^{x}y\mathrm{d}y+\int_{x}^{1}x\mathrm{% d}y\right]\mathrm{d}x=\int_{0}^{1}{\textstyle(\frac{x^{2}}{2}+x-x^{2})}\mathrm% {d}x=\frac{1}{3}$
	$\displaystyle\mathbb{E}W$	$\displaystyle=\int_{0}^{1}\left[\int_{0}^{x}x\mathrm{d}y+\int_{x}^{1}y\mathrm{% d}y\right]\mathrm{d}x=\int_{0}^{1}{\textstyle(x^{2}+\frac{1}{2}-\frac{x^{2}}{2% })}\mathrm{d}x=\frac{2}{3}$

Logo, $\mathop{\mathbf{Cov}}\nolimits(Z,W)=\mathbb{E}[ZW]-\mathbb{E}Z\cdot\mathbb{E}W% =\frac{1}{36}$ .

Continuando,

	$\displaystyle\mathbb{E}Z^{2}$	$\displaystyle=\int_{0}^{1}\left[\int_{0}^{x}y^{2}\mathrm{d}y+\int_{x}^{1}x^{2}% \mathrm{d}y\right]\mathrm{d}x=\int_{0}^{1}{\textstyle(\frac{x^{3}}{3}+x^{2}-x^% {3})}\mathrm{d}x=\frac{1}{6}$
	$\displaystyle\mathbb{V}Z$	$\displaystyle=\mathbb{E}Z^{2}-(\mathbb{E}Z)^{2}=\frac{1}{6}-\frac{1}{9}=\frac{% 1}{18}$
	$\displaystyle\mathbb{V}W$	$\displaystyle=\cdots\text{exerc\'{\i}cio}\cdots=\frac{1}{18}$
	$\displaystyle\rho(Z,W)$	$\displaystyle=\frac{\mathop{\mathbf{Cov}}\nolimits(Z,W)}{\sigma(Z)\sigma(W)}=% \frac{1/36}{\sqrt{1/18}\sqrt{1/18}}=\frac{1}{2}.\qed$

Já sabíamos que o coeficiente de correlação é invariante pela padronização das variáveis. O último item da proposição acima nos diz algo mais forte. O valor absoluto do coeficiente de correlação $\rho(X,Y)$ é preservado por quaisquer transformações afins não-constantes que façamos nas variáveis $X$ e $Y$ .

O coeficiente de correlação é uma indicação do grau de dependência linear entre as variáveis aleatórias $X$ e $Y$ . A proposição a seguir dá ainda mais sentido a esta afirmação.

Proposição 6.18.

Sejam $X$ e $Y$ variáveis aleatórias não-degeneradas com segundo momento finito. Então $-1\leqslant\rho(X,Y)\leqslant 1$ . Ademais, $\rho(X,Y)=\pm 1$ se, e somente se, $Y=\pm aX+b$ q.c. para algum $a>0$ e $b\in\mathbb{R}$ .

Veremos a demonstração na próxima seção, como corolário da Desigualdade de Cauchy-Schwarz.

Correlação e o método dos mínimos quadrados

O leitor talvez se lembre dos laboratórios de ciências naturais, em que escolhiam-se distintos valores $x_{1},\dots,x_{n}$ de uma determinada grandeza, observavam-se valores correspondentes $y_{1},\dots,y_{n}$ de uma outra grandeza que supostamente depende da primeira, e tentava-se traçar a reta $y=ax+b$ que melhor se aproximasse dos $n$ pontos $(x_{1},y_{y}),\dots,(x_{n},y_{n})$ no plano, como ilustrado na Figura 6.1. O critério mais comum para dizer que uma reta $y=ax+b$ se aproxime desses pontos mais que outras é o de minimizar o erro quadrático médio, dado por $\frac{1}{n}\sum_{j}(ax_{j}+b-y_{j})^{2}$ .

Figura 6.1: Uma coleção de $20$ pontos e a reta que minimiza a soma dos quadrados dos comprimentos dos segmentos tracejados.

Usando notação $\overline{z_{j}}=\frac{1}{n}\sum_{j}z_{j}$ , queremos minimizar $g(a,b)=\overline{(ax_{j}+b-y_{j})^{2}}$ . O ponto que minimiza $g$ satisfaz $\vec{\nabla}g=\vec{0}$ , ou seja, $\frac{\partial g}{\partial a}=\frac{\partial g}{\partial b}=0$ .

Calculando as derivadas parciais, obtemos

	$\displaystyle\tfrac{\partial}{\partial a}g(a,b)$	$\displaystyle=\overline{2x_{j}(ax_{j}+b-y_{j})}=2a\,\overline{x_{j}^{2}}+2b\,% \overline{x_{j}}-2\,\overline{x_{j}y_{j}},$
	$\displaystyle\tfrac{\partial}{\partial b}g(a,b)$	$\displaystyle=2\,\overline{ax_{j}+b-y_{j}}=2a\,\overline{x_{j}}+2b-2\,% \overline{y_{j}}.$

Resolvendo o sistema linear $\frac{\partial g}{\partial a}=\frac{\partial g}{\partial b}=0$ , obtemos

a=\frac{\overline{x_{j}y_{j}}-\overline{x_{j}}\cdot\overline{y_{j}}}{\overline% {x_{j}^{2}}-\overline{x_{j}}^{2}}\quad\text{ e }\quad b=\overline{y_{j}}-a\,% \overline{x_{j}}.

Agora considere o experimento aleatório que consiste em selecionar um desses $n$ pontos ao acaso, ou seja, assuma que $(X,Y)$ é um vetor aleatório que assume os valores $(x_{1},y_{1}),\dots,(x_{n},y_{n})$ com probabilidade $\frac{1}{n}$ cada. Neste caso, a solução acima pode ser escrita como

a=\frac{\mathop{\mathbf{Cov}}\nolimits(X,Y)}{\mathbb{V}X}=\rho(X,Y)\frac{% \sigma(Y)}{\sigma(X)}\quad\text{ e }\quad b=\mathbb{E}Y-a\,\mathbb{E}X.

Ou seja, se padronizamos tanto $X$ quanto $Y$ , a reta passará pela origem e sua inclinação será justamente o coeficiente de correlação.

Ademais, o problema original pode ser reescrito como: encontre $a$ e $b$ tal que

\mathbb{E}(aX+b-Y)^{2}

seja o menor possível. Ou seja, de todas as variáveis aleatórias $\hat{Y}$ que podem ser expressas como $\hat{Y}=aX+b$ para algum $a$ e algum $b$ , encontramos aquela que minimiza $\mathbb{E}(\hat{Y}-Y)^{2}$ .