Ortogonalidade
O termo ortogonal aparece em muitos lugares de Álgebra Linear. Em geral ele significa perpendicular, e pode ser usado para caracterizar:
- vetores;
- bases;
- espaços;
- matrizes.
A aula é exatamente essa escada, de baixo para cima — cada degrau se define pelo anterior. Vale ler a tabela como um mapa do resumo:
| Objeto | É ortogonal quando… | Tópico |
|---|---|---|
| Dois vetores \(\mathbf{u},\mathbf{v}\) | \(\mathbf{u}^T\mathbf{v}=0\) | 02 |
| Uma base \(B\) | cada par \(\mathbf{b}_i^T\mathbf{b}_j=0\) | 05 |
| Dois espaços \(V_1,V_2\) | todo vetor de um é ortogonal a todo vetor do outro | 07 |
| Uma matriz \(Q\) | é quadrada e tem colunas mutuamente ortonormais | 08 |
Vetores ortogonais
Dois vetores \(\mathbf{u}\) e \(\mathbf{v}\) são ortogonais quando o produto interno entre eles é zero:
$$\mathbf{u}^T\mathbf{v}=u_1v_1+u_2v_2+\dots+u_nv_n=0$$Se \(\theta=90^\circ\), então vale Pitágoras no triângulo do desenho:
$$\|\mathbf{u}\|^2+\|\mathbf{v}\|^2=\|\mathbf{u}-\mathbf{v}\|^2$$ $$(u_1^2+u_2^2)+(v_1^2+v_2^2)=(u_1-v_1)^2+(u_2-v_2)^2$$ $$u_1^2+u_2^2+v_1^2+v_2^2=(u_1^2-2u_1v_1+v_1^2)+(u_2^2-2u_2v_2+v_2^2)$$ $$0=-2u_1v_1-2u_2v_2$$ $$u_1v_1+u_2v_2=0 \;\longrightarrow\; \mathbf{u}^T\mathbf{v}=0$$Cancelando os quadrados dos dois lados sobra só o termo cruzado — e ele ser zero é o produto interno ser zero.
A definição geométrica do produto interno
Outra forma de verificar a ortogonalidade é pela definição geométrica, que troca as coordenadas pelo ângulo:
Se \(\theta=90^\circ\), então:
$$\mathbf{u}^T\mathbf{v}=\|\mathbf{u}\|\,\|\mathbf{v}\|\cos(90^\circ)$$ $$\mathbf{u}^T\mathbf{v}=\|\mathbf{u}\|\,\|\mathbf{v}\|\cdot 0$$ $$\mathbf{u}^T\mathbf{v}=0$$As duas leituras dão no mesmo: a algébrica cancela os quadrados, a geométrica zera o cosseno.
Bases
Uma base para um espaço vetorial \(V\) é um conjunto de vetores
$$B=\{\mathbf{b}_1,\mathbf{b}_2,\dots,\mathbf{b}_n\}$$linearmente independentes que geram o espaço \(V\).
A base \(B=\{\mathbf{u},\mathbf{v}\}\) do desenho é uma base para o \(\mathbb{R}^2\). Mas existem vários outros conjuntos que também são bases para o \(\mathbb{R}^2\).
Algum deles é melhor?
É essa a pergunta que abre os dois tópicos seguintes: sim, as bases ortogonais são melhores — e as ortonormais, melhores ainda. O critério é o custo de decompor um vetor na base.
Bases ortogonais
Bases ortogonais são bases formadas por um conjunto de vetores \(B\) onde cada par de vetores \(\mathbf{b}_i\) e \(\mathbf{b}_j\) é ortogonal, ou seja:
$$\mathbf{b}_i^T\mathbf{b}_j=0$$Bases ortogonais simplificam a decomposição do vetor \(\mathbf{x}\) — por exemplo, no \(\mathbb{R}^2\):
$$x_1=\frac{\mathbf{x}\cdot\mathbf{u}}{\|\mathbf{u}\|^2}\qquad\text{projeção de }\mathbf{x}\text{ em }\mathbf{u}$$ $$x_2=\frac{\mathbf{x}\cdot\mathbf{v}}{\|\mathbf{v}\|^2}\qquad\text{projeção de }\mathbf{x}\text{ em }\mathbf{v}$$O ganho está no rodapé do slide: não precisamos resolver sistemas lineares. Numa base qualquer, achar os pesos de \(\mathbf{x}=x_1\mathbf{u}+x_2\mathbf{v}\) exige montar e resolver um sistema; numa base ortogonal, cada peso sai sozinho, com um produto interno e uma divisão.
Com a base do desenho, \(\mathbf{u}=[0,3]^T\) e \(\mathbf{v}=[2,0]^T\), e o vetor \(\mathbf{x}=[2,3]^T\) apontado por ele. Primeiro confira que a base é mesmo ortogonal:
$$\mathbf{u}^T\mathbf{v}=0\cdot 2+3\cdot 0=0$$Agora cada peso, um produto interno de cada vez:
$$x_1=\frac{\mathbf{x}\cdot\mathbf{u}}{\|\mathbf{u}\|^2}=\frac{2\cdot 0+3\cdot 3}{0^2+3^2}=\frac{9}{9}=1$$ $$x_2=\frac{\mathbf{x}\cdot\mathbf{v}}{\|\mathbf{v}\|^2}=\frac{2\cdot 2+3\cdot 0}{2^2+0^2}=\frac{4}{4}=1$$Conferindo a decomposição:
$$x_1\mathbf{u}+x_2\mathbf{v}=1\begin{bmatrix}0\\3\end{bmatrix}+1\begin{bmatrix}2\\0\end{bmatrix}=\begin{bmatrix}2\\3\end{bmatrix}=\mathbf{x}$$Bases ortonormais
Bases ortonormais são bases ortogonais \(B\) de vetores unitários. Ou seja, além de \(\mathbf{b}_i^T\mathbf{b}_j=0\) para cada par, vale para cada vetor \(\mathbf{b}_i\in B\):
$$\mathbf{b}_i^T\mathbf{b}_i=1$$Bases ortonormais simplificam ainda mais a decomposição do vetor \(\mathbf{x}\), por exemplo no \(\mathbb{R}^2\):
$$x_1=\mathbf{x}\cdot\mathbf{e}_1\qquad x_2=\mathbf{x}\cdot\mathbf{e}_2$$O rodapé do slide diz o motivo: não precisamos dividir pela magnitude dos vetores da base. Como \(\|\mathbf{e}_i\|^2=1\), o denominador da fórmula anterior some.
Com \(\mathbf{e}_1=[0,1]^T\), \(\mathbf{e}_2=[1,0]^T\) e o mesmo \(\mathbf{x}=[2,3]^T\):
$$x_1=\mathbf{x}\cdot\mathbf{e}_1=2\cdot 0+3\cdot 1=3$$ $$x_2=\mathbf{x}\cdot\mathbf{e}_2=2\cdot 1+3\cdot 0=2$$ $$x_1\mathbf{e}_1+x_2\mathbf{e}_2=3\begin{bmatrix}0\\1\end{bmatrix}+2\begin{bmatrix}1\\0\end{bmatrix}=\begin{bmatrix}2\\3\end{bmatrix}=\mathbf{x}$$Nenhuma divisão, nenhum sistema: os pesos são os produtos internos.
Espaços ortogonais
Dois espaços \(V_1\) e \(V_2\) são ortogonais quando todo vetor \(v_i\in V_1\) é ortogonal a todo vetor \(v_j\in V_2\).
O exemplo é a matriz da A4, e as duas relações são as mesmas de lá:
$$A=\begin{bmatrix}1&2\\3&6\end{bmatrix}$$- o espaço linha \(C(A^T)\) e o espaço nulo \(N(A)\) são ortogonais;
- o espaço coluna \(C(A)\) e o espaço nulo esquerdo \(N(A^T)\) são ortogonais.
Cada par se cruza em ângulo reto na origem, e o produto interno dos geradores confirma:
$$\begin{bmatrix}1\\2\end{bmatrix}\cdot\begin{bmatrix}2\\-1\end{bmatrix}=1\cdot 2+2\cdot(-1)=0$$ $$\begin{bmatrix}1\\3\end{bmatrix}\cdot\begin{bmatrix}3\\-1\end{bmatrix}=1\cdot 3+3\cdot(-1)=0$$Como os quatro subespaços desta matriz são retas, basta testar um gerador de cada — o produto interno distribui sobre a combinação linear, então zerar com a base zera com o espaço inteiro.
Matrizes ortogonais
Uma matriz \(Q\) é ortogonal se ela for uma matriz quadrada de ordem \(n\) com colunas mutuamente ortonormais. Nesse caso:
$$Q^TQ=I$$ $$QQ^T=I$$Ou seja, a inversa de \(Q\) é a sua transposta:
$$Q^TQ=QQ^T=I$$ $$\boxed{\,Q^{-1}=Q^T\,}$$Essa é a linha destacada do slide, e é o motivo de a matriz ortogonal ser tão usada em computação: inverter uma matriz é caro, transpor é de graça.
Identidade, rotação e reflexão
Exemplos de matrizes ortogonais:
As colunas são a base canônica: unitárias e ortogonais duas a duas.
Conferindo as colunas: cada uma tem norma \(\cos^2\theta+\operatorname{sen}^2\theta=1\), e o produto interno entre elas é
$$\cos\theta\cdot(-\operatorname{sen}\theta)+\operatorname{sen}\theta\cdot\cos\theta=0$$Reflexão em torno do eixo \(x\):
$$R_x=\begin{bmatrix}1&0\\0&-1\end{bmatrix}$$As colunas são \([1,0]^T\) e \([0,-1]^T\) — unitárias e ortogonais. Trocar o sinal de uma coluna não estraga nenhuma das duas condições.
As duas propriedades de \(Q\)
As seguintes propriedades são válidas para uma matriz ortogonal \(Q\). As duas saem do mesmo lugar: no meio da conta aparece \(Q^TQ\), que é \(I\) e some.
Se \(Q\) for multiplicada por qualquer vetor \(\mathbf{x}\), a magnitude de \(\mathbf{x}\) não é alterada:
$$\|Q\mathbf{x}\|=\|\mathbf{x}\|,\qquad\text{pois}\qquad (Q\mathbf{x})^T(Q\mathbf{x})=\mathbf{x}^T\underbrace{Q^TQ}_{=\,I}\mathbf{x}=\mathbf{x}^T\mathbf{x}$$Se \(Q\) for multiplicada por quaisquer dois vetores \(\mathbf{u}\) e \(\mathbf{v}\), o ângulo entre eles é preservado:
$$(Q\mathbf{u})\cdot(Q\mathbf{v})=\mathbf{u}\cdot\mathbf{v},\qquad\text{pois}\qquad (Q\mathbf{u})^T(Q\mathbf{v})=\mathbf{u}^T\underbrace{Q^TQ}_{=\,I}\mathbf{v}=\mathbf{u}^T\mathbf{v}$$É o que os dois desenhos anteriores mostram: girar ou espelhar o plano inteiro não altera comprimento nem ângulo — só a posição.
Matrizes altas-finas
Uma matriz \(Q\) é dita alta-fina (tall-thin) se ela for uma matriz retangular \(m\times n\) onde o número de linhas \(m\) é consideravelmente maior do que o número de colunas \(n\):
$$A=\begin{bmatrix} a_{11}&a_{12}&\dots&a_{1n}\\ a_{21}&a_{22}&\dots&a_{2n}\\ \vdots&\vdots&\ddots&\vdots\\ a_{m1}&a_{m2}&\dots&a_{mn}\end{bmatrix}$$O conjunto de dados MNIST pode ser representado por uma matriz alta-fina:
$$\text{MNIST}\;\to\;70000\times 784$$O MNIST possui 70 mil imagens de \(28\times 28\) pixels. Duas leituras, que é o que a prova pede:
- cada imagem \(28\times 28\) é achatada em um vetor, concatenando os pixels;
- cada linha de \(A\) é uma imagem representada por esse vetor.
Daí a forma: 70 000 linhas (uma por imagem) e 784 colunas (uma por pixel) — alta e fina.
Alta-fina com colunas ortonormais
Uma matriz alta-fina \(Q\) é ortonormal se suas colunas \(\mathbf{q}_i\) forem mutuamente ortonormais. Nesse caso:
$$Q^TQ=I$$ $$Q^TQ=\begin{bmatrix}-&\mathbf{q}_1^T&-\\ -&\mathbf{q}_2^T&-\\ -&\mathbf{q}_3^T&-\end{bmatrix}\begin{bmatrix}\mathbf{q}_1&\mathbf{q}_2&\mathbf{q}_3\end{bmatrix}=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}=I$$Cada entrada do produto é um \(\mathbf{q}_i^T\mathbf{q}_j\): na diagonal \(\mathbf{q}_i^T\mathbf{q}_i=1\) pela normalização, fora dela \(\mathbf{q}_i^T\mathbf{q}_j=0\) pela ortogonalidade.
Note que, se \(m>n\), as \(m\) linhas não podem ser mutuamente ortogonais no \(\mathbb{R}^n\), pois o número máximo de vetores não nulos mutuamente ortogonais em \(\mathbb{R}^n\) é \(n\).
$$QQ^T\ne I$$É a assimetria da matriz alta-fina: as \(n\) colunas cabem confortavelmente no \(\mathbb{R}^m\) e podem ser ortonormais; as \(m\) linhas vivem no \(\mathbb{R}^n\), que é apertado demais para todas elas.
A propriedade que sobrevive no caso alta-fina
A seguinte propriedade é válida para uma matriz alta-fina ortonormal \(Q\): se \(Q\) for multiplicada por um vetor \(\mathbf{x}\), a magnitude de \(\mathbf{x}\) não é alterada.
$$\|Q\mathbf{x}\|=\|\mathbf{x}\|,\qquad\text{pois}\qquad (Q\mathbf{x})^T(Q\mathbf{x})=\mathbf{x}^T\underbrace{Q^TQ}_{=\,I}\mathbf{x}=\mathbf{x}^T\mathbf{x}$$A conta é a mesma do tópico 10 e continua valendo porque só usa \(Q^TQ=I\), que a alta-fina tem. O vetor \(\mathbf{x}\) entra do \(\mathbb{R}^n\) e o resultado \(Q\mathbf{x}\) sai no \(\mathbb{R}^m\), num espaço bem maior — e ainda assim com o mesmo comprimento.
Ortogonalidade de \(\mathbf{u}+\mathbf{v}\) e \(\mathbf{u}-\mathbf{v}\)
Se os vetores \(\mathbf{u}\) e \(\mathbf{v}\) são ortogonais e unitários, mostre que \(\mathbf{u}+\mathbf{v}\) é ortogonal a \(\mathbf{u}-\mathbf{v}\). Qual é a magnitude de \(\mathbf{u}+\mathbf{v}\) e de \(\mathbf{u}-\mathbf{v}\)?
As hipóteses, escritas como produto interno — é só isso que vai ser usado:
$$\mathbf{u}^T\mathbf{v}=0\quad(\text{ortogonais}),\qquad \mathbf{u}^T\mathbf{u}=\mathbf{v}^T\mathbf{v}=1\quad(\text{unitários})$$Parte 1 — a ortogonalidade. Abrindo o produto interno pela distributividade:
$$(\mathbf{u}+\mathbf{v})^T(\mathbf{u}-\mathbf{v})=\mathbf{u}^T\mathbf{u}-\mathbf{u}^T\mathbf{v}+\mathbf{v}^T\mathbf{u}-\mathbf{v}^T\mathbf{v}$$ $$=1-0+0-1=0$$Produto interno zero é ortogonalidade. Note que os dois termos cruzados se cancelariam mesmo sem a hipótese de ortogonalidade, já que \(\mathbf{u}^T\mathbf{v}=\mathbf{v}^T\mathbf{u}\); o que faz o resultado ser zero é os dois vetores terem o mesmo comprimento.
Parte 2 — as magnitudes. Mesma abertura, agora com o vetor consigo mesmo:
$$\|\mathbf{u}+\mathbf{v}\|^2=(\mathbf{u}+\mathbf{v})^T(\mathbf{u}+\mathbf{v})=\mathbf{u}^T\mathbf{u}+2\,\mathbf{u}^T\mathbf{v}+\mathbf{v}^T\mathbf{v}=1+0+1=2$$ $$\|\mathbf{u}-\mathbf{v}\|^2=\mathbf{u}^T\mathbf{u}-2\,\mathbf{u}^T\mathbf{v}+\mathbf{v}^T\mathbf{v}=1-0+1=2$$ $$\|\mathbf{u}+\mathbf{v}\|=\|\mathbf{u}-\mathbf{v}\|=\sqrt{2}$$É o Pitágoras do tópico 02 lido ao contrário: as duas diagonais do quadrado de lado 1 medem \(\sqrt{2}\) e se cruzam em ângulo reto.
O que \((Q\mathbf{u})^T(Q\mathbf{v})=\mathbf{u}^T\mathbf{v}\) significa
Seja \(Q\) ortonormal e \(\mathbf{y}=Q\mathbf{x}\): a norma de \(\mathbf{y}\) é igual à norma de \(\mathbf{x}\) (acabamos de ver isso). O que significa, geometricamente, a propriedade \((Q\mathbf{u})^T(Q\mathbf{v})=\mathbf{u}^T\mathbf{v}\) para dois vetores \(\mathbf{u}\) e \(\mathbf{v}\)?
Escreva o produto interno na forma geométrica do tópico 03, dos dois lados da igualdade:
$$\|Q\mathbf{u}\|\,\|Q\mathbf{v}\|\cos\theta'=\|\mathbf{u}\|\,\|\mathbf{v}\|\cos\theta$$Pela primeira propriedade, \(\|Q\mathbf{u}\|=\|\mathbf{u}\|\) e \(\|Q\mathbf{v}\|=\|\mathbf{v}\|\). Cancelando as normas dos dois lados:
$$\cos\theta'=\cos\theta \;\Longrightarrow\; \theta'=\theta$$Resposta. O ângulo entre os dois vetores é o mesmo antes e depois de multiplicar por \(Q\). Junto com a preservação da norma, isso quer dizer que \(Q\) não deforma nada: ela move o conjunto inteiro rigidamente, como a rotação e a reflexão do tópico 09 — distâncias, comprimentos e ângulos ficam todos iguais.
Caso particular útil: se \(\mathbf{u}\) e \(\mathbf{v}\) eram ortogonais, \(Q\mathbf{u}\) e \(Q\mathbf{v}\) continuam ortogonais. Multiplicar uma base ortonormal por \(Q\) devolve outra base ortonormal.
Checklist da A5
Se você consegue responder tudo abaixo sem consultar, a aula está fechada.
| Pergunta | Onde está |
|---|---|
| Dizer os quatro objetos que a palavra “ortogonal” caracteriza | Ortogonalidade |
| Testar se dois vetores são ortogonais pelo produto interno | Vetores ortogonais |
| Deduzir \(\mathbf{u}^T\mathbf{v}=0\) a partir de Pitágoras | Vetores ortogonais |
| Usar \(\mathbf{u}^T\mathbf{v}=\|\mathbf{u}\|\|\mathbf{v}\|\cos\theta\) para chegar ao mesmo resultado | A definição geométrica |
| Dizer o que torna um conjunto uma base, e o que a torna ortogonal | Bases · Bases ortogonais |
| Decompor \(\mathbf{x}\) numa base ortogonal sem resolver sistema | Bases ortogonais |
| Dizer o que muda na fórmula quando a base é ortonormal | Bases ortonormais |
| Dizer quando dois espaços são ortogonais e citar os dois pares de \(A\) | Espaços ortogonais |
| Enunciar a definição de matriz ortogonal e concluir \(Q^{-1}=Q^T\) | Matrizes ortogonais |
| Verificar que rotação e reflexão têm colunas ortonormais | Identidade, rotação e reflexão |
| Mostrar \(\|Q\mathbf{x}\|=\|\mathbf{x}\|\) e \((Q\mathbf{u})\cdot(Q\mathbf{v})=\mathbf{u}\cdot\mathbf{v}\) | Propriedades de \(Q\) |
| Dizer o que é uma matriz alta-fina e dar a forma do MNIST | Matrizes altas-finas |
| Justificar por que \(Q^TQ=I\) mas \(QQ^T\ne I\) quando \(m>n\) | Alta-fina ortonormal |
| Dizer qual propriedade de \(Q\) continua valendo no caso retangular | A propriedade que sobrevive |
| Provar que \(\mathbf{u}+\mathbf{v}\perp\mathbf{u}-\mathbf{v}\) e dar as duas magnitudes | Exercício 1 |
| Explicar geometricamente a preservação do produto interno | Exercício 2 |