6. Innfeldi og hornrétt ofanvörp

6.1. Innfeldi

6.1.1. Skilgreining: Innfeldi

Skilgreining

Látum $\textbf{u}=(u_1,u_2,\dots,u_n)$ og $\textbf{v}=(v_1,v_2,\dots,v_n)$ vera vigra í $\R^n$. Innfeldi (e. inner product) er vörpun $\R^n \times \R^n\ \rightarrow \R$ sem tekur inn tvo vigra $\bf u$ og $\bf v$ og skilar tölunni $\bf u^T v$. Oftast ritað

$$\begin{split}\textbf{u} \cdot \textbf{v}=\left( \begin{array}{cccc} u_1 & u_2 & \dots & u_n \\ \end{array} \right) \cdot \left( \begin{array}{c} v_1 \\ v_2 \\ \dots \\ v_n \\ \end{array} \right)= u_1 v_1 + u_2 v_2 + ... u_n v_n.\end{split}$$

Skilgreina má innfeldi fyrir almenn vigurrúm, ekki bara $\R^n$. Stundum er innfeldið á $\R^n$ kallað depilmargfeldi.

6.1.1.1. Sýnidæmi: Innfeldi

Dæmi

Látum $\textbf{u}=\begin{bmatrix} 1 \\ 2 \end{bmatrix}$ og $\textbf{v}=\begin{bmatrix} 3 \\ 4 \end{bmatrix}$ reiknið innfeldið.

Lausn

$$\textbf{u} \cdot \textbf{v} = 1 \cdot 3 + 2 \cdot 4 = 3+8=11$$

6.1.2. Reiknireglur um innfeldi á $\R^n$

Setning

Látum $\bf u,v$ og $\bf w$ vera vigra í $\R^n$ og $c \in \R$. Þá gildir

1. $\bf u \cdot v = \bf v \cdot u$.

2. $(\ve u+ \ve v)\cdot \ve w = \bf u \cdot w + v \cdot u$.

3. $(c \ve u)\cdot \ve v = c ( \ve u\cdot \ve v)= \ve u \cdot (c \ve v)$.

4. $\ve u \cdot \ve u \geq 0$, og $\ve u \cdot \ve u = 0$ ef og aðeins ef $\bf u=0$.

6.2. Lengd

6.2.1. Skilgreining: Lengd

Skilgreining

Látum $\textbf{u}=(u_1,u_2,\dots,u_n)$ vera vigur í $\R^n$. Lengd, stundum kallað staðall eða norm, vigursins $\bf u$ er talan

$$||\ve u||:=\sqrt{\ve u \cdot \ve u}=\sqrt{u_1^2+u_2^2+\dots + u_n^2}$$

6.2.1.1. Sýnidæmi: Lengd vigurs

Dæmi

Reiknið lengd vigursins $\textbf{u} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}$

Lausn

$$||\textbf{u}|| = ||(1,2,3)||=\sqrt{1^2+2^2+3^2}=\sqrt{1+4+9}=\sqrt{14}$$

6.2.2. Reiknireglur um lengd

Setning

Látum $\bf u$ og $\bf v$ vera vigra í $\R^n$ og $c \in \R$. Þá gildir

1. $||\ve u||\geq 0$ og $||\ve u||=0$ ef og aðeins ef $\ve u=\ve 0$.

2. $|| \ve u + \ve v || \leq ||\ve u|| + ||\ve v||$.

3. $|| c \ve u|| = |c| ||\ve u||$.

4. $|\ve u \cdot\ve v | \leq ||\ve u || || \ve v ||$

6.2.3. Skilgreining: Einingarvigur

Skilgreining

Vigur $\ve u \in \R^n$ sem hefur lengdina $||\ve u||=1$ kallast einingarvigur (e. unit vector). Stundum ritað $\hat{\ve u}$.

Sérhvern vigur $\ve u \in \R^n$ (að undanskildum núllvigri) má staðla, þ.e. gera að einingarvigri, með því að deila með lengdinni, $\hat{\ve u} = \ve u / || \ve u ||$.

6.3. Fjarlægðir í $\R^n$

6.3.1. Skilgreining: Fjarlægð milli punkta í $\R^n$

Skilgreining

Látum $\ve u$ og $\ve v$ vera vigra í $\R^n$. Fjarlægðin milli $\ve u$ og $\ve v$ er skilgreind sem lengdin á vigrinum $\ve u- \ve v$, þ.e.

$$d(\ve u, \ve v):=||\ve u - \ve v || = \sqrt{(u_1-v_1)^2 + (u_2-v_2)^2 + \dots + (u_n-v_n)^2}.$$

Í skilgreiningunni hér að ofan hugsum við um $\ve u$ og $\ve v$ ýmist sem vigra eða punkt í $\R^n$. Á eftirfarandi mynd má sjá fjarlægð milli tveggja vigra.

6.3.1.1. Sýnidæmi: Fjarlægð milli punkta

Dæmi

Reiknum fjarlægð milli $\begin{bmatrix} 1 \\ 2 \end{bmatrix}$ og $\begin{bmatrix} -3 \\ 4 \end{bmatrix}$

Lausn

$$\sqrt{(1-(-3))^2+(2-4)^2}=\sqrt{4^2+(-2)^2}=\sqrt{16+4}=\sqrt{20}$$

6.3.2. Reiknireglur um fjarlægðir

Setning

Látum $\ve u, \ve v$ og $\ve w$ vera punkta í $\R^n$. Þá gildir

1. $d(\ve u, \ve v) \geq 0$ og $d(\ve u, \ve v)=0$ ef og aðeins ef $\ve u= \ve v$

2. $d(\ve u, \ve v) = d(\ve v, \ve u)$

3. $d(\ve u, \ve w) \leq d(\ve u + \ve v) + d(\ve v + \ve w)$

Fall $d: \R^n \times \R^n \rightarrow \R$ sem uppfyllir þessi þrjú skilyrði kallast firð (e. metric).

6.4. Hornréttir vigrar

6.4.1. Skilgreining: Hornrétt

Skilgreining

Látum $\ve u$ og $\ve v$ vera vigra í $\mathbb{R}^n$. Vigrarnir $\ve u$ og $\ve v$ eru sagðir hornréttir (á hvorn annan) (e. orthogonal) ef $\ve u \cdot \ve v=0$

6.4.2. Skilgreining: Horn milli vigra

Skilgreining

Ef $\ve u$ og $\ve v$ eru vigrar í $\mathbb{R}^n$, sem er hvorugur núll, þá skilgreinum við hornið milli (e. angle between) þeirra sem töluna

$$\theta = \arccos\big(\frac{\textbf{u}\cdot\textbf{v}}{||\textbf{u}|| ||\textbf{v}||}\big)$$

6.4.3. Regla Pýþagórasar

Setning

Vigrarnir $\ve u$ og $\ve v$ eru hornréttir hvor á annan þá og því aðeins að

$$||\ve u||^2+||\ve v||^2=||\ve u + \ve v||^2$$

6.5. Hornrétt fyllirúm

6.5.1. Skilgreining: Hornrétt fyllirúm

Skilgreining

Látum $W$ vera mengi vigra í $\R^n$. Hornrétt fyllirúm (e. orthogonal complement) er mengi $W^{\perp}$ allra þeirra vigra í $\R^n$ sem eru hornréttir á sérhvern vigur í $W$, þ.e.

$$W^{\perp}=\{ z \in \R^n : z \cdot w =0, \forall w \in W \}$$

6.5.2. Setning: Hornrétt fyllirúm

Setning

a. Látum $W$ vera hlutmengi í $\R^n$. Hornrétta fyllirúmið $W^{\perp}$ er hlutrúm í $\R^n$.

b. Ef $W$ er hlutrúm í $\R^n$ þá $W \cap W^{\perp}=\{\ve 0\}$ og $(W^{\perp})^{\perp}=W$.

c. Látum $W=\text{Span}\{v_1,...,v_p\}$. Vigur $x$ er í $W^{\perp}$ ef og aðeins ef hann er hornréttur á sérhvern vigranna $v_1,...,v_p$.

d. Látum $A$ vera $m \times n$ fylki. Þá er $\text{Row}(A)^{\perp}=\text{Nul}(A)$ og $\text{Col}(A)^{\perp}=\text{Nul}(A^{T})$.

Sönnum a. í setningunni hér að ofan.

Athugasemd

Látum $W$ vera hlutmengi í $\mathbb{R}^n$.

1. Vigurinn $\ve 0$ er hornréttur á öll stök í $W$ svo $\ve 0 \in W^\perp$.

2. Látum $\ve u, \ve v \in W^\perp$ og látum $\ve w$ vera hvaða vigur sem er í $W$. Þá er

$(\ve u + \ve v)\cdot\ve w = \ve u \cdot \ve w + \ve v \cdot \ve w =0+0=0$

svo $(\ve u+\ve v)$ er hornrétt á alla vigra $W$ og því er $(\ve u + \ve v) \in W^\perp$.

3. Látum $\ve u \in W^\perp$, $\ve w$ vera hvaða vigru sem er í $W$ og $c$ vera rauntölu. Þá er

$$(c\textbf{u})\cdot \textbf{w} = c\ve u \cdot \ve w = c \cdot 0 = 0$$

svo $c\ve u$ er hornréttu á alla vigra í $W$ og því er $c\ve u\in W^\perp$.

Þetta sýnir að $W^\perp$ er hlutrúm í $\mathbb{R}^n$.

6.6. Þverstæð og þverstöðluð mengi

6.6.1. Skilgreining: Þverstæð og þverstöðluð mengi

Skilgreining

Mengi $W$ í $\R^n$ er þverstætt (e. orthogonal) ef sérhverjir tveir vigrar í menginu eru hornréttir hvor á annan. Mengið er sagt þverstaðlað (e. orthonormal) ef það er þverstætt og allir vigrarnir í $W$ hafa lengdina 1.

6.6.1.1. Sýnidæmi: Þverstæð og þverstöðluð mengi

Dæmi

1. Venjulegi grunnurinn $\{\ve e_1, \dots, \ve e_n \}$ í $\R^n$ er þverstaðlað mengi. Þeir hafa allir lengdina einn þar sem þeir eru einingarvigrar og þeir eru hornréttir samkvæmt skilgreiningu.

2. $\{v_1, v_2, v_3 \}$ þar sem $v_1=(3,1,1), v_2=(-1,2,1)$ og $v_3=(-1/2,-2,7/2)$ er þverstætt mengi. Það má auðveldlega sannfæra sig að svo sé með því að sýna fram á að öll innfeldin $v_1 \cdot v_2, v_1 \cdot v_3$ og $v_2 \cdot v_3$ séu núll, og lengdir vigranna eru ekki 1.

6.6.1.2. Sýnidæmi: Þverstæð mengi

Dæmi

Finnið dæmi um þrjá vigra sem mynda þverstætt mengi og þrjá vigra sem gera það ekki, af eftirfarandi vigrum.

$$\begin{split}\ve u=\begin{bmatrix} 1 \\ -2 \\ 0 \end{bmatrix}, \ve v=\begin{bmatrix} 2 \\ 1 \\ 3 \end{bmatrix}, \ve w=\begin{bmatrix} 1 \\ 1 \\ -1 \end{bmatrix}, \ve q=\begin{bmatrix} 0 \\ 0 \\ 3 \end{bmatrix}.\end{split}$$

Lausn

Athugum fyrst $\ve u, \ve v$ og $\ve w$.

$$\ve u \cdot \ve v = (1)(2)+(-2)(1)+(0)(3)=0$$

$$\ve v \cdot \ve w = (2)(1)+(1)(1)+(3)(-1)=0$$

$$\ve u \cdot \ve w = (1)(1)+(-2)(1)+(0)(-1)=-1$$

Þar sem innfeldið er ekki 0 í öllum tilfellum svo vigrarnir mynda ekki þverstætt mengi.

Athugum því næst $\ve u, \ve v$ og $\ve q$.

$$\ve u \cdot \ve v = (1)(2)+(-2)(1)+(0)(3)=0$$

$$\ve v \cdot \ve q = (2)(0)+(1)(0)+(0)(3)=0$$

$$\ve u \cdot \ve q = (1)(0)+(-2)(0)+(0)(3)=0$$

Þar sem innfeldið er 0 í öllum tilfellum mynda vigrarnir þverstætt mengi.

6.6.2. Setning: Þverstæð mengi eru línulega óháð

Setning

Látum $S=\{\ve u_1, \dots, \ve u_p\}$ vera þverstætt hlutmengi í $\R^n$ sem inniheldur engan núllvigur. Þá er $S$ línulega óháð og er því grunnur fyrir hlutmengið spannað af $S$.

6.7. Þverstæðir og þverstaðlaðir grunnar

6.7.1. Skilgreining: Þverstæðir og þverstaðlaðir grunnar

Skilgreining

Látum $W$ vera hlutrúm í $\R^n$ og $\{\ve u_1, \dots, \ve u_p \}$ vera grunn fyrir $W$.

1. Grunnurinn fyrir $W$ er þverstæður (e. orthogonal basis) ef sérhverjir tveir ólíkir vigrar í grunninum eru hornréttir hvor á annan, m.o.ö.

$$u_i \cdot u_j =0\ \text{ ef } \ i \neq j.$$

2. Grunnurinn fyrir $W$ er þverstaðlaður (e. orthonormal basis) ef sérhverjir tveir vigrar í grunninum eru hornréttir hvor og annan og allir vigrarnir eru einingarvigrar, m.ö.o.

$$\begin{split}u_i \cdot u_j = \begin{cases} 1\ \text{ ef } \ i = j \\ 0\ \text{ ef } \ i \neq j \end{cases}\end{split}$$

Sýnidæmi $\bf 6.6.1.1.$ um þverstæð og þverstöðluð mengi er einnig dæmi um þverstæða og þverstaðlaða grunna.

Athugasemd

Ef mengið $\{\ve v_1, \dots, \ve v_p \}$ er þverstæður grunnur fyrir hlutrúm $W$ í $\R^n$ þá er mengið

$$\Big\{ \frac{\ve v_1}{|| \ve v_1 ||}, \dots, \frac{\ve v_p}{|| \ve v_p ||} \Big\}$$

þverstaðlaður grunnur fyrir $W$. Niðurstaðan er sú að ef við höfum þverstæðan grunn er hægt að búa til þverstaðlaðan grunn.

6.7.2. Skilgreining: Hnit m.t.t. þverstæðra og þverstaðlaða grunna

Skilgreining

Látum $W$ vera hlutrúm í $\R^n$ og $\mathcal{B}=\{\ve u_1, \dots, \ve u_p \}$ vera grunn fyrir $W$.

1. Ef $\ve y \in W$ og $\mathcal{B}$ er þverstæður þá er

$$\ve y = c_1 \ve u_1 + \dots + c_p \ve u_p$$

þar sem

$$c_j = \frac{\ve y \cdot \ve u_j}{\ve u_j \cdot \ve u_j},\ \text{fyrir}\ j=1,...,p.$$

Þ.e., hnitavigur $\ve y$ m.t.t. grunnsins $\mathcal{B}$ er

$$[\ve y]_{\mathcal{B}} = \Big(\frac{\ve y \cdot \ve u_1}{\ve u_1 \cdot \ve u_1}, \dots, \frac{\ve y \cdot \ve u_p}{\ve u_p \cdot \ve u_p} \Big).$$

2. Ef $\ve y \in W$ og $\mathcal{B}$ er þverstaðlaður þá er

$$\ve y = c_1 \ve u_1 + \dots + c_p \ve u_p$$

þar sem

$$c_j = \ve y \cdot \ve u_j,\ \text{fyrir}\ j=1,...,p.$$

Þ.e., hnitavigur $\ve y$ m.t.t. grunnsins $\mathcal{B}$ er

$$[\ve y]_{\mathcal{B}} = \Big(\ve y \cdot \ve u_1, \dots, \ve y \cdot \ve u_p \Big).$$

6.7.2.1. Sýnidæmi: Hnit vigurs m.t.t. grunns

Dæmi

Reikna á hint vigursins $\ve v = (3,-2)$ m.t.t. grunnanna $\mathcal{B}=\{(1,1),(-1,1) \}$ og $\mathcal{C}=\{\frac{1}{\sqrt{2}}(1,1), \frac{1}{\sqrt{2}}(-1,1) \}$ fyrir $\R^2$.

Lausn

1. Hnit $\ve v$ m.t.t. þverstæða grunnsins $\mathcal{B}$ eru

$$c_1 = \frac{(3,-2)\cdot (1,1)}{(1,1)\cdot (1,1)}=\frac{1}{2},$$

og

$$c_2 = \frac{(3,-2)\cdot(-1,1)}{(-1,1)\cdot (-1,1)}=\frac{-5}{2},$$

svo

$$(3,-2)=c_1 (1,1)+ c_2 (-1,1)=\frac{1}{2}(1,1) - \frac{5}{2}(-1,1)$$

svo

$$[(3,-2)]_{\mathcal{B}}=(\frac{1}{2},\frac{-5}{2}).$$

2. Hnit $\ve v$ m.t.t. þverstaðlaða grunnsins $\mathcal{C}$ eru

$$c_1 = (3,-2)\cdot \big(\frac{1}{\sqrt{2}}(1,1) \big)= \frac{1}{\sqrt{2}}$$

og

$$c_2 = (3,-2)\cdot \big(\frac{1}{\sqrt{2}}(-1,1) \big)= \frac{-5}{\sqrt{2}}$$

svo

$$[(3,-2)]_{\mathcal{C}}=(\frac{1}{\sqrt{2}},\frac{-5}{\sqrt{2}}).$$

6.7.2.2. Sýnidæmi: Annað dæmi um hnit vigurs m.t.t. grunns

Dæmi

Finnið hnit punktsins $\ve y=(1,1,1)$ með tilliti til þverstæða grunnsins

$$\begin{split}\mathcal{B}= \left\{ \begin{bmatrix} 1 \\ -2 \\ 0 \end{bmatrix}, \begin{bmatrix} 2 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 0 \\ 3 \end{bmatrix} \right\}\end{split}$$

Lausn

Fáum að

$$c_1 = \frac{(1,1,1)\cdot (1,-2,0)}{(1,-2,0)\cdot (1,-2,0)}= \frac{1-2+0}{1+(-2)^2+0^2}=-\frac{1}{5}$$

$$c_2 = \frac{(1,1,1)\cdot (2,1,0)}{(2,1,0)\cdot (2,1,0)}= \frac{2+1+0}{2^2+1^2+0^2}=\frac{3}{5}$$

$$c_3 = \frac{(1,1,1)\cdot (0,0,3)}{(0,0,3)\cdot(0,0,3)}= \frac{0+0+3}{0^2+0^2+3^2}=\frac{3}{9}=\frac{1}{3}$$

Svo

$$[\ve y]_\mathcal{B}=\left(-\frac{1}{5}, \frac{3}{5}, \frac{1}{3}\right)$$

6.8. Hornrétt ofanvarp

6.8.1. Skilgreining: Hornrétt ofanvarp

Skilgreining

Látum $\ve u \neq \ve 0$ og $\ve y$ vera vigra í $\mathbb{R}^n$. Við skilgreinum

$$\hat{\ve y} = \frac{\ve y \cdot \ve u}{\ve u \cdot \ve u}\cdot \ve u$$

sem hornrétt ofanvarp (e. orthogonal projection) $\ve y$ á $\ve u$. Stundum er ofanvarp táknað með $\text{proj}(\ve y)$.

Liða má vigur $\ve y \in \R$ upp í samsíða og hornréttan þátt, þ.e. $\ve y=\hat{\ve y}+\ve z$, eins og sjá má á eftirfarandi mynd.

Punkturinn $\hat{\ve y}$ er sá punktur á línunni í planinu sem er í minnstri fjarlægð frá punktinum $\ve y$.

6.8.1.1. Sýnidæmi: Hornrétt ofanvarp

Dæmi

Reikna á hornrétt ofanvarp $\ve u=(3,1)$ á $\ve y=(1,3)$, þverþáttinn $\ve z$ og $||\ve z ||$.

Lausn

Fáum

$$\begin{split}\hat{\ve y} = \frac{\ve y \cdot \ve u}{\ve u \cdot \ve u}=\frac{(3,1)\cdot(1,3)}{(3,1)\cdot(3,1)}\begin{bmatrix} 3 \\ 1 \end{bmatrix}=\frac{6}{10}\begin{bmatrix} 3 \\ 1 \end{bmatrix}=\frac{3}{5}\begin{bmatrix} 3 \\ 1 \end{bmatrix}=\begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix},\end{split}$$

og

$$\begin{split}\ve z = \ve y - \hat{\ve y}=\begin{bmatrix}1 \\3 \end{bmatrix}-\begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix}=\begin{bmatrix} -\frac{4}{5} \\ \frac{12}{5} \end{bmatrix}.\end{split}$$

Í kjölfarið finnum við fjarlægð $\ve y$ frá rúminu sem $\ve u$ spannar, þ.e. $||\ve z||$, með

$$\sqrt{\left(-\frac{4}{5}\right)^2+\left(\frac{12}{5}\right)^2}=\sqrt{\frac{16}{25}+\frac{144}{25}}=\sqrt{32}.$$

Lausnir prófaðar

Við fengum að $\hat{\ve y}=\begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix}$ og $\hat{\ve z}=\begin{bmatrix} -\frac{4}{5} \\ \frac{12}{5} \end{bmatrix}$. Prófum þessar lausnir

1. $\ve y$ er summan af $\hat{\ve y}$ og $\ve z$

$$\begin{split}\hat{\ve y}+\ve z =\begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix}+\begin{bmatrix} -\frac{4}{5} \\ \frac{12}{5} \end{bmatrix}=\begin{bmatrix} 1 \\ 3 \end{bmatrix}.\end{split}$$

Já.

2. $\hat{\ve y}$ er samsíða $\ve u$ því

$$\begin{split}\hat{\ve y} = \begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix} = \frac{3}{5} \begin{bmatrix} 3 \\ 1 \end{bmatrix} = \frac{3}{5} \ve u.\end{split}$$

Já.

3. $\ve z$ er hornrétt á $\ve u$

$$\begin{split}\ve z \cdot \ve u = \begin{bmatrix} -\frac{4}{5} \\ \frac{12}{5} \end{bmatrix} \cdot \begin{bmatrix} 3 \\1 \end{bmatrix} = -\frac{12}{3}+\frac{12}{3}=0.\end{split}$$

Já.

6.8.2. Skilgreining: Hornrétt ofanvarp á hlutrúm

Skilgreining

Látum $W$ vera hlutrúm og $\ve y$ vera vigur í $\R^n$. Við skilgreinum hornrétt ofanvarp á hlutrúm $W$ sem $\text{proj}_W: \R^n \rightarrow \R^n$ þannig að $\text{proj}_W \ve y = \hat{\ve y}\in W$ er hornrétt ofanvarp vigurs $\ve y$ á $W$ og $\ve z=\ve y - \hat{\ve y} \in W^{\perp}$.

6.8.3. Eiginleikar ofanvarps

Setning

Látum $W$ vera hlutrúm í $\R^n$.

1. Fyrir sérhvern vigur $\ve y \in \R^n$ þá er $\text{proj}_W(\ve y) \in W$.

2. Ef $\ve y \in W$ þá er $\text{proj}_W \ve y=\ve y$.

3. Ef $\ve y \in W^\perp$ þá er $\text{proj}_W \ve y=\ve 0$

4. Fyrir sérhvern vigur $\ve y \in \mathbb{R}^n$ gildir að $\text{proj}_W(\text{proj}_W \ve y)=\text{proj}_W \ve y$ svo um vörpunina $\text{proj}_W$ gildir því að $\text{proj}_W \circ \text{proj}_W = \text{proj}_W$

6.8.4. Setning: Hornréttir grunnar fyrir hlutrúm

Setning

Látum $W$ vera hlutrúm í $\R^n$. Ef $\{ \ve u_1, \ve u_2, \cdots, \ve u_p \}$ er þverstæður grunnur fyrir $W$ þá er

1. $W=\text{span}\{\ve u_1, \cdots \ve u_p\}$.

2. Mengið $\{\ve u_1, \cdots \ve u_p\}$ er línulega óháð.

3. Ef $i \neq j$ þá eru $\ve u_i$ og $\ve u_j$ hornréttir horn á annan, m.ö.o. $\ve u_i \cdot \ve u_j =0$.

6.8.5. Setning: Hornrétt liðun (e. orthogonal decomposition)

Setning

Látum $W$ vera hlutrúm og $\ve y$ vera vigur í $\R^n$. Þá er til ótvírætt ákvarðaður vigur $\hat{\ve y}\in W$ þannig að $\ve z = \ve y - \hat{\ve y}\in W^{\perp}$. Ef $\{ \ve u_1, \ve u_2, \cdots, \ve u_p \}$ er þverstæður grunnur fyrir $W$ þá er

$$\hat{\ve y} = \frac{\ve y \cdot \ve u_1}{\ve u_1 \cdot \ve u_1} \ve u_1 + \frac{\ve y \cdot \ve u_2}{\ve u_2 \cdot \ve u_2} \ve u_2 + \cdots + \frac{\ve y \cdot \ve u_p}{\ve u_p \cdot \ve u_p} \ve u_p.$$

Eins ef $\{ \ve u_1, \ve u_2, \cdots, \ve u_p \}$ er þverstaðlaður grunnur fyrir $W$ þá er

$$\hat{\ve y} = (\ve y \cdot \ve u_1)\ve u_1 + (\ve y \cdot \ve u_2)\ve u_2 + \cdots + (\ve y \cdot \ve u_p)\ve u_p.$$

6.8.6. Skilgreining: Fylki fyrir ofanvarp

Skilgreining

Látum $W$ vera hlutrúm í $\mathbb{R}^n$ og gerum ráð fyrir að $\{ \ve u_1, \ve u_2, \cdots, \ve u_p \}$ sé þverstaðlaður grunnur fyrir $W$. Skilgreinum $n \times p$ fylkið

$$U = \begin{bmatrix} \ve u_1 & \ve u_2 & \cdots & \ve u_p \end{bmatrix}$$

Fyrir sérhvern vigur $\ve y \in \mathbb{R}^n$ er

$$\text{proj}_W \ve y = UU^T \ve y.$$

Fylkið $P_W=UU^T$ er af stærð $n \times n$ og er kallað ofanvarpsfylkið (e. projection matrix) á hlutrúmið $W$.

6.9. Gram-Schmidt

Aðferð Gram-Schmidt er reiknirit til þess að búa til þverstæðan eða þverstaðlaðan grunn fyrir hlutrúm, að undanskildu núllrúmi, í $\R^n$.

6.9.1. Setning: Aðferð Gram-Schmidt

Setning

Látum $\{\ve x_1, \cdots, \ve x_p\}$ vera grunn fyrir hlutrúm $W$ ( og $W \neq {\ve 0}$) í $\mathbb{R}^n$. Setjum

$$\ve v_1 = \ve x_1$$

$$\ve v_2 = \ve x_2 - \frac{\ve x_2 \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1$$

$$\ve v_3 = \ve x_3 - \frac{\ve x_3 \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1 - \frac{\ve x_3 \cdot \ve v_2}{\ve v_2 \cdot \ve v_2}\ve v_2$$

$$\vdots$$

$$\ve v_p = \ve x_p- \frac{\ve x_p \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1 - \frac{\ve x_p \cdot \ve v_2}{\ve v_2 \cdot \ve v_2}\ve v_2 - \cdots - \frac{\ve x_p \cdot \ve v_{p-1}}{\ve v_{p-1} \cdot \ve v_{p-1}}\ve v_{p-1}$$

Þá er $\{\ve v_1, \cdots, \ve v_p\}$ þverstæður grunnur fyrir $W$ og

$$\text{Span}(\{\ve v_1, \cdots, \ve v_p\})=\text{Span}(\{\ve x_1, \cdots, \ve x_p\})$$

fyrir $k=1, \cdots, p$.

6.9.1.1. Sýnidæmi: Gram-Schmidt

Dæmi

Finna á þverstæðan og þverstaðlaðan grunn fyrir

$$\begin{split}W=\text{Span}\left\{\begin{bmatrix} 1 \\ 3 \\ 1 \\ 1 \end{bmatrix}, \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \end{bmatrix}, \begin{bmatrix} -1 \\ 5 \\ 2 \\ 2 \end{bmatrix}\right\} \subseteq \mathbb{R}^4.\end{split}$$

Lausn

Notum reiknirit Gram-Schmidt

Skref 1: Við sjáum að vigrarnir $\ve x_1=(1,3,1,1), \ve x_2=(1,1,1,1) \text{ og } \ve x_3=(-1,5,2,2)$ eru línulega óháðir og mynda því grunn fyrir $W$.

Skref 2: Setjum $\ve v_1=\ve x_1=(1,3,1,1)$. Svo setjum við

$$\ve v_2 = \ve x_2 - \frac{\ve x_2 \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1$$

$$= (1,1,1,1)- \frac{(1,1,1,1) \cdot (1,3,1,1)}{(1,3,1,1) \cdot (1,3,1,1)} (1,3,1,1)$$

$$(1,1,1,1) - \frac{6}{12}(1,3,1,1) = (1/2, -1/2, 1/2, 1/2) = \frac{1}{2}(1,-1,1,1).$$

Prófun sýnir að $\ve v_2$ er hornréttur á $\ve v_1$. Að lokum setjum við

$$\ve v_3 = \ve x_3 - \frac{\ve x_3 \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1 - \frac{\ve x_3 \cdot \ve v_2}{\ve v_2 \cdot \ve v_2}\ve v_2$$

$$= (-1,5,2,2)- \frac{(-1,5,2,2) \cdot (1,3,1,1)} {(1,3,1,1) \cdot (1,3,1,1)} (1,3,1,1)$$

$$- \frac{(-1,5,2,2) \cdot \frac{1}{2}(1,-1,1,1)} {\frac{1}{2}(1,-1,1,1) \cdot \frac{1}{2}(1,-1,1,1)} \frac{1}{2}(1,-1,1,1)$$

$$= (-1,5,2,2)-(18/12(1,3,1,1)-\frac{1}{2}(1,-1,1,1))$$

$$=(-2,0,1,1)$$

Prófun sýnir að $\ve v_3$ er hornréttur á $\ve v_1$ og $\ve v_2$. Vigrarnir $\ve v_1, \ve v_2, \ve v_3$ mynda þverstæðan grunn fyrir $W$.

Skref 3: Þverstaðlaður grunnur fyrir $W$ fæst með

$$\left\{\frac{(1,3,1,1)}{||(1,3,1,1)||}, \frac{\frac{1}{2}(1,-1,1,1)}{||(1,-1,1,1)||}, \frac{-2,0,1,1}{||(-2,0,1,1)||}\right\}$$

$$= \left\{\frac{(1,3,1,1)}{2\sqrt{3}}, \frac{1}{2}(1,-1,1,1), \frac{-2,0,1,1}{\sqrt{6}}\right\}$$

6.9.1.2. Að finna þverstaðlaðan grunn fyrir hlutrúm $W$

Skref 1. Byrjum á því að finna einhvern grunn fyrir $W$.

Skref 2. Notum aðferð Gram-Schmidt til að finna þverstæðan grunn fyrir $W$.

Skref 3. Staðla grunninn $\{\ve v_1, \ve v_2, \cdots, \ve v_p\}$ sem fékkst í skrefi 2, ef hann var ekki þverstaðlaður nú þegar, með því að deila með lengdinni

$$\left\{\frac{\ve v_1}{||\ve v_1||}, \frac{\ve v_2}{||\ve v_2||}, \cdots, \frac{\ve v_p}{||\ve v_p||}\right\}.$$

6.10. Aðferð minnstu kvaðrata

Aðferð minnstu kvaðrata (e. least squares) snýst um að finna nálgunarlausn á $A \ve x = \ve b$ þegar ekki er til nákvæm lausn. Heitið kemur frá því að ef við höfum $\ve b = (\ve b_1, \cdots, \ve b_n)$ og $A \ve x = (\ve y_1, \cdots, \ve y_n)$ og setjum $\ve x = \hat{\ve x}$ þá er summa minnstu kvaðratanna,

$$||\ve b - A \ve x ||^2=(\ve b_1 - \ve y_1)^2+ \cdots + (\ve b_n - \ve y_n)^2,$$

eins lítil og mögulegt er.

6.10.1. Skilgreining: Aðferð minnstu kvaðrata

Skilgreining

Látum $A$ vera $m \times n$ fylki og $\ve b\in \R^m$. Minnstu kvaðrata lausn (e. least squares solution) á $A \ve x = \ve b$ er vigur $\hat{\ve x}$ þannig að

$$||\ve b - A \hat{\ve x} || \leq || \ve b - A \hat{\ve x}||$$

fyrir alla vigra $\ve x \in \R^n$.

Athugasemd

Ef engin lasun er til á $A \ve x = \ve b$ þá er $\ve b \notin \text{Col}(A)$. Aðferð minnstu kvaðrata er notuð til þess að finna hvaða punktur í dálkrúminu er næstur $\ve b$. Það er punkturinn $\hat{\ve b}$ sem er hornrétta ofanvarpið af $\ve b$ á dálkrúm $A$.

6.10.2. Setning: Lausnarmengi aðferð minnstu kvaðrata

Þessi niðurstaða er mjög gagnleg í útreikningum!

Setning

Látum $A$ vera $m \times n$ fylki og $\ve b \in \R^m$. Mengi minnstu kvaðrata lausna $A\ve x = \ve b$ er jafnt lausnarmengi $A^T A \ve x = A^T \ve b$ sem hefur alltaf lausn.

Fylgisetning

Látum $A$ vera $m \times n$ fylki og $\ve b \in \R^m$. Ef dálkvigrar $A$ eru línulega óháðir þá er fylkið $A^T A$ andhverfanlegt og minnstu kvaðrata lausn $A \ve x = \ve b$ er

$$\hat{\ve x} = \left(A^T A\right)^{-1} A^T \ve b.$$

6.10.2.1. Sýnidæmi: Aðferð minnstu kvaðrata

Sýnidæmi

Finna á nálgunarlausn á eftirfarandi jöfnuhneppi

$$\begin{split}A=\begin{bmatrix} 3 & 2 & 1 \\ 1 & -4 & 3 \\ 1 & 10 & -7 \end{bmatrix},\ \ \ \mathbf{b} = \begin{bmatrix} 2 \\ -2 \\ 1 \end{bmatrix}\end{split}$$

Lausn

Ef við reynum að leysa $A \ve x = \ve b$ komumst við að því að það er engin lausn. Notum aðferð minnstu kvaðrata til að finna nálgunarlausn. Reiknum

$$\begin{split}A^T A = \begin{bmatrix} 11 & 12 & -7 \\ 12 & 120 & -84 \\ -7 & -84 & 59 \end{bmatrix}, \ \ \ \text{og} \ \ \ A^T \ve b = \begin{bmatrix} 5 \\ 22 \\ -15 \end{bmatrix}\end{split}$$

Nú leysum við $A^T A \ve x = A^T \ve b$ og fáum að

$$\begin{split}\hat{\ve x}= \begin{bmatrix} 2/7 - t/7 \\ 13/84 + 5t/7 \\ t \end{bmatrix} = \begin{bmatrix} 2/7 \\ 13/84 \\ 0 \end{bmatrix} + t \begin{bmatrix} -1/7 \\ 5/7 \\ 1 \end{bmatrix}\end{split}$$

þar sem $t \in \R$.