6. Innfeldi og hornrétt ofanvörp

6.1. Innfeldi

6.1.1. Skilgreining: Innfeldi

Skilgreining

Látum \(\textbf{u}=(u_1,u_2,\dots,u_n)\) og \(\textbf{v}=(v_1,v_2,\dots,v_n)\) vera vigra í \(\R^n\). Innfeldi (e. inner product) er vörpun \(\R^n \times \R^n\ \rightarrow \R\) sem tekur inn tvo vigra \(\bf u\) og \(\bf v\) og skilar tölunni \(\bf u^T v\). Oftast ritað

\[\begin{split}\textbf{u} \cdot \textbf{v}=\left( \begin{array}{cccc} u_1 & u_2 & \dots & u_n \\ \end{array} \right) \cdot \left( \begin{array}{c} v_1 \\ v_2 \\ \dots \\ v_n \\ \end{array} \right)= u_1 v_1 + u_2 v_2 + ... u_n v_n.\end{split}\]

Skilgreina má innfeldi fyrir almenn vigurrúm, ekki bara \(\R^n\). Stundum er innfeldið á \(\R^n\) kallað depilmargfeldi.

6.1.1.1. Sýnidæmi: Innfeldi

Dæmi

Látum \(\textbf{u}=\begin{bmatrix} 1 \\ 2 \end{bmatrix}\) og \(\textbf{v}=\begin{bmatrix} 3 \\ 4 \end{bmatrix}\) reiknið innfeldið.

Lausn

\[\textbf{u} \cdot \textbf{v} = 1 \cdot 3 + 2 \cdot 4 = 3+8=11\]

6.1.2. Reiknireglur um innfeldi á \(\R^n\)

Setning

Látum \(\bf u,v\) og \(\bf w\) vera vigra í \(\R^n\) og \(c \in \R\). Þá gildir

1. \(\bf u \cdot v = \bf v \cdot u\).

2. \((\ve u+ \ve v)\cdot \ve w = \bf u \cdot w + v \cdot u\).

3. \((c \ve u)\cdot \ve v = c ( \ve u\cdot \ve v)= \ve u \cdot (c \ve v)\).

4. \(\ve u \cdot \ve u \geq 0\), og \(\ve u \cdot \ve u = 0\) ef og aðeins ef \(\bf u=0\).

6.2. Lengd

6.2.1. Skilgreining: Lengd

Skilgreining

Látum \(\textbf{u}=(u_1,u_2,\dots,u_n)\) vera vigur í \(\R^n\). Lengd, stundum kallað staðall eða norm, vigursins \(\bf u\) er talan

\[||\ve u||:=\sqrt{\ve u \cdot \ve u}=\sqrt{u_1^2+u_2^2+\dots + u_n^2}\]

6.2.1.1. Sýnidæmi: Lengd vigurs

Dæmi

Reiknið lengd vigursins \(\textbf{u} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}\)

Lausn

\[||\textbf{u}|| = ||(1,2,3)||=\sqrt{1^2+2^2+3^2}=\sqrt{1+4+9}=\sqrt{14}\]

6.2.2. Reiknireglur um lengd

Setning

Látum \(\bf u\) og \(\bf v\) vera vigra í \(\R^n\) og \(c \in \R\). Þá gildir

1. \(||\ve u||\geq 0\) og \(||\ve u||=0\) ef og aðeins ef \(\ve u=\ve 0\).

2. \(|| \ve u + \ve v || \leq ||\ve u|| + ||\ve v||\).

3. \(|| c \ve u|| = |c| ||\ve u||\).

4. \(|\ve u \cdot\ve v | \leq ||\ve u || || \ve v ||\)

6.2.3. Skilgreining: Einingarvigur

Skilgreining

Vigur \(\ve u \in \R^n\) sem hefur lengdina \(||\ve u||=1\) kallast einingarvigur (e. unit vector). Stundum ritað \(\hat{\ve u}\).

Sérhvern vigur \(\ve u \in \R^n\) (að undanskildum núllvigri) má staðla, þ.e. gera að einingarvigri, með því að deila með lengdinni, \(\hat{\ve u} = \ve u / || \ve u ||\).

6.3. Fjarlægðir í \(\R^n\)

6.3.1. Skilgreining: Fjarlægð milli punkta í \(\R^n\)

Skilgreining

Látum \(\ve u\) og \(\ve v\) vera vigra í \(\R^n\). Fjarlægðin milli \(\ve u\) og \(\ve v\) er skilgreind sem lengdin á vigrinum \(\ve u- \ve v\), þ.e.

\[d(\ve u, \ve v):=||\ve u - \ve v || = \sqrt{(u_1-v_1)^2 + (u_2-v_2)^2 + \dots + (u_n-v_n)^2}.\]

Í skilgreiningunni hér að ofan hugsum við um \(\ve u\) og \(\ve v\) ýmist sem vigra eða punkt í \(\R^n\). Á eftirfarandi mynd má sjá fjarlægð milli tveggja vigra.

6.3.1.1. Sýnidæmi: Fjarlægð milli punkta

Dæmi

Reiknum fjarlægð milli \(\begin{bmatrix} 1 \\ 2 \end{bmatrix}\) og \(\begin{bmatrix} -3 \\ 4 \end{bmatrix}\)

Lausn

\[\sqrt{(1-(-3))^2+(2-4)^2}=\sqrt{4^2+(-2)^2}=\sqrt{16+4}=\sqrt{20}\]

6.3.2. Reiknireglur um fjarlægðir

Setning

Látum \(\ve u, \ve v\) og \(\ve w\) vera punkta í \(\R^n\). Þá gildir

1. \(d(\ve u, \ve v) \geq 0\) og \(d(\ve u, \ve v)=0\) ef og aðeins ef \(\ve u= \ve v\)

2. \(d(\ve u, \ve v) = d(\ve v, \ve u)\)

3. \(d(\ve u, \ve w) \leq d(\ve u + \ve v) + d(\ve v + \ve w)\)

Fall \(d: \R^n \times \R^n \rightarrow \R\) sem uppfyllir þessi þrjú skilyrði kallast firð (e. metric).

6.4. Hornréttir vigrar

6.4.1. Skilgreining: Hornrétt

Skilgreining

Látum \(\ve u\) og \(\ve v\) vera vigra í \(\mathbb{R}^n\). Vigrarnir \(\ve u\) og \(\ve v\) eru sagðir hornréttir (á hvorn annan) (e. orthogonal) ef \(\ve u \cdot \ve v=0\)

6.4.2. Skilgreining: Horn milli vigra

Skilgreining

Ef \(\ve u\) og \(\ve v\) eru vigrar í \(\mathbb{R}^n\), sem er hvorugur núll, þá skilgreinum við hornið milli (e. angle between) þeirra sem töluna

\[\theta = \arccos\big(\frac{\textbf{u}\cdot\textbf{v}}{||\textbf{u}|| ||\textbf{v}||}\big)\]

6.4.3. Regla Pýþagórasar

Setning

Vigrarnir \(\ve u\) og \(\ve v\) eru hornréttir hvor á annan þá og því aðeins að

\[||\ve u||^2+||\ve v||^2=||\ve u + \ve v||^2\]

6.5. Hornrétt fyllirúm

6.5.1. Skilgreining: Hornrétt fyllirúm

Skilgreining

Látum \(W\) vera mengi vigra í \(\R^n\). Hornrétt fyllirúm (e. orthogonal complement) er mengi \(W^{\perp}\) allra þeirra vigra í \(\R^n\) sem eru hornréttir á sérhvern vigur í \(W\), þ.e.

\[W^{\perp}=\{ z \in \R^n : z \cdot w =0, \forall w \in W \}\]

6.5.2. Setning: Hornrétt fyllirúm

Setning

a. Látum \(W\) vera hlutmengi í \(\R^n\). Hornrétta fyllirúmið \(W^{\perp}\) er hlutrúm í \(\R^n\).

b. Ef \(W\) er hlutrúm í \(\R^n\) þá \(W \cap W^{\perp}=\{\ve 0\}\) og \((W^{\perp})^{\perp}=W\).

c. Látum \(W=\text{Span}\{v_1,...,v_p\}\). Vigur \(x\) er í \(W^{\perp}\) ef og aðeins ef hann er hornréttur á sérhvern vigranna \(v_1,...,v_p\).

d. Látum \(A\) vera \(m \times n\) fylki. Þá er \(\text{Row}(A)^{\perp}=\text{Nul}(A)\) og \(\text{Col}(A)^{\perp}=\text{Nul}(A^{T})\).

Sönnum a. í setningunni hér að ofan.

Athugasemd

Látum \(W\) vera hlutmengi í \(\mathbb{R}^n\).

1. Vigurinn \(\ve 0\) er hornréttur á öll stök í \(W\) svo \(\ve 0 \in W^\perp\).

2. Látum \(\ve u, \ve v \in W^\perp\) og látum \(\ve w\) vera hvaða vigur sem er í \(W\). Þá er

\((\ve u + \ve v)\cdot\ve w = \ve u \cdot \ve w + \ve v \cdot \ve w =0+0=0\)

svo \((\ve u+\ve v)\) er hornrétt á alla vigra \(W\) og því er \((\ve u + \ve v) \in W^\perp\).

3. Látum \(\ve u \in W^\perp\), \(\ve w\) vera hvaða vigru sem er í \(W\) og \(c\) vera rauntölu. Þá er

\[(c\textbf{u})\cdot \textbf{w} = c\ve u \cdot \ve w = c \cdot 0 = 0\]

svo \(c\ve u\) er hornréttu á alla vigra í \(W\) og því er \(c\ve u\in W^\perp\).

Þetta sýnir að \(W^\perp\) er hlutrúm í \(\mathbb{R}^n\).

6.6. Þverstæð og þverstöðluð mengi

6.6.1. Skilgreining: Þverstæð og þverstöðluð mengi

Skilgreining

Mengi \(W\) í \(\R^n\) er þverstætt (e. orthogonal) ef sérhverjir tveir vigrar í menginu eru hornréttir hvor á annan. Mengið er sagt þverstaðlað (e. orthonormal) ef það er þverstætt og allir vigrarnir í \(W\) hafa lengdina 1.

6.6.1.1. Sýnidæmi: Þverstæð og þverstöðluð mengi

Dæmi

1. Venjulegi grunnurinn \(\{\ve e_1, \dots, \ve e_n \}\) í \(\R^n\) er þverstaðlað mengi. Þeir hafa allir lengdina einn þar sem þeir eru einingarvigrar og þeir eru hornréttir samkvæmt skilgreiningu.

2. \(\{v_1, v_2, v_3 \}\) þar sem \(v_1=(3,1,1), v_2=(-1,2,1)\) og \(v_3=(-1/2,-2,7/2)\) er þverstætt mengi. Það má auðveldlega sannfæra sig að svo sé með því að sýna fram á að öll innfeldin \(v_1 \cdot v_2, v_1 \cdot v_3\) og \(v_2 \cdot v_3\) séu núll, og lengdir vigranna eru ekki 1.

6.6.1.2. Sýnidæmi: Þverstæð mengi

Dæmi

Finnið dæmi um þrjá vigra sem mynda þverstætt mengi og þrjá vigra sem gera það ekki, af eftirfarandi vigrum.

\[\begin{split}\ve u=\begin{bmatrix} 1 \\ -2 \\ 0 \end{bmatrix}, \ve v=\begin{bmatrix} 2 \\ 1 \\ 3 \end{bmatrix}, \ve w=\begin{bmatrix} 1 \\ 1 \\ -1 \end{bmatrix}, \ve q=\begin{bmatrix} 0 \\ 0 \\ 3 \end{bmatrix}.\end{split}\]

Lausn

Athugum fyrst \(\ve u, \ve v\) og \(\ve w\).

\[\ve u \cdot \ve v = (1)(2)+(-2)(1)+(0)(3)=0\]

\[\ve v \cdot \ve w = (2)(1)+(1)(1)+(3)(-1)=0\]

\[\ve u \cdot \ve w = (1)(1)+(-2)(1)+(0)(-1)=-1\]

Þar sem innfeldið er ekki 0 í öllum tilfellum svo vigrarnir mynda ekki þverstætt mengi.

Athugum því næst \(\ve u, \ve v\) og \(\ve q\).

\[\ve u \cdot \ve v = (1)(2)+(-2)(1)+(0)(3)=0\]

\[\ve v \cdot \ve q = (2)(0)+(1)(0)+(0)(3)=0\]

\[\ve u \cdot \ve q = (1)(0)+(-2)(0)+(0)(3)=0\]

Þar sem innfeldið er 0 í öllum tilfellum mynda vigrarnir þverstætt mengi.

6.6.2. Setning: Þverstæð mengi eru línulega óháð

Setning

Látum \(S=\{\ve u_1, \dots, \ve u_p\}\) vera þverstætt hlutmengi í \(\R^n\) sem inniheldur engan núllvigur. Þá er \(S\) línulega óháð og er því grunnur fyrir hlutmengið spannað af \(S\).

6.7. Þverstæðir og þverstaðlaðir grunnar

6.7.1. Skilgreining: Þverstæðir og þverstaðlaðir grunnar

Skilgreining

Látum \(W\) vera hlutrúm í \(\R^n\) og \(\{\ve u_1, \dots, \ve u_p \}\) vera grunn fyrir \(W\).

1. Grunnurinn fyrir \(W\) er þverstæður (e. orthogonal basis) ef sérhverjir tveir ólíkir vigrar í grunninum eru hornréttir hvor á annan, m.o.ö.

\[u_i \cdot u_j =0\ \text{ ef } \ i \neq j.\]

2. Grunnurinn fyrir \(W\) er þverstaðlaður (e. orthonormal basis) ef sérhverjir tveir vigrar í grunninum eru hornréttir hvor og annan og allir vigrarnir eru einingarvigrar, m.ö.o.

\[\begin{split}u_i \cdot u_j = \begin{cases} 1\ \text{ ef } \ i = j \\ 0\ \text{ ef } \ i \neq j \end{cases}\end{split}\]

Sýnidæmi \(\bf 6.6.1.1.\) um þverstæð og þverstöðluð mengi er einnig dæmi um þverstæða og þverstaðlaða grunna.

Athugasemd

Ef mengið \(\{\ve v_1, \dots, \ve v_p \}\) er þverstæður grunnur fyrir hlutrúm \(W\) í \(\R^n\) þá er mengið

\[\Big\{ \frac{\ve v_1}{|| \ve v_1 ||}, \dots, \frac{\ve v_p}{|| \ve v_p ||} \Big\}\]

þverstaðlaður grunnur fyrir \(W\). Niðurstaðan er sú að ef við höfum þverstæðan grunn er hægt að búa til þverstaðlaðan grunn.

6.7.2. Skilgreining: Hnit m.t.t. þverstæðra og þverstaðlaða grunna

Skilgreining

Látum \(W\) vera hlutrúm í \(\R^n\) og \(\mathcal{B}=\{\ve u_1, \dots, \ve u_p \}\) vera grunn fyrir \(W\).

1. Ef \(\ve y \in W\) og \(\mathcal{B}\) er þverstæður þá er

\[\ve y = c_1 \ve u_1 + \dots + c_p \ve u_p\]

þar sem

\[c_j = \frac{\ve y \cdot \ve u_j}{\ve u_j \cdot \ve u_j},\ \text{fyrir}\ j=1,...,p.\]

Þ.e., hnitavigur \(\ve y\) m.t.t. grunnsins \(\mathcal{B}\) er

\[[\ve y]_{\mathcal{B}} = \Big(\frac{\ve y \cdot \ve u_1}{\ve u_1 \cdot \ve u_1}, \dots, \frac{\ve y \cdot \ve u_p}{\ve u_p \cdot \ve u_p} \Big).\]

2. Ef \(\ve y \in W\) og \(\mathcal{B}\) er þverstaðlaður þá er

\[\ve y = c_1 \ve u_1 + \dots + c_p \ve u_p\]

þar sem

\[c_j = \ve y \cdot \ve u_j,\ \text{fyrir}\ j=1,...,p.\]

Þ.e., hnitavigur \(\ve y\) m.t.t. grunnsins \(\mathcal{B}\) er

\[[\ve y]_{\mathcal{B}} = \Big(\ve y \cdot \ve u_1, \dots, \ve y \cdot \ve u_p \Big).\]

6.7.2.1. Sýnidæmi: Hnit vigurs m.t.t. grunns

Dæmi

Reikna á hint vigursins \(\ve v = (3,-2)\) m.t.t. grunnanna \(\mathcal{B}=\{(1,1),(-1,1) \}\) og \(\mathcal{C}=\{\frac{1}{\sqrt{2}}(1,1), \frac{1}{\sqrt{2}}(-1,1) \}\) fyrir \(\R^2\).

Lausn

1. Hnit \(\ve v\) m.t.t. þverstæða grunnsins \(\mathcal{B}\) eru

\[c_1 = \frac{(3,-2)\cdot (1,1)}{(1,1)\cdot (1,1)}=\frac{1}{2},\]

og

\[c_2 = \frac{(3,-2)\cdot(-1,1)}{(-1,1)\cdot (-1,1)}=\frac{-5}{2},\]

svo

\[(3,-2)=c_1 (1,1)+ c_2 (-1,1)=\frac{1}{2}(1,1) - \frac{5}{2}(-1,1)\]

svo

\[[(3,-2)]_{\mathcal{B}}=(\frac{1}{2},\frac{-5}{2}).\]

2. Hnit \(\ve v\) m.t.t. þverstaðlaða grunnsins \(\mathcal{C}\) eru

\[c_1 = (3,-2)\cdot \big(\frac{1}{\sqrt{2}}(1,1) \big)= \frac{1}{\sqrt{2}}\]

og

\[c_2 = (3,-2)\cdot \big(\frac{1}{\sqrt{2}}(-1,1) \big)= \frac{-5}{\sqrt{2}}\]

svo

\[[(3,-2)]_{\mathcal{C}}=(\frac{1}{\sqrt{2}},\frac{-5}{\sqrt{2}}).\]

6.7.2.2. Sýnidæmi: Annað dæmi um hnit vigurs m.t.t. grunns

Dæmi

Finnið hnit punktsins \(\ve y=(1,1,1)\) með tilliti til þverstæða grunnsins

\[\begin{split}\mathcal{B}= \left\{ \begin{bmatrix} 1 \\ -2 \\ 0 \end{bmatrix}, \begin{bmatrix} 2 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 0 \\ 3 \end{bmatrix} \right\}\end{split}\]

Lausn

Fáum að

\[c_1 = \frac{(1,1,1)\cdot (1,-2,0)}{(1,-2,0)\cdot (1,-2,0)}= \frac{1-2+0}{1+(-2)^2+0^2}=-\frac{1}{5}\]

\[c_2 = \frac{(1,1,1)\cdot (2,1,0)}{(2,1,0)\cdot (2,1,0)}= \frac{2+1+0}{2^2+1^2+0^2}=\frac{3}{5}\]

\[c_3 = \frac{(1,1,1)\cdot (0,0,3)}{(0,0,3)\cdot(0,0,3)}= \frac{0+0+3}{0^2+0^2+3^2}=\frac{3}{9}=\frac{1}{3}\]

Svo

\[[\ve y]_\mathcal{B}=\left(-\frac{1}{5}, \frac{3}{5}, \frac{1}{3}\right)\]

6.8. Hornrétt ofanvarp

6.8.1. Skilgreining: Hornrétt ofanvarp

Skilgreining

Látum \(\ve u \neq \ve 0\) og \(\ve y\) vera vigra í \(\mathbb{R}^n\). Við skilgreinum

\[\hat{\ve y} = \frac{\ve y \cdot \ve u}{\ve u \cdot \ve u}\cdot \ve u\]

sem hornrétt ofanvarp (e. orthogonal projection) \(\ve y\) á \(\ve u\). Stundum er ofanvarp táknað með \(\text{proj}(\ve y)\).

Liða má vigur \(\ve y \in \R\) upp í samsíða og hornréttan þátt, þ.e. \(\ve y=\hat{\ve y}+\ve z\), eins og sjá má á eftirfarandi mynd.

Punkturinn \(\hat{\ve y}\) er sá punktur á línunni í planinu sem er í minnstri fjarlægð frá punktinum \(\ve y\).

6.8.1.1. Sýnidæmi: Hornrétt ofanvarp

Dæmi

Reikna á hornrétt ofanvarp \(\ve u=(3,1)\) á \(\ve y=(1,3)\), þverþáttinn \(\ve z\) og \(||\ve z ||\).

Lausn

Fáum

\[\begin{split}\hat{\ve y} = \frac{\ve y \cdot \ve u}{\ve u \cdot \ve u}=\frac{(3,1)\cdot(1,3)}{(3,1)\cdot(3,1)}\begin{bmatrix} 3 \\ 1 \end{bmatrix}=\frac{6}{10}\begin{bmatrix} 3 \\ 1 \end{bmatrix}=\frac{3}{5}\begin{bmatrix} 3 \\ 1 \end{bmatrix}=\begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix},\end{split}\]

og

\[\begin{split}\ve z = \ve y - \hat{\ve y}=\begin{bmatrix}1 \\3 \end{bmatrix}-\begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix}=\begin{bmatrix} -\frac{4}{5} \\ \frac{12}{5} \end{bmatrix}.\end{split}\]

Í kjölfarið finnum við fjarlægð \(\ve y\) frá rúminu sem \(\ve u\) spannar, þ.e. \(||\ve z||\), með

\[\sqrt{\left(-\frac{4}{5}\right)^2+\left(\frac{12}{5}\right)^2}=\sqrt{\frac{16}{25}+\frac{144}{25}}=\sqrt{32}.\]

Lausnir prófaðar

Við fengum að \(\hat{\ve y}=\begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix}\) og \(\hat{\ve z}=\begin{bmatrix} -\frac{4}{5} \\ \frac{12}{5} \end{bmatrix}\). Prófum þessar lausnir

1. \(\ve y\) er summan af \(\hat{\ve y}\) og \(\ve z\)

\[\begin{split}\hat{\ve y}+\ve z =\begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix}+\begin{bmatrix} -\frac{4}{5} \\ \frac{12}{5} \end{bmatrix}=\begin{bmatrix} 1 \\ 3 \end{bmatrix}.\end{split}\]

Já.

2. \(\hat{\ve y}\) er samsíða \(\ve u\) því

\[\begin{split}\hat{\ve y} = \begin{bmatrix} \frac{9}{5} \\ \frac{3}{5} \end{bmatrix} = \frac{3}{5} \begin{bmatrix} 3 \\ 1 \end{bmatrix} = \frac{3}{5} \ve u.\end{split}\]

Já.

3. \(\ve z\) er hornrétt á \(\ve u\)

\[\begin{split}\ve z \cdot \ve u = \begin{bmatrix} -\frac{4}{5} \\ \frac{12}{5} \end{bmatrix} \cdot \begin{bmatrix} 3 \\1 \end{bmatrix} = -\frac{12}{3}+\frac{12}{3}=0.\end{split}\]

Já.

6.8.2. Skilgreining: Hornrétt ofanvarp á hlutrúm

Skilgreining

Látum \(W\) vera hlutrúm og \(\ve y\) vera vigur í \(\R^n\). Við skilgreinum hornrétt ofanvarp á hlutrúm \(W\) sem \(\text{proj}_W: \R^n \rightarrow \R^n\) þannig að \(\text{proj}_W \ve y = \hat{\ve y}\in W\) er hornrétt ofanvarp vigurs \(\ve y\) á \(W\) og \(\ve z=\ve y - \hat{\ve y} \in W^{\perp}\).

6.8.3. Eiginleikar ofanvarps

Setning

Látum \(W\) vera hlutrúm í \(\R^n\).

1. Fyrir sérhvern vigur \(\ve y \in \R^n\) þá er \(\text{proj}_W(\ve y) \in W\).

2. Ef \(\ve y \in W\) þá er \(\text{proj}_W \ve y=\ve y\).

3. Ef \(\ve y \in W^\perp\) þá er \(\text{proj}_W \ve y=\ve 0\)

4. Fyrir sérhvern vigur \(\ve y \in \mathbb{R}^n\) gildir að \(\text{proj}_W(\text{proj}_W \ve y)=\text{proj}_W \ve y\) svo um vörpunina \(\text{proj}_W\) gildir því að \(\text{proj}_W \circ \text{proj}_W = \text{proj}_W\)

6.8.4. Setning: Hornréttir grunnar fyrir hlutrúm

Setning

Látum \(W\) vera hlutrúm í \(\R^n\). Ef \(\{ \ve u_1, \ve u_2, \cdots, \ve u_p \}\) er þverstæður grunnur fyrir \(W\) þá er

1. \(W=\text{span}\{\ve u_1, \cdots \ve u_p\}\).

2. Mengið \(\{\ve u_1, \cdots \ve u_p\}\) er línulega óháð.

3. Ef \(i \neq j\) þá eru \(\ve u_i\) og \(\ve u_j\) hornréttir horn á annan, m.ö.o. \(\ve u_i \cdot \ve u_j =0\).

6.8.5. Setning: Hornrétt liðun (e. orthogonal decomposition)

Setning

Látum \(W\) vera hlutrúm og \(\ve y\) vera vigur í \(\R^n\). Þá er til ótvírætt ákvarðaður vigur \(\hat{\ve y}\in W\) þannig að \(\ve z = \ve y - \hat{\ve y}\in W^{\perp}\). Ef \(\{ \ve u_1, \ve u_2, \cdots, \ve u_p \}\) er þverstæður grunnur fyrir \(W\) þá er

\[\hat{\ve y} = \frac{\ve y \cdot \ve u_1}{\ve u_1 \cdot \ve u_1} \ve u_1 + \frac{\ve y \cdot \ve u_2}{\ve u_2 \cdot \ve u_2} \ve u_2 + \cdots + \frac{\ve y \cdot \ve u_p}{\ve u_p \cdot \ve u_p} \ve u_p.\]

Eins ef \(\{ \ve u_1, \ve u_2, \cdots, \ve u_p \}\) er þverstaðlaður grunnur fyrir \(W\) þá er

\[\hat{\ve y} = (\ve y \cdot \ve u_1)\ve u_1 + (\ve y \cdot \ve u_2)\ve u_2 + \cdots + (\ve y \cdot \ve u_p)\ve u_p.\]

6.8.6. Skilgreining: Fylki fyrir ofanvarp

Skilgreining

Látum \(W\) vera hlutrúm í \(\mathbb{R}^n\) og gerum ráð fyrir að \(\{ \ve u_1, \ve u_2, \cdots, \ve u_p \}\) sé þverstaðlaður grunnur fyrir \(W\). Skilgreinum \(n \times p\) fylkið

\[U = \begin{bmatrix} \ve u_1 & \ve u_2 & \cdots & \ve u_p \end{bmatrix}\]

Fyrir sérhvern vigur \(\ve y \in \mathbb{R}^n\) er

\[\text{proj}_W \ve y = UU^T \ve y.\]

Fylkið \(P_W=UU^T\) er af stærð \(n \times n\) og er kallað ofanvarpsfylkið (e. projection matrix) á hlutrúmið \(W\).

6.9. Gram-Schmidt

Aðferð Gram-Schmidt er reiknirit til þess að búa til þverstæðan eða þverstaðlaðan grunn fyrir hlutrúm, að undanskildu núllrúmi, í \(\R^n\).

6.9.1. Setning: Aðferð Gram-Schmidt

Setning

Látum \(\{\ve x_1, \cdots, \ve x_p\}\) vera grunn fyrir hlutrúm \(W\) ( og \(W \neq {\ve 0}\)) í \(\mathbb{R}^n\). Setjum

\[\ve v_1 = \ve x_1\]

\[\ve v_2 = \ve x_2 - \frac{\ve x_2 \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1\]

\[\ve v_3 = \ve x_3 - \frac{\ve x_3 \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1 - \frac{\ve x_3 \cdot \ve v_2}{\ve v_2 \cdot \ve v_2}\ve v_2\]

\[\vdots\]

\[\ve v_p = \ve x_p- \frac{\ve x_p \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1 - \frac{\ve x_p \cdot \ve v_2}{\ve v_2 \cdot \ve v_2}\ve v_2 - \cdots - \frac{\ve x_p \cdot \ve v_{p-1}}{\ve v_{p-1} \cdot \ve v_{p-1}}\ve v_{p-1}\]

Þá er \(\{\ve v_1, \cdots, \ve v_p\}\) þverstæður grunnur fyrir \(W\) og

\[\text{Span}(\{\ve v_1, \cdots, \ve v_p\})=\text{Span}(\{\ve x_1, \cdots, \ve x_p\})\]

fyrir \(k=1, \cdots, p\).

6.9.1.1. Sýnidæmi: Gram-Schmidt

Dæmi

Finna á þverstæðan og þverstaðlaðan grunn fyrir

\[\begin{split}W=\text{Span}\left\{\begin{bmatrix} 1 \\ 3 \\ 1 \\ 1 \end{bmatrix}, \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \end{bmatrix}, \begin{bmatrix} -1 \\ 5 \\ 2 \\ 2 \end{bmatrix}\right\} \subseteq \mathbb{R}^4.\end{split}\]

Lausn

Notum reiknirit Gram-Schmidt

Skref 1: Við sjáum að vigrarnir \(\ve x_1=(1,3,1,1), \ve x_2=(1,1,1,1) \text{ og } \ve x_3=(-1,5,2,2)\) eru línulega óháðir og mynda því grunn fyrir \(W\).

Skref 2: Setjum \(\ve v_1=\ve x_1=(1,3,1,1)\). Svo setjum við

\[\ve v_2 = \ve x_2 - \frac{\ve x_2 \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1\]

\[= (1,1,1,1)- \frac{(1,1,1,1) \cdot (1,3,1,1)}{(1,3,1,1) \cdot (1,3,1,1)} (1,3,1,1)\]

\[(1,1,1,1) - \frac{6}{12}(1,3,1,1) = (1/2, -1/2, 1/2, 1/2) = \frac{1}{2}(1,-1,1,1).\]

Prófun sýnir að \(\ve v_2\) er hornréttur á \(\ve v_1\). Að lokum setjum við

\[\ve v_3 = \ve x_3 - \frac{\ve x_3 \cdot \ve v_1}{\ve v_1 \cdot \ve v_1}\ve v_1 - \frac{\ve x_3 \cdot \ve v_2}{\ve v_2 \cdot \ve v_2}\ve v_2\]

\[= (-1,5,2,2)- \frac{(-1,5,2,2) \cdot (1,3,1,1)} {(1,3,1,1) \cdot (1,3,1,1)} (1,3,1,1)\]

\[- \frac{(-1,5,2,2) \cdot \frac{1}{2}(1,-1,1,1)} {\frac{1}{2}(1,-1,1,1) \cdot \frac{1}{2}(1,-1,1,1)} \frac{1}{2}(1,-1,1,1)\]

\[= (-1,5,2,2)-(18/12(1,3,1,1)-\frac{1}{2}(1,-1,1,1))\]

\[=(-2,0,1,1)\]

Prófun sýnir að \(\ve v_3\) er hornréttur á \(\ve v_1\) og \(\ve v_2\). Vigrarnir \(\ve v_1, \ve v_2, \ve v_3\) mynda þverstæðan grunn fyrir \(W\).

Skref 3: Þverstaðlaður grunnur fyrir \(W\) fæst með

\[\left\{\frac{(1,3,1,1)}{||(1,3,1,1)||}, \frac{\frac{1}{2}(1,-1,1,1)}{||(1,-1,1,1)||}, \frac{-2,0,1,1}{||(-2,0,1,1)||}\right\}\]

\[= \left\{\frac{(1,3,1,1)}{2\sqrt{3}}, \frac{1}{2}(1,-1,1,1), \frac{-2,0,1,1}{\sqrt{6}}\right\}\]

6.9.1.2. Að finna þverstaðlaðan grunn fyrir hlutrúm \(W\)

Skref 1. Byrjum á því að finna einhvern grunn fyrir \(W\).

Skref 2. Notum aðferð Gram-Schmidt til að finna þverstæðan grunn fyrir \(W\).

Skref 3. Staðla grunninn \(\{\ve v_1, \ve v_2, \cdots, \ve v_p\}\) sem fékkst í skrefi 2, ef hann var ekki þverstaðlaður nú þegar, með því að deila með lengdinni

\[\left\{\frac{\ve v_1}{||\ve v_1||}, \frac{\ve v_2}{||\ve v_2||}, \cdots, \frac{\ve v_p}{||\ve v_p||}\right\}.\]

6.10. Aðferð minnstu kvaðrata

Aðferð minnstu kvaðrata (e. least squares) snýst um að finna nálgunarlausn á \(A \ve x = \ve b\) þegar ekki er til nákvæm lausn. Heitið kemur frá því að ef við höfum \(\ve b = (\ve b_1, \cdots, \ve b_n)\) og \(A \ve x = (\ve y_1, \cdots, \ve y_n)\) og setjum \(\ve x = \hat{\ve x}\) þá er summa minnstu kvaðratanna,

\[||\ve b - A \ve x ||^2=(\ve b_1 - \ve y_1)^2+ \cdots + (\ve b_n - \ve y_n)^2,\]

eins lítil og mögulegt er.

6.10.1. Skilgreining: Aðferð minnstu kvaðrata

Skilgreining

Látum \(A\) vera \(m \times n\) fylki og \(\ve b\in \R^m\). Minnstu kvaðrata lausn (e. least squares solution) á \(A \ve x = \ve b\) er vigur \(\hat{\ve x}\) þannig að

\[||\ve b - A \hat{\ve x} || \leq || \ve b - A \hat{\ve x}||\]

fyrir alla vigra \(\ve x \in \R^n\).

Athugasemd

Ef engin lasun er til á \(A \ve x = \ve b\) þá er \(\ve b \notin \text{Col}(A)\). Aðferð minnstu kvaðrata er notuð til þess að finna hvaða punktur í dálkrúminu er næstur \(\ve b\). Það er punkturinn \(\hat{\ve b}\) sem er hornrétta ofanvarpið af \(\ve b\) á dálkrúm \(A\).

6.10.2. Setning: Lausnarmengi aðferð minnstu kvaðrata

Þessi niðurstaða er mjög gagnleg í útreikningum!

Setning

Látum \(A\) vera \(m \times n\) fylki og \(\ve b \in \R^m\). Mengi minnstu kvaðrata lausna \(A\ve x = \ve b\) er jafnt lausnarmengi \(A^T A \ve x = A^T \ve b\) sem hefur alltaf lausn.

Fylgisetning

Látum \(A\) vera \(m \times n\) fylki og \(\ve b \in \R^m\). Ef dálkvigrar \(A\) eru línulega óháðir þá er fylkið \(A^T A\) andhverfanlegt og minnstu kvaðrata lausn \(A \ve x = \ve b\) er

\[\hat{\ve x} = \left(A^T A\right)^{-1} A^T \ve b.\]

6.10.2.1. Sýnidæmi: Aðferð minnstu kvaðrata

Sýnidæmi

Finna á nálgunarlausn á eftirfarandi jöfnuhneppi

\[\begin{split}A=\begin{bmatrix} 3 & 2 & 1 \\ 1 & -4 & 3 \\ 1 & 10 & -7 \end{bmatrix},\ \ \ \mathbf{b} = \begin{bmatrix} 2 \\ -2 \\ 1 \end{bmatrix}\end{split}\]

Lausn

Ef við reynum að leysa \(A \ve x = \ve b\) komumst við að því að það er engin lausn. Notum aðferð minnstu kvaðrata til að finna nálgunarlausn. Reiknum

\[\begin{split}A^T A = \begin{bmatrix} 11 & 12 & -7 \\ 12 & 120 & -84 \\ -7 & -84 & 59 \end{bmatrix}, \ \ \ \text{og} \ \ \ A^T \ve b = \begin{bmatrix} 5 \\ 22 \\ -15 \end{bmatrix}\end{split}\]

Nú leysum við \(A^T A \ve x = A^T \ve b\) og fáum að

\[\begin{split}\hat{\ve x}= \begin{bmatrix} 2/7 - t/7 \\ 13/84 + 5t/7 \\ t \end{bmatrix} = \begin{bmatrix} 2/7 \\ 13/84 \\ 0 \end{bmatrix} + t \begin{bmatrix} -1/7 \\ 5/7 \\ 1 \end{bmatrix}\end{split}\]

þar sem \(t \in \R\).