Lineární algebra II (WIP)

[Edit]

Skalární součin

Definition

Standardní skalární součin x,yRx,y \in \R je definován jako

xTy=i=1nxiyix^{T}y = \sum_{i=1}^{n} x_{i}y_{i}

Geometrické vyjádření:

XTY=x.y.cos(ϕ)X^{T}Y = \| x \| . \| y \| . \cos(\phi)

Kdy ϕ\phi je úhel svírající vektory xx a yy.

Geometrická reprezentace skalárního součinu

Vlastnosti:

V prostoru Rm×n\R^{m \times n} :

A,B=i=1mj=1naijbij=trace(ABT)\langle A,B \rangle = \sum_{i = 1}^{m} \sum_{j = 1}^{n} a_{ij}b_{ij} = \text{trace}(AB^T)

Komplexně sdružené číslo

Komplexně sdružené číslo k číslo a+bia+bi je a+bi=abi\overline{a+bi} = a - bi

Skalární součin nad R\R

Buď VV je vektorový prostor nad R\R. Pak skalární součin je zobrazení  ,:V2R\langle\ \cdot , \cdot \rangle : V^2 \rightarrow \R, splňující pro všechna x,y,zVx,y,z \in V a αR\alpha \in \R:

Skalární součin nad C\C

Buď VV je vektorový prostor nad C\C. Pak skalární součin je zobrazení  ,:V2C\langle\ \cdot , \cdot \rangle : V^2 \rightarrow \C, splňující pro všechna x,y,zVx,y,z \in V a αC\alpha \in \C:

Není lineární ve druhé složce.

Jednoznačnost obrazů báze vzhledem ke skalárnímu součinu

B={z1,z2,...,zn}B = \{ z_1, z_2, ... , z_n \} báze prostoru VV nad R\R.
x,yVx,y \in V: x=i=1nαizix = \sum_{i=1}^{n} \alpha_i z_i a y=j=1nβjzjy = \sum_{j=1}^{n} \beta_j z_j pro určité {α1,α2,...,αn}{β1,β2,...,βn}R\{ \alpha_1,\alpha_2,...,\alpha_n \} \cup \{ \beta_1, \beta_2, ..., \beta_n \} \in \R

x,y=i=1nαizi,j=1nβjzj=i=1nj=1nαiβjzi,zj\langle x,y \rangle = \left\langle \sum_{i=1}^{n} \alpha_i z_i , \sum_{j=1}^{n} \beta_j z_j \right\rangle = \sum_{i=1}^{n} \sum_{j=1}^{n} \alpha_i \beta_j \langle z_i,z_j \rangle

    \implies skalární součin je jednoznačně určený hodnotami součinů všech bazických vektorů.
(hodnoty si ale můžeme zvolit libovolně na rozdíl od lineárního zobrazení)

Definition

Norma indukovaná skalárním součinem

je definovaná:

x:=x,x kde xV\left\| x \right\| := \sqrt{\langle x,x \rangle} \text{ kde } x \in V

Pro normální skalární součin v Rn\R^n: Euklidovská norma x=i=1nxi2\left\| x \right\| = \sqrt{\sum_{i=1}^n x_i^2}

Definition

Kolmost

Vektory x,yVx,y \in V jsou kolmé, tak

x,y=0\langle x,y \rangle = 0

Značíme xyx \perp y

Theorem

Pythagorova věta

Pokud x,yVx,y \in V jsou kolmé, tak

x+y2=x2=y2\left\| x + y \right\|^2 = \left\| x \right\| ^2 = \left\| y \right\| ^2

Proof

x+y2=x+y,x+y=x,x+x,y0+x,y0+y,y=x,x+y,y=x2+x2\left\| x + y \right\|^2 = \langle x+y,x+y \rangle = \langle x,x \rangle + \overbrace{\langle x,y \rangle}^{0} + \overbrace{\langle x,y \rangle}^{0} + \langle y,y \rangle = \langle x,x \rangle + \langle y,y \rangle = \left\| x \right\|^2 + \left\| x \right\|^2

Theorem

Couchyho-Schwartzova nerovnost

Pro každé x,yVx,y \in V platí

x,yx.x\| \langle x,y \rangle \leq \left\| x \right\| . \left\| x \right\|

Proof

(reálná verze)

Pro y=0y=0 platí zřejmě.
Předpokládejme, že y0y \neq 0 a funkci ff, kdy f(t)=x+ty,x+ty0f(t) = \langle x + ty,x+ ty \rangle \geq 0.

Pak

f(t)=x,x+tx,y+ty,x+t2y,y=x,x+2tx,y+t2y,yf(t) = \langle x,x \rangle + t\langle x,y \rangle + t\langle y,x \rangle + t^2\langle y,y \rangle = \\ \langle x,x \rangle + 2t\langle x,y \rangle + t^2\langle y,y \rangle

Funkce ff je všude nezáporná     \implies nemůže mít dva kořeny     \implies diskriminant je nekladný

D=4t2x,y4t2x,xy,yx,y2x,xy,y0D = 4t^2\langle x,y \rangle - 4t^2\langle x,x \rangle\langle y,y \rangle \leq \langle x,y^2 \rangle \langle x,x \rangle\langle y,y \rangle \leq 0 \Downarrow x,y2x,xy,yx,yxy\begin{align} \langle x,y \rangle^{2} & \leq \langle x,x \rangle \langle y,y \rangle \\ \lvert x,y \rvert &\leq \| x \| \cdot \| y \| \end{align}

Theorem

Trojúhelníková nerovnost

Pro každé x,yVx,y \in V platí:

x+yx+y\lVert x + y \rVert \leq \lVert x \rVert + \lVert y \rVert

Proof

x+y2=\lvert x + y \rvert ^2 =
x+y,x+y=\langle x + y, x + y \rangle =
x,x + y,y + x,y + y,x=\langle x,x \rangle~+~\langle y,y \rangle~+~\langle x,y \rangle~+~\langle y,x \rangle =
x,x+y,y+x,y+x,y2Re(x,y)=\langle x,x \rangle + \langle y,y \rangle + \overbrace{\langle x,y \rangle + \overline{\langle x,y \rangle}}^{2Re(\langle x,y \rangle)} =
x,x,+2Re(x,y)\langle x,x, \rangle + 2Re(\langle x,y \rangle) \leq
x,x+y,y+2x,y\langle x,x \rangle + \langle y,y \rangle + 2\left\|\langle x,y \rangle \right\| \leq
x2+y2+2xy=\lvert x \rvert ^2 + \lvert y \rvert ^2 + 2\lvert x \rvert \cdot \lvert y \rvert =
(x.y)2\left( \lvert x \rvert . \lvert y \rvert \right)^2

Definition

Buď VV vektorový prostor nad R\R nebo C\C. Pak norma je zobrazeni :VR\|\cdot\|: V \rightarrow \R splňující:

  1. x0\left\| x \right\| \geq 0 pro všechna xVx \in V, a rovnost pauze pro x0x \neq 0
  2. αx=αx\left\|\alpha x\right\| = \left\| \alpha \right\| \cdot \left\|x\right\| pro všechna xVx \in V a pro všechna αR\alpha \in \R resp. αC\alpha \in \C
  3. x+yx+y\left\| x+y \right\| \leq \left\|x\right\| + \left\| y \right\|

Claim

Norma indukovaná skalárním součinem je normou.

Proof

  1. z definice
  2. αx=αx,αx=ααx,x=ααx,x=αx\left\| \alpha x \right\| = \sqrt{ \langle \alpha x, \alpha x \rangle} = \sqrt{ \alpha \overline{\alpha} \langle x,x \rangle} = \sqrt{ \alpha \overline{\alpha}} \sqrt{\langle x, x\rangle} = |\alpha| \cdot \|x\|
  3. vyplývá z trojúhelníkové nerovnosti

Lemma

Rovnoběžné pravidlo

Pro normu indukovanou skalárním součinem platí:

xy2+x+y2=2x2+2y2\| x - y \|^{2} + \| x + y \|^{2} = 2\| x \|^{2} + 2\| y \|^{2}

Definition

Metrika

Metriku na množině MM definujeme jako zobrazení d:M2Rd: M^{2} \rightarrow \R splňující:

  1. d(x,y)0d(x,y) \leq 0, rovnost pouze pro x=yx=y
  2. d(x,y)=d(y,x)d(x,y) = d(y,x)
  3. d(x,y)d(x,y)+d(y,x)d(x,y) \leq d(x,y) + d(y,x)

Poznámka

Každá norma určuje metriku předpisem:

d(x,y):=xyd(x, y) := \left\| x-y \right\|

Tedy vzdálenost vektorů $x,y$ se zavádí jako velikost jejich rozdílů.

Definition

Pro p=1,2,p=1,2,\ldots definujeme pp-normu vektoru xRnx \in \R^{n} jako xp=(i=1nxip)1p\left\| x \right\|_{p} = \left(\sum_{i=1}^{n} \lvert x_{i} \rvert^p \right)^{\frac{1}{p}}.

Známé normy

p=1p=1 Součtová norma x1=i=1nxi\left| x \right|_{1} = \sum^{n}_{i=1} \lvert x_{i} \rvert p=1 norma
p=2p=2 Euklidovská norma x2=i=1nxi2\left| x \right|_{2} = \sqrt{\sum^{n}_{i=1} x_{i}^{2}} p=2 norma
p=p=\infty Maximorá norma x=maxi=1,...,nxi\left| x \right|_{\infty} = \max_{i=1,...,n} \lvert x_{i} \rvert p=inf norma

Ortogonální a ortonormální systémy

Definition

Systém vektorů z1,,znz_{1}, \cdots, z_{n} je

Claim

Je-li systém z1,,znz_{1}, \cdots, z_{n} ortonormální, pak je lineárně nezávislý.

Proof

i=1nαizi,zk=0,zk=0\langle\sum_{i=1}^{n} \alpha_{i} z_{i}, z_{k}\rangle = \langle 0, z_{k}\rangle = 0
i=1nαizi,zk=i=1nαizi,zk=0\langle\sum_{i=1}^{n} \alpha_{i} z_{i}, z_{k}\rangle = \sum_{i=1}^{n} \alpha_{i} \langle z_{i}, z_{k} \rangle = 0

Fourierovy koeficienty

Theorem

Buď z1,,znz_{1}, \cdots, z_{n} ortonormální báze prostoru VV. Pak pro každé xVx \in V platí:

x=i=1nx,ziFourierovy koeficientyziFourieru˚v rozvoj\underbrace{ x = \sum^{n}_{i=1}\hspace{-2em} \overbrace{\langle x, z_{i} \rangle}^{\text{Fourierovy~koeficienty\\}}\hspace{-2em} z_{i} }_{\text{Fourierův~rozvoj}}

Proof

x=i=1nαizix = \sum^{n}_{i=1} \alpha_{i}z_{i} \rightarrow lineární kombinace
x,zk=i=1nx,zizk=αkzk,zk=αk\langle x, z_{k} \rangle = \sum^{n}_{i=1} \langle x, z_{i} \rangle z_{k} = \alpha_{k} \langle z_{k}, z_{k} \rangle = \alpha_{k}

Představuje projekci na bazické vektory

Gramova-Schmitzova ortogonalizace

Algoritmus:
Vstup: lineárně nezávislé vektory x1,,xnVx_{1}, \ldots, x_{n} \in V

  1. for k:=1k:=1 to nn
  2.     yk:=j=1k1xk,zjzjy_{k} := \sum^{k-1}_{j=1} \langle x_{k},z_{j} \rangle z_{j} // nakolmíme odečtením projekce do podprostoru
  3.     zk:=ykykz_{k} := \frac{y_{k}}{\left\| y_{k} \right\|}
  4. end for

Výstup: z1,,znz_{1},\ldots, z_{n} ortonormální báze prostoru span{x1,,xn}span\{x_{1},\ldots,x_{n}\}

Proof

Matematickou indukcí:

  1. n=1n=1
  2. Indukční předpoklad: z1,,zn1z_{1}, \ldots, z_{n-1} je ortonormální bází span{x1,,xn1}span\{x_{1},\ldots,x_{n-1}\}, yny_{n} je nenulové z lineární nezávislosti, je dobře definovaná a má jednotkovou délku pak už jen dokážeme, že je kolmý a že tvoří bázi.

Claim

Důsledek: Existence ortonormální báze

Každý konečně generovaný prostor se skalárním součinem má ortogonální bázi.

Proof

Každý má bázi a tu můžeme Gram-Schmitzem ortogonalizovat.

Claim

Důsledek: Rozšíření ortonormálních systémů na ortonormální bázi

Každý ortonormální systém vektorů v konečně generovaném prostoru lze rozšířit na ortonormální bázi.

Theorem

Buď z1,,znz_{1},\ldots,z_{n} ortonormální systém ve VV a buď xVx \in V.

Besselova nerovnost:

x2j=1nxj,zj\| x \|^{2} \geq \sum^{n}_{j=1} \lvert \langle x_{j},z_{j} \rangle \rvert

Parsevalova rovnost:

x2=j=1nxj,zj    xspan{z1,,zn}\| x \|^{2} = \sum^{n}_{j=1} \lvert \langle x_{j},z_{j} \rangle \rvert \iff x \in span\{z_{1},\ldots, z_{n}\}

Claim

Buď B={z1,,zn}B=\{z_{1},\ldots,z_{n}\} báze prostoru VV. Pak

x,y:=[x]BT[y]B\langle x,y \rangle := [x]^{T}_{B} \overline{[y]}_{B}

Je skalárním součinem a báze BB je v něm ortonormální bází:

Proof

Stačí ověřit z definic:

  1. x,x=[x]BT[x]B0\langle x,x \rangle = [x]^{T}_{B}\overline{[x]}_{B} \geq 0
  2. linearita v první složce vyplývá z linearity souřadnic
  3. symetrie také ze symetrie souřadnic

Příklad:
A:=B[id]kanA := _{B}[id]_{kan}
x,y=[x]BT[y]B=[x]kanTB[id]TB[id][y]kan=xTATAy\langle x,y \rangle = [x]^{T}_{B}[y]_{B} = [x]^{T}_{kan} {\text{}}_{B}[id]^{T} {}_{B}[id] [y]_{kan} = x^{T}A^{T}A_{y}

x=[x]B2=[x]BT[x]B\| x \| = \left\| [x]_{B} \right\|_{2} = \sqrt{[x]^{T}_{B}\overline{[x]}_{B}}

Definition

Definice ortogonální báze

Projekce vektoru xVx \in V do podprostoru UVU \Subset V je takový vektor xUUx_{_{U}} \in U, který splňuje

xxU=minyUxy\| x - x_{_{U}} \| = \min_{y \in U} \| x - y \|

Claim

Tvrzení o kolmici

Buď UVU \Subset V, buď xVx \in V a yUy \in U takové, že xyUx-y \in U^{\perp}. Pak

xy<xzzU{y}\| x - y \| < \| x - z \| \quad \forall z \in U \setminus \{y\}

Tedy vektor yy je jednoznačnou projekcí vektoru xx do UU.

Proof

z předpokladu (xy)(yz)(x-y)\perp(y-z)
využitím Pythagorovy věty xz2=xy2+yz2xy2\| x-z \|^{2} = \| x - y \|^{2} + \| y-z \|^{2} \geq \| x - y \|^{2}
rovnost nastane jen pro y=zy=z protože 00 je norma jen pro nulový vektor.

Theorem

Buď UVU \Subset V. Pak pro každé xVx \in V existuje právě jedna projekce xUUx_{_{U}} \in U do podprostoru UU.

Navíc jeli z1,,znz_{1}, \ldots, z_{n} ortonormální báze UU pak

xU=i=1nx,zizix_{_U} = \sum^{n}_{i=1} \langle x,z_{i} \rangle z_{i}

Proof

Rozšíříme bázi UU na bázi VV z1,,zm,zm+1,,znz_{1},\ldots, z_{m}, z_{m+1},\ldots, z_{n}
Definujeme y=i=1mx,ziziUy = \sum^{m}_{i=1} \langle x,z_{i} \rangle z_{i} \in U a ukážeme, že je projekcí

xy=i=1nx,zizii=1mx,zizi=i=n+1nx,ziziUx - y = \sum^{n}_{i=1} \langle x,z_{i} \rangle z_{i} - \sum^{m}_{i=1} \langle x,z_i \rangle z_i = \sum^{n}_{i=n+1} \left\langle x,z_{i} \right\rangle z_{i} \in U^{\perp}

Poznámka: Ortogonální projekce je lineární zobrazení

Definition

Buď VV vektorový prostor a UU jeho podprostor. Pak projekcí xUx \in U rozumíme takový xUUx_{U} \in U, který splňuje

xxU=minyUxy\| x - x_{U} \| = \min_{y \in U} \| x -y \|

Ortogonální projekce

Důsledek

Vektor yUy \in U je projekcí vektoru xVx \in V do podprostoru UU právě tehdy, když xyUx-y \in U^{\perp}

Theorem

Věta o ortogonální projekci

Buď UU podprostor VV. Pak pro xinV\forall x in V existuje právě jedna projekce x0Ux_{0} \in U do UU.

Navíc, je-li z1,,zmz_{1},\ldots, z_{m} ortonormální báze UU, pak

xU=i=1mx,zizix_{_{U}} = \sum^{m}_{i=1} \langle x,z_{i} \rangle z_{i}

Proof

xxU=i=1nx,zizii=1mx,ziziUx-x_{_{U}} = \sum^{n}_{i=1} \langle x,z_{i} \rangle z_{i} - \sum^{m}_{i=1} \langle x,z_{i} \rangle z_{i} \in U^{\perp}

Tudíž (xx0)(xUy)(x - x_{_{0}}) \perp (x_{_{U}} - y). Použijeme pythagorovu větu:

x+y2=(xxU)+(xUy)2=xxU2+xUyxu2\| x + y \|^{2} = \|(x - x_{_{U}}) + (x_{_{U}} - y) \|^{2} = \| x - x_{_{U}} \|^{2} + \| x_{_{U}} - y \| \geq \| x_{_{u}} \|^{2}

Příklad projekce na přímku při standardním skalárním součinu

xu=x,zz=1a2x,aa=xTaaTaax_{u} = \langle x,z \rangle z = \frac{1}{\| a \|^{2}} \langle x,a \rangle a = \frac{x^{T}a}{a^{T}a}a

Claim

Buď BB ortonormální báze prostoru VV se skalárním součinem. Pak

x,y=[x]BT[y]Bx,yV\langle x,y \rangle = [x]^{T}_{B}\overline{[y]}_{B} \quad \forall x,y \in V

Proof

Buď B={z1,,zn}B = \{ z_{1}, \ldots, z_{n}\}. Pak [x]B=(x,z1,,x,zn)T[x]_{B} = (\langle x, z_{1} \rangle, \ldots, \langle x, z_{n} \rangle)^{T}

x,y=j=1nx,zjzj,y=j=1nx,zjy,zj=[x]BT[y]B\langle x,y \rangle = \left\langle \sum^{n}_{j=1} \left\langle x,z_{j} \right\rangle z_{j}, y \right\rangle = \sum^{n}_{j=1} \langle x,z_{j} \rangle \overline{\langle y,z_{j} \rangle} = [x]^{T}_{B}\overline{[y]}_{B}

Definition

Buď VV vektorový prostor a MVM \subseteq V. Ortogonální doplněk množiny MM je

M:={xV;x,y=0yM}M^{\perp} := \{x \in V; \langle x,y \rangle = 0 \quad \forall y \in M \}

Ortogonální doplněk prostoru = ortogonální doplněk báze

Claim

Buď VV vektorový prostor a M,NVM,N \subseteq V. Pak

  1. MM^{\perp} je podprostor VV
  2. je-li MNM \subseteq N pak MNM^{\perp} \subseteq N^{\perp}
  3. M=span(M)M^{\perp} = span(M)^{\perp}

Proof

  1. Ověřením vlastností podprostoru
  2. Buď xNx \in N^{\perp}, tedy x,y=0  yNx,y=0  yMN\langle x,y \rangle = 0 \; \forall y \in N \langle x,y \rangle = 0 \; \forall y \in M \subseteq N a proto xMx \in M^{\perp}
  3. Mspan(M)M \subseteq span(M) a dle 2. Mspan(M)M^{\perp} \subseteq span(M)^{\perp}

Theorem

Vlastnosti ortogonálního doplňku podprostoru

Buď UVU \Subset V, buď z1,,znz_{1},\ldots,z_{n} ortogonnální báze VV, a buď z1,,zn,zn+1,,zmz_{1},\ldots, z_{n}, z_{n+1},\ldots, z_{m} její rozšíření na ortonormální bázi VV. Pak zn+1,,zmz_{n + 1}, \ldots, z_{m} je ortonormální báze UU^{\perp}

Proof

Stačí dokázat span{zn+1,,zm}=Uspan\{z_{n+1},\ldots,z_m\} = U^{\perp}.
Inkluze “\supseteq” vezmeme Fourierův rozvoj - prvních mm členů vypadne a zbude:

x=i=n+1mx,zzispan{zn+1,,zm}x = \sum^{m}_{i=n+1} \langle x,z \rangle z_{i} \in span\{z_{n + 1}, \ldots, z_{m}\}

Inkluze “\subseteq” Buď xspan{zn+1,,zm}x \in span\{z_{n+1},\ldots,z_{m}\}

x=i=n+1mx,zzi=i=1n0zi+i=n+1mx,zizix = \sum^{m}_{i=n+1} \langle x,z \rangle z_{i} = \sum^{n}_{i=1} 0z_{i} + \sum^{m}_{i=n+1} \langle x,z_i \rangle z_{i}

Theorem

Důsledek: Vlastnosti ortogonálního doplňku podprostoru

Buď UVU \Subset V. Potom platí

  1. dimV=dimU+dimU\dim V = \dim U + \dim U^{\perp}
  2. V=U+UV = U + U^{\perp}
  3. UU={0}U \cap U^{\perp} = \{0\}
  4. U=(U)U = (U^{\perp})^{\perp}
  5. Je-li z1,,zmz_{1},\ldots,z_{m} ortonormální báze UU, a je-li z1,,zm,zm+1,,znz_{1},\ldots,z_{m}, z_{m+1},\ldots, z_{n} její rozšíření na ortonormální bází VV, pak zm+1,,znz_{m+1},\ldots,z_{n} je ortonormální báze UU^{\perp}.

Proof

2. dimV=ndim V = n,dimU=mdim U = m, dimU=nmdim U^{\perp} = n - m
5. zm+1,,znz_{m+1},\ldots,z_{n} je ortonormální systém. Chceme dokázat, že span{zm+1,,zn}=Uspan\{z_{m+1},\ldots,z_{n}\} = U^{\perp}A

xV:x=i=1nx,zizi\forall x \in V: x = \sum^{n}_{i=1} \langle x,z_{i} \rangle z_{i}

Je-li xUx \in U^{\perp}, pak x,zi=0,  i=1m\langle x,z_{i} \rangle = 0, \; i = 1 \ldots m a tudíž

x=i=m+1nx,zizispan{zm+1,,zn}x = \sum^{n}_{i=m+1} \langle x,z_{i} \rangle z_{i} \in span\{z_{m+1},\ldots,z_{n}\}

Theorem

Buď ARm×nA \in \R^{m \times n}. Pak R(A)=Ker(A)R(A)^{\perp} = Ker(A)

Proof

R(A)={(A1 )T,(Am )T}R(A)^{\perp} = \left\{ \left( A_{1~*} \right)^{T}, \ldots \left( A_{m~*} \right)^{T}\right\}
Tedy xR(A)xx \in R(A)^{\perp} \equiv x \perp na řádky AA

Důsledek

Buď ARmxnA \in \R^{mxn}. Pak R(A)Ker(A)=RnR(A) \oplus Ker(A) = \R^{n}

Theorem

Větička o vlastnostech matice AA versus ATAA^{T}A

Buď ARm×nA \in \R^{m \times n}. Pak

  1. Ker(ATA)=Ker(A)Ker(A^{T}A) = Ker(A)
  2. R(ATA)=R(A)R(A^{T}A) = R(A)
  3. rank(ATA)=rank(A)rank(A^{T}A) = rank(A)

Proof

1. Je-li xKer(A)x \in Ker(A), pak Ax=0Ax = 0 a tedy

ATAx=AT0=0    xKer(ATA)A^{T}Ax = A^{T}0 = 0 \implies x \in Ker(A^{T}A)

obráceně

xKer(ATA)xTATAx=0(Ax)TAx=0(Ax)2=0x \in Ker(A^{T}A) \rightarrow x^{T}A^{T}Ax = 0 \rightarrow (Ax)^{T}Ax = 0 \rightarrow (Ax)^{2} = 0

2. vyřešíme R(A)=ker(A)R(A) = ker(A)^{\perp}
3. Když jsou stejné řádky, potom mají stejnou dimenzi a i hodnost

Claim

Maticové prostory a lineární zobrazení

Uvažujme lineární zobrazení f(x)=Axf(x)=Ax, kde ARm×nA \in \R^{m \times n}. Pokud definiční obor f(x)f(x) omezíme pouze na prostor R(A)R(A), dostaneme isomorfismus mezi R(A)R(A) a f(Rn)f(\R^{n}).

Proof

Buď xRn,R(A)Ker(A)=Rnx \in \R^{n}, R(A) \oplus Ker(A) = \R^{n}, rozložíme na x=xr+xkx=x_{r}+x_{k}, kde xrR(A)x_{r} \in R(A) a xkKer(A)x_{k} \in Ker(A). Pak

f(x)=Ax=A(xr+xk)=Axr+Axk0=Axrf(x) = Ax = A(x_{r} + x_{k}) = Ax_r + \overbrace{Ax_{k}}^{0} = Ax_{r}

Theorem

Buď ARm×nA \in \R^{m \times n} hodností nn. Pak je projekce vektoru xRmx \in \R^{m} do sloupcového prostoru S(A)S(A)

x=A(ATA)1ATxx' = A(A^{T}A)^{-1}A^{T}x

Proof

Nejdříve dokážeme, že je dobře definován, pak xS(A)x' \in S(A) a xxS(A)x - x' \in S(A)^{\perp}
xS(A)x' \in S(A), x=Azx' = Az pro z=(ATA)1ATxz = \left(A^{T}A\right)^{-1}A^{T}x
xxS(A)=R(AT)=Ker(AT)x-x' \in S(A)^{\perp} = R(A^{T})^{\perp} = Ker(A^{T}) \rightarrow vynásobíme s AT(xx)=0A^{T}(x - x') = 0 (po úpravě)

Definition

Matice projekce do S(A)S(A)

P:=A(ATA)1AT(=AAT pro ortonormaˊlnıˊ baˊzi)P := A(A^{T}A)^{-1}A^{T} ( = AA^{T} \text{ pro ortonormální bázi})

Claim

Matice PRn×nP \in \R^{n \times n} je maticí projekce právě tehdy když je symetrická a P=P2P = P^2.

Příklad:
Matice projekce P=a(aTa)1aTP = a(a^{T}a)^{-1}a^{T}

Px=a(aTa)1aTx=aTxaTaaPx = a(a^{T}a)^{-1}a^{T}x = \frac{a^{T}x}{a^{T}a}a

pokud aa znormujeme, tak P=aaTP = aa^{T}.

Theorem

Ortogonální projekce do doplňku

Buď PRn×nP \in \R^{n \times n} matice projekce do podprostoru VRnV \Subset \R^{n}. Pak IPI - P je maticí projekce do VV^{\perp}

Proof

xRn\forall x \in \R^{n} platí x=y+zx = y + z kde yVy \in V a zVz \in V^{\perp}.
Zde yy je projekce xx do VV a zz projekce xx do VV^{\perp}

Metoda nejmenších čtverců

minxRnAxb22=minxRni=1n(Ai xbi)2\min_{x \in \R^{n}} \left\| Ax - b \right\|^{2}_{2} = \min_{x \in \R^{n}} \sum^{n}_{i=1} \left( A_{i~*}x - b_{i} \right)^{2}

přenásobíme ATA^{T}

ATAx=ATbA^{T}Ax = A^{T}b

Theorem

Množina přibližných řešení soustavy Ax=bAx=b metodou nejmenších čtverců je neprázdná a rovna množině řešení normálních rovnic.

Proof

Hledáme projekci bb do podprostoru S(A)S(A).
Projekce je tvaru AxAx, kde xRnx \in \R^{n}.
Víme, že AxAx je projekcí AxbS(A)TKer(A)T\equiv Ax-b \in S(A)^{T} - Ker(A)^{T}
    AT(Axb)=0    ATAx=ATb\implies A^{T}(Ax - b) = 0 \implies A^{T}Ax = A^{T}b.

Důsledek

Buď ARm×nA \in R^{m \times n} hodnosti nn. Pak přibližné řešení soustavy Ax=bAx=b metodou nejmenších čtverců je jednoznačné a tvaru

x=(ATA)1ATbx^{*} = (A^{T}A)^{-1}A^{T}b

Definition

Matice QRnQ \in \R^{n} je ortogonální pokud QTQ=InQ^{T}Q = I_{n} (Q1=QT)Q^{-1} = Q^{T})
Matice QRnQ \in \R^{n} je unitární, pokud QTQ=In\overline{Q^{T}}Q = I_{n}

Claim

Charakterizace ortogonálních matic

Matice QRn×nQ \in \R^{n \times n} je ortogonální právě tehdy když sloupce QQ tvoří ortonormální bázi Rn\R^{n}.

Proof

(QTQ)ij=Qi,Qj={1i=j0ij(Q^{T}Q)_{ij} = \langle Q_{*i}, Q_{*j} \rangle = \begin{cases} 1 & i = j\\ 0 & i \neq j \end{cases}

Claim

Buď QRn×nQ \in \R^{n \times n} ortogonální. Pak

  1. QTQ^{T} je ortogonální
  2. Q1Q^{-1} existuje a je ortogonální

Claim

Součin ortogonálních matic

Jsou-li Q1,Q2Rn×nQ_{1},Q_{2} \in \R^{n \times n} ortogonální, pak Q1Q2Q_{1}Q_{2} je taky ortogonální.

Proof

(Q1Q2)T(Q1Q2)=Q2TQ1TQ1Q2=Q2TQ2=In(Q_{1}Q_{2})^{T}(Q_{1}Q_{2}) = Q^{T}_{2}Q^{T}_{1}Q_{1}Q_{2} = Q^{T}_{2}Q_{2} = I_{n}

Příklady ortogonálních matic

Poznámka:
každou ortogonální matici řádu nn lze vyjádřit jako součin maximálně nn Hesenholderových matic

Givensova matice

pro n=2n=2

(cosϕsinϕsinϕcosϕ)\begin{pmatrix} \cos \phi & -\sin \phi \\ \sin \phi & cos \phi \end{pmatrix}

otočí ϕ\phi protisměru hodinových ručiček, kde cos2ϕ+sin2ϕ=1\cos^{2} \phi + \sin^{2} \phi = 1. Pro větší nn doplňujeme jednotkovými maticemi.

Poznámka:
Každou ortogonální matici řádu nn lze vyjádřit jako součin max (n2)\binom{n}{2} Givensových matic.

Theorem

Buď QRn×nQ \in \R^{n \times n} ortogonální. Pak

  1. Qx,Qy=x,y\langle Qx,Qy \rangle = \langle x,y \rangle pro každé x,yRnx,y \in \R^{n}
  2. Qx=x\| Qx \| = \| x \| pro každé xRnx \in \R^{n} (kdy i rozšířená matice o 1 řád je ortogonální)

Proof

  1. QxQy=(Qx)TQyxTQTQy=xTIny=xT=x,y\langle Qx Qy \rangle = \left( Qx \right)^{T} Qy - x^{T}Q^{T}Qy = x^{T}I_{n}y = x^{T} = \langle x,y \rangle
  2. Qx=Qx,Qxx,x=x\| Q_{x} \| = \sqrt{\left\langle Qx, Qx \right\rangle} - \sqrt{\left\langle x,x \right\rangle} = \|x\|

    \implies zobrazení xQxx \rightarrow Qx zachová úhly a délky jen pro ortogonální matice

Theorem

Buď QRn×nQ \in \R^{n \times n} ortogonální. Pak

  1. Qij1\lvert Q_{ij} \rvert \leq 1 a Qij11\lvert Q^{-1}_{ij} \rvert \leq 1 pro každé i,j=1,,ni,j=1,\ldots,n
  2. (100Q)T\begin{pmatrix} 1 & 0 \\ 0 & Q \end{pmatrix}^{T} je ortogonální amtice

Proof

Buď z1,,znz_{1},\ldots,z_{n} báze Rn\R^{n}, buď vRnv \in \R^{n} a chceme v=i=1nxiziv=\sum^{n}_{i=1} x_{i}z_{i}

Determinant

Definition

Determinant zobrazení A\lvert A \rvert

det(A)=ΠSnsgn(Π)i=1nai Π(i)\det(A) = \sum_{\Pi \in S_{n}} sgn(\Pi) \prod^{n}_{i=1} a_{i~\Pi_{\left( i \right)}}

Celkový počet permutací je n!n!

Determinant horní trojúhelníkové matice

AΠn×nA \in \Pi^{n \times n} je horní trojúhelníková matice. Pak

det(A)=a1 1a2 2an n\det(A) = a_{1~1} \cdot a_{2~2} \cdot \ldots \cdot a_{n~n}

Determinant transpozice

det(AT)=ΠSnsgn(Π)i=1nai Π(i)=det(A)\det(A^T) = \sum_{\Pi \in S_{n}} sgn(\Pi) \prod^{n}_{i=1} a_{i~\Pi_{\left( i \right)}} = \det(A)

Vlastnosti determinantů

Determinantská složitost

Theorem

Řádková linearita determinantu AΠn×n,bΠnA \in \Pi^{n \times n}, b \in \Pi^{n}. Potom pro každé ini \leq n platí, že

det(A+ebT)=det(A)+det(A+e(bTAi ))\det(A + eb^{T}) = \det(A) + \det(A + e \cdot (b^{T} - A_{i~*}))

Theorem

Výpočet determinantu pomocí Gaussovy eliminace

det(A)=αdet(A)\det(A') = \alpha\det(A) det(A)=det(A)\det(A') = -\det(A) det(A)=det(A)\det(A') = \det(A)

Důsledek:
Matice AA je regulární právě tehdy když det(A)0\det(A) \neq 0

Theorem

Laplacův rozvoj podle ii-tého řádku AΠn×nA \in \Pi^{n \times n} n2n \geq 2, pro každé i=1,,ni=1,\ldots,n

det(A)=j=1n(1)i+jai jdet(Aij)\det(A) = \sum^{n}_{j=1} (-1)^{i+j}a_{i~j} \det(A^{ij})

Theorem

AΠn×nA \in \Pi^{n \times n} regulární, bΠnb \in \Pi^{n}

xi=det(A+(bA i)eidet(A) ; i=1,,nx_{i} = \frac{\det(A + ( b - A_{*~i})e_{i}}{\det(A)}~;~i=1,\ldots,n

Důsledek

Zobrazení (A,b)A1b(A,b) \rightarrow A^{-1}b je spojité na definičním oboru regulárních matic.

Theorem

Gaussovu eliminaci lze provádět tak, že k zápisu každé matice během výpočtu stačí pouze polynomiální počet bitů (v kk).

Definition

Adjungovaná matice

Nechť AΠn×n,n2A \in \Pi^{n \times n}, n \geq 2.

adj(A)i j=(1)i=jdet(Aj i) ; i,j=1,,nadj(A)_{i~j} = (-1)^{i = j}\det(A^{j~i})~;~i,j = 1,\ldots,n

kde AjiA^{ji} vznikne z AA vynecháním jj-tého řádku a ii-tého sloupce.

Theorem

AΠn×n    Aadj(A)=det(AIn)A \Subset \Pi^{n \times n} \implies A adj(A) = \det(AI_{n})

Důsledek:

AΠn×nA \in \Pi^{n \times n} je regulární. Potom A1=1det(A)adj(A)A^{-1} = \frac{1}{\det(A)}adj(A)

Vlastní čísla

Definition

Vlastní čísla a vlastní vektory

Buď ACn×nA \in \C^{n \times n}. Pak λC\lambda \in \C je vlastní číslo matice AA a xCnx \in \C^{n} jemu příslušný **vlastní vektor$$ pokud

Ax=λxx0Ax = \lambda x \land x \neq 0

Theorem

Buď ACn×nA \in \C^{n \times n}. Pak

1. λC\lambda \in \C je vlastním číslem AA právě tehdy když

det(AλIn)=0\det(A - \lambda I_{n}) = 0

2. xCnx \in \C^{n} je příslušným vlastním vektorem právě tehdy, když

0xKer(AλIn)0 \neq x \in Ker(A -\lambda I_{n})

Claim

Vlastní čísla trojúhelníkové matice

Nechť ACn×nA \in \C^{n \times n} je trojúhelníková matice. Pak její vlastní čísla jsou prvky na diagonále.

Definition

Charakteristický polynom matice ACn×npromeˇnneˊA \in \C^{n \times n} proměnné\lambda$$ je

PA=det(AλI)P_{A} = \det(A -\lambda I)

Theorem

Vlastní čísla matice ACn×nA \in \C^{n \times n} jsou právě kořeny jejího charakteristického polynomu PA(λ)P_{A}(\lambda) a je jich nn včetně násobností.

Definition

Buď λC\lambda \in \C vlastní číslo matice ACn×nA \in \C^{n \times n}.

  1. Algebraická násobnost λ\lambda je rovna
  2. Geometrická násobnost λ\lambda je rovna nrank(AλIn)n - rank(A-\lambda I_{n}), to je počtu lineárně nezávislých vlastních vektorů, které odpovídají λ\lambda.

Claim

Součin a součet vlastních čísel:

  1. det(A)=λ1λn\det(A) = \lambda_{1} \cdot \ldots \cdot \lambda_{n}
  2. trace(A)=λ1++λntrace(A) = \lambda_{1} + \ldots + \lambda_{n}

A je regulární právě tehdy když 00 není její vlastní číslo.

Claim

Nechť ACn×nA \in \C^{n \times n} má vlastní čísla λ1,,λ\lambda_{1}, \ldots, \lambda a jim odpovídající vlastní vektory x1,,xnx_{1}, \ldots, x_{n}. Pak

  1. je-li AA regulární, pak A^{-1} má vlastní čísla λ11,λn1\lambda^{-1}_{1}, \ldots \lambda^{-1}_{n} a vlastní vektory x1,,xnx_{1}, \ldots, x_{n}
  2. A2A^{2} má vlastní čísla λ12,,λn2avlastnıˊvektory\lambda^{2}_{1}, \ldots, \lambda^{2}_{n} a vlastní vektoryx_{1}, \ldots, x_{n}$$
  3. αA\alpha A má vlastní čísla αλ,,αλn\alpha \lambda, \ldots, \alpha \lambda_{n} a vlastní vektory x1,,xnx_{1}, \ldots, x_{n}
  4. A+αInA + \alpha I_{n} má vlastní čísla λ1+α,,λn+α\lambda_{1} + \alpha, \ldots, \lambda_{n}+ \alpha a x1,,xnx_{1}, \ldots, x_{n}
  5. ATA^{T} má vlastní čísla λ1,,n\lambda_{1}, \ldots, \ldots_{n}, ale vlastní vektory obecně jiné.

Je-li λC\lambda \in \C vlastní číslo matice ARn×nA \in \R^{n \times n} pak i komplexně sdružené λ\overline{\lambda} je vlastním číslem AA

Claim

Buď ACn×nA \in \C^{n \times n}. Je-li AA regulární, pak

A1span{In,A,,An1}A^{-1} \in span\{I_{n}, A, \ldots, A^{n-1}\}

Tedy A1A^{-1} je lineární kombinací matic In,A,,An1I_{n}, A, \ldots, A^{n-1}.

Proof

Víme, že A1=(1)nAn+αn1An1++α1A+α0In=0A^{-1} = (-1)^{n}A^{n} + \alpha_{n-1}A^{n-1} + \ldots + \alpha_{1}A + \alpha_{0} I_{n} = 0
Také víme, že α0=det(A)0\alpha_{0} = \det(A) \neq 0.

I=(1)nα0Anαn1α0An1++α1α0A=A((1)nα0An1αn1α0An2++α1α0In)I = -\frac{(-1)^{n}}{\alpha_{0}}A^{n} - \frac{\alpha_{n}-1}{\alpha_{0}}A^{n-1} + \ldots + -\frac{\alpha_{1}}{\alpha_{0}}A =\\ A\left(-\frac{(-1)^{n}}{\alpha_{0}}A^{n-1} - \frac{\alpha_{n}-1}{\alpha_{0}}A^{n-2} + \ldots + -\frac{\alpha_{1}}{\alpha_{0}}I_{n}\right)

Vynásobíme A1A^{-1}

A1=(1)nα0An1αn1α0An2α1α0InA^{-1} = -\frac{(-1)^{n}}{\alpha_{0}}A^{n-1} - \frac{\alpha_{n-1}}{\alpha_{0}}A^{n-2}-\ldots - \frac{\alpha_{1}}{\alpha_{0}}I_{n}

Dá se díky tomu částečně dobře spočítat výsledek s nízkým počtem matic.

Definition

Matice A,BCn×nA,B \in \C^{n \times n} jsou podobné, pokud existují regulární SCn×nS \in \C^{n \times n} tak, že

A=SBS1AS=SBA = SBS^{-1} \equiv AS=SB

Theorem

Podobné matice mají stejná vlastní čísla

Proof

A=SBS1PA(λ)=det(AλIn)=det(SBS1λSIS1)=det(S(BλIn)S1)=det(S)det(BλIn)det(S1)=det(BλIn)=PB(λ)A = SBS^{-1}\\ \\ P_{A}(\lambda) = \\ \det(A - \lambda I_{n}) = \\ \det(SBS^{-1} - \lambda SIS^{-1}) = \\ \det\left( S \left( B - \lambda I_{n} \right) S^{-1} \right) = \\ \det(S) \cdot \det(B - \lambda I_{n}) \cdot \det(S^{-1}) = \\ \det(B - \lambda I_{n}) = P_{B}(\lambda)

Claim

Nechť A,B,CCn×nA,B,C \in \C^{n \times n}