Lineární algebra II

[Edit]

Pokud naleznete nějakou chybu, můžete jí opravit pomocí tlačítka edit.

Skalární součin

Definice

Standardní skalární součin x,yRx,y \in \R je definován jako

xTy=i=1nxiyix^{T}y = \sum_{i=1}^{n} x_{i}y_{i}

Geometrické vyjádření:

XTY=x.y.cos(ϕ)X^{T}Y = \| x \| . \| y \| . \cos(\phi)

Kdy ϕ\phi je úhel svírající vektory xx a yy.

Geometrická reprezentace skalárního součinu

Vlastnosti:

V prostoru Rm×n\R^{m \times n} :

A,B=i=1mj=1naijbij=trace(ABT)\langle A,B \rangle = \sum_{i = 1}^{m} \sum_{j = 1}^{n} a_{ij}b_{ij} = \text{trace}(AB^T)

Komplexně sdružené číslo

Komplexně sdružené číslo k číslu a+bia+bi je a+bi=abi\overline{a+bi} = a - bi

Skalární součin nad R\R

Buď VV je vektorový prostor nad R\R. Pak skalární součin je zobrazení  ,:V2R\langle\ \cdot , \cdot \rangle : V^2 \rightarrow \R, splňující pro všechna x,y,zVx,y,z \in V a αR\alpha \in \R:

Skalární součin nad C\C

Buď VV je vektorový prostor nad C\C. Pak skalární součin je zobrazení  ,:V2C\langle\ \cdot , \cdot \rangle : V^2 \rightarrow \C, splňující pro všechna x,y,zVx,y,z \in V a αC\alpha \in \C:

Není lineární ve druhé složce.

Jednoznačnost obrazů báze vzhledem ke skalárnímu součinu

B={z1,z2,...,zn}B = \{ z_1, z_2, ... , z_n \} báze prostoru VV nad R\R.
x,yVx,y \in V: x=i=1nαizix = \sum_{i=1}^{n} \alpha_i z_i a y=j=1nβjzjy = \sum_{j=1}^{n} \beta_j z_j pro určité {α1,α2,...,αn}{β1,β2,...,βn}R\{ \alpha_1,\alpha_2,...,\alpha_n \} \cup \{ \beta_1, \beta_2, ..., \beta_n \} \in \R

x,y=i=1nαizi,j=1nβjzj=i=1nj=1nαiβjzi,zj\langle x,y \rangle = \left\langle \sum_{i=1}^{n} \alpha_i z_i , \sum_{j=1}^{n} \beta_j z_j \right\rangle = \sum_{i=1}^{n} \sum_{j=1}^{n} \alpha_i \beta_j \langle z_i,z_j \rangle

    \implies skalární součin je jednoznačně určený hodnotami součinů všech bazických vektorů.
(hodnoty si ale můžeme zvolit libovolně na rozdíl od lineárního zobrazení)

Definice

Norma indukovaná skalárním součinem

je definovaná:

x:=x,x kde xV\left\| x \right\| := \sqrt{\langle x,x \rangle} \text{ kde } x \in V

Pro normální skalární součin v Rn\R^n: Euklidovská norma x=i=1nxi2\left\| x \right\| = \sqrt{\sum_{i=1}^n x_i^2}

Definice

Kolmost

Vektory x,yVx,y \in V jsou kolmé, tak

x,y=0\langle x,y \rangle = 0

Značíme xyx \perp y

Věta

Pythagorova věta

Pokud x,yVx,y \in V jsou kolmé, tak

x+y2=x2=y2\left\| x + y \right\|^2 = \left\| x \right\| ^2 = \left\| y \right\| ^2

Důkaz

x+y2=x+y,x+y=x,x+x,y0+x,y0+y,y=x,x+y,y=x2+x2 \left\| x + y \right\|^2 = \langle x+y,x+y \rangle = \langle x,x \rangle + \overbrace{\langle x,y \rangle}^{0} + \overbrace{\langle x,y \rangle}^{0} + \langle y,y \rangle = \langle x,x \rangle + \langle y,y \rangle = \left\| x \right\|^2 + \left\| x \right\|^2

Věta

Couchyho-Schwartzova nerovnost

Pro každé x,yVx,y \in V platí

x,yx.y\left\| \langle x,y \rangle \right\| \leq \left\| x \right\| . \left\| y \right\|

Důkaz

(reálná verze)

Pro y=0y=0 platí zřejmě.
Předpokládejme, že y0y \neq 0 a funkci ff, kdy f(t)=x+ty,x+ty0f(t) = \langle x + ty,x+ ty \rangle \geq 0.

Pak

f(t)=x,x+tx,y+ty,x+t2y,y=x,x+2tx,y+t2y,yf(t) = \langle x,x \rangle + t\langle x,y \rangle + t\langle y,x \rangle + t^2\langle y,y \rangle = \\ \langle x,x \rangle + 2t\langle x,y \rangle + t^2\langle y,y \rangle

Funkce ff je všude nezáporná     \implies nemůže mít dva kořeny     \implies diskriminant je nekladný

D=4t2x,y4t2x,xy,yx,y2x,xy,y0D = 4t^2\langle x,y \rangle - 4t^2\langle x,x \rangle\langle y,y \rangle \leq \langle x,y^2 \rangle \langle x,x \rangle\langle y,y \rangle \leq 0 \Downarrow x,y2x,xy,yx,yxy\begin{align*} \langle x,y \rangle^{2} & \leq \langle x,x \rangle \langle y,y \rangle \\ \lvert x,y \rvert &\leq \| x \| \cdot \| y \| \end{align*}

Věta

Trojúhelníková nerovnost

Pro každé x,yVx,y \in V platí:

x+yx+y\lVert x + y \rVert \leq \lVert x \rVert + \lVert y \rVert

Důkaz

x+y2=\lvert x + y \rvert ^2 =
x+y,x+y=\langle x + y, x + y \rangle =
x,x + y,y + x,y + y,x=\langle x,x \rangle~+~\langle y,y \rangle~+~\langle x,y \rangle~+~\langle y,x \rangle =
x,x+y,y+x,y+x,y2Re(x,y)=\langle x,x \rangle + \langle y,y \rangle + \overbrace{\langle x,y \rangle + \overline{\langle x,y \rangle}}^{2Re(\langle x,y \rangle)} =
x,x,+2Re(x,y)\langle x,x, \rangle + 2Re(\langle x,y \rangle) \leq
x,x+y,y+2x,y\langle x,x \rangle + \langle y,y \rangle + 2\left\|\langle x,y \rangle \right\| \leq
x2+y2+2xy=\lvert x \rvert ^2 + \lvert y \rvert ^2 + 2\lvert x \rvert \cdot \lvert y \rvert =
(x.y)2\left( \lvert x \rvert . \lvert y \rvert \right)^2

Definice

Buď VV vektorový prostor nad R\R nebo C\C. Pak norma je zobrazeni :VR\|\cdot\|: V \rightarrow \R splňující:

  1. x0\left\| x \right\| \geq 0 pro všechna xVx \in V, a rovnost pauze pro x0x \neq 0
  2. αx=αx\left\|\alpha x\right\| = \left\| \alpha \right\| \cdot \left\|x\right\| pro všechna xVx \in V a pro všechna αR\alpha \in \R resp. αC\alpha \in \C
  3. x+yx+y\left\| x+y \right\| \leq \left\|x\right\| + \left\| y \right\|

Tvrzení

Norma indukovaná skalárním součinem je normou.

Důkaz

  1. z definice
  2. αx=αx,αx=ααx,x=ααx,x=αx\left\| \alpha x \right\| = \sqrt{ \langle \alpha x, \alpha x \rangle} = \sqrt{ \alpha \overline{\alpha} \langle x,x \rangle} = \sqrt{ \alpha \overline{\alpha}} \sqrt{\langle x, x\rangle} = |\alpha| \cdot \|x\|
  3. vyplývá z trojúhelníkové nerovnosti

Lemma

Rovnoběžné pravidlo

Pro normu indukovanou skalárním součinem platí:

xy2+x+y2=2x2+2y2\| x - y \|^{2} + \| x + y \|^{2} = 2\| x \|^{2} + 2\| y \|^{2}

Definice

Metrika

Metriku na množině MM definujeme jako zobrazení d:M2Rd: M^{2} \rightarrow \R splňující:

  1. d(x,y)0d(x,y) \leq 0, rovnost pouze pro x=yx=y
  2. d(x,y)=d(y,x)d(x,y) = d(y,x)
  3. d(x,y)d(x,y)+d(y,x)d(x,y) \leq d(x,y) + d(y,x)

Poznámka

Každá norma určuje metriku předpisem:

d(x,y):=xyd(x, y) := \left\| x-y \right\|

Tedy vzdálenost vektorů x,yx,y se zavádí jako velikost jejich rozdílů.

Definice

Pro p=1,2,p=1,2,\ldots definujeme pp-normu vektoru xRnx \in \R^{n} jako xp=(i=1nxip)1p\left\| x \right\|_{p} = \left(\sum_{i=1}^{n} \lvert x_{i} \rvert^p \right)^{\frac{1}{p}}.

Známé normy

p=1p=1 Součtová norma x1=i=1nxi\left| x \right|_{1} = \sum^{n}_{i=1} \lvert x_{i} \rvert p=1 norma
p=2p=2 Euklidovská norma x2=i=1nxi2\left| x \right|_{2} = \sqrt{\sum^{n}_{i=1} x_{i}^{2}} p=2 norma
p=p=\infty Maximorá norma x=maxi=1,...,nxi\left| x \right|_{\infty} = \max_{i=1,...,n} \lvert x_{i} \rvert p=inf norma

Ortogonální a ortonormální systémy

Definice

Systém vektorů z1,,znz_{1}, \ldots, z_{n} je

Tvrzení

Je-li systém z1,,znz_{1}, \ldots, z_{n} ortonormální, pak je lineárně nezávislý.

Důkaz

i=1nαizi,zk=0,zk=0\langle\sum_{i=1}^{n} \alpha_{i} z_{i}, z_{k}\rangle = \langle 0, z_{k}\rangle = 0
i=1nαizi,zk=i=1nαizi,zk=0\langle\sum_{i=1}^{n} \alpha_{i} z_{i}, z_{k}\rangle = \sum_{i=1}^{n} \alpha_{i} \langle z_{i}, z_{k} \rangle = 0

Fourierovy koeficienty

Věta

Buď z1,,znz_{1}, \cdots, z_{n} ortonormální báze prostoru VV. Pak pro každé xVx \in V platí:

x=i=1nx,ziFourierovy koeficientyziFourieru˚v rozvoj\underbrace{ x = \sum^{n}_{i=1}\hspace{-2em} \overbrace{\langle x, z_{i} \rangle}^{\text{Fourierovy~koeficienty\\}}\hspace{-2em} z_{i} }_{\text{Fourierův~rozvoj}}

Důkaz

x=i=1nαizix = \sum^{n}_{i=1} \alpha_{i}z_{i} \rightarrow lineární kombinace
x,zk=i=1nx,zizk=αkzk,zk=αk\langle x, z_{k} \rangle = \sum^{n}_{i=1} \langle x, z_{i} \rangle z_{k} = \alpha_{k} \langle z_{k}, z_{k} \rangle = \alpha_{k}

Představuje projekci na bazické vektory

Gramova-Schmitzova ortogonalizace

Algoritmus:
Vstup: lineárně nezávislé vektory x1,,xnVx_{1}, \ldots, x_{n} \in V

  1. for k:=1k:=1 to nn
  2.     yk:=j=1k1xk,zjzjy_{k} := \sum^{k-1}_{j=1} \langle x_{k},z_{j} \rangle z_{j} // nakolmíme odečtením projekce do podprostoru
  3.     zk:=ykykz_{k} := \frac{y_{k}}{\left\| y_{k} \right\|}
  4. end for

Výstup: z1,,znz_{1},\ldots, z_{n} ortonormální báze prostoru span{x1,,xn}span\{x_{1},\ldots,x_{n}\}

Důkaz

Matematickou indukcí:

  1. n=1n=1
  2. Indukční předpoklad: z1,,zn1z_{1}, \ldots, z_{n-1} je ortonormální bází span{x1,,xn1}span\{x_{1},\ldots,x_{n-1}\}, yny_{n} je nenulové z lineární nezávislosti, je dobře definovaná a má jednotkovou délku pak už jen dokážeme, že je kolmý a že tvoří bázi.

Tvrzení

Důsledek: Existence ortonormální báze

Každý konečně generovaný prostor se skalárním součinem má ortogonální bázi.

Důkaz

Každý má bázi a tu můžeme Gram-Schmitzem ortogonalizovat.

Tvrzení

Důsledek: Rozšíření ortonormálních systémů na ortonormální bázi

Každý ortonormální systém vektorů v konečně generovaném prostoru lze rozšířit na ortonormální bázi.

Věta

Buď z1,,znz_{1},\ldots,z_{n} ortonormální systém ve VV a buď xVx \in V.

Besselova nerovnost:

x2j=1nxj,zj\| x \|^{2} \geq \sum^{n}_{j=1} \lvert \langle x_{j},z_{j} \rangle \rvert

Parsevalova rovnost:

x2=j=1nxj,zj    xspan{z1,,zn}\| x \|^{2} = \sum^{n}_{j=1} \lvert \langle x_{j},z_{j} \rangle \rvert \iff x \in span\{z_{1},\ldots, z_{n}\}

Tvrzení

Buď B={z1,,zn}B=\{z_{1},\ldots,z_{n}\} báze prostoru VV. Pak

x,y:=[x]BT[y]B\langle x,y \rangle := [x]^{T}_{B} \overline{[y]}_{B}

Je skalárním součinem a báze BB je v něm ortonormální bází:

Důkaz

Stačí ověřit z definic:

  1. x,x=[x]BT[x]B0\langle x,x \rangle = [x]^{T}_{B}\overline{[x]}_{B} \geq 0
  2. linearita v první složce vyplývá z linearity souřadnic
  3. symetrie také ze symetrie souřadnic

Příklad:
A:=B[id]kanA := _{B}[id]_{kan}
x,y=[x]BT[y]B=[x]kanTB[id]TB[id][y]kan=xTATAy\langle x,y \rangle = [x]^{T}_{B}[y]_{B} = [x]^{T}_{kan} {\text{}}_{B}[id]^{T} {}_{B}[id] [y]_{kan} = x^{T}A^{T}A_{y}

x=[x]B2=[x]BT[x]B\| x \| = \left\| [x]_{B} \right\|_{2} = \sqrt{[x]^{T}_{B}\overline{[x]}_{B}}

Definice

Definice ortogonální báze

Projekce vektoru xVx \in V do podprostoru UVU \Subset V je takový vektor xUUx_{_{U}} \in U, který splňuje

xxU=minyUxy\| x - x_{_{U}} \| = \min_{y \in U} \| x - y \|

Tvrzení

Tvrzení o kolmici

Buď UVU \Subset V, buď xVx \in V a yUy \in U takové, že xyUx-y \in U^{\perp}. Pak

xy<xzzU{y}\| x - y \| < \| x - z \| \quad \forall z \in U \setminus \{y\}

Tedy vektor yy je jednoznačnou projekcí vektoru xx do UU.

Důkaz

z předpokladu (xy)(yz)(x-y)\perp(y-z)
využitím Pythagorovy věty xz2=xy2+yz2xy2\| x-z \|^{2} = \| x - y \|^{2} + \| y-z \|^{2} \geq \| x - y \|^{2}
rovnost nastane jen pro y=zy=z protože 00 je norma jen pro nulový vektor.

Věta

Buď UVU \Subset V. Pak pro každé xVx \in V existuje právě jedna projekce xUUx_{_{U}} \in U do podprostoru UU.

Navíc jeli z1,,znz_{1}, \ldots, z_{n} ortonormální báze UU pak

xU=i=1nx,zizix_{_U} = \sum^{n}_{i=1} \langle x,z_{i} \rangle z_{i}

Důkaz

Rozšíříme bázi UU na bázi VV z1,,zm,zm+1,,znz_{1},\ldots, z_{m}, z_{m+1},\ldots, z_{n}
Definujeme y=i=1mx,ziziUy = \sum^{m}_{i=1} \langle x,z_{i} \rangle z_{i} \in U a ukážeme, že je projekcí

xy=i=1nx,zizii=1mx,zizi=i=n+1nx,ziziUx - y = \sum^{n}_{i=1} \langle x,z_{i} \rangle z_{i} - \sum^{m}_{i=1} \langle x,z_i \rangle z_i = \sum^{n}_{i=n+1} \left\langle x,z_{i} \right\rangle z_{i} \in U^{\perp}

Poznámka: Ortogonální projekce je lineární zobrazení

Definice

Buď VV vektorový prostor a UU jeho podprostor. Pak projekcí xUx \in U rozumíme takový xUUx_{U} \in U, který splňuje

xxU=minyUxy\| x - x_{U} \| = \min_{y \in U} \| x -y \|

Ortogonální projekce

Důsledek

Vektor yUy \in U je projekcí vektoru xVx \in V do podprostoru UU právě tehdy, když xyUx-y \in U^{\perp}

Věta

Věta o ortogonální projekci

Buď UU podprostor VV. Pak pro xinV\forall x in V existuje právě jedna projekce x0Ux_{0} \in U do UU.

Navíc, je-li z1,,zmz_{1},\ldots, z_{m} ortonormální báze UU, pak

xU=i=1mx,zizix_{_{U}} = \sum^{m}_{i=1} \langle x,z_{i} \rangle z_{i}

Důkaz

xxU=i=1nx,zizii=1mx,ziziUx-x_{_{U}} = \sum^{n}_{i=1} \langle x,z_{i} \rangle z_{i} - \sum^{m}_{i=1} \langle x,z_{i} \rangle z_{i} \in U^{\perp}

Tudíž (xx0)(xUy)(x - x_{_{0}}) \perp (x_{_{U}} - y). Použijeme pythagorovu větu:

x+y2=(xxU)+(xUy)2=xxU2+xUyxu2\| x + y \|^{2} = \|(x - x_{_{U}}) + (x_{_{U}} - y) \|^{2} = \| x - x_{_{U}} \|^{2} + \| x_{_{U}} - y \| \geq \| x_{_{u}} \|^{2}

Příklad projekce na přímku při standardním skalárním součinu

xu=x,zz=1a2x,aa=xTaaTaax_{u} = \langle x,z \rangle z = \frac{1}{\| a \|^{2}} \langle x,a \rangle a = \frac{x^{T}a}{a^{T}a}a

Tvrzení

Buď BB ortonormální báze prostoru VV se skalárním součinem. Pak

x,y=[x]BT[y]Bx,yV\langle x,y \rangle = [x]^{T}_{B}\overline{[y]}_{B} \quad \forall x,y \in V

Důkaz

Buď B={z1,,zn}B = \{ z_{1}, \ldots, z_{n}\}. Pak [x]B=(x,z1,,x,zn)T[x]_{B} = (\langle x, z_{1} \rangle, \ldots, \langle x, z_{n} \rangle)^{T}

x,y=j=1nx,zjzj,y=j=1nx,zjy,zj=[x]BT[y]B\langle x,y \rangle = \left\langle \sum^{n}_{j=1} \left\langle x,z_{j} \right\rangle z_{j}, y \right\rangle = \sum^{n}_{j=1} \langle x,z_{j} \rangle \overline{\langle y,z_{j} \rangle} = [x]^{T}_{B}\overline{[y]}_{B}

Definice

Buď VV vektorový prostor a MVM \subseteq V. Ortogonální doplněk množiny MM je

M:={xV;x,y=0yM}M^{\perp} := \{x \in V; \langle x,y \rangle = 0 \quad \forall y \in M \}

Ortogonální doplněk prostoru = ortogonální doplněk báze

Tvrzení

Buď VV vektorový prostor a M,NVM,N \subseteq V. Pak

  1. MM^{\perp} je podprostor VV
  2. je-li MNM \subseteq N pak MNM^{\perp} \subseteq N^{\perp}
  3. M=span(M)M^{\perp} = span(M)^{\perp}

Důkaz

  1. Ověřením vlastností podprostoru
  2. Buď xNx \in N^{\perp}, tedy x,y=0  yNx,y=0  yMN\langle x,y \rangle = 0 \; \forall y \in N \langle x,y \rangle = 0 \; \forall y \in M \subseteq N a proto xMx \in M^{\perp}
  3. Mspan(M)M \subseteq span(M) a dle 2. Mspan(M)M^{\perp} \subseteq span(M)^{\perp}

Věta

Vlastnosti ortogonálního doplňku podprostoru

Buď UVU \Subset V, buď z1,,znz_{1},\ldots,z_{n} ortogonnální báze VV, a buď z1,,zn,zn+1,,zmz_{1},\ldots, z_{n}, z_{n+1},\ldots, z_{m} její rozšíření na ortonormální bázi VV. Pak zn+1,,zmz_{n + 1}, \ldots, z_{m} je ortonormální báze UU^{\perp}

Důkaz

Stačí dokázat span{zn+1,,zm}=Uspan\{z_{n+1},\ldots,z_m\} = U^{\perp}.
Inkluze “\supseteq” vezmeme Fourierův rozvoj - prvních mm členů vypadne a zbude:

x=i=n+1mx,zzispan{zn+1,,zm}x = \sum^{m}_{i=n+1} \langle x,z \rangle z_{i} \in span\{z_{n + 1}, \ldots, z_{m}\}

Inkluze “\subseteq” Buď xspan{zn+1,,zm}x \in span\{z_{n+1},\ldots,z_{m}\}

x=i=n+1mx,zzi=i=1n0zi+i=n+1mx,zizix = \sum^{m}_{i=n+1} \langle x,z \rangle z_{i} = \sum^{n}_{i=1} 0z_{i} + \sum^{m}_{i=n+1} \langle x,z_i \rangle z_{i}

Věta

Důsledek: Vlastnosti ortogonálního doplňku podprostoru

Buď UVU \Subset V. Potom platí

  1. dimV=dimU+dimU\dim V = \dim U + \dim U^{\perp}
  2. V=U+UV = U + U^{\perp}
  3. UU={0}U \cap U^{\perp} = \{0\}
  4. U=(U)U = (U^{\perp})^{\perp}
  5. Je-li z1,,zmz_{1},\ldots,z_{m} ortonormální báze UU, a je-li z1,,zm,zm+1,,znz_{1},\ldots,z_{m}, z_{m+1},\ldots, z_{n} její rozšíření na ortonormální bází VV, pak zm+1,,znz_{m+1},\ldots,z_{n} je ortonormální báze UU^{\perp}.

Důkaz

2. dimV=ndim V = n,dimU=mdim U = m, dimU=nmdim U^{\perp} = n - m
5. zm+1,,znz_{m+1},\ldots,z_{n} je ortonormální systém. Chceme dokázat, že span{zm+1,,zn}=Uspan\{z_{m+1},\ldots,z_{n}\} = U^{\perp}A

xV:x=i=1nx,zizi\forall x \in V: x = \sum^{n}_{i=1} \langle x,z_{i} \rangle z_{i}

Je-li xUx \in U^{\perp}, pak x,zi=0,  i=1m\langle x,z_{i} \rangle = 0, \; i = 1 \ldots m a tudíž

x=i=m+1nx,zizispan{zm+1,,zn}x = \sum^{n}_{i=m+1} \langle x,z_{i} \rangle z_{i} \in span\{z_{m+1},\ldots,z_{n}\}

Věta

Buď ARm×nA \in \R^{m \times n}. Pak R(A)=Ker(A)R(A)^{\perp} = Ker(A)

Důkaz

R(A)={(A1 )T,(Am )T}R(A)^{\perp} = \left\{ \left( A_{1~*} \right)^{T}, \ldots \left( A_{m~*} \right)^{T}\right\}
Tedy xR(A)xx \in R(A)^{\perp} \equiv x \perp na řádky AA

Důsledek

Buď ARm×nA \in \R^{m \times n}. Pak R(A)Ker(A)=RnR(A) \oplus Ker(A) = \R^{n}

Věta

Větička o vlastnostech matice AA versus ATAA^{T}A

Buď ARm×nA \in \R^{m \times n}. Pak

  1. Ker(ATA)=Ker(A)Ker(A^{T}A) = Ker(A)
  2. R(ATA)=R(A)R(A^{T}A) = R(A)
  3. rank(ATA)=rank(A)rank(A^{T}A) = rank(A)

Důkaz

1. Je-li xKer(A)x \in Ker(A), pak Ax=0Ax = 0 a tedy

ATAx=AT0=0    xKer(ATA)A^{T}Ax = A^{T}0 = 0 \implies x \in Ker(A^{T}A)

obráceně

xKer(ATA)xTATAx=0(Ax)TAx=0(Ax)2=0x \in Ker(A^{T}A) \rightarrow x^{T}A^{T}Ax = 0 \rightarrow (Ax)^{T}Ax = 0 \rightarrow (Ax)^{2} = 0

2. vyřešíme R(A)=ker(A)R(A) = ker(A)^{\perp}
3. Když jsou stejné řádky, potom mají stejnou dimenzi a i hodnost

Tvrzení

Maticové prostory a lineární zobrazení

Uvažujme lineární zobrazení f(x)=Axf(x)=Ax, kde ARm×nA \in \R^{m \times n}. Pokud definiční obor f(x)f(x) omezíme pouze na prostor R(A)R(A), dostaneme isomorfismus mezi R(A)R(A) a f(Rn)f(\R^{n}).

Důkaz

Buď xRn,R(A)Ker(A)=Rnx \in \R^{n}, R(A) \oplus Ker(A) = \R^{n}, rozložíme na x=xr+xkx=x_{r}+x_{k}, kde xrR(A)x_{r} \in R(A) a xkKer(A)x_{k} \in Ker(A). Pak

f(x)=Ax=A(xr+xk)=Axr+Axk0=Axrf(x) = Ax = A(x_{r} + x_{k}) = Ax_r + \overbrace{Ax_{k}}^{0} = Ax_{r}

Věta

Buď ARm×nA \in \R^{m \times n} hodností nn. Pak je projekce vektoru xRmx \in \R^{m} do sloupcového prostoru S(A)S(A)

x=A(ATA)1ATxx' = A(A^{T}A)^{-1}A^{T}x

Důkaz

Nejdříve dokážeme, že je dobře definován, pak xS(A)x' \in S(A) a xxS(A)x - x' \in S(A)^{\perp}
xS(A)x' \in S(A), x=Azx' = Az pro z=(ATA)1ATxz = \left(A^{T}A\right)^{-1}A^{T}x
xxS(A)=R(AT)=Ker(AT)x-x' \in S(A)^{\perp} = R(A^{T})^{\perp} = Ker(A^{T}) \rightarrow vynásobíme s AT(xx)=0A^{T}(x - x') = 0 (po úpravě)

Definice

Matice projekce do S(A)S(A)

P:=A(ATA)1AT(=AAT pro ortonormaˊlnıˊ baˊzi)P := A(A^{T}A)^{-1}A^{T} ( = AA^{T} \text{ pro ortonormální bázi})

Tvrzení

Matice PRn×nP \in \R^{n \times n} je maticí projekce právě tehdy když je symetrická a P=P2P = P^2.

Příklad:
Matice projekce P=a(aTa)1aTP = a(a^{T}a)^{-1}a^{T}

Px=a(aTa)1aTx=aTxaTaaPx = a(a^{T}a)^{-1}a^{T}x = \frac{a^{T}x}{a^{T}a}a

pokud aa znormujeme, tak P=aaTP = aa^{T}.

Věta

Ortogonální projekce do doplňku

Buď PRn×nP \in \R^{n \times n} matice projekce do podprostoru VRnV \Subset \R^{n}. Pak IPI - P je maticí projekce do VV^{\perp}

Důkaz

xRn\forall x \in \R^{n} platí x=y+zx = y + z kde yVy \in V a zVz \in V^{\perp}.
Zde yy je projekce xx do VV a zz projekce xx do VV^{\perp}

Metoda nejmenších čtverců

minxRnAxb22=minxRni=1n(Ai xbi)2\min_{x \in \R^{n}} \left\| Ax - b \right\|^{2}_{2} = \min_{x \in \R^{n}} \sum^{n}_{i=1} \left( A_{i~*}x - b_{i} \right)^{2}

přenásobíme ATA^{T}

ATAx=ATbA^{T}Ax = A^{T}b

Věta

Množina přibližných řešení soustavy Ax=bAx=b metodou nejmenších čtverců je neprázdná a rovna množině řešení normálních rovnic.

Důkaz

Hledáme projekci bb do podprostoru S(A)S(A).
Projekce je tvaru AxAx, kde xRnx \in \R^{n}.
Víme, že AxAx je projekcí AxbS(A)TKer(A)T\equiv Ax-b \in S(A)^{T} - Ker(A)^{T}
    AT(Axb)=0    ATAx=ATb\implies A^{T}(Ax - b) = 0 \implies A^{T}Ax = A^{T}b.

Důsledek

Buď ARm×nA \in R^{m \times n} hodnosti nn. Pak přibližné řešení soustavy Ax=bAx=b metodou nejmenších čtverců je jednoznačné a tvaru

x=(ATA)1ATbx^{*} = (A^{T}A)^{-1}A^{T}b

Definice

Matice QRnQ \in \R^{n} je ortogonální pokud QTQ=InQ^{T}Q = I_{n} (Q1=QT)Q^{-1} = Q^{T})
Matice QRnQ \in \R^{n} je unitární, pokud QTQ=In\overline{Q^{T}}Q = I_{n}

Tvrzení

Charakterizace ortogonálních matic

Matice QRn×nQ \in \R^{n \times n} je ortogonální právě tehdy když sloupce QQ tvoří ortonormální bázi Rn\R^{n}.

Důkaz

(QTQ)ij=Qi,Qj={1i=j0ij(Q^{T}Q)_{ij} = \langle Q_{*i}, Q_{*j} \rangle = \begin{cases} 1 & i = j\\ 0 & i \neq j \end{cases}

Tvrzení

Buď QRn×nQ \in \R^{n \times n} ortogonální. Pak

  1. QTQ^{T} je ortogonální
  2. Q1Q^{-1} existuje a je ortogonální

Tvrzení

Součin ortogonálních matic

Jsou-li Q1,Q2Rn×nQ_{1},Q_{2} \in \R^{n \times n} ortogonální, pak Q1Q2Q_{1}Q_{2} je taky ortogonální.

Důkaz

(Q1Q2)T(Q1Q2)=Q2TQ1TQ1Q2=Q2TQ2=In(Q_{1}Q_{2})^{T}(Q_{1}Q_{2}) = Q^{T}_{2}Q^{T}_{1}Q_{1}Q_{2} = Q^{T}_{2}Q_{2} = I_{n}

Příklady ortogonálních matic

Poznámka

každou ortogonální matici řádu nn lze vyjádřit jako součin maximálně nn Hesenholderových matic

Givensova matice

pro n=2n=2

(cosϕsinϕsinϕcosϕ)\begin{pmatrix} \cos \phi & -\sin \phi \\ \sin \phi & cos \phi \end{pmatrix}

otočí ϕ\phi protisměru hodinových ručiček, kde cos2ϕ+sin2ϕ=1\cos^{2} \phi + \sin^{2} \phi = 1. Pro větší nn doplňujeme jednotkovými maticemi.

Poznámka

Každou ortogonální matici řádu nn lze vyjádřit jako součin max (n2)\binom{n}{2} Givensových matic.

Věta

Buď QRn×nQ \in \R^{n \times n} ortogonální. Pak

  1. Qx,Qy=x,y\langle Qx,Qy \rangle = \langle x,y \rangle pro každé x,yRnx,y \in \R^{n}
  2. Qx=x\| Qx \| = \| x \| pro každé xRnx \in \R^{n} (kdy i rozšířená matice o 1 řád je ortogonální)

Důkaz

  1. QxQy=(Qx)TQyxTQTQy=xTIny=xT=x,y\langle Qx Qy \rangle = \left( Qx \right)^{T} Qy - x^{T}Q^{T}Qy = x^{T}I_{n}y = x^{T} = \langle x,y \rangle
  2. Qx=Qx,Qxx,x=x\| Q_{x} \| = \sqrt{\left\langle Qx, Qx \right\rangle} - \sqrt{\left\langle x,x \right\rangle} = \|x\|

    \implies zobrazení xQxx \rightarrow Qx zachová úhly a délky jen pro ortogonální matice

Věta

Buď QRn×nQ \in \R^{n \times n} ortogonální. Pak

  1. Qij1\lvert Q_{ij} \rvert \leq 1 a Qij11\lvert Q^{-1}_{ij} \rvert \leq 1 pro každé i,j=1,,ni,j=1,\ldots,n
  2. (100Q)T\begin{pmatrix} 1 & 0 \\ 0 & Q \end{pmatrix}^{T} je ortogonální amtice

Důkaz

Buď z1,,znz_{1},\ldots,z_{n} báze Rn\R^{n}, buď vRnv \in \R^{n} a chceme v=i=1nxiziv=\sum^{n}_{i=1} x_{i}z_{i}

Determinant

Definice

Determinant zobrazení A\lvert A \rvert

det(A)=ΠSnsgn(Π)i=1nai Π(i)\det(A) = \sum_{\Pi \in S_{n}} sgn(\Pi) \prod^{n}_{i=1} a_{i~\Pi_{\left( i \right)}}

Celkový počet permutací je n!n!

Determinant horní trojúhelníkové matice

AΠn×nA \in \Pi^{n \times n} je horní trojúhelníková matice. Pak

det(A)=a1 1a2 2an n\det(A) = a_{1~1} \cdot a_{2~2} \cdot \ldots \cdot a_{n~n}

Determinant transpozice

det(AT)=ΠSnsgn(Π)i=1nai Π(i)=det(A)\det(A^T) = \sum_{\Pi \in S_{n}} sgn(\Pi) \prod^{n}_{i=1} a_{i~\Pi_{\left( i \right)}} = \det(A)

Vlastnosti determinantů

Determinantská složitost

Věta

Řádková linearita determinantu AΠn×n,bΠnA \in \Pi^{n \times n}, b \in \Pi^{n}. Potom pro každé ini \leq n platí, že

det(A+ebT)=det(A)+det(A+e(bTAi ))\det(A + eb^{T}) = \det(A) + \det(A + e \cdot (b^{T} - A_{i~*}))

Věta

Výpočet determinantu pomocí Gaussovy eliminace

det(A)=αdet(A)\det(A') = \alpha\det(A) det(A)=det(A)\det(A') = -\det(A) det(A)=det(A)\det(A') = \det(A)

Důsledek:
Matice AA je regulární právě tehdy když det(A)0\det(A) \neq 0

Věta

Laplacův rozvoj podle ii-tého řádku AΠn×nA \in \Pi^{n \times n} n2n \geq 2, pro každé i=1,,ni=1,\ldots,n

det(A)=j=1n(1)i+jai jdet(Aij)\det(A) = \sum^{n}_{j=1} (-1)^{i+j}a_{i~j} \det(A^{ij})

Věta

AΠn×nA \in \Pi^{n \times n} regulární, bΠnb \in \Pi^{n}

xi=det(A+(bA i)eidet(A) ; i=1,,nx_{i} = \frac{\det(A + ( b - A_{*~i})e_{i}}{\det(A)}~;~i=1,\ldots,n

Důsledek

Zobrazení (A,b)A1b(A,b) \rightarrow A^{-1}b je spojité na definičním oboru regulárních matic.

Věta

Gaussovu eliminaci lze provádět tak, že k zápisu každé matice během výpočtu stačí pouze polynomiální počet bitů (v kk).

Definice

Adjungovaná matice

Nechť AΠn×n,n2A \in \Pi^{n \times n}, n \geq 2.

adj(A)i j=(1)i=jdet(Aj i) ; i,j=1,,nadj(A)_{i~j} = (-1)^{i = j}\det(A^{j~i})~;~i,j = 1,\ldots,n

kde AjiA^{ji} vznikne z AA vynecháním jj-tého řádku a ii-tého sloupce.

Věta

AΠn×n    Aadj(A)=det(AIn)A \Subset \Pi^{n \times n} \implies A adj(A) = \det(AI_{n})

Důsledek

AΠn×nA \in \Pi^{n \times n} je regulární. Potom A1=1det(A)adj(A)A^{-1} = \frac{1}{\det(A)}adj(A)

Vlastní čísla

Definice

Vlastní čísla a vlastní vektory

Buď ACn×nA \in \C^{n \times n}. Pak λC\lambda \in \C je vlastní číslo matice AA a xCnx \in \C^{n} jemu příslušný vlastní vektor pokud

Ax=λxx0Ax = \lambda x \land x \neq 0

Věta

Buď ACn×nA \in \C^{n \times n}. Pak

1. λC\lambda \in \C je vlastním číslem AA právě tehdy když

det(AλIn)=0\det(A - \lambda I_{n}) = 0

2. xCnx \in \C^{n} je příslušným vlastním vektorem právě tehdy, když

0xKer(AλIn)0 \neq x \in Ker(A -\lambda I_{n})

Tvrzení

Vlastní čísla trojúhelníkové matice

Nechť ACn×nA \in \C^{n \times n} je trojúhelníková matice. Pak její vlastní čísla jsou prvky na diagonále.

Definice

Charakteristický polynom matice ACn×nA \in \C^{n \times n} proměnné λ\lambda je

PA=det(AλI)P_{A} = \det(A -\lambda I)

Věta

Vlastní čísla matice ACn×nA \in \C^{n \times n} jsou právě kořeny jejího charakteristického polynomu PA(λ)P_{A}(\lambda) a je jich nn včetně násobností.

Definice

Buď λC\lambda \in \C vlastní číslo matice ACn×nA \in \C^{n \times n}.

  1. Algebraická násobnost λ\lambda je rovna
  2. Geometrická násobnost λ\lambda je rovna nrank(AλIn)n - rank(A-\lambda I_{n}), to je počtu lineárně nezávislých vlastních vektorů, které odpovídají λ\lambda.

Tvrzení

Součin a součet vlastních čísel:

  1. det(A)=λ1λn\det(A) = \lambda_{1} \cdot \ldots \cdot \lambda_{n}
  2. trace(A)=λ1++λntrace(A) = \lambda_{1} + \ldots + \lambda_{n}

A je regulární právě tehdy když 00 není její vlastní číslo.

Tvrzení

Nechť ACn×nA \in \C^{n \times n} má vlastní čísla λ1,,λ\lambda_{1}, \ldots, \lambda a jim odpovídající vlastní vektory x1,,xnx_{1}, \ldots, x_{n}. Pak

  1. je-li AA regulární, pak A^{-1} má vlastní čísla λ11,λn1\lambda^{-1}_{1}, \ldots \lambda^{-1}_{n} a vlastní vektory x1,,xnx_{1}, \ldots, x_{n}
  2. A2A^{2} má vlastní čísla λ12,,λn2\lambda^{2}_{1}, \ldots, \lambda^{2}_{n} a vlastní vektory x1,,xnx_{1}, \ldots, x_{n}
  3. αA\alpha A má vlastní čísla αλ,,αλn\alpha \lambda, \ldots, \alpha \lambda_{n} a vlastní vektory x1,,xnx_{1}, \ldots, x_{n}
  4. A+αInA + \alpha I_{n} má vlastní čísla λ1+α,,λn+α\lambda_{1} + \alpha, \ldots, \lambda_{n}+ \alpha a x1,,xnx_{1}, \ldots, x_{n}
  5. ATA^{T} má vlastní čísla λ1,,n\lambda_{1}, \ldots, \ldots_{n}, ale vlastní vektory obecně jiné.

Je-li λC\lambda \in \C vlastní číslo matice ARn×nA \in \R^{n \times n} pak i komplexně sdružené λ\overline{\lambda} je vlastním číslem AA

Tvrzení

Buď ACn×nA \in \C^{n \times n}. Je-li AA regulární, pak

A1span{In,A,,An1}A^{-1} \in span\{I_{n}, A, \ldots, A^{n-1}\}

Tedy A1A^{-1} je lineární kombinací matic In,A,,An1I_{n}, A, \ldots, A^{n-1}.

Důkaz

Víme, že A1=(1)nAn+αn1An1++α1A+α0In=0A^{-1} = (-1)^{n}A^{n} + \alpha_{n-1}A^{n-1} + \ldots + \alpha_{1}A + \alpha_{0} I_{n} = 0
Také víme, že α0=det(A)0\alpha_{0} = \det(A) \neq 0.

I=(1)nα0Anαn1α0An1++α1α0A=A((1)nα0An1αn1α0An2++α1α0In)I = -\frac{(-1)^{n}}{\alpha_{0}}A^{n} - \frac{\alpha_{n}-1}{\alpha_{0}}A^{n-1} + \ldots + -\frac{\alpha_{1}}{\alpha_{0}}A =\\ A\left(-\frac{(-1)^{n}}{\alpha_{0}}A^{n-1} - \frac{\alpha_{n}-1}{\alpha_{0}}A^{n-2} + \ldots + -\frac{\alpha_{1}}{\alpha_{0}}I_{n}\right)

Vynásobíme A1A^{-1}

A1=(1)nα0An1αn1α0An2α1α0InA^{-1} = -\frac{(-1)^{n}}{\alpha_{0}}A^{n-1} - \frac{\alpha_{n-1}}{\alpha_{0}}A^{n-2}-\ldots - \frac{\alpha_{1}}{\alpha_{0}}I_{n}

Dá se díky tomu částečně dobře spočítat výsledek s nízkým počtem matic.

Definice

Matice A,BCn×nA,B \in \C^{n \times n} jsou podobné, pokud existují regulární SCn×nS \in \C^{n \times n} tak, že

A=SBS1AS=SBA = SBS^{-1} \equiv AS=SB

Věta

Podobné matice mají stejná vlastní čísla

Důkaz

A=SBS1PA(λ)=det(AλIn)=det(SBS1λSIS1)=det(S(BλIn)S1)=det(S)det(BλIn)det(S1)=det(BλIn)=PB(λ)A = SBS^{-1}\\ \\ P_{A}(\lambda) = \\ \det(A - \lambda I_{n}) = \\ \det(SBS^{-1} - \lambda SIS^{-1}) = \\ \det\left( S \left( B - \lambda I_{n} \right) S^{-1} \right) = \\ \det(S) \cdot \det(B - \lambda I_{n}) \cdot \det(S^{-1}) = \\ \det(B - \lambda I_{n}) = P_{B}(\lambda)

Tvrzení

Nechť A,B,CCn×nA,B,C \in \C^{n \times n} jsou podobné a λ\lambda je jejich vlastní číslo. Pak počet vlastních vektorů pro λ\lambda