Strojové učení

[Edit]

Definice predikční funkce lineární regrese

y(x;w,b)=i=1Dxiwi+b=xTw+by(x;w,b) = \sum_{i=1}^{D}x_{i}w_{i}+b = x^{T}w+b

L2L_2 regularized mean squared error loss

Někdy se nazývá “weigthed decay”

12i=1N(y(xi;w)ti)2+λ2w2\frac{1}{2}\sum_{i=1}^{N}\left(y\left(x_{i};w\right) - t_{i}\right)^{2} + \frac{\lambda}{2} \lVert w \rVert^2

Starting from the unregularized sum of squares error of a linear regression model,show how the explicit solution can be obtained, assuming (X T X) is regular.

w=(XTX)1XTtw = (X^{T}X)^{-1}X^{T}t

Expected value (Střední hodnota)

EX P[f(x)]=xP(x).f(x)\mathbb{E}_{X~P}[f(x)] = \sum_{x}P(x).f(x)

Variace

Jak moc se hodnoty liší od jejich střední hodnoty

Var(f(x))=E[(f(x)[f(x)])2]Var(f(x)) = \mathbb{E}\left[(f(x) - \mathbb[f(x)])^{2}\right]

Bias

LaTeX\LaTeX