机器学习中的数学公式测试

基础符号与上下标

• 变量与下标：$x_i,y_j,z_{k+1}$
• 上标与幂运算：$a^2,b^n,e^{kx},2^{i+j}$
• 混合上下标：$x_n^m,{\theta }_i^{t+1},{\alpha }_j^{(\ell )}$
• 希腊字母：$\alpha ,\beta ,\gamma ,\delta ,ϵ,\lambda ,\mu ,\sigma ,\omega$
• 大写希腊字母：$\mathrm{\Lambda },\mathrm{\Sigma },\mathrm{\Omega },\mathrm{\Delta }$

线性代数

• 向量：$\mathbf{x},\mathbf{y},\mathbf{w}=(w_1,w_2,...,w_n{)}^T$
• 矩阵：$\mathbf{A},\mathbf{B},\mathbf{X}\in {\mathbb{R}}^{m\times n}$
• 矩阵乘法：$\mathbf{C}=\mathbf{A}\mathbf{B}$，其中 $C_{ij}=\sum _{k=1}^n{A}_{ik}{B}_{kj}$
• 转置：${\mathbf{A}}^T,(\mathbf{x}{\mathbf{y}}^T{)}^T$
• 逆矩阵：${\mathbf{A}}^{-1},({\mathbf{B}}^T\mathbf{B}{)}^{-1}$
• 特征值与特征向量：$\mathbf{A}\mathbf{v}=\lambda \mathbf{v}$

微积分

• 导数：$\frac{dy}{dx},\frac{\partial f}{\partial x_i},\mathrm{\nabla }f(x)$
• 偏导数：$\frac{\partial L}{\partial \theta },\frac{{\partial }^{2}J}{\partial w\partial b}$
• 梯度：$\mathrm{\nabla }J(\theta )={(\frac{\partial J}{\partial {\theta }_1},\frac{\partial J}{\partial {\theta }_2},...,\frac{\partial J}{\partial {\theta }_n})}^T$
• 积分：${\int }_a^{b}f(x)dx,{\iint }_{D}g(x,y)dxdy,{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-x^2}dx=\sqrt{\pi }$

机器学习核心公式

• 线性回归：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n={\theta }^T\mathbf{x}$
• 逻辑回归：$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^T\mathbf{x}}}$
• 损失函数：$L(y,\hat{y})=-(y\log \hat{y}+(1-y)\log (1-\hat{y}))$
• 梯度下降更新：${\theta }_j={\theta }_j-\eta \frac{\partial J(\theta )}{\partial {\theta }_j}$
• softmax 函数：$\sigma (\mathbf{z}{)}_i=\frac{e^{z_i}}{\sum _{k=1}^K{e}^{z_k}}$
• 卷积操作：$(f\ast g)(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(t)g(x-t)dt$

概率与统计

• 概率分布：$P(X=x),p(y|x;\theta ),\mathcal{N}(\mu ,{\sigma }^2)$
• 期望与方差：$\mathbb{E}[X],\text{Var}(X)=\mathbb{E}[X^2]-(\mathbb{E}[X]{)}^2$
• 贝叶斯公式：$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

复杂公式块