LaTeX实现机器学习常用公式---持续更新
LaTeX实现机器学习常用公式
- 1.Linear Regression Model
-
- 1.1 Linear regression with one variable
-
- 1.1.1 Hypothesis
- 1.1.2 Cost Function
- 1.1.3 Goal
- 1.1.4 Gradient descent
- 1.2 Linear Regression with multiple variables
-
- 1.2.1 Multiple feature
- 1.2.2 Hypothesis
- 1.2.3 Cost function
- 1.2.4 Gradient descent
- 1.2.5 Normal equation
- 2. Logistic Regression
-
- 2.1 Sigmoid function
- 2.2 Logistic function
- 2.3 Logistic regression cost function
- 3. 后续会随着机器学习的进度继续更新哦！！！
最近在学吴恩达的机器学习，同时又在学习latex，就用latex来实现了机器学习课程中的公式，记录下来，方便查阅，同时分享给大家，如果对大家有帮助，记得点赞哦！！！
1.Linear Regression Model
1.1 Linear regression with one variable
1.1.1 Hypothesis
\documentclass{article}
\usepackage{ctex}
\begin{document}
Hypothesis: $h_{\theta} = \theta_0 + \theta_1x$
\end{document}
关键点：
h_{...}中的_符号代表的是下标，下标内容写在 {} 中
1.1.2 Cost Function
\documentclass{article}
\usepackage{ctex}
\begin{document}
Cost Function:
$J(\theta_0, \theta_1)
=
\frac{1}{2m}\sum\limits_{i=1}^{m}(h_{\theta}(x^{(i)} - y^{(i)}))$
\end{document}
关键点：
分式的表示：frac{...}{...}第一个 {} 中代表分子，第二个代表分母。
求和符号的表示：\sum代表求和符号，但是如果要输入上下限还要使用命令：\limits_{}^{}，_{} 代表的是下限，^{} 代表的是下限。
1.1.3 Goal
Our goal is to minimize the cost function:
\documentclass{article}
\begin{document}
Goal:
$\mathop{minimize}\limits_{\theta_0,\theta_1} J(\theta_0, \theta_1)$
\end{document}
关键点：
命令：\mathop{}，将 {} 中的内容转为operation操作符，如若不加则会报错
命令：\limits_{}，将 {} 中的内容设置为底标
1.1.4 Gradient descent
Gradient descent algorithm:
\documentclass{article}
\begin{document}
repeat until convergence \{
$\theta_j:=
\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)$
(
for j = 0 and j = 1
)
\}
\end{document}
关键点：
命令：\partial代表的是偏导符号
1.2 Linear Regression with multiple variables
1.2.1 Multiple feature
课上老师给了一个关于房价的例子：
\documentclass{article}
\begin{document}
\begin{tabular}{c|c|c|c|c}
Size($feet^2$) & Number of bedrooms & Number of floors & Age of home(years) &Price(\$1000)\\
2104 & 5 & 1 & 45 & 460\\
1416 & 3 & 2 & 40 & 232\\
1534 & 2 & 1 & 36 & 178\\
... & ... & ... & ... & ...\\
\end{tabular}
\end{document}
在此处，我们实现了一个表格，想要了解制作表格基础的同学可以看我以前的文章LaTeX制作表格
1.2.2 Hypothesis
\documentclass{article}
\usepackage{bbm}
\begin{document}
Hypothesis:
$h_{\theta}(x) = \theta_0 + \theta_1x_1 + \theta_2x_2
+ ... +
\theta_nx_n
$
$$
x=
\left[
\begin{array}{c}
x_0\\
x_1\\
x_2\\
\vdots\\
x_n
\end{array}
\right]
\in
\mathbbm{R}^{n+1}
~~~
\theta=
\left[
\begin{array}{c}
\theta_0\\
\theta_1\\
\theta_2\\
\vdots\\
\theta_n
\end{array}
\right]
\in
\mathbbm{R}^{n+1}
$$
\end{document}
关键点：
- 矩阵的 [ ] 的实现：使用格式：
\left[...\right]来实现- 矩阵的实现：使用格式：
\begin{array}{l c r ...}%第一个 {} 中填写array环境，第二个 {} 填写表格中的对齐方式
... & ... & ...\\% & 代表 写下一个内容（类似于表格），\\ 代表换行
\end{array}
- 矩阵中出现了省略符号，并且向下，矩阵中的省略符号有：
\cdot代表的是横向省略符号
\vdot代表的是竖向省略符号
\ddot代表的是对角省略符号
- 属于符号的表示：
\in- 空心字符R的表示：
\mathbbm{...}，但是要在导言区加上包：usepackages{bbm}
1.2.3 Cost function
\documentclass{article}
\usepackage{bbm}
\begin{document}
Cost function:
$J(\theta_0,\theta_1,\ldots,\theta_n)
=
\frac{1}{2m}\sum\limits_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})$
\end{document}
关键点在这里出现了：
\ldots，表示与文本同底的省略符号
1.2.4 Gradient descent
\documentclass{article}
\usepackage{bbm}
\begin{document}
Gradient descent:
repeat:\{
$$
\theta_j:=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\ldots,\theta_n)
$$
\}
\end{document}
1.2.5 Normal equation
\documentclass{article}
\usepackage{bbm}
\begin{document}
Normal equation:
$$
\theta=(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top y
$$
\end{document}
关键点：
\mathbf{}，表示将 {} 中的内容转化为数学格式。还出现了：\top，表示的是转置符号
2. Logistic Regression
2.1 Sigmoid function
\documentclass{article}
\begin{document}
Sigmoid function:
$$
\frac{1}{1+e^{-z}}
$$
\end{document}
2.2 Logistic function
\documentclass{article}
\begin{document}
Logistic function:
$$
h_\theta(x) = \frac{1}{1+e^{-\theta^\top x}}
$$
\end{document}
2.3 Logistic regression cost function
\documentclass{article}
\begin{document}
Logistic regression cost function:
$$
J(\theta)
=
\frac{1}{m}\sum\limits_{1}^{m}Cost(h_{\theta}(x^(i)))
=
-\frac{1}{m}[\sum\limits_{i=1}^{m}y^{(i)}\log h_\theta(x^{(i)})+
(1-y^{(i)})\log(1-h_\theta(x^{(i)}))]
$$
\end{document}
