第 1章　绪论1
1．1 什么是机器学习1
1．2 不同类型的学习1
1．2．1 监督学习1
1．2．2 非监督学习2
1．2．3 半监督学习3
1．2．4 强化学习3
1．3 监督学习是如何工作的4
1．4 为什么模型可以应用于新数据9
第　2章 符号和定义10
2．1 符号10
2．1．1 数据结构10
2．1．2 大写西格玛符号12
2．1．3 大写派符号12
2．1．4 集合运算13
2．1．5 向量运算13
2．1．6 函数14
2．1．7 max和argmax16
2．1．8 赋值运算符16
2．1．9 导数和梯度16
2．2 随机变量18
2．3 无偏估计值20
2．4 贝叶斯准则21
2．5 参数估计21
2．6 参数与超参数23
2．7 分类vs．回归23
2．8 基于模型学习vs．基于实例学习24
2．9 浅层学习vs．深度学习24
第3章　基本算法26
3．1 线性回归26
3．1．1 问题陈述26
3．1．2 解决方案28
3．2 对数几率回归30
3．2．1 问题陈述31
3．2．2 解决方案32
3．3 决策树学习34
3．3．1 问题陈述34
3．3．2 解决方案34
3．4 支持向量机37
3．4．1 处理噪声38
3．4．2 处理固有非线性39
3．5 k近邻42
第4章　算法剖析43
4．1 一个算法的组成部分43
4．2 梯度下降44
4．3 机器学习工程师如何工作50
4．4 学习算法的特性51
第5章　基本实践53
5．1 特征工程53
5．1．1 独热编码54
5．1．2 装箱55
5．1．3 归一化56
5．1．4 标准化56
5．1．5 处理特征缺失值57
5．1．6 数据补全技术58
5．2 选择学习算法59
5．3 3个数据集61
5．4 欠拟合与过拟合63
5．5 正则化66
5．6 模型效果评估67
5．6．1 混淆矩阵69
5．6．2 查准率/查全率70
5．6．3 准确率71
5．6．4 代价敏感准确率71
5．6．5 ROC曲线下面积72
5．7 超参数调试73
交叉验证75
第6章　神经网络和深度学习77
6．1 神经网络77
6．1．1 多层感知机例子78
6．1．2 前馈神经网络80
6．2 深度学习81
6．2．1 卷轴神经网络83
6．2．2 循环神经网络90
第7章　问题与解决方案96
7．1 核回归96
7．2 多类别分类98
7．3 单类别分类99
7．4 多标签分类102
7．5 集成学习104
7．5．1 提升法与装袋法105
7．5．2 随机森林105
7．5．3 梯度提升106
7．6 学习标注序列109
7．7 序列到序列学习111
7．8 主动学习113
7．9 半监督学习115
7．10 单样本学习118
7．11 零样本学习120
第8章　进阶操作122
8．1 处理不平衡的数据集122
8．2 组合模型124
8．3 训练神经网络125
8．4 进阶正则化127
8．5 处理多输入128
8．6 处理多输出129
8．7 迁移学习130
8．8 算法效率131
第9章　非监督学习135
9．1 密度预估135
9．2 聚类138
9．2．1 k均值138
9．2．2 DBSCAN和HDBSCAN140
9．2．3 决定聚类簇个数141
9．2．4 其他聚类算法145
9．3 维度降低148
9．3．1 主要成分分析149
9．3．2 UMAP151
9．4 异常值检测153
第　10章 其他学习形式154
10．1 质量学习154
10．2 排序学习156
10．3 推荐学习159
10．3．1 因子分解机161
10．3．2 去噪自编码器163
10．4 自监督学习：词嵌入164
第　11章 结论167
11．1 主题模型167
11．2 高斯过程168
11．3 广义线性模型168
11．4 概率图模型168
11．5 马尔可夫链蒙特卡洛算法169
11．6 基因算法170
11．7 强化学习170
术语表172