深度之眼统计学习方法第五期总结体会

文章目录0. 前言1. 课程收获1.1. 课程笔记1.2. 其他收获2. 学习体会、建议与意见2.1. 学习体会2.2. 建议与意见 0. 前言 个人情况：理论欠缺，实战较多。 学习目标：理解理论，增强数学推导。 参考资料： 李航博士相关：李航博士博客，第二版勘误 《统计学习方法》各章节代码实现与课后习题参考解答，推荐 资料合集，不仅有课后习题、源码，还有一些讲解博客。 《统计学习方法》知乎参考读物，推荐 资料合集，从标题就可以看出，用于帮助理解书本内容 CSDN专栏：统计学习方法学习总结与实现 有一些习题解答，质量不错。 统计学习方法：习题笔记 不全，但有一些有思路 1. 课程收获 1.1. 课程笔记 第一章 统计学习方法概论 理解最大似然估计、最大后验估计、贝叶斯估计，以及使用上述方法解决问题的基本流程。 第二章 感知机 感知机模型解决的问题、学习策略、学习算法（证明收敛性）。 TODO：理解为什么可以忽略点到面距离中的分母范数。 第三章 k近邻法 实现思路非常容易，但具体实现（KD树）等稍微有点麻烦。 TODO：kd树源码理解，kd树查询时间复杂度的计算。 第四章 朴素贝叶斯 第五章 决策树 其实自编程也能写，不过不想花太多时间在这里。 TODO： CART剪枝细节。 “熵”相关几个概念还是需要多理解理解。 第六章 逻辑斯谛回归与最大熵模型 这个对我来说有点难，还需要进一步花时间学习，特别是下面这几个数学相关概念。 本章学习视频中有讲到拉格朗日对偶性KKT条件等，需要反复研究。 TODO： 拉格朗日对偶性 KKT条件 梯度下降法 牛顿法与拟牛顿法 改进的迭代尺度法 第七章 支持向量机 工作中刚好用到了，还需要大量时间才能理解。 TODO： 线性可分/线性支持向量机最优化问题描述、对偶问题的推导。 SMO的理解。 第八章 提升方法 Adaboost听这名字很久了，各种面试问得也多，但一直做深度学习，好像也没有什么机会使用。 TODO：先要探索下在深度学习中的应用，如果有类似应用可能会先学下，否则应该要等时间多了再研究。 第九章 EM算法及其推广 EM算法好像与深度学习关系不大，其中数学推导也蛮多，优先级对我来说比较靠后。 第十章 隐马尔科夫模型 仅根据结果做一些题目倒是不难，难的是这些结果是如何得到的…… 第十一章 条件随机场 重点理解条件虽机场的三种形式。 在图像分割中，有时候会用到Dense CRF来处理最终结果。可能先需要理解这里的内容。 1.2. 其他收获 对《统计学习方法》中所有算法都有个一个基本的认识，也知道进一步学习需要掌握哪些内容。 对一些基础数学知识（如最大似然估计、贝叶斯估计、拉格朗日、KKT等）有了基本的认识。 报名课程前最想学习的数学推导相关的，虽然不能说有较深理解，但也可以说迈出自己推导的第一步，后续对继续学习其中数学原理有较大信心。 2. 学习体会、建议与意见 2.1. 学习体会 我的学习目标是：理解所有数学理论，并能手动推导书本中的各个公式以及证明题。 从最终结果看，跟着书本完成一些推导还是没有问题的，完全独立推导比较困难。 思考原因，主要还是数学用得少，不熟悉。 课程内容总体设计得还是挺满足我的需求的。 老师的讲解视频基本以理论为主，基本没有变成的内容，这正是我一开始选择报班的原因。 课程内容还是蛮多，如果一开始没有任何基础（比如我学EM、Adaboost等），学起来还是比较费力。可能是我基础不好，花费时间较多，一天3小时是完全不够的，好多视频需要反复看。 每周助教讲解对我来说有些鸡肋（当然，这仅仅是对我个人而言）。 首先，由于我的目标是学习理论，所以编程内容不是我想学的重点。 其次，对于算法自编程，一般都是基于书本上已有的算法流程通过python实现，这方面对我来说难度不大，且花费时间较多，最终没什么收获。 最后，对于调包（如 sklearn 中的库），对于都没怎么写过程序的新手来说可能比较受用，对我来说，自己翻翻文档，看看sample就完全可以解决。 2.2. 建议与意见

我个人不太满意的地方有以下方面：

对于书本中较难的内容，课程就会大量跳过（学习目标中不要求）。相信有相当一部分人报班就是为了啃硬骨头，难度大的跳过了，心理就有一定落差。这部分内容可以作为自选内容，不放在课程里。 对于每一小节课程，课程提供的参考资料，或者说扩展资料较少。 网上有大量较好的学习资源（包括博客、知乎讨论等），相信老师、助教在备课过程中肯定阅读过大量资料，如果能够在每节课中提供一些“扩展阅读”，会让课程更加充实。 例如，对于课程跳过的内容，可以提供一些资料让大家自行学习。 课程过程中，反馈较少。 一方面，认真学习的学员数量少。 另一方面，老师/助教对学员的作业、打卡记录也没有什么点评或点赞。在课程后期我稍微翻了翻大家的打卡记录，好像就没人点赞，没有人的打卡记录被推荐，这肯定就会降低打卡热情。 个人的建议是，请老师/助教对每门课的部分打卡记录进行点评。具体选择哪些打卡记录倒是可以讨论，全部点评显然不现实，那要么对前K个有效打卡进行点评，或选择质量较高的进行点评。
作者：irving512

统计学习方法 统计学习 方法 学习 统计学