PRML Summary

该博客系列包含了作者在学习机器学习相关理论时的经验总结。主要参考资料是RRML一书,该博客系列涵盖了该书的绝大部分章节。除此之外,还有部分文章涉及各个算法的工程实现方案,如参数的自动选择等。

每篇博客由如下几部分组成:

  1. 详细的理论推导

    每一篇博客对于所涉及的算法进行了详细的理论推导,特别是PRML一书中晦涩难懂的部分给出了详细证明。

  2. 丰富的图例

    博客行文中对于所涉及的理论都给出了大量的图示,并且对于PRML一书的许多图片样例给出了python具体实现

  3. 算法的python实现

    利用python 和scipy软件栈(numpy,scipy,matplotlib等)对于每一个算法给出了具体实现

部分笔记尚在总结之中,整理完之后会逐渐上传

一、kernel method

1.核化法

核化法——kernel method

高斯核的自动参数优化

2.SVM

SVM

soft-margin SVM

3.kernel method在其他模型中的应用

线性基函数回归

4.PCA

pca简介

利用PCA来降维

二、聚类与隐含变量

1.混合高斯模型

2.k-means

3.EM

三、其他

贝叶斯分类器

多变量高斯分布

k近邻

概率生成模型