# 博客转自https://blog.csdn.net/weixin_39561100/article/details/80879211

主要是将《机器学习实战》中的算法实现一遍，后续会慢慢更新......

决策树ID3分类的实现：

K近邻算法的实现(基于矩阵计算)：

逻辑回归算法的实现：

回归树算法的实现：

决策树ID3分类方法，特征都是离散的。而回归树的特征可以是连续的值，但是叶节点的值为同一叶节点值的均值。

模型树和回归树的区别，模型树的叶子节点不是一个值，而是满足当前叶节点所有值的回归方程，保存的是方程的系数。

模型树算法的实现：

基于正规方程的线性回归实现：

KMeans聚类算法的实现（包含解决局部收敛问题的2分法实现）：