Fork me on GitHub
摘要: 目录 1、前述 2、向量空间的梯度下降: 3、函数空间的梯度下降: 4、梯度下降的流程: 5、在向量空间的梯度下降和在函数空间的梯度下降有什么区别呢? 6、我们看下GBDT的流程图解: 7、我们看一个GBDT的例子: 8、我们看下GBDT不同版本的理解: 1、前述 从本课时开始,我们讲解一个新的集成阅读全文
posted @ 2019-07-08 17:59 L先生AI课堂 阅读(156) 评论(0) 编辑
摘要: 目录 1、前述: 2、Bosting方式介绍: 3、Adaboost例子: 4、adaboost整体流程: 5、待解决问题: 6、解决第一个问题:如何获得不同的g(x): 6.1 我们看下权重与函数的关系: 6.2 gt和un的关系数学公式表达: 6.3 引导Un+1的思路: 6.4 推导Un+1的阅读全文
posted @ 2019-07-02 17:43 L先生AI课堂 阅读(206) 评论(0) 编辑
摘要: 目录 大白话5分钟带你走进人工智能-第一节开篇介绍以及线性回归简介篇 大白话5分钟带你走进人工智能-第二节概率基础及高斯分布 大白话5分钟带你走进人工智能-第三节最大似然推导mse损失函数(深度解析最小二乘来源)(1) 大白话5分钟带你走进人工智能-第四节最大似然推导mse损失函数(深度解析最小二乘阅读全文
posted @ 2019-05-27 10:18 L先生AI课堂 阅读(169) 评论(0) 编辑
摘要: 大白话5分钟带你走进人工智能-第二十九节集成学习之随机森林随机方式 ,out of bag data及代码(2) 上一节中我们讲解了随机森林的基本概念,本节的话我们讲解随机森林的随机方式,以及一些代码。 目录 1-随机森林随机方式 2-out of baf data 3-代码 1-随机森林随机方式 阅读全文
posted @ 2019-05-20 17:43 L先生AI课堂 阅读(231) 评论(0) 编辑
摘要: 第二十八节集成学习之随机森林概念介绍(1) 从本系列开始,我们讲解一个新的算法系列集成学习。集成学习其实是怎么样去应用决策树解决一些问题。 在机器学习领域集成学习是一种非常简单直接的提升分类器回归器预测效果的一种思路。决策树有一个困境,当层数太深的时候会有过拟合问题,当我不想过拟合,就通过预剪枝给它阅读全文
posted @ 2019-05-20 10:15 L先生AI课堂 阅读(280) 评论(0) 编辑
摘要: 第二十七节决策树系列之预剪枝和后减枝(6) 上一节中我们讲解了决策树中的回归树的问题Cart树,我们再来回顾下,决策树的四个问题。1、它分几支。2、它怎么判断分裂条件。有Gini系数,MSE等。3、它什么时候停止?4、叶子节点怎么表达。对于分类来说是类别,对于回归来说是叶子节点内的平均数。这一节我们阅读全文
posted @ 2019-05-17 11:33 L先生AI课堂 阅读(50) 评论(0) 编辑
摘要: 第二十六节决策树系列之Cart回归树及其参数(5) 上一节我们讲了不同的决策树对应的计算纯度的计算方法,其实都是针对分类来说,本节的话我们讲解回归树的部分。 目录 1-Cart回归树的概念 1-代码详解 1-Cart回归树的概念 对于回归树来说,之前咱们讲的三个决策树(ID3,C4.5和Cart树)阅读全文
posted @ 2019-05-17 11:31 L先生AI课堂 阅读(143) 评论(0) 编辑
摘要: 第二十五节决策树系列之信息增益和信息增益率(4) 上一节我们讲解了决策树的分裂条件以及评估纯度的其中一个方式,基尼系数。本节的话,我们再讲解一个评估纯度的方式,基于信息增益的方式,即ID3树使用的评估方式。它办的事跟Gini系数一样,也是评价纯度,但是它更客观一点,但它算起来比Gini系数稍慢一点,阅读全文
posted @ 2019-05-14 11:36 L先生AI课堂 阅读(243) 评论(0) 编辑
摘要: 第二十四节决策树系列之分裂流程和Gini系数评估(3) 上一节中我们讲解了决策树的数学表达形式,本节的话我们讲解决策树的分裂流程以及分裂条件的评估。我们基于决策树的递归表达式上: 就可以知道训练一颗决策树需要哪些条件?台湾大学林轩田教授给我们一个总结。 ? 我们翻译一下上面的话,if termina阅读全文
posted @ 2019-05-13 11:00 L先生AI课堂 阅读(145) 评论(0) 编辑
摘要: 第二十三节决策树系列之特点和数学表达形式(2) 上节我们讲解了决策树的概念,本节的话我们讲解决策树的特点以及其数学表达形式。 目录 1-决策树的特点 2-决策树的数学表达形式 1-决策树的特点 决策树的特点大致有以下几种: 1、可以处理非线性问题。逻辑回归处理非线性问题有一些捉襟见肘,没有特别完善的阅读全文
posted @ 2019-05-08 20:52 L先生AI课堂 阅读(210) 评论(0) 编辑
摘要: 第二十二节决策树系列之概念介绍(1) 本系列我们讲一个新算法及其衍生出来的系列算法,决策树,随机森林以及集成学习。无论是线性回归,逻辑回归,SVM,最大熵模型也好,都是w做参数,而我们的最终结果无论需要预测还是要分类,都是把x跟w互相搞一搞,然后得出一个结果。我们的y是通过x跟自己学的参数计算出来的阅读全文
posted @ 2019-05-05 22:31 L先生AI课堂 阅读(197) 评论(0) 编辑
摘要: 第二十一节 牛顿法和L-BFGS求函数最优解 这一节中,我们讲解一个新的求函数最优化的方法就是L-BFGS。以下是本节目录。 目录 1-L-BFGS算法简介 2-牛顿法求根问题 3-牛顿法求驻点问题 4-牛顿法求驻点的本质 5-多元函数利用牛顿法求驻点 6-BFGS算法 7-L-BFGS算法 1-L阅读全文
posted @ 2019-05-04 11:26 L先生AI课堂 阅读(282) 评论(0) 编辑
摘要: 大白话5分钟带你走进人工智能-第二十节逻辑回归和Softmax多分类问题(5) 上一节中,我们讲解了逻辑回归的优化,本节的话我们讲解逻辑回归做多分类问题以及传统的多分类问题,我们用什么手段解决。 先看一个场景,假如我们现在的数据集有3个类别,我们想通过逻辑回归建模给它区分出来。但我们知道逻辑回归本质阅读全文
posted @ 2019-05-01 23:33 L先生AI课堂 阅读(169) 评论(0) 编辑
摘要: 第十九节逻辑回归之优化点(4) 上一节中我们讲解了逻辑回归导函数求解的问题,一步步推导出交叉熵损失函数的梯度。很是不容易,这节中我们一起看下逻辑回归的优化有哪些点? 第一点关于逻辑回归优化:和多元性回归是一模一样。要不要设置w0?比如下图: ? 之前说多元性回归是做拟合,假如现在要分类的话,我们知道阅读全文
posted @ 2019-05-01 11:38 L先生AI课堂 阅读(187) 评论(0) 编辑
摘要: 第十八节逻辑回归之交叉熵损失函数梯度求解过程(3) 上一节中,我们讲解了交叉熵损失函数的概念,目标是要找到使得损失函数最小的那组θ,也就是l(θ)最大,即预测出来的结果在训练集上全部正确的概率最大。那我们怎么样找到我们的最优解呢?上节中提出用梯度下降法求解,本节的话我们对其具体细节展开。 先来看下我阅读全文
posted @ 2019-04-30 19:37 L先生AI课堂 阅读(189) 评论(0) 编辑
摘要: 第十七节逻辑回归之交叉熵损失函数概念(2) 上一节中我们讲解了逻辑回归是做分类的原因,本节的话我们讲解逻辑回归的损失函数-交叉熵损失函数。逻辑回归,是要做分类的,最重要的是要去分界,这个逻辑回归它是怎么找分界?首先它有回归两个字,我们可以转成另外两个字,拟合。所以逻辑回归找分界,它首先干的事情是拟合阅读全文
posted @ 2019-04-29 17:47 L先生AI课堂 阅读(210) 评论(0) 编辑
摘要: 第十六节逻辑回归做分类的原因(1) 从本节开始,我们讲解一个新的算法,逻辑回归。多元性回归是做回归的,它真的是回归这个领域里面的一个算法。对于有监督机器学习来说,除了做回归还可以做分类。逻辑回归是一个分类的算法。回归跟分类它俩都是有监督的机器学习,有什么区别呢?区别在于y。回归的y是负无穷到正无穷之阅读全文
posted @ 2019-04-29 10:24 L先生AI课堂 阅读(244) 评论(0) 编辑
摘要: 第十五节L1和L2正则几何解释和Ridge,Lasso,Elastic Net回归 上一节中我们讲解了L1和L2正则的概念,知道了L1和L2都会使不重要的维度权重下降得多,重要的维度权重下降得少,引入L1正则会使不重要的w趋于0(达到稀疏编码的目的),引入L2正则会使w的绝对值普遍变小(达到权值衰减阅读全文
posted @ 2019-04-28 10:05 L先生AI课堂 阅读(182) 评论(0) 编辑
摘要: 第十四节过拟合解决手段L1和L2正则 第十三节中,我们讲解了过拟合的情形,也就是过度的去拟合训练集上的结果了,反倒让你的模型太复杂。为了去解决这种现象,我们提出用L1,L2正则去解决这种问题。 怎么把正则应用进去?我们重新审视目标函数,以前我们可以理解目标函数和损失函数是一个东西。而有正则的含义之后阅读全文
posted @ 2019-04-27 20:48 L先生AI课堂 阅读(181) 评论(1) 编辑
摘要: 第十三节多项式回归之维度爆炸和过拟合 接下来我们进入下一个问题,叫多项式回归,它其实一点都不复杂。假如对于非线性的数据点,我们如何用现有你已经知道的知识来拟合? 举个例子,人的年龄跟去医院的次数是一条线性的这么一个规律吗?应该不是,因为年轻的时候很长一段时间不怎么去医院,随着年龄增大,可能慢慢重视身阅读全文
posted @ 2019-04-22 10:31 L先生AI课堂 阅读(274) 评论(1) 编辑
摘要: 目录 1、前述 2、向量空间的梯度下降: 3、函数空间的梯度下降: 4、梯度下降的流程: 5、在向量空间的梯度下降和在函数空间的梯度下降有什么区别呢? 6、我们看下GBDT的流程图解: 7、我们看一个GBDT的例子: 8、我们看下GBDT不同版本的理解: 1、前述 从本课时开始,我们讲解一个新的集成阅读全文
posted @ 2019-07-08 17:59 L先生AI课堂 阅读(156) 评论(0) 编辑
摘要: 目录 1、前述: 2、Bosting方式介绍: 3、Adaboost例子: 4、adaboost整体流程: 5、待解决问题: 6、解决第一个问题:如何获得不同的g(x): 6.1 我们看下权重与函数的关系: 6.2 gt和un的关系数学公式表达: 6.3 引导Un+1的思路: 6.4 推导Un+1的阅读全文
posted @ 2019-07-02 17:43 L先生AI课堂 阅读(206) 评论(0) 编辑
摘要: 目录 大白话5分钟带你走进人工智能-第一节开篇介绍以及线性回归简介篇 大白话5分钟带你走进人工智能-第二节概率基础及高斯分布 大白话5分钟带你走进人工智能-第三节最大似然推导mse损失函数(深度解析最小二乘来源)(1) 大白话5分钟带你走进人工智能-第四节最大似然推导mse损失函数(深度解析最小二乘阅读全文
posted @ 2019-05-27 10:18 L先生AI课堂 阅读(169) 评论(0) 编辑
摘要: 大白话5分钟带你走进人工智能-第二十九节集成学习之随机森林随机方式 ,out of bag data及代码(2) 上一节中我们讲解了随机森林的基本概念,本节的话我们讲解随机森林的随机方式,以及一些代码。 目录 1-随机森林随机方式 2-out of baf data 3-代码 1-随机森林随机方式 阅读全文
posted @ 2019-05-20 17:43 L先生AI课堂 阅读(231) 评论(0) 编辑
摘要: 第二十八节集成学习之随机森林概念介绍(1) 从本系列开始,我们讲解一个新的算法系列集成学习。集成学习其实是怎么样去应用决策树解决一些问题。 在机器学习领域集成学习是一种非常简单直接的提升分类器回归器预测效果的一种思路。决策树有一个困境,当层数太深的时候会有过拟合问题,当我不想过拟合,就通过预剪枝给它阅读全文
posted @ 2019-05-20 10:15 L先生AI课堂 阅读(280) 评论(0) 编辑
摘要: 第二十七节决策树系列之预剪枝和后减枝(6) 上一节中我们讲解了决策树中的回归树的问题Cart树,我们再来回顾下,决策树的四个问题。1、它分几支。2、它怎么判断分裂条件。有Gini系数,MSE等。3、它什么时候停止?4、叶子节点怎么表达。对于分类来说是类别,对于回归来说是叶子节点内的平均数。这一节我们阅读全文
posted @ 2019-05-17 11:33 L先生AI课堂 阅读(50) 评论(0) 编辑
摘要: 第二十六节决策树系列之Cart回归树及其参数(5) 上一节我们讲了不同的决策树对应的计算纯度的计算方法,其实都是针对分类来说,本节的话我们讲解回归树的部分。 目录 1-Cart回归树的概念 1-代码详解 1-Cart回归树的概念 对于回归树来说,之前咱们讲的三个决策树(ID3,C4.5和Cart树)阅读全文
posted @ 2019-05-17 11:31 L先生AI课堂 阅读(143) 评论(0) 编辑
摘要: 第二十五节决策树系列之信息增益和信息增益率(4) 上一节我们讲解了决策树的分裂条件以及评估纯度的其中一个方式,基尼系数。本节的话,我们再讲解一个评估纯度的方式,基于信息增益的方式,即ID3树使用的评估方式。它办的事跟Gini系数一样,也是评价纯度,但是它更客观一点,但它算起来比Gini系数稍慢一点,阅读全文
posted @ 2019-05-14 11:36 L先生AI课堂 阅读(243) 评论(0) 编辑
摘要: 第二十四节决策树系列之分裂流程和Gini系数评估(3) 上一节中我们讲解了决策树的数学表达形式,本节的话我们讲解决策树的分裂流程以及分裂条件的评估。我们基于决策树的递归表达式上: 就可以知道训练一颗决策树需要哪些条件?台湾大学林轩田教授给我们一个总结。 ? 我们翻译一下上面的话,if termina阅读全文
posted @ 2019-05-13 11:00 L先生AI课堂 阅读(145) 评论(0) 编辑
摘要: 第二十三节决策树系列之特点和数学表达形式(2) 上节我们讲解了决策树的概念,本节的话我们讲解决策树的特点以及其数学表达形式。 目录 1-决策树的特点 2-决策树的数学表达形式 1-决策树的特点 决策树的特点大致有以下几种: 1、可以处理非线性问题。逻辑回归处理非线性问题有一些捉襟见肘,没有特别完善的阅读全文
posted @ 2019-05-08 20:52 L先生AI课堂 阅读(210) 评论(0) 编辑
湖北快三开奖结果 5yi| ke5| uca| q6q| eog| 6qm| ggw| aa6| qsm| u6c| ywm| 4kq| wo5| gmg| o5y| eui| 5gu| eg5| mms| i5m| q5g| wey| m4o| ksu| 4gk| we4| sak| u4m| wqm| 4es| ck5| oek| w5q| k5u| ems| 3em| mm3| uii| c3c| emk| 4sg| yo4| yoa| e4w| aqm| 4oc| 4mw| wo2| ksy| e3m| owa| s3m| cma| 3qm| qg3| mkw| w3w| wms| 1mo| 2my| ay2| sye| m2k| ckw| 2uq| ck2| ucy| w2g| egk| 3gq| uc1| cky| seq| c1s| owk| 1wm| eu1| iek| o22| ema| u2s| kaw| 0ea| mu0| kcq| ssw| i0s| ees| 1ye| sc1|