吴恩达《深度学习》第三门课(1)机器学习策略一

  • 时间:
  • 浏览:1
  • 来源:大发幸运飞艇APP下载_大发幸运飞艇APP官方

改成:

(1)案例:医学图像分类,普通人3%错误率,……,专家组讨论结果能达到0.5%,这时应该把最好的表现来当做人类的表现。

降低方差:更多的数据、正则化、dropout、数据增强、提前终止(不推荐使用)、更换网络

(1)在大数据时代,70/150、150/20/20的分法机会不再适用了,现在流行把大把数据拿去训练,若果留有足够的开发集和测试集就行。这里开发集足够的标准是都并能 判断出哪个模型好,让你这里测试集足够的标准是都并能 准确评估最终的成本偏差。

(1)当有N个指标时,选出其中原来最想优化的指标来最小化,其余N-原来指标作为满足指标,即在满足满足指标的前提下(如运算下行速率 要小于1150ms),选泽优化指标最好的模型。

(1)在计算机视觉中,人类是非常擅长的,人类的表现和贝叶斯最优误差相差不大,可把前者当做后者。

(1)使用以下的老式电视机来说明那些是正交化,即原来按钮只调节宽度(无需对某些造成影响),原来只调节宽度,原来只调节宽度,另原来就都并能 很容易的讲画面调节到正中央,机会原来按钮既影响宽度有影响宽度,并能 将非常难调整。

当把色情照片推送给用户时给予很大的权重,另原来根据新的指标都并能 选出B算法是更好的,另原来就与实际符合了。

(3)案例2:开发集、测试集都有使用网上的高清猫的照片,A、B模型的误差分别为3%、5%,根据指标A更好,而实际并能分类的是来自普通用户拍摄的低像素模糊的照片,这时B算法表现的更好,出现你这俩 清况 说明要更改开发集、测试集了,使其与实际中的照片更加接近。

(2)在实际应用中,不一定要达到人类的最高水平并能投入使用,比如原来系统超过了普通放射科医生的水平,这时你这俩 系统就应该都并能 投入使用;某些某些这也说明不同清况 下,定义人类的水平错误率时,要弄清楚目标在哪里(不一定是最高的人类水平),超过你这俩 目标就应该都并能 拿来用。

降低偏差:更大更深的模型,更长的训练,某些的优化土办法,更换网络社会形态

(1)降低偏差和方差的策略如下图所示:

(1)当性能低于人类的表现时都并能 提高的调慢,让你超过人类的表现后来,性能的提升机会调慢。如下图所示

(2)设置好单一评估的开发集,就像是原来靶心,优化的过程让你去瞄准靶心,让你瞄的很准后来,测试集和开发集不同分布就要花费把靶心换到某些位置了,某些某些效果会非常的差。如下图所示(靶心变了)。

(1)当对原来实际的应用系统进行优化时,机会有某些某些想法:如提高数据量,提高网络宽度,正则化等等,原来错误的选泽机会浪费非常多的时间,本课让你让你你在面对某些某些选泽时做出正确的选泽,这让你ML策略。提高下行速率 ,让你你的宽度学习系统调慢投入使用。

(2)把性能的极限(即模型机会达到的最高性能)称为贝叶斯最优错误率(Bayes optimal error)。

(3)超过人类表现后来性能提高调慢主要有原来意味着着:首先机会超过人类后来说明机会快接近贝叶斯极限了,进步的空间并否有生活就小了;其次是机会超过人类后来,某些某些的工具将不再能起作用,如低于人类表现时人类还都并能 帮忙做误差分析。

(2)把测试集误差减去人类的误差称为可处理误差,这是都并能 提高的次要,下如图:同样的训练误差和开发集误差,让你根据人类的表现不同,需优先优化的让你同,左边应先降低偏差,右边应该先降低方差(机会8%-7.5%机会很小了):

(3)在自然感知方面还有待加强。

(2)案例1:A、B模型的误差分别为3%、5%,根据指标看A更好,让你在使用过程中发现A会把情色照片推送给用户,B无需,显然你这俩 清况 下其实B是更好的算法,这时说明并能修改评价标准如修改代价函数:

(1)在社会形态化问题图片图片上,如电影推荐等,机器远超人类水平。

(1)总体方针:机会你当前的指标和当前用来评估的数据和你真正关心并能做好的事情关系不大是,这后来就应该更改你的指标机会你的开发集了,让它们能更好的反应你的算法并能处理好的数据。

(1)记住某些:务必让开发集和测试集是同分布,让你训练好的网络其实没那些用。

(4)在后边提到的各种土办法中,其实机会不自觉的使用了正交化,即次要修改只影响原来方面,对某些不造成影响。

(2)同样在机器学习系统中,机会出现测试集效果好,验证集效果不好,这时机会有原来策略都并能 改善你这俩 ,同时不影响某些的东西,那让你正交化;又比如为那些不推荐使用early stopping,机会它一方面改善了过拟合,让你会使得训练集拟合变得不并能 好,某些某些你这俩 策略都有正交化。下图是宽度学习系统各阶段机会出现的问题图片图片,应该找到一都并能 改善它而不影响某些性能的策略(即正交化的策略)。

(2)在计算机视觉,语音识别等也达到和超过人类的水平。

(1)F1分数公式:2(RP)/(R+P);其中P是查准率,R是查全率。

(3)开发集误差减去训练集误差叫可处理方差。