吴恩达反向传播算法推导,吴恩达卷积神经网络ppt

如何评价吴恩达的学术地位

吴恩达(AndrewNg)，斯坦福计算机系的副教授，师从机器学习的大师级人物MichaelI.Jordan。

同门师兄弟包括ZoubinGhahramani,TommiJaakkola,EricXing,DavidBlei,徒子徒孙遍布美国名校，他们这一大学派的主要研究和贡献集中在统计机器学习（StatisticalMachineLearning）和图模型(ProbabilisticGraphicalmodel),具体的比如Spectralclustering,NonparametricBayesianMethods,VariationalMethods等等。

现在图模型和NonparametricBayesianMethods都是机器学习领域炙手可热的研究方向。

MichaelJordan的研究很好的将统计和机器学习联系了起来，将VariationalMethods发扬光大，他也还身兼统计系和计算机系教职。

吴恩达的学术研究兴趣比较广，做的东西有比较理论的，但更多的是理论和应用的结合。

他的一作主要集中在SpectralClustering,UnsupervisedLearning和增强式学习(reinforcementlearning)，机器学习的很多方面都有涉及，比如featureselection，over-fitting，policysearch。

由于做reinforcementlearning和unsupervisedlearning,所以有很多项目是和机器人有关的,他也发起了ROS(RobotOperatingSystem),一个开源的机器人操作系统，影响力很大。

其他的参与的研究就很多了，MichaelJordan那一片的统计机器学习都有参与，在图模型领域也有很多非常优秀论文，比如自然语言处理(NLP)的神器LatentDirchirelntAllocation(LDA)那篇论文他也有贡献。

他现在的研究兴趣主要是深度学习(DeepLearning)，深度学习说白了就是死灰复燃的神经网络(NeuralNetwork),神经网络的一代鼻祖是多伦多大学的GeoffreyHinton。

GeoffreyHinton和吴恩达一起在Google搞深度学习(GoogleBrainProject)，他们俩现在在这一块的论文很多，影响力很大。

总体而言他是顶级的机器学习研究者，在斯坦福是tenuredprofessor已经说明了这点，至于LabDirector，和学术无关，只要是教授都可以成立一个实验室自己当主任(Director)，不要把主任拿过来说事。

更重要的是，他在学术圈内圈外知名度很高！

除了师承之外，还有一个重要原因是他在斯坦福公开课里面主讲机器学习，讲的的确是非常好，在工程界非常受欢迎，后来和DaphneKoller(机器学习界的一姐和大牛，《ProbabilisticGraphicalModels:PrinciplesandTechniques》一书的作者)一起成立了Coursera。

吴恩达对慕课(MOOC)和Coursera的贡献我就不赘述了。

另外吴恩达会说中文，出生于英国，高中毕业于新加坡的RafflesInsitution，本科毕业于卡耐基梅隆大学，硕士在麻省理工，博士毕业于伯克利，早年在香港和英国生活过。

谷歌人工智能写作项目：神经网络伪原创

如何使用深度学习开发人工智能应用

如何使用深度学习开发人工智能应用在为工业界的从业者带来理念更新的同时，吴恩达还对自己在人工智能领域的人生经验进行分享写作猫。

“我从没试过一次就得出正确的模型架构”吴恩达对自己经历的朴实客观分享，让在场的很多从业者不仅获得技术指导更如同吃了“定心丸”。

NIPS(AdvancesinNeuralInformationProcessingSystems)中文名为“神经信息处理系统进展大会”，是每年12月由NIPS基金会主办的机器学习和神经计算领域的顶级会议，在机器学习领域有着举足轻重的学术影响力。

随着人工智能的高速发展，2016年NIPS的讨论焦点也集中在机器学习与人工智能，并邀请YannLeCun(Facebook人工智能研究室FAIR负责人)、IrinaRish(IBMWatson研究中心成员)等国际专家参与。

其中，百度首席科学家、斯坦福大学计算机科学系和电子工程系副教授吴恩达参与大会教程(tutorial)环节，人气颇高。

由于神经网络(NN)可以扩大规模(scale)，甚至是可以无限地扩展，深度学习成为人工智能领域未来发展的大潮流。

对此，吴恩达认为没有人能做到在系统构架(底层)与深度学习(算法)方面都是专家，并针对深度学习技术创业公司的团队建设，分享了其在百度的架构经验。

在深度学习大潮中，端到端学习成为近几年的技术风口，随着技术发展，更纯粹的端对端学习成为了可能。但由于缺少足够大的训练集，直接的端对端学习也有不太奏效的时候。

作为人工智能成果的集大成者，无人车在机器学习领域仍有很大发展空间，吴恩达在演讲中描述了无人驾驶的传统模型：通过图片观测附近的车(cars)与行人(pedestrians)，计算出该有的路径规划(plan)，然后通过公式/规则判断出应该进行的下一步行动(steering)，如果可以直接把图片处理成最终的操作指令可以指数级提高反应速度，带来效率提升。

吴恩达认为，很多企业都没有正确对待训练集误差、人类误差值、测试集误差，三者之间的关系，而在数据合成方面，很多公司又“总想搞个大新闻”。

他建议企业使用unifieddatawarehouse(统一化的数据中心)，让数据科学家可以“安心的玩数据”。

并分享了基于人类误差、训练集误差，训练-开发集误差、开发集误差、测试集误差五类误差值的新的处理策略。

在演讲的最后，吴恩达提出了对人工智能的展望，他认为由于现有的有标签数据还远没有被发掘完毕，supervisedlearning(监督学习)将继续快速发展下去，同时unsupervisedlearning(无监督学习)、reinforcementlearning(强化学习)、transferlearning(迁移学习)也将在未来起步。

同时，吴恩达也对现场的从业者提出更具实用性的经验：人工智能产品经理需要选择工程师应该关注的重点，从而让数据集能更准确地模拟出应用场景，简单来说就是寻找用户需求与当今机器学习技术的能力的交集。

吴恩达是个谁

吴恩达（1976-，英文名：AndrewNg），华裔美国人，是斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任。吴恩达是人工智能和机器学习领域国际上最权威的学者之一。

吴恩达也是在线教育平台Coursera的联合创始人（withDaphneKoller）。

2014年5月16日，吴恩达加入百度，担任百度公司首席科学家，负责百度研究院的领导工作，尤其是BaiduBrain计划。

吴恩达1976年出生于伦敦，父亲是一位香港医生[2]，英文名叫AndrewNg，吴恩达年轻时候在香港和新加坡度过。

1992年吴恩达就读新加坡莱佛士书院，并于1997年获得了卡内基梅隆大学的计算机科学学士学位。

之后他在1998年获得了麻省理工学院的硕士学位，并于2002年获得了加州大学伯克利分校的博士学位，并从这年开始在斯坦福大学工作。他（2002年）住在加利福尼亚州的帕洛阿尔托。

吴恩达是斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任。吴恩达主要成就在机器学习和人工智能领域，他是人工智能和机器学习领域最权威的学者之一。

2010年，时任斯坦福大学教授的吴恩达加入谷歌开发团队XLab——这个团队已先后为谷歌开发无人驾驶汽车和谷歌眼镜两个知名项目。

吴恩达与谷歌顶级工程师开始合作建立全球最大的“神经网络”，这个神经网络能以与人类大脑学习新事物相同的方式来学习现实生活。谷歌将这个项目命名为“谷歌大脑”。

吴恩达最知名的是，所开发的人工神经网络通过观看一周YouTube视频，自主学会识别哪些是关于猫的视频。这个案例为人工智能领域翻开崭新一页。

吴恩达表示，未来将会在谷歌无人驾驶汽车上使用该项技术，来识别车前面的动物或者小孩，从而及时躲避。

2014年5月16日，百度宣布吴恩达加入百度，担任百度公司首席科学家，负责百度研究院的领导工作，尤其是BaiduBrain计划。

[1]2014年5月19日，百度宣布任命吴恩达博士为百度首席科学家，全面负责百度研究院。这是中国互联网公司迄今为止引进的最重量级人物。消息一经公布，就成为国际科技界的关注话题。

美国权威杂志《麻省理工科技评论》(MITTechnologyReview)甚至用充满激情的笔调对未来给予展望：“百度将领导一个创新的软件技术时代，更加了解世界。

”2007年，吴恩达获得斯隆奖（SloanFellowship）。

2008年，吴恩达入选“theMITTechnologyReviewTR35”，即《麻省理工科技创业》杂志评选出的科技创新35俊杰，入选者是35岁以下的35个世界上最顶级的创新者之一。

[4]“计算机和思想奖”的获得者。2013年，吴恩达入选《时代》杂志年度全球最有影响力100人，成为16位科技界代表之一。

吴恩达的主要成就

吴恩达早期的工作包括斯坦福自动控制直升机项目，吴恩达团队开发了世界上最先进的自动控制直升机之一。

吴恩达同时也是机器学习、机器人技术和相关领域的100多篇论文的作者或合作者，他在计算机视觉的一些工作被一系列的出版物和评论文章所重点引用。

早期的另一项工作是theSTAIR(StanfordArtificialIntelligenceRobot)project，即斯坦福人工智能机器人项目，项目最终开发了广泛使用的开源机器人技术软件平台ROS。

2011年，吴恩达在谷歌成立了“GoogleBrain”项目，这个项目利用谷歌的分布式计算框架计算和学习大规模人工神经网络。

这个项目重要研究成果是，在16000个CPU核心上利用深度学习算法学习到的10亿参数的神经网络，能够在没有任何先验知识的情况下，仅仅通过观看无标注的YouTube的视频学习到识别高级别的概念，如猫，这就是著名的“GoogleCat”。

这个项目的技术已经被应用到了安卓操作系统的语音识别系统上。

吴恩达是在线教育平台Coursera的联合创始人，吴恩达在2008年发起了“StanfordEngineeringEverywhere”（SEE）项目，这个项目把斯坦福的许多课程放到网上，供免费学习。

NG也教了一些课程，如机器学习课程，包含了他录制的视频讲座和斯坦福CS299课程的学生材料。吴恩达的理想是让世界上每个人能够接受高质量的、免费的教育。

今天，Coursera和世界上一些顶尖大学的合作者们一起提供高质量的免费在线课程。Coursera是世界上最大的MOOC平台。

DeepLearningwithCOTSHPCSystemsAdamCoates,BrodyHuval,TaoWang,DavidJ.Wu,BryanCatanzaroandAndrewY.NginICML2013.ParsingwithCompositionalVectorGrammarsJohnBauer,RichardSocher,ChristopherD.Manning,AndrewY.NginACL2013.LearningNewFactsFromKnowledgeBasesWithNeuralTensorNetworksandSemanticWordVectorsDanqiChen,RichardSocher,ChristopherD.Manning,AndrewY.NginICLR2013.Convolutional-RecursiveDeepLearningfor3DObjectClassification.RichardSocher,BrodyHuval,BharathBhat,ChristopherD.Manning,AndrewY.NginNIPS2012.ImprovingWordRepresentationsviaGlobalContextandMultipleWordPrototypesEricH.Huang,RichardSocher,ChristopherD.ManningandAndrewY.NginACL2012.LargeScaleDistributedDeepNetworks.J.Dean,G.S.Corrado,R.Monga,K.Chen,M.Devin,Q.V.Le,M.Z.Mao,M.A.Ranzato,A.Senior,P.Tucker,K.Yang,A.Y.NginNIPS2012.RecurrentNeuralNetworksforNoiseReductioninRobustASR.A.L.Maas,Q.V.Le,T.M.O'Neil,O.Vinyals,P.Nguyen,andAndrewY.NginInterspeech2012.Word-levelAcousticModelingwithConvolutionalVectorRegressionLearningWorkshopAndrewL.Maas,StephenD.Miller,TylerM.O'Neil,AndrewY.Ng,andPatrickNguyeninICML2012.EmergenceofObject-SelectiveFeaturesinUnsupervisedFeatureLearning.AdamCoates,AndrejKarpathy,andAndrewY.NginNIPS2012.DeepLearningofInvariantFeaturesviaSimulatedFixationsinVideoWillY.Zou,ShenghuoZhu,AndrewY.Ng,KaiYuinNIPS2012.LearningFeatureRepresentationswithK-means.AdamCoatesandAndrewY.NginNeuralNetworks:TricksoftheTrade,Reloaded,SpringerLNCS2012.BuildingHigh-LevelFeaturesusingLargeScaleUnsupervisedLearningQuocV.Le,Marc'AurelioRanzato,RajatMonga,MatthieuDevin,KaiChen,GregS.Corrado,JeffreyDeanandAndrewY.NginICML2012.SemanticCompositionalitythroughRecursiveMatrix-VectorSpacesRichardSocher,BrodyHuval,ChristopherD.ManningandAndrewY.NginEMNLP2012.End-to-EndTextRecognitionwithConvolutionalNeuralNetworksTaoWang,DavidJ.Wu,AdamCoatesandAndrewY.NginICPR2012.SelectingReceptiveFieldsinDeepNetworksAdamCoatesandAndrewY.NginNIPS2011.ICAwithReconstructionCostforEfficientOvercompleteFeatureLearningQuocV.Le,AlexKarpenko,JiquanNgiamandAndrewY.NginNIPS2011.SparseFilteringJiquanNgiam,PangweiKoh,ZhenghaoChen,SoniaBhaskarandAndrewY.NginNIPS2011.UnsupervisedLearningModelsofPrimaryCorticalReceptiveFieldsandReceptiveFieldPlasticityAndrewSaxe,ManeeshBhand,RitvikMudur,BipinSureshandAndrewY.NginNIPS2011.DynamicPoolingandUnfoldingRecursiveAutoencodersfor小狗DetectionRichardSocher,EricH.Huang,JeffreyPennington,AndrewY.Ng,andChristopherD.ManninginNIPS2011.Semi-SupervisedRecursiveAutoencodersforPredictingSentimentDistributionsRichardSocher,JeffreyPennington,EricHuang,AndrewY.Ng,andChristopherD.ManninginEMNLP2011.TextDetectionandCharacterRecognitioninSceneImageswithUnsupervisedFeatureLearningAdamCoates,BlakeCarpenter,CarlCase,SanjeevSatheesh,BipinSuresh,TaoWang,DavidWuandAndrewY.NginICDAR2011.ParsingNaturalScenesandNaturalLanguagewithRecursiveNeuralNetworksRichardSocher,CliffLin,AndrewY.NgandChristopherManninginICML2011.TheImportanceofEncodingVersusTrainingwithSparseCodingandVectorQuantizationAdamCoatesandAndrewY.NginICML2011.OnOptimizationMethodsforDeepLearningQuocV.Le,JiquanNgiam,AdamCoates,AbhikLahiri,BobbyProchnowandAndrewY.NginICML2011.LearningDeepEnergyModelsJiquanNgiam,ZhenghaoChen,PangweiKohandAndrewY.NginICML2011.MultimodalDeepLearningJiquanNgiam,AdityaKhosla,MingyuKim,JuhanNam,HonglakLeeandAndrewY.NginICML2011.OnRandomWeightsandUnsupervisedFeatureLearningAndrewSaxe,PangweiKoh,ZhenghaoChen,ManeeshBhand,BipinSureshandAndrewY.NginICML2011.LearningHierarchicalSpatio-TemporalFeaturesforActionRecognitionwithIndependentSubspaceAnalysisQuocV.Le,WillZou,SerenaYeungandAndrewY.NginCVPR2011.AnAnalysisofSingle-LayerNetworksinUnsupervisedFeatureLearningAdamCoates,HonglakLeeandAndrewNginAISTATS14,2011.LearningWordVectorsforSentimentAnalysisAndrewL.Maas,RaymondE.Daly,PeterT.Pham,DanHuang,AndrewY.Ng,andChristopherPottsinACL2011.ALow-costCompliant7-DOFRoboticManipulatorMorganQuigley,AlanAsbeckandAndrewY.NginICRA2011.GraspingwithApplicationtoanAutonomousCheckoutRobotEllenKlingbeil,DeepakDrao,BlakeCarpenter,VarunGanapathi,OussamaKhatib,AndrewY.NginICRA2011.AutonomousSignReadingforSemanticMappingCarlCase,BipinSuresh,AdamCoatesandAndrewY.NginICRA2011.LearningContinuousPhraseRepresentationsandSyntacticParsingwithRecursiveNeuralNetworksRichardSocher,ChristopherManningandAndrewNginNIPS2010.AProbabilisticModelforSemanticWordVectorsAndrewMaasandAndrewNginNIPS2010.TiledConvolutionalNeuralNetworksQuocV.Le,JiquanNgiam,ZhenghaoChen,DanielChia,PangweiKohandAndrewY.NginNIPS2010.EnergyDisaggregationviaDiscriminativeSparseCodingJ.ZicoKolterandAndrewY.NginNIPS2010.AutonomousHelicopterAerobaticsthroughApprenticeshipLearningPieterAbbeel,AdamCoatesandAndrewY.NginIJRR2010.AutonomousOperationofNovelElevatorsforRobotNavigationEllenKlingbeil,BlakeCarpenter,OlgaRussakovskyandAndrewY.NginICRA2010.LearningtoGraspObjectswithMultipleContactPointsQuocLe,DavidKammandAndrewY.NginICRA2010.Multi-CameraObjectDetectionforRoboticsAdamCoatesandAndrewY.NginICRA2010.AProbabilisticApproachtoMixedOpen-loopandClosed-loopControl,withApplicationtoExtremeAutonomousDrivingJ.ZicoKolter,ChristianPlagemann,DavidT.Jackson,AndrewY.NgandSebastianThruninICRA2010.GraspingNovelObjectswithDepthSegmentationDeepakRao,QuocV.Le,ThanathornPhoka,MorganQuigley,AttawithSudsandandAndrewY.NginIROS2010.Low-costAccelerometersforRoboticManipulatorPerceptionMorganQuigley,ReubenBrewer,SaiP.Soundararaj,VijayPradeep,QuocV.LeandAndrewY.NginIROS2010.ASteinerTreeApproachtoObjectDetectionOlgaRussakovskyandAndrewY.NginCVPR2010.MeasuringInvariancesinDeepNetworksIanJ.Goodfellow,QuocV.Le,AndrewM.Saxe,HonglakLeeandAndrewY.NginNIPS2009.UnsupervisedFeatureLearningforAudioClassificationUsingConvolutionalDeepBeliefNetworksHonglakLee,YanLargman,PeterPhamandAndrewY.NginNIPS2009.ConvolutionalDeepBeliefNetworksforScalableUnsupervisedLearningofHierarchicalRepresentationsHonglakLee,RogerGrosse,RajeshRanganathandAndrewY.NginICML2009.Large-scaleDeepUnsupervisedLearningusingGraphicsProcessorsRajatRaina,AnandMadhavanandAndrewY.NginICML2009.Amajorization-minimizationalgorithmfor(multiple)hyperparameterlearningChuanShengFoo,ChuongDoandAndrewY.NginICML2009.RegularizationandFeatureSelectioninLeast-SquaresTemporalDifferenceLearningJ.ZicoKolterandAndrewY.NginICML2009.Near-BayesianExplorationinPolynomialTimeJ.ZicoKolterandAndrewY.NginICML2009.PolicySearchviatheSignedDerivativeJ.ZicoKolterandAndrewY.NginRSS2009.JointCalibrationofMultipleSensorsQuocLeandAndrewY.NginIROS2009.ScalableLearningforObjectDetectionwithGPUHardwareAdamCoates,PaulBaumstarck,QuocLe,andAndrewY.NginIROS2009.ExponentialFamilySparseCodingwithApplicationtoSelf-taughtLearningHonglakLee,RajatRaina,AlexTeichmanandAndrewY.NginIJCAI2009.ApprenticeshipLearningforHelicopterControlAdamCoates,PieterAbbeelandAndrewY.NginCommunicationsoftheACM,Volume52,2009.ROS:AnOpen-SourceRobotOperatingSystemMorganQuigley,BrianGerkey,KenConley,JoshFaust,TullyFoote,JeremyLeibs,EricBerger,RobWheeler,andAndrewY.NginICRA2009.High-Accuracy3DSensingforMobileManipulation:ImprovingObjectDetectionandDoorOpeningMorganQuigley,SiddharthBatra,StephenGould,EllenKlingbeil,QuocLe,AshleyWellmanandAndrewY.NginICRA2009.StereoVisionandTerrainModelingforQuadrupedRobotsJ.ZicoKolter,YoungjunKimandAndrewY.NginICRA2009.Task-SpaceTrajectoriesviaCubicSplineOptimizationJ.ZicoKolterandAndrewY.NginICRA2009.LearningSoundLocationfromaSingleMicrophoneAshutoshSaxenaandAndrewY.NginICRA2009.Learning3-DObjectOrientationfromImagesAshutoshSaxena,JustinDriemeyerandAndrewY.NginICRA2009.ReactiveGraspingUsingOpticalProximitySensorsKaijenHsiao,PaulNangeroni,ManfredHuber,AshutoshSaxenaandAndrewY.NginICRA2009。

为什么浅层神经网络提取特征的能力不强

BP神经网络、离散Hopfield网络、LVQ神经网络等等都可以。

BP（BackPropagation）神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

BP神经网络模型拓扑结构包括输入层（input）、隐层(hiddenlayer)和输出层(outputlayer)。

2.Hopfiled神经网络是一种递归神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。

它保证了向局部极小的收敛，但收敛到错误的局部极小值（localminimum），而非全局极小（globalminimum）的情况也可能发生。Hopfiled网络也提供了模拟人类记忆的模型。

3.LVQ神经网络由三层组成，即输入层、隐含层和输出层，网络在输入层与隐含层间为完全连接，而在隐含层与输出层间为部分连接，每个输出层神经元与隐含层神经元的不同组相连接。

隐含层和输出层神经元之间的连接权值固定为1。输入层和隐含层神经元间连接的权值建立参考矢量的分量（对每个隐含神经元指定一个参考矢量）。在网络训练过程中，这些权值被修改。

隐含层神经元（又称为Kohnen神经元）和输出神经元都具有二进制输出值。

当某个输入模式被送至网络时，参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争，因而允许它产生一个“1”，而其它隐含层神经元都被迫产生“0”。

与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”，而其它输出神经元均发出“0”。产生“1”的输出神经元给出输入模式的类，由此可见，每个输出神经元被用于表示不同的类。

关于神经网络 需要学习python的哪些知识？

最基础的部分的话需要：线性代数，机器学习，微积分，优化等等。

几乎所有操作都有矩阵运算，所以至少最基础的线性代数需要掌握建议从单一的感知机Perceptron出发，继而认识到DecisionBoundary(判别边界),以及最简单的一些“监督训练”的概念等，有机器学习的基础最好。

就结果而言，诸如“过拟合”之类的概念，以及对应的解决方法比如L1L2归一，学习率等也都可以从单个感知机的概念开始入门。从单层感知器推广到普通的多层感知器MLP。

然后推广到简单的神经网络（激活函数从阶跃“软化”为诸如tanh等类型的函数），然后引入特定类型的网络结构，比如最基本的全连接、前向传播等等概念。

进而学习训练算法，比如反向传播，这需要微积分的知识（Chainrule）,以及非线性优化的最基础部分，比如梯度下降法。

其次至少需要具备一些适用于研究的编程语言的技能，例如python，matlab，（C++也可行）等，哪怕不自己实现最简单的神经网络而是用API，也是需要一定计算机能力才能应用之。