hinton 第3页

谷歌大脑深度学习调参（炼丹）指南出炉，Hinton点赞，一天收获1500星

关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式论文地址：https://arxiv.org/pdf/2201.04620v1.pdf计算机视觉研究院专栏作者：Edison_G「大量的实践经验已被提炼成这份强大的深度学习模型调参指南。」——GeoffreyHinton。转自《机器之心》众所周知，AI的超参数决定着模型学习效果和速度。相

计算机视觉研究院·2023-01-26 10:34

人工智能65年简史：从麦卡锡到Hinton，人类追求的AI究竟是什么？

关注后回复“进群”，拉你进程序员交流群来源丨新智元https://mp.weixin.qq.com/s/Wz0jxFgvixs1ysL6HS_ODA新智元报道来源：IEEESpectrum编辑：LRS【新智元导读】人工智能的发展已有65年的历史，曾经历过寒冬，也经历过辉煌。从符号主义的专家系统到现在所向披靡的神经网络，不少人担心是否寒冬会再来，也有乐观的人表示人工智能的春天也要来了。回到人工智能发

程序员大咖·2023-01-26 07:46

深度学习杂谈（调参、损失函数、trick、正负样本...）

谷歌大脑深度学习调参（炼丹）指南出炉，Hinton点赞，一天收获1500星：谷歌大脑深度学习调参（炼丹）指南出炉，Hinton点赞，一天收获1500星GitHub-google-research/tuning_playbook

Pengsen Ma·2023-01-21 12:30

Dropout，Batch Normalization，Maxout

然而深度学习领域大神Hinton，在2012年文献：《Improvingne

sousouweiba·2023-01-19 08:12

CS224n笔记12 语音识别的end-to-end模型

本文转自：http://www.hankcs.com/nlp/cs224n-end-to-end-asr.html这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别，他正在英伟达工作

weixin_30933531·2023-01-18 18:41

m基于AlexNet神经网络和GEI步态能量图的步态识别算法MATLAB仿真

目录1.算法描述2.仿真效果预览3.MATLAB核心程序4.完整MATLAB1.算法描述AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生AlexKrizhevsky设计的。

我爱C编程·2023-01-18 18:07

Batch Normalization批标准化

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。

swallowwd·2023-01-17 12:44

BERT蒸馏完全指南｜原理/技巧/代码

模型蒸馏原理Hinton在NIPS2014[1]提出了知识

zenRRan·2023-01-16 15:48

Nature：深度学习的现在和未来：DeepLearning、无监督学习、NLP

麦子仲肥·2023-01-15 11:26

nn.Dropout、DropPath的理解与pytorch代码

dropout在12年被Hinton提出，并且在《ImageNetClassifi

研1菜鸟·2023-01-15 10:30

AlexNet网络详解(实现花的种类识别)

它是由Hinton和他的学生AlexKrizhevsky设计的。也是在那年之后，深度学习开始迅速发展。AlexNet的亮点1.AlexNet在激活函数上选取了非线性非饱和的relu函数，在训

fakerth·2023-01-14 00:04

深度学习入门初步

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。

jlqzzz·2023-01-12 10:51

基于cifar10数据集的FedAvg联邦学习任务

CIFAR-10是由Hinton的学生AlexKrizhevsky和Ily

梦码城·2023-01-11 19:36

张俊林：对比学习研究进展精要

文|张俊林@知乎对比学习(ContrastiveLearning)最近一年比较火，各路大神比如Hinton、YannLeCun、KaimingHe及一流研究机构比如Facebook、Google、DeepMind

夕小瑶·2023-01-10 12:11

从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)

最经典的对比学习的文章是Hinton团队提出的SimCLR，该方法首先将一个实例(图像)变换成两种不同的增广实例(图像)，然后用神经网络训练得到投影表示，

c2a2o2·2023-01-10 12:09

对比学习（Contrastive Learning）:研究进展精要

对比学习(ContrastiveLearning)最近一年比较火，各路大神比如Hinton、YannLeCun、KaimingHe及一流研究机构比如Facebook、Google、DeepMind，都投入其中并快速提出各种改进模型

c2a2o2·2023-01-10 12:09

深入理解Batch Normalization批标准化

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《BatchN

Monalena·2023-01-10 07:09

Pytorch学习笔记12----基于卷积神经网络的 CIFAR10 识别

CIFAR10是由Hinton的两个大弟子AlexKrizhevsky、IlyaSutskever收集的一个用于普适物体识别的数据集。

AI Chen·2023-01-10 02:57

文本蕴含日记4——深度学习

1、深度学习的提出深度学习的概念由hinton等人于2006年提出。基于深信度网（DBN）提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望。随后提出多层自动编码器深层结构。

blank307·2023-01-09 11:25

70 岁 Hinton 还在努力推翻自己积累了 30 年的学术成果，他让我知道了什么叫做生命力...

来源：算法与数学之美（ID：MathAndAlgorithm）本月，Hinton的那篇Capsule论文终于揭下了神秘的面纱，也因为该篇论文，他被刊进了各大媒体的头版头条。

人工智能与算法学习·2023-01-08 08:13

深度学习大神Hinton推翻自己30年的学术成果另造新世界

作者|胡永波Hinton，这个以“深度学习之父”和“神经网络先驱”响彻AI领域的名字，他的一举一动，都是热点导向。当我们远望一位顶级人物时，除了他的学术，也许，我们更应该关注到他的内心与灵魂。

weixin_34309543·2023-01-08 07:42

70岁Hinton还在努力推翻自己积累了30年的学术成果，他让我知道了什么叫做生命力...

阅读大概需要5分钟跟随小博主，每天进步一丢丢来源：算法与数学之美（ID：MathAndAlgorithm）近日，Hinton的那篇Capsule论文终于揭下了神秘的面纱，也因为该篇论文，他被刊进了各大媒体的头版头条

zenRRan·2023-01-08 07:37

人物丨深度学习大神Hinton推翻自己30年的学术成果另造新世界

作者：胡永波Hinton，这个以“深度学习之父”和“神经网络先驱”响彻AI领域的名字，他的一举一动，都是热点导向。当我们远望一位顶级人物时，除了他的学术，也许，我们更应该关注到他的内心与灵魂。

人工智能爱好者俱乐部·2023-01-08 07:01

梯度消失-爆炸常用解决方案

-预训练加微调-梯度剪切、权重正则（针对梯度爆炸）-使用不同的激活函数-使用batchnorm-使用残差结构1、预训练加微调此方法来自Hinton在2006年发表的一篇论文，Hinton为了解决梯度的问题

alex1801·2023-01-07 11:38

经典卷积神经网络（2）--AlexNet卷积网络模型

背景2012年，Hinton的学生AlexKrizhevsky借助深度学习相关理论提出了深度卷积网络模型AlexNet.在2012年ILSVRC竞赛中取得top-5错误率为15.3%，并取得大赛第一名。

Meruz·2023-01-07 07:34

2012年至今，细数深度学习领域这些年取得的经典成果

2020-08-0402:31:58编译|陈彩娴编辑|丛末2006年，Hinton发表了一篇论文《AFastLearningAlgorithmforDeepBeliefNets》，提出了降维和逐层预训练方法

喜欢打酱油的老鸟·2023-01-06 14:06

CNN经典结构（AlexNet，ZFNet，OverFeat，VGG，GoogleNet，ResNet）

ImageNet比赛为一直研究神经网络的Hinton提供了施展平台，Ale

iamstarlee·2023-01-06 08:49

关于Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks的理解

为了防御之前提出的FGSM和JSMA的攻击方式，作者根据之前hinton提出的蒸馏学习的方式，再此基础上稍作修改得到了防御蒸馏模型，并理论推导了防御有效性的原因。

kearney1995·2023-01-05 16:49

ALexNet详解

AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生AlexKrizhevsky设计的。也是在那年之后，更多的更深的神经网路被提出，比如优秀的vgg,GoogleLeNet。

白茶_JUNE·2023-01-04 09:21

Kaggle - 图像分类(CIFAR-10)

Kaggle–图像分类(CIFAR-10)基于Pytorch的实现CIFAR-10是计算机视觉领域中一个非常重要的数据集.它由Hinton的学生AlexKrizhevsky和IlyaSutskever整理的小型数据集

Kevin小鲨鱼·2023-01-04 07:00

CNN系列：AlexNet-用深度卷积神经网络实现

译者按：祖师爷Hinton带领的小组经典之作，深度学习开山祖师Hinton率领的谷歌团队多次夺冠，主力成员为hinton在多伦多大学的学生AlexKrizhevsky，IlyaSutskever，因此他们的解决方案也叫

肥猫64·2023-01-03 15:02

AlexNet卷积神经网络

译者按：祖师爷Hinton带领的小组经典之作，深度学习开山祖师Hinton率领的谷歌团队多次夺冠，主力成员为hinton在多伦多大学的学生AlexKrizhevsky，IlyaSutskever，因此他们的解决方案也叫

Rosa_zz·2023-01-03 15:32

程序员技术进阶手册（二）

深度学习的概念源于人工神经网络的研究，如果追溯深度学习的概念还是要回到2006年Hinton那篇论文，基于深信度网（DNB）提出非监督贪心逐层训练算法，未解决深层结构相关的优化难题出现的论文。

???Sir·2022-12-31 10:00

tensorflow实战——经典的卷积神经网络

特征的稀疏表达：使用少量的基本特征组合拼装得到更高层抽象的特征Hinton的思路就是先用自编码器的方法进行无监督的预训练，提取特征并初始化权重，然后使用标注信息进行监督式的学习。

warrles·2022-12-31 07:50

深度学习必备手册

深度学习的概念源于人工神经网络的研究，如果追溯深度学习的概念还是要回到2006年Hinton那篇论文，基于深信度网（DNB）提出非监督贪心逐层训练算法，未解决深层结构相关的优化难题出现的论文。其实，对

Zhang,Xuewen·2022-12-30 17:15

BP反向传播矩阵推导图示详解

该论文从题目到内容到参考文献一共2页半，Hinton也借此工作荣获2018年的图领奖。在深度学习领域，

PaperWeekly·2022-12-30 17:37

知识蒸馏（Knowledge Distillation）

知识蒸馏的概念由Hinton在DistillingtheKnowledgeinaNeuralNetwork中提出，目的是把一个大模型或者多个模型集成学到的知识迁移到另一个轻量级模型上。

琉璃幻·2022-12-30 08:46

【深度】“信息瓶颈”理论揭示深度学习本质，Hinton说他要看1万遍

本文讲的是“信息瓶颈”理论揭示深度学习本质，Hinton说他要看1万遍，利用深度神经网络的机器已经学会了交谈、开车，在玩视频游戏和下围棋时击败了世界冠军，还能做梦、画画，帮助进行科学发现，但同时它们也深深地让其发明者困惑

weixin_34216036·2022-12-28 14:47

深度学习撞墙了？

转自|机器之心早在2016年，Hinton就说过，我们不用再培养放射科医生了。如今几年过去，AI并没有取代任何一位放射科医生。问题出在哪儿？

Sim1480·2022-12-28 08:16

深度学习撞墙了！

Datawhale干货编辑：机器之心早在2016年，Hinton就说过，我们不用再培养放射科医生了。如今几年过去，AI并没有取代任何一位放射科医生。问题出在哪儿？

Datawhale·2022-12-28 08:15

关于神经网络的轻量化

2、DeepCNN对于其他任务的一些致命性缺陷，较为著名的是：up-sampling和poolinglayer的设计，在Hinton的演讲中也提到过：1）上采样和池化层是不可学

咕噜船长·2022-12-27 14:32

【学习笔记】AlexNet 网络结构

是由Hinton和他的学生AlexKrizhevsky设计完成的网络。（ISL

也行Yexin·2022-12-24 14:19

Hinton组新作：基于大型全景掩码的实例分割框架，图像视频场景丝滑切换

©作者|机器之心编辑部来源|机器之心本文的创新点一方面在于能够在大型全景掩码上训练扩散模型，一方面在于可以同时适配图片和流媒体场景。全景分割是一项基本的视觉任务，该任务旨在为图像的每个像素指定语义标签和实例标签。语义标签描述每个像素的类别（例如天空、竖直物体等），实例标签为图像中的每个实例提供唯一的ID（以区分同一类别的不同实例）。该任务结合了语义分割和实例分割，提供了关于场景的丰富语义信息。虽然

PaperWeekly·2022-12-24 03:38

Hinton构思下一代神经网络：属于无监督对比学习

本文由机器之心报道GeoffreyHinton是谷歌副总裁、工程研究员，也是VectorInstitute的首席科学顾问、多伦多大学Emeritus荣誉教授。2018年，他与YoshuaBengio、YannLeCun因对深度学习领域做出的巨大贡献而共同获得图灵奖。自20世纪80年代开始，GeoffreyHinton就开始提倡使用机器学习方法进行人工智能研究，他希望通过人脑运作方式探索机器学习系统

人工智能学家·2022-12-23 17:39

给BERT加一个loss就能稳定提升？斯坦福+Facebook最新力作！

来自：李rumor关注CV领域的小伙伴一定都记得Hinton团队在年初提出的SimCLR[1]，采用自监督的对比学习方法进行encoder的训练，各种碾压之前的模型。

zenRRan·2022-12-23 14:48

图像分类篇：pytorch实现AlexNet

它是由Hinton和他的学生AlexKrizhevsky设计的。也是在那年之后，深度学习开始迅速发展。AlexNet包括5

cc巴巴布莱特·2022-12-23 12:24

深度学习中的网络结构

CNN一些经典案例和ImageNet图像分类竞赛的历年冠军（深度学习网络发展史）：神经网络年份标签作者LeNets1998年CNN开山之作纽约大学AlexNet2012年ImageNet冠军多伦多大学Hinton

没拖拉机的斯基·2022-12-23 10:50

知识蒸馏概述

最早是由Hinton在2015年首次提出（DistillingtheKnowledgeinaNeuralNetwork）并应用在分类任务上面，这个大模型称之为Teacher（

下雨天吃火锅哩·2022-12-21 07:23

全景分割~

Hinton组提出基于大型全景掩码的实例分割框架，图像视频场景丝滑切换全景分割是一项基本的视觉任务，该任务旨在为图像的每个像素指定语义标签和实例标签。

whaosoft143·2022-12-20 09:50

SimCLR-[论文学习笔记]

SimCLR是对比学习系列文章里比较容易理解的一个模型框架，这也是Hinton大神的又一篇作品，值得我们仔细阅读与学习。以下就是学习过程中的相关心得笔记，希望能够帮到你，如有错误请指正，我们一起进步！

阿飞没有花福蝶·2022-12-20 05:44

推荐频道

hinton