【收藏夹】人工智能领域的一些博客/论文/资讯 2017

____tz_zs文章收藏

持续更新

____越新的排在前面

2017-12-27 观点 | 对比梯度下降与进化策略，神经进化会成为深度学习的未来吗？

OpenAI 和 Uber 的研究人员表明，由于具有「梯度逼近」特性，进化策略在监督学习场景中可获得令人满意的效果（但并未超越目前最先进水平），在强化学习场景中表现出高性能（在某些领域可以与目前最先进水平比肩）。

论文原文 | 机器之心

2017-12-25 2017·AI 芯片元年-深度学习引领 AI 芯片大战

2017 年，AI 芯片是半导体产业的亮点，而它受到的关注又远远超出半导体的圈子。这一年，从科技巨头到初创公司，新老角色轮番登场，为我们上演了精彩好戏。若干年后，当我们再回头来看，一定可以把 2017 年作为 AI 芯片元年。

2017-12-17 “全能棋王”AlphaZero 背后的真正启示：直觉是如何战胜逻辑的

直觉式思维是神圣的天赋，理性思维是忠实的仆人。但我们的社会却尊重仆人而轻视天赋。——爱因斯坦

我在人工智能领域所做的工作围绕“先进的认知机器将使用直觉作为其智力基础”这一想法。我们人类的思想为一般化的智力提供了充足的证据。人类本质上是直觉机器，而我们理性（和自觉）的自我只是基于直觉的机器之上的一个模拟。这与笛卡尔的名言“我思故我在”形成鲜明的对比，意味着我们的理性思维就是把我们与其他所有生物区分开的东西。

我们因此在认知上有了偏见，要求技术和方法由逻辑机器驱动。这就是 Good Old Fashioned AI (GOFAI) 在过去几十年间失败的原因，它从一开始就试图通过逻辑范式来解决智力问题。

原文《AlphaZero: How Intuition Demolished Logic》

2017-12-06 AlphaZero

从AlphoGo Zero 到AlphaZero只是少了一个词“围棋”(Go), 但是背后却代表着Hassabis将和他的DeepMind继续朝着“创造解决世界上一切问题的通用人工智能”这一目标道路上迈出了巨大的一步。今天DeepMind在arXiv发表论文表示其开发的通用强化学习程序AlphaZero,使用蒙特卡洛树搜索（MCTS）和深度神经网络，和强大的算力，同时在国际象棋，日本将棋和围棋中战胜各自领域的最强代表。而且这一切都是通过自我对弈完成的，在训练中除了游戏规则，不提供任何额外的领域知识。

原论文地址

公众号相关报道： 机器之心 | DeepTech深科技 | 专知

斯坦福大学发布AI百年报告“AI Index”（AI指数）

AI指数旨在追踪人工智能的活动和进展。目标是促进基于数据的AI的广泛交流和有效对话。这是AI Index的首届年度报告，从多个角度观察和汇报了人工智能中的动态和进展。

百度云盘分享地址 | 原报告地址

斯坦福大学推出首个AI指数，将用于追踪和衡量人工智能发展标准

重磅！斯坦福大学发布AI百年报告

【斯坦福AI百年报告2017】重磅发布人工智能与机器学习全景式概览 新智元

2017-11-15 TensorFlow Lite

Google Developers：发表TensorFlow Lite

谷歌宣布推出 TensorFlow Lite，这是 TensorFlow 的针对移动设备和嵌入式设备的轻量级解决方案。这个框架针对机器学习模型的低延迟推理进行了优化，重点是小内存占用和快速性能。利用TensorFlow Lite，即使在半监督的设置下，也可实现在手机端跨平台训练ML模型。

Yann LeCun说是时候放弃概率论了，因果关系才是理解世界的基石

英语原文地址（英文原文下的一些评论很有启发，建议去看看）

今年9月初，Yann LeCun在Cognitive Computational Neuroscience (CCN) 2017上发表了题为“为什么大脑能短时间内学习如此多东西？”的演讲，在演讲中他提到，他已经做好放弃概率论（throw Probability Theory under the bus）的准备。
他认为概率理论只是一个工具，而非现实或智能系统的基本特征。作为一个工具，它就存在应用领域的限制。就算你的锯子能够砍树，这并不意味着它就能切割钛。

Capsule Networks

举个卡戴珊的例子，讲讲Hinton的Capsule是怎么回事 | 教程+代码 

这是“深度学习之父”的Geoffrey Hinton近几年一直在探索的领域，被视为突破性的新概念。

从遗传算法到OpenAI新方向：进化策略工作机制全解

在这篇文章中，作者用一些简单的视觉案例解释了进化策略（Evolution Strategies）的工作方式，其中包括了简单进化策略、简单遗传算法、CMA-ES、自然进化策略以及 OpenAI 的进化策略，并给出了形象的动态图过程展示。

资源 | 清华大学开源OpenKE：知识表示学习平台

清华大学自然语言处理实验室近日发布了 OpenKE 平台，整合了 TransE、TransH、TransR、TransD、RESCAL、DistMult、HolE、ComplEx 等算法的统一接口高效实现，以及面向 WikiData 和 Freebase 预训练知识表示模型。该项目旨在为开发者与研究人员提供便利。

2017-10-19 AlphaGo Zero

1.以下文章主要讲述了，AlphaGo Zero的不同，人工神经网络的历史，AlphaGo Zero的意义、以及应用前景和展望

今日Nature: 人工智能从0到1, 无师自通完爆阿法狗100-0 | 深度解析 

2.以下文章主要讲述了技术细节

新AlphaGo这么强！36小时从0自学成大师，100:0把李世乭版秒成渣渣 | Nature论文

无需人类知识，DeepMind新一代围棋程序AlphaGo Zero再次登上Nature

【21天完虐Master】AlphaGo Zero横空出世，DeepMind Nature论文解密不使用人类知识掌握围棋

3.以下主要讲述了白班理论、监督学习VS非监督学习

史上最强AlphaGo横空出世，不靠人类经验完爆旧版，柯洁感叹“人类太多余”

4.以下为DeepMind团队两位主要开发者，David Silver和Julian Schrittwieser，做客知名网站reddit，展开一场超级问答AMA（Ask Me Anything）

最强AlphaGo怎样炼成？刚刚，DeepMind团队进行了全面解读

5.以下为强化学习资料的整理

【AlphaGoZero核心技术】深度强化学习知识资料全集(论文/代码/教程/视频/文章等)

变种神经网络的典型代表：深度残差网络

2017-10-16 Attention！神经网络中的注意机制到底是什么？

神经网络的注意机制（Attention Mechanisms）扩展了神经网络的功能，能近似更复杂的函数。或者用更直观的术语来说，它能够专注于输入的特定部分，提高了自然语言基准测试的性能，也带来了全新的功能，如图像字幕、内存网络中地址和神经程序。

2017-10-15 斯坦福公布3D街景数据集：2500万张图像，8个城市模型 | 下载

近日，斯坦福大学的研究人员公布了一个数据集，其中包含带有相机姿态的街景数据、8个城市的3D模型和拓展的元数据。这个数据集数据量庞大，街景数据集就包含2500万张图像和1.18亿个匹配的图像对。

2017-10-13 美“大脑阿波罗计划”出现新转折

此计划致力于绘制啮齿类动物大脑皮层结构与功能图谱，还原其中所有细节。对于大脑的复杂程度而言，描绘每个立方毫米（约一个砂砾大小）的脑皮层图谱都如登月般工程量浩大，这是因为我们想真正描绘出其中的是其体积数亿倍的细节，它大致包含了 10 万个神经元和大约 10 亿个神经突触（神经元间传递信息的缝隙结构）。

“芯”战争，人工智能芯片研发攻略

详细的讲诉了人工智能芯片的三个阶段：（1）基于 FPGA 的半定制、（2）针对深度学习算法的全定制、（3）类脑计算芯片。

谷歌全方位自曝Waymo无人车技术方案 | 42页报告要点解读+下载

这份报告是谷歌对Waymo无人车自动驾驶技术方案的一次详尽解读，共有如下几部分内容：谷歌无人车的安全设计理念，Waymo无人车是如何工作的，测试和验证是如何进行的，无人车相关交互细节。报告下载

REWORK 深度学习峰会 三巨头论剑深度学习新方向

2017 年 10 月 10-11 号，REWORK 深度学习峰会在蒙特利尔举办。有深度学习界三位元老级人物——Geoffrey Hinton、Yann Lecun 和 Yoshua Bengio 分享自己的想法。

2017杭州云栖大会

电商视觉人工智能专场

2017杭州云栖大会视频回顾

阿里巴巴的AI革命 | 4天云栖大会干货总结

总结了4天云栖大会：达摩院，平台化战略，两大开源项目等

百度英伟达联手推混合精度训练，同样性能只需一半内存 | 附论文 

百度和英伟达今天展示了一项双方的联合研究，用16bit半精度浮点数（FP16）来训练神经网络，降低了训练所需内存的同时，在同样的超参数下达到了和32bit单精度浮点数（FP32）相同的准确率。

他们在一篇题为Mixed Precision Training的论文中展示了这项训练神经网络的新技术。还分别在官方博客上发文（通俗地）介绍了这种“混合精度训练”。

2017-10-10 AI双城记

红杉·真格 AI双城记

【探访硅谷】吴恩达、李飞飞等6位大咖给AI公司撬动数据支招

2017-10-03 海马体预测地图

DeepMind 近日在《Nature Neuroscience》上发布最新研究，认为海马体能够通过预期的后续状态来展示每一个当前状态，从而传输对未来事件的细致总结。这种特殊形式的预测地图使大脑快速适应奖励不同的环境，而无需运行对未来的模拟。受此启发，DeepMind 提出将强化学习中基于模型的算法和无模型算法结合起来，既保证计算成本低廉，又能快速适应奖励变化。DeepMind 表示，预测地图理论可以转换成神经网络架构。

DeepMind发表Nature论文：「预测地图」海马体催生强化学习新算法

大脑海马体藏有学习本质的秘密，这是DeepMind新发现 | 附论文

论文下载（The hippocampus as a predictive map）

【Bengio一人署名论文】提出“意识RNN”，用4页纸进军通用AI

Hinton号召AI革命：重头再来；李飞飞等赞成：深度学习不是唯一

2017-07-17： 深度学习的局限性

2017-06-29： 谷歌DeepMind发布最新研究：人类认知心理学开启人工智能的“黑盒子”

2017-03-21：神经进化（neuro evolution）

深度 | 谷歌和OpenAI新研究：如何使用达尔文进化论辅助设计人工智能算法？

谷歌的混合方法将经典的神经进化和反向传播等技术结合到了一起，从而实现了现在非常强大的深度学习：教一个算法如何在世界中采取行动，让其进化，而该算法的「孩子」将具有大多数积累的知识。OpenAI 的方法更类似于生物的进化方式。该团队在每一代仅允许随机突变来主宰该网络提升或失败的方式，也就是说其提升是完全通过随机进化创造的。

2016-10-20：10 个顶尖的 Linux 开源人工智能工具

在这篇文章中，我们将介绍几个顶级的开源 Linux 生态系统的人工智能（AI）工具。
1.Deep Learning For Java（Deeplearning4j）
2.Caffe ——深度学习框架
3. H20 ——分布式机器学习框架
4. MLlib ——机器学习库5.Apache Mahout
5.Apache Mahout
6.Open Neural Networks Library（OpenNN）
7. Oryx 2
8. OpenCyc
9.Apache SystemML
10. NuPIC

2016-09-01：百度正式宣布推出深度学习开源平台PaddlePaddle

PaddlePaddle的前身是百度于2013年自主研发的深度学习平台Paddle（Parallel Distributed Deep Learning，并行分布式深度学习），且一直为百度内部工程师研发使用。
PaddlePaddle在深度学习框架方面，覆盖了搜索、图像识别、语音语义识别理解、情感分析、机器翻译、用户画像推荐等多领域的业务和技术。
目前，PaddlePaddle已实现CPU/GPU单机和分布式模式，同时支持海量数据训练、数百台机器并行运算，以应对大规模的数据训练。此外，PaddlePaddle具备高质量GPU代码，提供了Neural Machine Translation、推荐、图像分类、情感分析、Semantic Role Labelling等5个Task，每个Task都可迅速上手，且大部分任务可直接套用。