超酷！NeRF神经场工具库；李飞飞弟子亲授，CS231n进阶课；斯坦福CS520知识图谱课，当教授开始『卷』人脉；前沿论文 | ShowMeAI资讯日报

日报合辑 | 电子月刊 | 公众号下载资料 | @韩信子

工具&框架

『NeRF-Factory』PyTorch 的 NeRF 库

https://github.com/kakaobrain/NeRF-Factory

https://kakaobrain.github.io/NeRF-Factory/

神经场是近期计算机视觉中热点方向之一，NeRF-Factory 是一个针对神经场的工具库，它为评估和比较NeRF模型提供了方便的工具平台。整体工具库设计简单，通过整合代码的格式来添加你的自定义数据和模型。它具备如下特性：

• 支持用 PyTorch-Lightning 进行多 GPU 训练
• 有包含说明、结果和预训练模型链接的项目页面
• 将 NeRF 的训练过程分为三个阶段：ray generation，network forwarding和 optimization
• 通过简单地切换配置，方便地将各自的过程切换到所需的选项
• 渲染图像的交互式可视化，便于比较训练后的模型

『orb』Javascript 图可视化库

https://github.com/memgraph/orb

Orb 是一个基于JavaScript 的 Graph/图可视化工具库，可以高效添加点和边，设置不同的风格，并支持不同的视图模式。

『LazyProphet』LightGBM 时间序列预测库

https://github.com/tblume1992/LazyProphet

LazyProphet 是一个时间序列预测模型，用于对单一时间序列应用 LightGBM 进行预测。具备递归预测等功能（但使用最后若干个目标值预测下一个目标值时），工具库还支持傅里叶基函数和惩罚性加权平移线性基函数。

『Change Detection Laboratory』用 PyTorch 开发的基于深度学习遥感影像变化检测项目

https://github.com/Bobholamovic/CDLab

CDLab 是使用 PyTorch 开发的基于深度学习遥感影像变化检测项目，可作为算法开发、训练框架，也可作为基线测试平台。

『hwinfo』跨平台 C++ 硬件信息访问库

https://github.com/lfreist/hwinfo

hwinfo 提供了一个易用的现代 C++ API，用于检索系统组件的硬件信息，如CPU、RAM、GPU、磁盘、主板等。

博文&分享

『(6.0001) Introduction to Computer Science and Programming in Python』MIT麻省理工 · 计算机科学与Python编程导论课程

https://www.showmeai.tech/article-detail/349

MIT 6.0001是全球顶校麻省理工开设的 Python 编程基础课程，课程系统讲解了 Python 的语法与注意点。课程以知识广度为更高的目标，将分支、循环、字符串、近似、函数、元组等娓娓道来，并且将内容深度控制在了非常友好的层面，初学者也能理解计算并通过程序解决实际的问题。

通过课程的学习，我们可以不仅可以掌握如下知识点，也能将其串联成完整的Python编程应用技能，为后续计算机科学专业方向（比如网站开发、数据科学、人工智能）应用与落地做好准备。

• What is computation?（什么是计算科学）
• Branching and Iteration（分支与循环）
• String Manipulation, Guess and Check, Approximations, Bisection（字符串操作 / 近似 / 二分）
• Decomposition, Abstractions, Functions（分解、抽象与函数）
• Tuples, Lists, Aliasing, Mutability, Cloning（元组、列表、重命名、元素更改与复制）
• Recursion, Dictionaries（递归与字典）
• Testing, Debugging, Exceptions, Assertions（测试与调试、异常处理与断言）
• Object Oriented Programming（面向对象的编程）
• Python Classes and Inheritance（Python类与继承）
• Understanding Program Efficiency（程序效率分析）
• Searching and Sorting（搜索与排序）

ShowMeAI 对课程资料进行了梳理，整理成这份完备且清晰的资料包（点击 这里 获取这份资料包）：

• 课件 / Slides。PDF版本。覆盖Lecture 1~12所有章节。
• 代码 / Code。.py文件。覆盖Lecture 1~12所有章节。
• 作业 / Assignment\s。PDF+.py文件。Problem Set 0~5，课程学习中的问与答。
• 拓展阅读材料 / Reading。面向新手的Python学习资源。

『(EECS498) Deep Learning for Computer Vision』Michigan密歇根 · 深度学习与计算机视觉(CS231n进阶课)

https://www.showmeai.tech/article-detail/350

本课程深入探讨基于神经网络的计算机视觉深度学习方法的细节。在本课程中，学生将学习实现、训练和调试自己的神经网络，并详细了解计算机视觉领域的前沿研究。我们将介绍学习算法、神经网络体系结构以及用于视觉识别任务的训练和微调网络的实用工程技巧。

相较于斯坦福目前公开的 CS231n 课程，此门课程内容有更新、更前沿的内容覆盖，可以当作『CS231n进阶课程』来学习。

• Course Introduction（计算机视觉中的深度学习介绍）
• lmage Classification（图像分类）
• Linear Classifiers（线性分类器）
• Optimization（训练与优化）
• Neural Networks（神经网络介绍）
• Backpropagation（反向传播）
• Convolutional Networks（卷积神经网络）
• CNN Architectures（CNN典型结构）
• Hardware and Software（深度学习硬件与软件）
• Training Neural Networks（训练神经网络）
• Recurrent Networks（循环神经网络）
• Attention（注意力机制）
• Visualizing and Understanding（可视化与模型理解）
• Object Detection（目标检测）
• Image Segmentation（目标检测与图像分割）
• 3D vision（3D计算机视觉）
• Videos（深度学习中的视频处理）
• Generative Models（生成模型）
• Reinforcement Learning（强化学习）

ShowMeAI 对课程资料进行了梳理，整理成这份完备且清晰的资料包（点击 这里 获取这份资料包）：

• 课件（.PDF）。Lecture 1~22全部章节。在CS231n的基础上有所延展，来做一下知识升级吧！
• 作业及参考解答（.ipynb）。Assignment 1~5答案。来练练手巩固下知识吧！

『(CS520) Knowledge Graphs』Stanford斯坦福 · 知识图谱课程

https://www.showmeai.tech/article-detail/351

CS520是顶级院校斯坦福出品的知识图谱方向专业课程，是面向研究生的研究研讨会(Research Seminar)，包括知识图谱的理论讲解（如，数据模型、创建、推理、访问），以及著名研究人员和行业从业人员的特邀讲座。课程延续了斯坦福大学CS系列公开课高质量的授课内容和通俗易懂的特色，有很好的启发性和实用性。

CS520 强调人工智能、数据库系统和人机交互的综合，以创建以知识图谱为中心的集成智能系统。

• What is a Knowledge Graph（知识图谱简介）
• What are some Knowledge Graph data models（把维基百科数据构建成维基知识库）
• How to design the schema of a Knowledge Graph（如何设计知识图谱schema）
• How to create a Knowledge Graph from Data（如何从结构化数据中构建知识图谱）
• How to create a Knowledge Graph from Text（如何从文本数据中构建知识图谱）
• What are some inference algorithms for Knowledge Graphs（知识图谱知识推理算法介绍）
• How do users interact with a Knowledge Graph（知识图谱交互方式）
• How to evolve a Knowledge Graph（构建知识图谱）
• What are some high value use cases of Knowledge Graphs（知识图谱工业实践应用）
• How are Knowledge Graphs related to AI（从知识图谱到AI，两者如何关联）

ShowMeAI 对课程资料进行了梳理，整理成这份完备且清晰的资料包（点击 这里 获取这份资料包）：

• 课程公开资料为正式课程的全部 『课件/Slides』，制作得非常专业和用心，如图所示。注意！官方未发布分享嘉宾的讲义。

数据&资源

『stable-diffusion-colab-tools』Stable Diffusion的Google Colab集

https://github.com/karaage0703/stable-diffusion-colab-tools

Google Colab 上的Stable Diffusion 非常简单实用的工具合辑。

研究&论文

可以点击 这里 回复关键字 日报，免费获取整理好的论文合辑。

科研进展

• 2022.10.01 『新视角合成』 Structure-Aware NeRF without Posed Camera via Epipolar Constraint
• 2022.10.04 『图像降噪』 Accurate Image Restoration with Attention Retractable Transformer
• 2022.10.03 『无人驾驶』 LOPR: Latent Occupancy PRediction using Generative Models

⚡ 论文：Structure-Aware NeRF without Posed Camera via Epipolar Constraint

论文时间：1 Oct 2022

领域任务：Novel View Synthesis，新视角合成

论文地址：https://arxiv.org/abs/2210.00183

代码实现：https://github.com/xtu-pr-lab/sanerf

论文作者：Shu Chen, Yang Zhang, Yaxin Xu, Beiji Zou

论文简介：This two-stage strategy is not convenient to use and degrades the performance because the error in the pose extraction can propagate to the view synthesis./这种两阶段的策略使用起来并不方便，而且会降低性能，因为姿势提取的错误会传播到视图合成中。

论文摘要：用于现实的新型视图合成的神经辐射场（NeRF）需要通过从运动中获取结构（SfM）的方法预先获得摄像机的姿势。这种两阶段的策略使用起来并不方便，而且会降低性能，因为姿势提取的错误会传播到视图合成中。我们将姿势提取和视图合成整合到一个单一的端到端程序中，因此它们可以相互受益。为了训练NeRF模型，只给了RGB图像，没有预先知道的相机姿势。摄像机的姿势是通过上极约束获得的，在不同的视图中，相同的特征具有相同的世界坐标，这些坐标是根据提取的姿势从本地摄像机坐标转换而来的。上极约束与像素颜色约束共同优化。姿势由一个基于CNN的深度网络表示，其输入是相关的帧。这种联合优化使NeRF能够意识到场景的结构，从而提高泛化性能。在各种场景中进行的大量实验证明了所提出的方法的有效性。代码可在https://github.com/XTU-PR-LAB/SaNerf获取。

⚡ 论文：Accurate Image Restoration with Attention Retractable Transformer

论文时间：4 Oct 2022

领域任务：Denoising, Image Restoration, 图像降噪，图像恢复

论文地址：https://arxiv.org/abs/2210.01427

代码实现：https://github.com/gladzhang/art

论文作者：Jiale Zhang, Yulun Zhang, Jinjin Gu, Yongbing Zhang, Linghe Kong, Xin Yuan

论文简介：This is considered as a dense attention strategy since the interactions of tokens are restrained in dense regions./这被认为是一种密集注意策略，因为tokens的相互作用在密集区域受到限制。

论文摘要：最近，由于参数无关的全局交互作用，基于Transformer的图像修复网络已经取得了比卷积神经网络更有希望的改进。为了降低计算成本，现有的工作通常将自我注意的计算限制在非重叠的窗口内。然而，每组标记总是来自图像的密集区域。这被认为是一种密集的注意力策略，因为标记的相互作用在密集的区域是受到限制的。很明显，这种策略可能会导致接受区域受到限制。为了解决这个问题，我们提出了用于图像修复的注意力伸缩transformer（ART），它在网络中同时呈现了密集和稀疏的注意力模块。稀疏注意模块允许来自稀疏区域的标记相互作用，从而提供了一个更广泛的感受野。此外，密集和稀疏注意力模块的交替应用极大地增强了Transformer的表示能力，同时在输入图像上提供了可伸缩的注意力。我们在图像超分辨率、去噪和JPEG压缩神器减少任务上进行了广泛的实验。实验结果验证了我们提出的ART在各种基准数据集上的定量和视觉效果都优于最先进的方法。我们在网站https://github.com/gladzhang/ART上发布了代码和模型。

⚡ 论文：LOPR: Latent Occupancy PRediction using Generative Models

论文时间：3 Oct 2022

领域任务：Autonomous Driving, Representation Learning，无人驾驶，表征学习

论文地址：https://arxiv.org/abs/2210.01249

代码实现：https://github.com/sisl/lopr

论文作者：Bernard Lange, Masha Itkina, Mykel J. Kochenderfer

论文简介：Environment prediction frameworks are essential for autonomous vehicles to facilitate safe maneuvers in a dynamic environment./环境预测框架对自主车辆在动态环境中促进安全操纵至关重要。

论文摘要：环境预测框架对于自主车辆在动态环境中促进安全操纵至关重要。以前的方法是使用占用网格图作为场景的鸟瞰图，并直接在像素空间中优化预测架构。尽管这些方法在时空预测方面取得了一定的成功，但它们有时会受到不现实和不正确预测的阻碍。我们推测，使用生成模型可以提高预测的占用网格的质量和真实性。我们提出了一个框架，将占用网格的预测分解为与任务无关的低维表征学习和与任务有关的潜在空间预测。我们证明了我们的方法在现实世界的自动驾驶数据集NuScenes上取得了最先进的性能。

我们是 ShowMeAI，致力于传播AI优质内容，分享行业解决方案，用知识加速每一次技术成长！

◉ 点击 日报合辑，在公众号内订阅话题 #ShowMeAI资讯日报，可接收每日最新推送。

◉ 点击 电子月刊，快速浏览月度合辑。

◉ 点击 这里 ，回复关键字 日报 免费获取AI电子月刊与论文 / 电子书等资料包。