炼丹经验贴第24页

炼丹笔记：样本不平衡问题

深度学习算法工程师，也被戏称为“炼丹师”，而样本，就是所谓的药材。最后训练出来的模型，就是丹药。当然，药材成色好，年分足，自然更容易炼出好的丹药。

flare zhao·2022-12-08 06:06

针对不平衡问题建模的有趣Loss

作者|ik-HoTsang整理|炼丹笔记基于有效样本的类别不平衡损失CB-Loss简介本文综述了康奈尔大学、康奈尔科技、谷歌Brain和Alphabet公司的基于有效样本数的类平衡损失(CB损失)。

kaiyuan_sjtu·2022-12-08 06:35

深度学习炼丹-不平衡样本的处理

前言一，数据层面处理方法1.1，数据扩充1.2，数据（重）采样数据采样方法总结1.3，类别平衡采样二，算法（损失函数）层面处理方法2.1，FocalLoss2.2，损失函数加权参考资料前言在机器学习的经典假设中往往假设训练样本各类别数目是均衡的，但在实际场景中，训练样本数据往往都是不均衡（不平衡）的。比如在图像二分类问题中，一个极端的例子是，训练集中有95个正样本，但是负样本只有5个。这种类别数据

嵌入式视觉·2022-12-08 06:33

开启jupyter远程登录服务

开启jupyter远程登录服务jupyternotebook在机器学习场景中经常会用到，可以用一种可视化的方式运行python程序，但是一般都是以服务器跑深度学习代码炼丹的，而服务器一般都在机房里面，只能通过网络远程访问

Chaos_Wang_·2022-12-08 02:17

【深度学习有效炼丹】多GPU使用教程, DP与DDP对比, ray多线程并行处理等 [GPU利用率低的分析]

⬅️前言更新日志：20220404：新增一个DDP加载模型时显存分布不均问题，见目录遇到的问题及解决处主要是上次server12被自己一个train直接线程全部拉满了（没错…server8也被拉满过emm我一开始还没发现原来是我拉满的）现场实况后面刘所就跟我说让我看看是不是dataset里面的处理太多了，这样下来GPU占着使用率也不高，建议先处理完了再直接由load进来直接训练；因为server上

Kin__Zhang·2022-12-07 21:56

别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！

文|Yimin_饭煲编|炼丹学徒如果评选NLP圈的2020年度十大关键词，那么GPT-3（LanguageModelsareFewshotLearners)一定榜上有名。

夕小瑶·2022-12-07 16:43

ARMv8 （arrch64）pytorch深度学习环境搭建

JetsonNano（aarch64）搭建miniconda和mmdetection环境_瑾怀轩的博客-CSDN博客二、安装pip3参考链接：(82条消息)RK3399Propython环境相关配置_炼丹去了的博客

三毛的小粉丝·2022-12-06 19:48

月度总结 | 福利面经 | 机器学习共20题（附答案）

【机器学习炼丹术】主要是个人学习笔记的整理与分享。作者的文风诙谐幽默，通俗易懂的讲解机器学习领域与图像处理领域中的各种模型、算法、竞赛top方案与知识点。

人工智能与算法学习·2022-12-06 12:28

模型初始化与随机种子——Pytorch 炼丹技巧（随手记）

Pytorch模型初始化：在模型类的__init__()函数中用nn.Linear(input_size,output_size)定义全连接层或者用nn.conv()定义卷积层时，默认使用kaiming_uniform对这些参数初始化。要注意的是，默认情况下，网络参数随机初始化导致的结果就是每次训练开始时（指model=Model()这一步），初始化后的模型的初始参数是不一样的，这就给我们自己训练

WWwicky·2022-12-06 00:05

神经网络测试集loss不下降_神经网络调参技巧

大部分内容转自：会写代码的好厨师：炼丹笔记六:调参技巧zhuanlan.zhihu.com本期问题：深度学习中的调参技巧我们主要从以下几个方面分析：1.哪些参数需要调？

weixin_39950824·2022-12-05 11:45

第一次通过服务器远程跑代码

由于师姐特别nice，而我特别小白，所以其实这篇更像我的一次日志记录，而非经验贴，给不了同为小白的朋友们什么帮助。

三思为上策·2022-12-05 08:01

[理论+实操] MONAI&PyTorch 如何进行分布式训练，详细介绍DP和DDP

优秀的炼丹师再也不满足单张GPU训练了，总想要迭代的再快点，batchsize再大点。能用3Dmodel绝不用2D，完了！内存超了，咋办？急，在线等！！

Tina姐·2022-12-04 21:08

【笔记】Pytorch-backward()

本文是通过学习AI研习社炼丹兄所做笔记！！！

客官可满意·2022-12-04 20:33

【笔记】Pytorch-搭建一个超简单的网络

本文是通过学习AI研习社炼丹兄所做笔记！！！

客官可满意·2022-12-04 20:19

关注Github爆火《Java程序员面试核心知识点》收藏破百万

大家在知乎分享的各种经验贴对自己获益颇丰，但到目前为止，自己还没给大家分享过啥。在这里分享些自己的经验，希望给找工作的小伙伴一点帮助。一、JVM面试专题内存模型以及分区，需要详细到每个区放什么？

JAVA序码·2022-12-04 16:51

kaggle_Titanic练习经验

若遇见问题，可参考我之前关于pip更新解决的经验贴。接下来，是安装第三方库，主要需要pandas、numpy、ipython等。可

athena191112·2022-12-04 13:04

深度学习模型以及中间变量的显存占用大小分析

outofmemoryat/opt/conda/conda-bld/pytorch_1524590031827/work/aten/src/THC/generic/THCStorage.cu:58想必这是所有炼丹师们最不想看到的错误

问啥啥不会但我可以学·2022-12-04 08:42

ubuntu18.04_host环境搭建__OpenVINO安装

最后一步又报错了，仅团队交流学习用，不算经验贴1.OpenVINO介绍WhatisOpenVINO?

怿窗·2022-12-03 14:50

炼丹感悟——超详细解读

计算机视觉研究院专栏作者：Edison_G感谢大家一直支持“计算机视觉研究院”微信公众号，平时有没做好的地方望大家见谅，做的不好的希望您指出来，我们会修正不对之处，将做得更好，将最好的分享给大家！今天给大家讲讲DNN（深度神经网络）在训练过程中遇到的一些问题，然后我们应该怎么去注意它，并学会怎么去训练它。1、数据集的准备：必须要保证大量、高质量且带有准确标签的数据，没有该条件的数据，训练学习很困难

计算机视觉研究院·2022-12-03 13:19

深度学习图像分类篇--1.卷积神经网络CNN基础

立一个flag，跟着这个教程，做好笔记，好好调包，争取今年进入炼丹期。

冲啊皮卡丘·2022-12-03 13:36

点云 3D 物体检测结果（SECOND、Pointpillars、PointRCNN）的几种可视化方法

首先感谢四处炼丹大佬的教程分享：https://blog.csdn.net/lixushi/article/details/118728278?

用券买土豆·2022-12-03 07:52

datafountain自然语言处理比赛的学习和总结

自转行入坑NLP炼丹2年以来，一直没有打过相关的比赛，究其原因一个是觉得自己NLP相关的积累太少了，参加比赛完全没有什么用；另外一方面是公司任务安排的比较多，又是自学工作任务处理起来就比较费时间，所有就没有多余的时间来打比赛了

colourmind·2022-12-02 14:18

pytorch 对抗样本_【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现

本文分享一个“万物皆可盘”的NLP对抗训练实现，只需要四行代码即可调用。盘他。最近，微软的FreeLB-Roberta[1]靠着对抗训练(AdversarialTraining)在GLUE榜上超越了Facebook原生的Roberta，追一科技也用到了这个方法仅凭单模型[2]就在CoQA榜单中超过了人类，似乎“对抗训练”一下子变成了NLP任务的一把利器。刚好笔者最近也在看这方面的内容，所以开一篇博

weixin_39756273·2022-12-02 12:27

pytorch 对抗样本_【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实

为扰动的范围空间。外部min是为了基于该攻击方式，找到最鲁棒的模型参数，也就是防御，其中D是输入样本的分布。Madry认为，这个公式简单清晰地定义了对抗样本攻防“矛与盾”的两个问题：如何构造足够强的对抗样本？以及，如何使模型变得刀枪不入？剩下的，就是如何求解的问题了。从CV到NLP以上提到的一些工作都还是停留在CV领域的，那么问题来了，可否将对抗训练迁移到NLP上呢？答案是肯定的，但是，我们得考虑

weixin_39918682·2022-12-02 12:27

自然语言处理学习—— NLP里的对抗训练

【炼丹技巧】功守道：NLP中的对抗训练+PyTorch实现https://zhuanlan.zhihu.com/p/91269728

量化橙同学·2022-12-02 12:23

CogDL: 解放你的baseline, 图神经网络复现神器，炼丹必备工具

我们在炼丹时经常需要获取baseline数据，难道需要我们去复杂地重现？这样很费时间呀。有了CogDL,一切都易如反掌。

znsoft·2022-12-01 16:38

炼丹--服务器深度学习训练

主要内容：本文将讲解如果利用现有的云服务器来跑python程序。使用到了Anaconda实现了PyCharm同步云服务器，实现本地编辑自动同步至云服务器，并且本地运行python程序时使用云服务器来跑代码（从而不需要消耗本地电脑资源）或是不用PyCharm编辑，而是手动运行云服务器的python文件，挂载后台运行输出文本等开发环境云服务器：腾讯云（香港节点）：1核1G25GCentOS7.6.18

[山青花欲燃]·2022-12-01 14:19

计算机考研--初试备考经验贴【干货满满】

背景本人21考生，报考计算机科学与技术专业，考研之前，英语四级472分，六级多次421分就是没考过，数据结构学的一般。考研院校为北京地区985，政治69分、英语一72分、数学一太菜不说分数啦，专业课数据结构96分。思想篇首先需要想清楚你自己为什么考研？就我而言，因为高中的学习比较累，收到的约束比较大，到了大学就太放飞自我了，大学期间没好好认真学习，成绩一般，代码能力一般，比

早知晓·2022-12-01 09:25

Pycharm连接矩池云平台租的GPU训练神经网络

自己最近在做命名实体识别，主要用Bi-LSTM+CRF和BERT+CRF模型，自己电脑跑的太慢，所以去学习了下如何租GPU训练模型，本经验贴适用于初步学习深度学习的同学，高阶玩家可以路过~~我选择的是矩池云

ZFour_X·2022-11-30 22:31

2023年南京航空航天大学英语笔译专业考研上岸前辈备考经验

在微博搜集了一些经验贴后我最终锁定了南航这一学校，原因主要有以下几点：1.南京是江苏省省会，发展空间较大，我也比较喜欢南京这座城市，一直憧憬在这

xinxiangxukaoyan·2022-11-30 00:10

2021上交应用统计考研经验贴（初试）

一、专业选择今年参加考研，本科211某财经类院校，上交应用统计初试429分（政治70、英语一75、数学三147、专业课137），复试163分，目前已拟录取。大三上就有考研的想法，大三下考研的想法比较坚定。从2020年三四月份正式进入备考状态，刚开始打算考金融专业，后来觉得自己还是最擅长统计，于是打算考北大金融数学专业，因为有段时间不在状态加上北大金融数学专业课难度较大，八月中旬决定考上交应用统计，

weixin_40707084·2022-11-30 00:35

2022年一战跨考东南网安经验贴

个人情况：我的本科是山东的某双非院校，本科专业是物理学院的光电信息科学与工程。初试成绩是385分，其中政治69，英语81分，数学109分，916专业基础126分，最终以初试34名，复试40名的成绩上岸电子信息专硕。回想过去的这一年，还是有很多的感慨，从开始的跨专业不知道如何下手，到择校的迷茫，还有对于自我的质疑。最重要的是自己所付出的一年时间最终没有白费，一切的努力最终有了收获，还是对自己很满意的

Yi_Fei0402·2022-11-30 00:15

【成电860考研】经验贴汇总（公共课+专业课+复试）-扒遍所有网站：信软群、王道、知乎、csdn等，截止21年7月整理出的所有帖子-共15篇

单词哥-2020跨考背景记得18年底的时候，好朋友那年考研，我闲的无事就拿他买的英语一真题做了下，忘了哪一年的题了，不过结果还可以，这也为后来辞职考研埋了根。由于长期从事英语相关的工作，而又想要圆自己大学时学计算机的梦（说到底还是单身毫无顾忌，太嚣张了），最开始考研也是抱着试一试的态度，打算趁学习期间把计算机的四门专业课补一补，哪怕考不上至少基础也了解了些，对以后跨行找工作也有帮助吧。三月开始备考

GeekPower极客力量·2022-11-30 00:15

python只会调包_调包侠神器2.0发布，Python机器学习模型搭建只需要几行代码

机器学习库的「炼丹炉」PyCar

weixin_39529463·2022-11-29 18:56

VIT Vision Transformer | 先从PyTorch代码了解

文章原创自：微信公众号「机器学习炼丹术」作者：炼丹兄联系方式：微信cyx645016617代码来自github【前言】：看代码的时候，也许会不理解VIT中各种组件的含义，但是这个文章的目的是了解其实现。

微信公众号[机器学习炼丹术]·2022-11-29 14:20

OpenAI炼丹秘籍：教你学会训练大型神经网络

来源：新智元本文约3000字，建议阅读5分钟本文详细介绍了一些训练大型神经网络的相关技术及底层原理。想知道那些超大规模神经网络都是怎么训出来的？OpenAI一篇文章总结：除了显卡要多，算法也很重要！如今AI的很多进步都要归功于大型神经网络，尤其是大公司和研究机构提供的预训练模型更是推动了下游任务的进步。但想自己动手训练一个大型神经网络并不简单，首先要面对的就是海量的数据、多机协调和大量GPU的调度

数据派THU·2022-11-29 11:44

序列化推荐系统总结：Sequential Recommender Systems: Challenges, Progress and Prospect

作者：一元，公众号：炼丹笔记，特约审稿：杰少背景序列推荐系统(SRS)不同于传统推荐系统（RSs）包括协同过滤和基于内容的过滤，SRSs试图理解和建模用户的连续行为、用户与物品之间的交互作用以及用户偏好和商品流行度随时间的变化

炼丹笔记·2022-11-29 09:32

炼丹心得（深度学习的模型训练）对于一些情况及时进行训练参数调整的必要性（学习率LR的调整是首要）归纳一些涨点方法

前言在训练网络的时候，常常会出现loss出现非常明显的剧烈抖动情况，虽然大多数情况可以继续训练下去，但是实际上还是预示着问题存在。而且，有不同维度的问题，这也需要不同的解决方法，但是具体究竟是哪一种，还得具体情况具体分析。我发现学习率对模型的训练影响挺大的可以说是最大的影响因素了太大会把Loss搞大一直卡在一个局部最优，反而是从小一点开始比较好。最理想的情况是从一个学习率开始当它进入到一定的EPC

Life is a joke·2022-11-29 01:08

入门深度学习与机器学习的经验和学习路径

（清华大学应用数学博士在读）链接：https://zhuanlan.zhihu.com/p/150507220本文转载自：深度学习算法与计算机视觉最近接触深度学习与机器学习已经有一段时间了，也算个初级炼丹选手了

小白学视觉·2022-11-29 01:06

新手炼丹师的调参内经——深度学习涨点技巧总结

新手炼丹师的调参内经——深度学习涨点技巧总结训练神经网络的过程就像是一个炼丹的过程，各位炼丹师们除了要设计一个好的丹方（Contribution），配置好的炼丹炉（GPUServer），当然这其中也不能够忽略对火候

PyBigStar·2022-11-29 01:35

深度学习如炼丹，你有哪些迷信做法？网友：Random seed=42结果好

调参的苦与泪，还有那些「迷信的做法」。每个机器学习领域的研究者都会面临调参过程的考验，当往往说来容易做来难。调参的背后往往是通宵达旦的论文研究与GitHub查阅，并需要做大量的实验，不仅耗时也耗费大量算力，更深深地伤害了广大工程师的头发。有人不禁要问：调参是门玄学吗？为什么模型明明调教得很好了，可是效果离我的想象总有些偏差。近日，reddit上一则帖子引发了网友热议，「机器学习调参领域有哪些迷信的

机器学习社区·2022-11-29 01:33

深度学习优化算法

深度学习各类优化器借用古代炼丹的一些名词，我们可以把训练模型中的数据比做炼丹药材，模型比做炼丹炉，火候比做优化器。

Fighting_1997·2022-11-29 01:01

深度学习调参的经验

1总结一下在旷视实习两年来的炼丹经验，我主要做了一些RL，图像质量，图像分类，GAN相关的任务，日常大概占用5-10张卡。

neu_wyn·2022-11-29 01:31

深度学习如炼丹！你有哪些迷信做法？网友：Random seed=42结果好

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：机器之心|编辑：陈萍、杜伟调参的苦与泪，还有那些「迷信的做法」。每个机器学习领域的研究者都会面临调参过程的考验，当往往说来容易做来难。调参的背后往往是通宵达旦的论文研究与GitHub查阅，并需要做大量的实验，不仅耗时也耗费大量算力，更深深地伤害了广大工程师的头发。有人不禁要问：调参是门玄学吗？为什么模型明明调教得很好了，可

Amusi（CVer）·2022-11-29 01:00

深度学习炼丹术 —— 与神经网络的初次邂逅：熟悉基本结构、设计和实现

在正式介绍神经网络之前，我们先对上篇文章中的感知器内容做个简短的回顾：我们首先介绍了什么是感知器，直观上看到了感知器的基本结构以及能做些什么。其次，通过感知器详细讲解了与门的实现原理，并通过数学公式化（梯度下降算法）来剖析了参数的训练过程，之后以代码形式实现了与门的逻辑电路，最终同理得到与非门和或门的实现结果。此外，在第二节的最后，我们还抛出了单层感知器无法解决亦或门的问题，从而为第三节提供“引子

玩世不恭的Coder·2022-11-29 01:59

【转载】炼丹实验室：深度学习网络调参技巧

转载自：炼丹实验室：深度学习网络调参技巧深度学习网络调参技巧好的实验环境是成功的一半画图从粗到细分阶段调参提高速度超参数范围经验参数自动调参总结参考资料好的实验环境是成功的一半由于深度学习实验超参众多，

月满星沉·2022-11-29 01:28

深度学习的炼丹经历

lrlr的设置不应该过大，也不应该太小，当lr设置的太大时，会在训练中飞出去。对于语义分割，一般情况下，lr=1e-3就已经很大了，在训练时，有幸遇到过loss的值突然从0.9直接一跃到30000或者几百都有可能，然后再降下来，过于魔幻，因此lr的值的设定也要发生变化，不能太大，也不能太小。lr设置的太大loss的结果如下图所示：一般不要设置太大，但是太小也不行，太小的话会导致模型只能在局部极小点

百大小伙计·2022-11-29 01:56

推荐算法炼丹笔记：科学调参在模型优化中的意义

作者：九羽，公众号：炼丹笔记基于Embedding的推荐算法模型一直是近几年研究的热门，在各大国际会议期刊都能看到来自工业界研究与实践的成果。

炼丹笔记·2022-11-28 15:59

推荐系统CTR预估学习路线：深度模型

：从LR到FM/FFM探索二阶特征的高效实现推荐系统CTR预估学习路线：利用树模型自动化特征工程推荐系统CTR预估学习路线：深度模型推荐系统CTR预估学习路线：引入注意力机制作者：Eric陈健锋来源：炼丹笔记导语在广告

炼丹笔记·2022-11-28 13:35

莫烦python简历_强化学习传说：第一章模仿学习

经过了几个月的奋斗，大家是不是对炼丹已经有所体会了呢？从今天起我们要进入机器学习的一个非常引人注目的领域——强化学习(reinforcementlearning)啦！

Moonkissu·2022-11-28 09:08

推荐频道

炼丹经验贴