深度学习Trick 第37页

学习笔记-李沐动手学深度学习（五）（14-15，数值稳定性、模型初始化和激活函数、Kaggle房价预测）

总结14-数值稳定性（梯度爆炸、梯度消失）尤其是对于深度神经网络（即神经网络层数很多），最终的梯度就是每层进行累乘理论t：为第t层y：不是之前的预测值，而是包括了损失函数L所有的h都是向量（向量关于向量的导数是矩阵）（博客）：①MLP：多层感知机。②对角矩阵(diagonalmatrix)是一个主对角线之外的元素皆为0的矩阵，常写为diag(a1,a2,…,an)。③diag*W把diag和W分开

kgbkqLjm·2024-01-29 05:17

NPL-FastText文本分类Bag of Tricks for Efficient Text Classification

这是一个简单有效的文本分类算法优势：可以在排序限制、低损失近似值下以10Min极短的时间训练出百万级的模型架构：整体与cbow类似:cbow根据上下文推测某个单词出现的最大概率对基于词袋bow的句子文本进行一个简单和有效的线性分类该分类可以选择逻辑回归或者SVM为了使输入简单，使用一个look-uptable查找表，把单词平均转化到文本形式-使用softmax来计算预定义类的概率分布，目的是为了加

机器不能学习·2024-01-29 04:15

PyTorch入门：基本安装与使用指南

在这个人工智能与深度学习风起云涌的时代，选择一个合适的深度学习框架对于研究者和开发者来说至关重要。

GT开发算法工程师·2024-01-29 03:35

深度学习-卷积神经网络

图像卷积运算对图像矩阵与滤波器矩阵进行对应相乘再求和运算，转化得到新的矩阵。作用：快速定位图像中某些边缘特征英文：convolition将图片与轮廓滤波器进行卷积运算，可快速定位固定轮廓特征的位置卷积神经网络的核心计算机根据样本图片，自动寻找合适的轮廓过滤器，对新图片进行轮廓匹配自动求解W，寻找合适的过滤器一个过滤器不够，需要寻找很多过滤器池化层实现维度缩减池化：按照一个固定规则对图像矩阵进行处理

小旺不正经·2024-01-29 03:54

深度学习-卷积神经网络的结构&经典网络介绍

在深度学习领域，ReLU（修正线性单元）是目前使用较多的激活函数，主要原因是它收敛更快，同时它还解

AI_王布斯·2024-01-29 03:54

深度学习-卷积神经网络实现图像风格转换

盛夏，闲鱼式的生活也越发充满味道。烈日，在高高的天上散发着火炉的气息。小浪怀念着在海边度假的日子，但是内心的使命感把他拉回了现实。卷积神经网络可以实现图像风格的转换。小浪也来写个程序，实现下这个功能。完整代码地址：https://github.com/ADlead/StyleTransfer.git首先，在个人理解中，图像风格转换，原理大概如下：使用计算机去重构两张图片，在重构生成图像的过程中，把

寻风浪·2024-01-29 03:24

微信小程序开发position等于static、relative、absolute、fixed、stricky时元素显示详细介绍

NoPosition不设置position时显示，以红色元素做测试：Static元素根据界面正常流进行定位。top、right、bottom、left和z-index属性不起作用。这是默认值。红色元素设置position:static，显示如下：Relative元素根据界面正常流进行定位。以元素当前位置为基准，根据top、right、bottom、left设置进行偏移。元素偏移不会影响其他元素显示

句号（在IT行业摸爬滚打）·2024-01-29 02:08

3D视觉专用名词概念解释，深度图、点云图、IR图、RGB图像

欢迎来到深度学习的世界博客主页：卿云阁欢迎关注点赞收藏⭐️留言本文由卿云阁原创！作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢！

卿云阁·2024-01-29 02:11

多模态融合的基础问题及算法研究

欢迎来到深度学习的世界博客主页：卿云阁欢迎关注点赞收藏⭐️留言本文由卿云阁原创！作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢！

卿云阁·2024-01-29 02:41

deformable convolutional networks

转自：点击打开链接上一篇我们介绍了：深度学习方法（十二）：卷积神经网络结构变化——SpatialTransformerNetworks，STN创造性地在CNN结构中装入了一个可学习的仿射变换，目的是增加

麦兜ppig·2024-01-29 02:11

Over-the-Air Deep Learning Based Radio Signal Classification

论文下载：OvertheAirDeepLearningBasedRadioSignalClassification摘要本文提出了基于深度学习的无线通信信号分类方法，并对其性能进行了研究。

2e07917c964c·2024-01-29 01:47

描绘未知：数据缺乏场景的缺陷检测方案

友思特机器视觉与光电·2024-01-29 01:30

推荐系统遇上深度学习(八十六)-[腾讯&微博]GateNet:使用门机制提升点击率预估效果

Gating-EnhancedDeepNetworkforClick-ThroughRatePrediction》下载地址为：https://arxiv.org/pdf/2007.03519.pdf1、背景深度学习在

文哥的学习日记·2024-01-29 00:47

自然语言处理中的注意力机制与Transformer架构

随着深度学习技术的发展，神经网络在自然语言处理领域取得了显著的进展。2017年，Vaswani等人提出了一种新的神经网络架构—

OpenChat·2024-01-29 00:24

ARTS-04月01日到04月07日

Recursionisanapproachtosolvingproblemsusingafunctionthatcallsitselfasasubroutine.Youmightwonderhowwecanimplementafunctionthatcallsitself.Thetrickisthateachtimearecursivefunctioncallsitsel

needrunning·2024-01-28 23:19

PyTorch深度学习实战（32）——DCGAN详解与实现

PyTorch深度学习实战（32）——DCGAN详解与实现0.前言1.模型与数据集分析1.1模型分析1.2数据集介绍2.构建DCGAN生成人脸图像小结系列链接0.前言DCGAN(DeepConvolutionalGenerativeAdversarialNetworks

盼小辉丶·2024-01-28 23:44

PyTorch深度学习实战（33）——条件生成对抗网络(Conditional Generative Adversarial Network, CGAN)

PyTorch深度学习实战（33）——条件生成对抗网络0.前言1.条件生成对抗网络1.1模型介绍1.2模型与数据集分析2.实现条件生成对抗网络小结系列链接0.前言条件生成对抗网络(ConditionalGenerativeAdversarialNetwork

盼小辉丶·2024-01-28 23:12

论文学习记录之Deep-learning seismic full-waveform inversion for realistic structuralmodels

一、ABSTRACT—摘要标题：Deep-learningseismicfull-waveforminversionforrealisticstructuralmodels（用于真实结构模型的深度学习地震全波形反演

摘星星的屋顶·2024-01-28 22:23

2024年1月13日~2024年1月19日（研读论文、了解语义分割）

另外，在B站寻找视频了解了语义分割任务逻辑、深度学习一些概念等。

摘星星的屋顶·2024-01-28 22:22

2023年1月20日-2024年1月26日（阅读SeisInvNet加强版、调整参数）

二、SeisInvNet标题：Deep-learningseismicfull-waveforminversionforrealisticstructuralmodels（用于真实结构模型的深度学习地震全波形反演

摘星星的屋顶·2024-01-28 22:51

计算机毕业设计：python车牌识别系统 Django框架深度学习 CNN算法（源码） ✅

1、项目介绍1、关键词：Python语言、TensorFlow、卷积神经网络CNN算法、PyQt5界面、Django框架、深度学习包含：训练

q_3548885153·2024-01-28 22:20

大数据毕业设计：Python人脸识别门禁系统深度学习 Dlib模块 Pyqt5界面数据库（源码）✅

毕业设计：2023-2024年计算机专业毕业设计选题汇总（建议收藏）毕业设计：2023-2024年最新最全计算机专业毕设选题推荐汇总感兴趣的可以先收藏起来，点赞、关注不迷路，大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助同学们顺利毕业。1、项目介绍技术栈：Python语言、dlib人脸识别模块、OpenCV图像处理库、Pyqt5框架界面设计、sqlite3数据库Pychar

q_3548885153·2024-01-28 22:48

第1周学习：深度学习和pytorch基础

第1周学习：深度学习和pytorch基础01-绪论一、机器学习简介二、几种学习模型三、名词解释02-神经网络基础一、为什么说神经网络是黑盒的？

随风漂流l·2024-01-28 21:03

深度学习学习率

目录1什么是学习率2学习率对网络的影响3学习率的设置3.1分段常数衰减（PiecewiseDecay）3.2指数衰减（ExponentialDecay）3.3自然指数衰减（NaturalExponentialDecay）3.4多项式衰减（PolynomialDecay）3.5间隔衰减（StepDecay）3.6多间隔衰减（MultiStepDecay）3.7逆时间衰减（InverseTimeDec

意念回复·2024-01-28 21:33

深度学习参数调整—学习笔记

文章目录概念参数和超参数超参数分类欠拟合和过拟合学习率（learningrate）epoch批次大小（batch_size）step参考资料概念训练机器学习算法的主要目的是调整权重以最小化损失或成本。这个成本衡量模型的效果，可以找到产生最佳模型性能的最佳参数。参数和超参数参数：由数据驱动调整，例如：卷积核的核参数。超参数：不需要数据驱动，在训练前或者训练中人为的进行调整，例如：学习率，卷积核数量、

studyeboy·2024-01-28 21:32

差分隐私深度学习_深度学习中的差异隐私

差分隐私深度学习IwouldliketothankMr.AkshayKulkarniforguidingmeonmyjourneyinpublishingmyfirst-everarticle.我要感谢

weixin_26722031·2024-01-28 21:32

【深度学习】sdxl中的 tokenizer tokenizer_2 区别

代码仓库：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main截图：为什么有两个分词器tokenizer和tokenizer_2？在仔细阅读这些代码后，我们了解到tokenizer_2主要是用于refiner模型的。#Loadtexttokenizer(s)ifnotself.pipeline_type.

XD742971636·2024-01-28 21:59

在深度学习中，epoch和learning rate的通常取值范围？

在深度学习中，epoch和学习率的取值确实会根据不同的任务、数据集和模型架构有所不同。然而，您提到的范围是一些常见的经验性取值，这些取值在很多情况下都能工作得相当好。

小桥流水---人工智能·2024-01-28 21:29

Offset Noise

OffsetNoise正是为了解决这个问题的一个trick。stablediffusion使用的初始噪声是服从N(0,I)N(\pmb{0},\pmb{I})N(0,I)的，如下：n

冰冰冰泠泠泠·2024-01-28 20:58

神经架构搜索与图像生成：创造新的艺术形式

1.背景介绍随着深度学习技术的发展，神经网络在图像生成领域取得了显著的进展。图像生成的主要目标是通过训练有误的神经网络，生成与训练集中的图像相似的新图像。

OpenChat·2024-01-28 20:17

读《深度学习：走向核心素养》

3确定单元学习主题有三个关键步骤第一步是分析课程标准及教材内容，梳理单元内容结构，找出单元学习内容；第二步是对学生已有的知识、关键能力、学科观念、生活经验、思路方法等方面进行探查、分析和诊断，并在此基础上筛选单元学习内容，初定单元学习主题；第三步是结合相关信息来多方论证，辨析单元学习的价值，最终确定单元学习主题。论证是一个重要的环节，一个单元学习主题的水平高低，主要看主题与课程标准的一致程度及其价

qingqianshiguan·2024-01-28 20:09

【深度学习基础】什么是卷积？为什么要用卷积？

什么是卷积？为什么要用卷积？（一）卷积的原理：1.卷积核：2.卷积层参数：2.1卷积核数：2.2卷积核的大小：2.3步长：2.4填充：3.池化层：3.1最大池化层（maxpooling）：3.2均值池化层（averagepooling）：（二）卷积的作用：1.减少参数量：

BIT可达鸭·2024-01-28 19:18

大厂面经|NLP 算法实习岗，对我后续找工作太重要了！

1、平安科技1.自我介绍；2.主要用过哪些深度学习框架（Pytorch）；3.介绍自己的论文和项目；4.什么是元学习（项目和论文

深度学习算法与自然语言处理·2024-01-28 19:39

《动手学深度学习(PyTorch版)》笔记4.9

Chapter4MultilayerPerceptron4.9EnvironmentandDistributionShift4.9.1TypesofDistributionShift在一个经典的情景中，假设训练数据是从某个分布pS(x,y)p_S(\mathbf{x},y)pS(x,y)中采样的，但是测试数据将包含从不同分布pT(x,y)p_T(\mathbf{x},y)pT(x,y)中抽取的未标

南七澄江·2024-01-28 18:44

深入理解Transformer模型1

一、简述：transformer是深度学习中极为重要的一种模型。它由编码器(Encoder)和解码器(Decoder)两部分组成。

KDtery35·2024-01-28 18:36

深入了解Transformer架构

1.背景介绍1.背景介绍自2017年的AttentionisAllYouNeed论文发表以来，Transformer架构已经成为深度学习领域的一大突破。

OpenChat·2024-01-28 18:06

基于深度学习的目标检测入门：Faster R-CNN，YOLO，SSD

在学习深度学习的过程中，经常弹出不同的算法名称，同样是做目标检测的，每篇论文给出了不同的方式，这些算法之间到底有什么区别？目标检测算法有哪些？

Real_man·2024-01-28 18:48

自然语言处理（NLP）领域的应用和发展历程

随着深度学习和大数据技术的不断进步，自然语言处理（NLP）领域已经取得了显著的成果。从简单的文本分类到复杂的机器翻译，NLP技术正在不断突破，为人工智能领域带来更多可能性。

白话Learning·2024-01-28 17:47

双减背景下的化学课堂 -

双减政策下的化学课堂教学，应该聚焦学科素养，突出学生的主体参与，组织学生开展深度学习。首先要提高老师的人文素养问题：第一，情感与理想作为一名化学教师，要对化学教育有情感，要不断提高自己的人文素养。

空杯202108·2024-01-28 17:26

Comunion 区块链深度学习系列｜椭圆曲线数字签名发展史

Comunion是一个去中心化的(DAO)组织协作网络，提供面向数字时代的全新商业基础设施和价值转化机制，致力于让劳动价值像资本一样自由流通、交易和积累。本系列内容包含：基本概念及原理、密码学、共识算法、钱包及节点原理、挖矿原理及实现。密码学有两类：私钥密码学，公钥密码学。也可以称之为：对称密码学，非对称密码学。其中公钥密码里面有三个基本原理：公钥加密、数字签名、密钥协商。本文详细阐述的内容是：现

来到ComingDAO·2024-01-28 17:53

深度学习之多分类问题

多分类问题：我们在解决的时候会使用到一种叫做SoftMax的分类器。前面我们在做糖尿病问题的时候，我们做出一个二分类网络，我们得到的是y=1（即一年后发病）它的概率是多少，即P（y=1）。这时候我们只需要得到一个概率，我们就可以计算出另一个概率。但是在数据集中也包含其他的数据集，比如说MNIST数据集，是手写数字识别问题，这个时候我们的分类种类就很多了。不能只计算出一个概率就将结果输出。MNIST

丘小羽·2024-01-28 15:04

深度学习-使用Labelimg数据标注

数据标注是计算机视觉和机器学习项目中至关重要的一步，而使用工具进行标注是提高效率的关键。本文介绍了LabelImg，一款常用的开源图像标注工具。用户可以在图像中方便而准确地标注目标区域，为训练机器学习模型提供高质量的标注数据。LabelImg已经成为研究者和开发者在计算机视觉项目中不可或缺的工具之一。一、安装Labelimg1、切换虚拟环境为了确保LabelImg能够与项目环境兼容，首先需要切换到

Damon小智·2024-01-28 14:28

基于Pytorch做深度学习，但是代码水平很低，应该如何学习呢？

PyTorch是一个Python程序库，有助于构建深度学习项目。它强调灵活性，并允许用深度学习领域惯用的Python来表示深度学习模型。

人邮异步社区·2024-01-28 14:54

实体关系抽取与属性补全的技术浅析

目录前言1.实体关系抽取2实体关系抽取的方法2.1基于模板的方法2.2基于监督学习的关系抽取2.3基于深度学习的关系抽取2.4基于预训练语言模型的关系抽取3属性补全3.1属性补全任务简介3.1抽取式属性补全

cooldream2009·2024-01-28 13:01

新智元：【arXiv】2015 深度学习年度十大论文

它反映了学术界当前的整体趋势，我们看到，近来发布的机器学习研究有许多都与深度学习有关。H

abcabsd·2024-01-28 13:16

ChatGPT 做生信靠谱吗？

ChatGPT是一款基于深度学习技术的聊天机器人，它可以根据用户的输入，自动生成相应的回复，从而实现自动聊天。它的回复不仅准确，而且还能够模仿

11的雾·2024-01-28 12:52

模型训练trick篇

损失函数分类任务0-1损失函数绝对值损失函数，指数损失函数exponenetialloss，，例如adaboost感知损失函数perceptronloss，，合并损失函数Hingeloss，，例如SVM交叉熵损失函数crossEntropy，也是负的对数似然函数怎么从最大似然推导？“已知输出Y，假设Y的分布，对Y的分布参数进行似然估计”。先写出预测值为y的概率表达式，假设多个样本独立同分布，则最大

Icevivina·2024-01-28 12:53

【深度学习实验】TensorBoard使用教程【SCALARS、IMAGES、TIME SERIES】

文章目录一、环境二、TensorBoard1.使用TensorBoardXa.安装TensorBoardXb.使用示例2.PyTorch内置的TensorBoard3.启动TensorBoard服务三、实战1.SCALARS（标量）找不同关卡1关卡2关卡3关卡4ShowdatadownloadlinksIgnoreoutliersinchartscalingSmoothingHorizontalA

QomolangmaH·2024-01-28 11:16

深度学习与神经网络pytorch版基础知识

深度学习与神经网络pytorch版基础知识1.简单介绍PyTorch是一个开源的深度学习框架，由Facebook于2016年发布的第一个开源项目。

砍树＋c＋v·2024-01-28 11:45

推荐频道

深度学习Trick