AutoML论文笔记第5页

【论文笔记】RepVGG: Making VGG-style ConvNets Great Again

RepVGG:MakingVGG-styleConvNetsGreatAgain目录RepVGG:MakingVGG-styleConvNetsGreatAgain1.Introduction1.1多分支网络结构的缺点1.2RepVGG优点2.ModelRe-parameterization（模型重参数化）2.1.DiracNet2.2WinogradConvolution3.BuildingRe

chairon·2023-12-18 11:33

论文笔记《NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models》

paper：https://arxiv.org/abs/2304.09787code：问就是没有code！主旨：用两个autoencoder

浅度断墨·2023-12-18 01:53

论文笔记：CQR-SQL: Conversational Question Reformulation Enhanced Context-Dependent Text-to-SQL Parsers

论文笔记：CQR-SQL:ConversationalQuestionReformulationEnhancedContext-DependentText-to-SQLParsers目录论文笔记：CQR-SQL

Q同学的nlp笔记·2023-12-17 14:29

[论文笔记] GAMMA: A Graph Pattern Mining Framework for Large Graphs on GPU

GAMMA:AGraphPatternMiningFrameworkforLargeGraphsonGPUGAMMA:基于GPU的针对大型图的图模式挖掘框架[Paper][Code]ICDE’23摘要提出了一个基于GPU的核外(out-of-core)图模式挖掘框架(GraphPatternMining,GPM)GAMMA,充分利用主机内存来处理大型图.GAMMA采用对用户透明的自适应隐式主机内存

PeakCrosser·2023-12-17 06:17

[论文笔记] 大模型gpu机器推理测速踩坑 (llama/gpt类)

cpu没报错，换gpu就报错。以下是一些踩坑：坑1：要指定gpu，可以在importtorch之前指定gpu。model=LlamaForCausalLM.from_pretrained(model_path,trust_remote_code=True).to(device)报错:RuntimeError('Expectedalltensorstobeonthesamedevice,butfou

心心喵·2023-12-17 00:02

[论文笔记] chatgpt系列 SparseMOE—GPT4的MOE结构

SparseMOE:稀疏激活的MOESwtichMOE，所有token要在K个专家网络中，选择一个专家网络。显存增加。ExpertsChoice：路由MOE：由专家选择token。这样不同的专家都选择到某个token，也可以不选择该token。由于FFN层的时间复杂度和attention层不同，FFN层的时间复杂度在O(N*d)，N是输入长度，d是隐层纬度。attention层的时间复杂度在O(N

心心喵·2023-12-17 00:59

clean-label backdoor attacks 论文笔记

#论文笔记#1.论文信息论文名称Clean-LabelBackdoorAttacks作者AlexanderTurner(MIT)会议/出版社ICLR2019pdf本地pdf在线pdf代码trojanzoo-clean-label

wwweiyx·2023-12-16 06:10

[论文笔记] 大模型主流Benchmark测试集介绍

自然语言处理（NLP）的进步往往通过在各种benchmark测试集上的表现来衡量。随着多语言和跨语言NLP研究的兴起，越来越多的多语言测试集被提出以评估模型在不同语言和文化背景下的泛化能力。在这篇文章中，我们将介绍几个主流的多语言NLPbenchmark测试集，包括ARCChallenge、HellaSWAG、MMLU、Multi-taskingTestGeneration(MTG)、PAWS-X

心心喵·2023-12-15 12:43

geolife笔记：比较不同轨迹相似度方法

这里采用论文笔记：DeepRepresentationLearningforTrajectorySimilarityComputation-CSDN博客中的方法：2收集每一个id对应的轨迹2.1经纬度转

UQI-LIUWJ·2023-12-15 12:59

论文笔记：Dual Dynamic Spatial-Temporal Graph ConvolutionNetwork for Traffic Prediction

IEEETRANSACTIONSONINTELLIGENTTRANSPORTATIONSYSTEMS20221intro1.1背景GCN和TCN被引入到交通预测中GCN能够保留交通网络的图结构信息TCN能够捕获交通流的时间特征基于GCN的交通预测方法依赖于如何构建图或邻接矩阵将道路段的交通测量作为节点通过不同道路段的直接连接来构建图道路段上的交通流量测量及其相关性在空间和时间上会动态变化（eg交通

UQI-LIUWJ·2023-12-15 12:59

论文笔记：使用多角度高光谱数据估算冬小麦垂直方向叶片叶绿素浓度

本文简单介绍使用多角度高光谱数据估算冬小麦垂直方向叶片叶绿素浓度的方法和实践，论文基本信息：Wu,Bin;Huang,Wenjiang;Ye,Huichun;Luo,Peilei;Ren,Yu;Kong,Weiping.2021."UsingMulti-AngularHyperspectralDatatoEstimatetheVerticalDistributionofLeafChlorophyl

HenryYanWhu·2023-12-15 07:27

【论文笔记】HetGNN

HeterogeneousGraphNeuralNetwork2019KDD论文链接：https://dl.acm.org/doi/pdf/10.1145/3292500.3330961官方代码：https://github.com/chuxuzhang/KDD2019_HetGNN个人实现：https://github.com/ZZy979/pytorch-tutorial/tree/maste

zzy979·2023-12-15 05:33

论文笔记：详解GraphSAGE

图学习的小张·2023-12-15 05:32

论文笔记：www2019 层次图视角的半监督图分类

Semi-SupervisedGraphClassification:AHierarchicalGraphPerspective（层次图视角的半监督图分类）是层次图提出的第一篇文章，也是我组会讲的第一篇文章，整理了我的笔记，对论文中的SAGE模块做了比较详细的介绍模型概述损失函数SAGE模块（SelfAttentionGraphEmbedding）算法描述与解释实验参考文献模型概述所谓层次图指

图学习的小张·2023-12-15 05:32

论文笔记：详解DeepWalk与Node2vec

最近读了DeepWalk和Node2vec这两篇图学习的经典文章，对自己的笔记进行了整理。DeepWalk算法笔记应用背景功能描述基本概念随机游走（RandomWalks）幂律分布（Connection:Powerlaws）词嵌入学习的经典方法（Word2vec）DeepWalk模型与损失函数推导算法描述与解释（伪代码）时间复杂度分析DeepWalk的改进算法（Node2vec）算法描述与解释（伪

图学习的小张·2023-12-15 05:02

论文笔记：详解图注意力网络（GAT）

整理了GAT（ICLR2018GraphAttentionNetwork）论文的阅读笔记背景图注意力网络的构建模块与其他模型对比实验背景图神经网络的任务可以分为直推式(Transductive)学习与归纳(Inductive)学习：Inductivelearning，翻译成中文可以叫做“归纳式学习”，就是从已有数据中归纳出模式来，应用于新的数据和任务。在图学习的训练过程中，看不到没有标注的节点

图学习的小张·2023-12-15 05:16

【论文笔记】Gemini: A Family of Highly Capable Multimodal Models——细看Gemini

Gemini【一句话总结，对标GPT4，模型还是transformer的docoder部分，提出三个不同版本的Gemini模型，Ultra的最牛逼，Nano的可以用在手机上。】谷歌提出了一个新系列多模态模型——Gemini家族模型，包括Ultra，Pro，Nano（1.5BNano-1，3.25BNano-2）三种尺寸（模型由大到小）。在图像、音频、视频和文本理解方面都表现出现，GeminiUlt

Yulki·2023-12-15 01:40

自动数据增广论文笔记 | AutoAugment: Learning Augmentation Strategies from Data

谷歌大脑出品paper:https://arxiv.org/abs/1805.09501这里是个论文的阅读心得，笔记，不等同论文全部内容文章目录一、摘要1.1翻译1.2笔记二、(第三部分)自动增强:直接在感兴趣的数据集上搜索最佳增强策略2.1翻译2.2笔记三、(第四部分)实验与结果3.1翻译3.2笔记四、跳出论文，转入应用——timm包3.1timm包的自动增强搜索策略3.2随机增强参数解释3.3

Thomas_Cai·2023-12-15 01:29

ViTDet论文笔记

arxiv：https://arxiv.org/abs/2203.16527GitHub：https://github.com/ViTAE-Transformer/ViTDet摘要本文提出使用plain，non-hierarchical视觉transformer作为目标检测的主干网络。通过这种设计可以使得ViT结构模型不需要再重新设计一个分层ViT进行预训练然后微调进行目标检测。在微调阶段通过微小

hello_dear_you·2023-12-14 18:11

OCR文本检测论文阅读笔记

.......42OCR的技术路线...............................................................................53DB论文笔记

PatrickStar8·2023-12-14 18:04

论文笔记：Bilinear CNN在fine grained图片分类上的进展

1.BilinearCNNModelsforFine-grainedVisualRecognition论文链接：http://vis-www.cs.umass.edu/bcnn/docs/bcnn_iccv15.pdf主要就是用外积（matrixouterproduct）来组合两个CNN（A和B）的featuremap2.CompactBilinearPooling（CVPR2016）论文链接：h

TerenceChen1210·2023-12-06 17:33

论文笔记(SSD)-2016-SSD: Single Shot MultiBox Detector

论文笔记(SSD)-2016-SSD:SingleShotMultiBoxDetector论文：https://arxiv.org/abs/1512.02325源码：https://github.com

clover_my·2023-12-06 09:49

【论文笔记】SCRIPT：Source Code Summarization with Structural Relative Position Guided Transformer

SCRIPT1Introduction2ProposedApproachA.RelativeDistanceWeightedTransformerB.StructuralRPE-InducedTransformerSelf-AttentionSequentialRelativePositionalEncodingASTRelativePositionalEncodingStructuralRPE-

Luo_LA·2023-12-06 06:15

【论文笔记】Self-Attention with Relative Position Representations

Self-AttentionwithRelativePositionRepresentations1.Introduction2.Background3.ProposedArchitecture3.1Relation-awareSelf-Attention3.2RelativePositionRepresentation3.3EfficientImplementation4Experiments5

Luo_LA·2023-12-06 06:45

【论文笔记】A Transformer-based Approach for Source Code Summarization

ATransformer-basedApproachforSourceCodeSummarization1.Introduction2.Approach2.1ArchitectureSelf-AttentionCopyAttention2.2PositionRepresentations编码绝对位置编码成对关系1.Introduction生成描述程序功能的可读摘要称为源代码摘要。在此任务中，通过对

Luo_LA·2023-12-06 06:40

【论文笔记】Medical Dialogue Response Generation with Pivotal Information Recalling

MedicalDialogueResponseGenerationwithPivotalInformationRecalling文章目录MedicalDialogueResponseGenerationwithPivotalInformationRecalling1.Motivation2.Mainidea3.Model3.1Knowledge-awareDialogueGraphEncoder（

Feeedforward·2023-12-06 04:34

【论文笔记】Knowledge Bridging for Empathetic Dialogue Generation

KnowledgeBridgingforEmpatheticDialogueGeneration文章目录KnowledgeBridgingforEmpatheticDialogueGeneration1.Motivation2.Mainidea3.Model3.1EmotionalContextGraph3.2EmotionalContextEncoder3.3Emotion-dependency

Feeedforward·2023-12-06 04:03

【论文笔记】Commonsense Knowledge Aware Conversation Generation with Graph Attention

CommonsenseKnowledgeAwareConversationGenerationwithGraphAttention文章目录CommonsenseKnowledgeAwareConversationGenerationwithGraphAttention1.Motivation2.Mainidea3.Model3.1知识检索3.2静态图注意力机制3.3知识解释器3.4知识感知的生成器

Feeedforward·2023-12-06 04:03

我们如何在Pinterest Ads中使用AutoML，多任务学习和多塔模型

ErnestWang|SoftwareEngineer,AdsRanking欧内斯特·王|软件工程师，广告排名PeoplecometoPinterestinanexplorationmindset,oftenengagingwithadsthesamewaytheydowithorganicPins.WithinadsourmissionistohelpPinnersgofrominspirati

weixin_26726011·2023-12-04 22:12

论文笔记：Threshold and Multi-signature Schemes from Linear Hash Functions

Tessaro,S.,Zhu,C.EUROCRYPT2023.ThresholdandMulti-signatureSchemesfromLinearHashFunctionshttps://link.springer.com/chapter/10.1007/978-3-031-30589-4_22推广最有效的基于离散对数的方案MuSig2(Nick,Ruffing,andSeurin,CRYPT

yixvxi·2023-12-04 03:40

【论文笔记】EGCM：An Error-Guided Correction Model for Chinese Spelling Error Correction

文章目录论文信息Abstract1.Introduction2.RelatedWork3.Methodology3.1Zero-shotDetectionMethod3.2Error-awareEncoder3.3IntegratingErrorConfusionSetforTraining3.4Error-GuidedGeneration4.ExperimentalSetup4.1Dataset

iioSnail·2023-12-03 19:32

【论文笔记】SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking

文章目录论文信息Abstract1.Introduction2.Methodology2.1TheMainModel2.2ContrastiveLoss2.3ImplementationDetails(Hyperparameters)3.Experiments代码实现个人总结值得借鉴的地方论文信息论文地址：https://arxiv.org/pdf/2210.17168.pdfAbstract论文

iioSnail·2023-12-03 19:59

论文笔记：DualDory- Logarithmic-Verifier Linkable Ring Signatures Through Preprocessing

Bootle,J.,Elkhiyaoui,K.,Hesse,J.,Manevich,Y.(2022).DualDory:Logarithmic-VerifierLinkableRingSignaturesThroughPreprocessing.ESORICS2022.https://link.springer.com/chapter/10.1007/978-3-031-17146-8_21在这项

yixvxi·2023-12-03 14:12

论文笔记：Coloured Ring Confidential Transactions

https://link.springer.com/chapter/10.1007/978-3-030-00305-0_14摘要提出了一种新的交易类型，它可以在共同的区块链上实现保护隐私的独立资产交易。实现：通过将环机密交易扩展为对颜色的附加承诺和公开可验证的保全证明来实现的。优点：通过有色机密环签名，可以引入新的代币类型，并且任何参与者都可以在使用与单代币隐私感知区块链相同大小的匿名集的情况下进

yixvxi·2023-12-03 14:12

论文笔记：On delegatability of designated verifier signature schemes

InformationSciences,2014Ondelegatabilityofdesignatedverifiersignatureschemes介绍定义SDVSID-basedDVSUDVS分类type-Ⅱ算法举例Type-ⅠDVS算法举例(涉及双线性DH型公共值)Type-ⅠDVS算法举例(涉及DH型公共值)Delegatability攻击对TypeIIDVS的攻击对BDH-TypeID

yixvxi·2023-12-03 14:11

论文笔记：Confidential Assets

ConfidentialAssets描述了一种称为“保密交易”的方案，该方案模糊了所有UTXO的金额，同时保持了不创建或销毁硬币的公共可验证性。进一步将此方案扩展到“保密资产”，一种单一的基于区块链的分类帐可以跟踪多种资产类型的方案。将保密交易扩展到不仅模糊输出金额，还模糊其资产类型，从而提高所有资产的隐私和可替代性。文章结构：Preliminaries：定义交易模型，承诺（特性）、范围证明（安全

yixvxi·2023-12-03 14:38

【论文笔记】Universal Guidance for Diffusion Models

Abstract典型的扩散模型经过训练以接受特定形式的条件作用（最常见的是文本），并且如果不经过重新训练就不能接受其他形式的条件的作用。这项工作中提出了一种通用制导算法(universalguidancealgorithm)，使扩散模型能够通过任意制导方式进行控制。实验表明该算法成功生成了具有引导功能的高质量他想，包括分割(segmentation)，人脸识别(facerecognition)，对

xhyu61·2023-12-03 09:08

【论文笔记】《SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval》

《SketchMate:面向百万级人类草图检索的深度哈希算法》论文阅读笔记写在前面：水平有限，此笔记仅在本人有限的理解水平上完成，有错误希望读者批评指正。论文和代码见网址：https://paperswithcode.com/paper/sketchmate-deep-hashing-for-million-scale本文首次提出了一个用于草图检索的深度哈希框架，来适配数百万级别的尺度的人体草图数

besslbjwl·2023-12-02 01:23

【论文笔记】PR-GNN:Pooling Regularized Graph Neural Network for fMRI Biomarker Analysis

PR-GNN原文链接：https://arxiv.org/pdf/2007.14589.pdf作者提出PR-GNN，一种端到端的能够解释fMRI的ROI的图神经网络。通过将fMRI生成的图输入PR-GNN，产生输出预测和解释的结果。由于PR-GNN模型具有可解释性，在分类性能上比其他方法更优越，同时还能检测出显著的大脑区域用于执行分类。新提出的loss函数能够使用相同的方法进行individual

The_best_man·2023-12-02 01:22

[论文笔记] tiktoken中的gpt4 tokenizer

亲测可用！！！！！注意是bytelevel的BPE！！只有vocab.json是不ok的，只能encode单字节的字符，对于中文这种会encode之后tokens,ids都是[]。gpt-tokenizer-npmGitHub-openai/tiktoken:tiktokenisafastBPEtokeniserforusewithOpenAI'smodels.GitHub-weikang-wan

心心喵·2023-12-01 16:31

论文笔记：Bottom-Up and Top-Down Attention for Image Captioningand Visual Question Answering

主要学习该方法在VQA中的用法。摘要自顶向下和自底向上结合的注意力机制，使注意力能够在物体和其他显著图像区域的水平上进行计算。自底向上的机制(基于FasterR-CNN)提出图像区域，每个区域都有一个相关的特征向量，而自顶向下的机制确定特征权重。1、介绍注意力机制上图是：左边：注意力模型在CNN特征上运行，这些特征对应于大小相等的图像区域的统一网格。右边：模型在物体和其他显著图像区域的水平上计算注

hongyuyahei·2023-12-01 12:09

（七）SN-GAN论文笔记与实战

（七）SN-GAN论文笔记与实战一、论文笔记二、完整代码三、遇到的问题及解决一、论文笔记在WGAN-GP中使用gradientpenalty的方法来限制判别器，但这种放法只能对生成数据分布与真实分布之间的分布空间的数据做梯度惩罚

SCU-JJkinging·2023-11-30 09:44

（五）cycleGAN论文笔记与实战

（五）cycleGAN论文笔记与实战一、cycleGAN架构与目标函数二、训练细节三、完整代码四、效果截图五、遇到的问题及解决论文附录一、cycleGAN架构与目标函数在cycleGAN中有两个生成器和两个判别器

SCU-JJkinging·2023-11-30 09:43

（六）starGAN论文笔记与实战

（六）starGAN论文笔记与实战一、网络架构与目标函数二、完整代码一、网络架构与目标函数starGAN的提出是为了解决多数据集在多域间图像转换的问题，starGAN可以接受多个不同域的训练数据，并且只需要训练一个生成器