Gemini【一句话总结，对标GPT4，模型还是transformer的docoder部分，提出三个不同版本的Gemini模型，Ultra的最牛逼，Nano的可以用在手机上。】谷歌提出了一个新系列多模态模型——Gemini家族模型，包括Ultra，Pro，Nano（1.5BNano-1，3.25BNano-2）三种尺寸（模型由大到小）。在图像、音频、视频和文本理解方面都表现出现，GeminiUlt

谷歌大脑出品paper:https://arxiv.org/abs/1805.09501这里是个论文的阅读心得，笔记，不等同论文全部内容文章目录一、摘要1.1翻译1.2笔记二、(第三部分)自动增强:直接在感兴趣的数据集上搜索最佳增强策略2.1翻译2.2笔记三、(第四部分)实验与结果3.1翻译3.2笔记四、跳出论文，转入应用——timm包3.1timm包的自动增强搜索策略3.2随机增强参数解释3.3

arxiv：https://arxiv.org/abs/2203.16527GitHub：https://github.com/ViTAE-Transformer/ViTDet摘要本文提出使用plain，non-hierarchical视觉transformer作为目标检测的主干网络。通过这种设计可以使得ViT结构模型不需要再重新设计一个分层ViT进行预训练然后微调进行目标检测。在微调阶段通过微小

.......42OCR的技术路线...............................................................................53DB论文笔记

1.BilinearCNNModelsforFine-grainedVisualRecognition论文链接：http://vis-www.cs.umass.edu/bcnn/docs/bcnn_iccv15.pdf主要就是用外积（matrixouterproduct）来组合两个CNN（A和B）的featuremap2.CompactBilinearPooling（CVPR2016）论文链接：h

论文笔记(SSD)-2016-SSD:SingleShotMultiBoxDetector论文：https://arxiv.org/abs/1512.02325源码：https://github.com

SCRIPT1Introduction2ProposedApproachA.RelativeDistanceWeightedTransformerB.StructuralRPE-InducedTransformerSelf-AttentionSequentialRelativePositionalEncodingASTRelativePositionalEncodingStructuralRPE-

Self-AttentionwithRelativePositionRepresentations1.Introduction2.Background3.ProposedArchitecture3.1Relation-awareSelf-Attention3.2RelativePositionRepresentation3.3EfficientImplementation4Experiments5

ATransformer-basedApproachforSourceCodeSummarization1.Introduction2.Approach2.1ArchitectureSelf-AttentionCopyAttention2.2PositionRepresentations编码绝对位置编码成对关系1.Introduction生成描述程序功能的可读摘要称为源代码摘要。在此任务中，通过对

MedicalDialogueResponseGenerationwithPivotalInformationRecalling文章目录MedicalDialogueResponseGenerationwithPivotalInformationRecalling1.Motivation2.Mainidea3.Model3.1Knowledge-awareDialogueGraphEncoder（

KnowledgeBridgingforEmpatheticDialogueGeneration文章目录KnowledgeBridgingforEmpatheticDialogueGeneration1.Motivation2.Mainidea3.Model3.1EmotionalContextGraph3.2EmotionalContextEncoder3.3Emotion-dependency

CommonsenseKnowledgeAwareConversationGenerationwithGraphAttention文章目录CommonsenseKnowledgeAwareConversationGenerationwithGraphAttention1.Motivation2.Mainidea3.Model3.1知识检索3.2静态图注意力机制3.3知识解释器3.4知识感知的生成器

Tessaro,S.,Zhu,C.EUROCRYPT2023.ThresholdandMulti-signatureSchemesfromLinearHashFunctionshttps://link.springer.com/chapter/10.1007/978-3-031-30589-4_22推广最有效的基于离散对数的方案MuSig2(Nick,Ruffing,andSeurin,CRYPT

文章目录论文信息Abstract1.Introduction2.RelatedWork3.Methodology3.1Zero-shotDetectionMethod3.2Error-awareEncoder3.3IntegratingErrorConfusionSetforTraining3.4Error-GuidedGeneration4.ExperimentalSetup4.1Dataset

文章目录论文信息Abstract1.Introduction2.Methodology2.1TheMainModel2.2ContrastiveLoss2.3ImplementationDetails(Hyperparameters)3.Experiments代码实现个人总结值得借鉴的地方论文信息论文地址：https://arxiv.org/pdf/2210.17168.pdfAbstract论文

Bootle,J.,Elkhiyaoui,K.,Hesse,J.,Manevich,Y.(2022).DualDory:Logarithmic-VerifierLinkableRingSignaturesThroughPreprocessing.ESORICS2022.https://link.springer.com/chapter/10.1007/978-3-031-17146-8_21在这项

https://link.springer.com/chapter/10.1007/978-3-030-00305-0_14摘要提出了一种新的交易类型，它可以在共同的区块链上实现保护隐私的独立资产交易。实现：通过将环机密交易扩展为对颜色的附加承诺和公开可验证的保全证明来实现的。优点：通过有色机密环签名，可以引入新的代币类型，并且任何参与者都可以在使用与单代币隐私感知区块链相同大小的匿名集的情况下进

InformationSciences,2014Ondelegatabilityofdesignatedverifiersignatureschemes介绍定义SDVSID-basedDVSUDVS分类type-Ⅱ算法举例Type-ⅠDVS算法举例(涉及双线性DH型公共值)Type-ⅠDVS算法举例(涉及DH型公共值)Delegatability攻击对TypeIIDVS的攻击对BDH-TypeID

ConfidentialAssets描述了一种称为“保密交易”的方案，该方案模糊了所有UTXO的金额，同时保持了不创建或销毁硬币的公共可验证性。进一步将此方案扩展到“保密资产”，一种单一的基于区块链的分类帐可以跟踪多种资产类型的方案。将保密交易扩展到不仅模糊输出金额，还模糊其资产类型，从而提高所有资产的隐私和可替代性。文章结构：Preliminaries：定义交易模型，承诺（特性）、范围证明（安全

Abstract典型的扩散模型经过训练以接受特定形式的条件作用（最常见的是文本），并且如果不经过重新训练就不能接受其他形式的条件的作用。这项工作中提出了一种通用制导算法(universalguidancealgorithm)，使扩散模型能够通过任意制导方式进行控制。实验表明该算法成功生成了具有引导功能的高质量他想，包括分割(segmentation)，人脸识别(facerecognition)，对

《SketchMate:面向百万级人类草图检索的深度哈希算法》论文阅读笔记写在前面：水平有限，此笔记仅在本人有限的理解水平上完成，有错误希望读者批评指正。论文和代码见网址：https://paperswithcode.com/paper/sketchmate-deep-hashing-for-million-scale本文首次提出了一个用于草图检索的深度哈希框架，来适配数百万级别的尺度的人体草图数

PR-GNN原文链接：https://arxiv.org/pdf/2007.14589.pdf作者提出PR-GNN，一种端到端的能够解释fMRI的ROI的图神经网络。通过将fMRI生成的图输入PR-GNN，产生输出预测和解释的结果。由于PR-GNN模型具有可解释性，在分类性能上比其他方法更优越，同时还能检测出显著的大脑区域用于执行分类。新提出的loss函数能够使用相同的方法进行individual

亲测可用！！！！！注意是bytelevel的BPE！！只有vocab.json是不ok的，只能encode单字节的字符，对于中文这种会encode之后tokens,ids都是[]。gpt-tokenizer-npmGitHub-openai/tiktoken:tiktokenisafastBPEtokeniserforusewithOpenAI'smodels.GitHub-weikang-wan

主要学习该方法在VQA中的用法。摘要自顶向下和自底向上结合的注意力机制，使注意力能够在物体和其他显著图像区域的水平上进行计算。自底向上的机制(基于FasterR-CNN)提出图像区域，每个区域都有一个相关的特征向量，而自顶向下的机制确定特征权重。1、介绍注意力机制上图是：左边：注意力模型在CNN特征上运行，这些特征对应于大小相等的图像区域的统一网格。右边：模型在物体和其他显著图像区域的水平上计算注

（七）SN-GAN论文笔记与实战一、论文笔记二、完整代码三、遇到的问题及解决一、论文笔记在WGAN-GP中使用gradientpenalty的方法来限制判别器，但这种放法只能对生成数据分布与真实分布之间的分布空间的数据做梯度惩罚

（五）cycleGAN论文笔记与实战一、cycleGAN架构与目标函数二、训练细节三、完整代码四、效果截图五、遇到的问题及解决论文附录一、cycleGAN架构与目标函数在cycleGAN中有两个生成器和两个判别器

（六）starGAN论文笔记与实战一、网络架构与目标函数二、完整代码一、网络架构与目标函数starGAN的提出是为了解决多数据集在多域间图像转换的问题，starGAN可以接受多个不同域的训练数据，并且只需要训练一个生成器

UnderexposedPhotoEnhancementusingDeepIlluminationEstimation|CVPR2019工作提出了一个通过估计出一个图像到光照的映射来对欠曝光图像进行增强，并在各种光照约束和先验的基础上设计新的损失函数准备了一个新的数据集，含有3000张欠曝光的图像，每张图像都经过专业修复对所提出的模型在现有的数据和新数据集上进行测试，显示出该方法在质量和处理数量上

文章目录*FastEnd-to-EndTrainableGuidedFilter**KeyPoint**overview**keywords**extends*摘要引言相关工作*JointUpsampling**DeepLearningbasedImageFilter**GuidedFilteringLayer*引导滤波层***ProblemFormulation******GuidedFilte

BioGPT:generativepre-trainedtransformerforbiomedicaltextgenerationandmining论文题目：BioGPT:generativepre-trainedtransformerforbiomedicaltextgenerationandmining论文地址：BioGPT:generativepre-trainedtransformerf

RC-MVSNet：无监督的多视角立体视觉与神经渲染--论文笔记（2022年）摘要1引言2相关工作2.1基于监督的MVS2.2无监督和自监督MVS2.3多视图神经渲染3实现方法3.1无监督的MVS网络3.2

论文：https://arxiv.org/abs/2207.10666GitHub：https://github.com/microsoft/Cream/tree/main/TinyViT摘要在计算机视觉任务中，视觉ViT由于其优秀的模型能力已经引起了极大关注。但是，由于大多数ViT模型的参数量巨大，使得其无法在资源受限的设备上运行。为了解决这个问题，本文提出了TinyViT，基于提出的快速蒸馏方

目录简介动机方法实验简介本文出自张含望老师课题组。论文链接动机文章的第一句就说明了本文的动机，也就是，本文提出了一个新颖的注意力机制，可以消除现有的基于注意力的视觉语言方法中的混杂效应。混杂效应会造成有害的bias，误导注意力模块学到数据中的虚假相关，从而降低模型的泛化性。由于混杂是不可观测的，所以作者使用了前门调整策略实现因果干预。方法现有的方法中通常是建模公式1：作者认为，应该建模P(Y∣do

论文笔记--Toolformer:LanguageModelsCanTeachThemselvestoUseTools1.文章简介2.文章概括3文章重点技术3.1Toolformer3.2APIs4.文章亮点

摘要WepresentText2Room†,amethodforgeneratingroomscaletextured3Dmeshesfromagiventextpromptasinput.Tothisend,weleveragepre-trained2Dtext-to-imagemodelstosynthesizeasequenceofimagesfromdifferentposes.Inord

Paper链接LookingAhead:AnticipatingPedestriansCrossingwithFutureFramesPrediction1.Intro:contribute1.我们提出了未来的视频帧预测编码器/解码器网络，该网络以自监督的方式运行，以使用N个初始帧来预测视频的N个未来帧。2.我们提出了一种端到端模型，该模型可以预测未来的视频帧，并将预测的帧用作监督动作识别网络的输

钱钟书记笔记的情形：他做一遍笔记的时间，约莫是读这本书的一倍；借的书还掉，买的书送人，只有笔记永远保存；外文笔记共有178册，中文笔记与此数量相当；凡读书笔记，必有书目和重要的版本以及原文的页数，论文笔记则记下刊物出版时间

《UsingDomainKnowledgetoGuideDialogStructureInductionviaNeuralProbabilistic》名词解释DialogStructureInduction（DSI）是推断给定目标导向对话的潜在对话结构（即一组对话状态及其时间转换）的任务。它是现代对话系统设计和话语分析的关键组件。ProbabilisticSoftLogic（概率软逻辑，PSL）是

ZheyuanJiang,JingyueGao,JianyuChen(2022).UnsupervisedSkillDiscoveryviaRecurrentSkillTraining.InConferenceonNeuralInformationProcessingSystems(NeurIPS),2022.通过循环技能训练发现无监督技能1、Motivation以往的无监督技能发现方法主要使用的

MCANMCAN论文笔记，仅记录个人阅读感受，如有问题和侵权行为，欢迎指出DeepModularCo-AttentionNetworksforVisualQuestionAnswering,CVPR2019Tutorial

这是一篇2019年CVPR的论文。作者认为VQA任务需要对图像中的视觉内容和问题中的文本内容进行细粒度和同步的理解。因此，设计一个有效的“共同注意”模型将问题中的关键词与图像中的关键对象相关联是VQA性能提升的核心。论文链接：CVPR2019OpenAccessRepositorycode：GitHub-MILVLG/mcan-vqa:DeepModularCo-AttentionNetworks

这是今年4月份读的一篇论文了，个人认为这篇文章idea非常有趣，可解释性较强，符合VQA方向的发展趋势。本文从一个新的角度来研究VQA模型的鲁棒性：visualcontext•作者认为VQA模型过度依赖visualcontext，即图像中不相关的对象来进行预测。提出一种名为SwapMix的扰动方法，来诊断模型对visualcontext的依赖与评估模型的鲁棒性。•在模型训练阶段，还能使用SwapM

论文笔记：BridgingTextualandTabularDataforCross-DomainText-to-SQLSemanticParsing目录论文笔记：BridgingTextualandTabularDataforCross-DomainText-to-SQLSemanticParsing

论文笔记：S2SQL:InjectingSyntaxtoQuestion-SchemaInteractionGraphEncoderforText-to-SQLParsers目录论文笔记：S2SQL:InjectingSyntaxtoQuestion-SchemaInteractionGraphEncoderforText-to-SQLParsers

论文标题：MultimodalityinMeta-Learning:AComprehensiveSurvey论文地址：https://arxiv.org/abs/2109.13576发表时间：2021年9月Abstract元学习作为一种训练框架而广受欢迎，它比传统的机器学习方法更具有数据效率。然而，它在复杂任务分布（例如多模态任务）中的泛化能力尚未得到深入研究。最近，出现了一些关于基于多模态的元学

引言又一篇文本匹配论文TextMatchingasImageRecognition，论文题目是文本匹配当成图像识别。挺有意思的一篇工作，我们来看它是如何实现的。作者受到卷积神经网络在图像识别中成功应用的启发，其中神经元可以捕获很多复杂的模式，作者提出将文本匹配看作是图像识别任务。那么这个图像是如何构建的？定义了一个匹配矩阵当成是一个图像，其元素表示(两两)单词之间的相似度。然后，应用卷积网络逐层捕

为了设计快速神经网络，许多工作都集中在减少浮点运算（FLOPs）的数量上。然而，作者观察到FLOPs的这种减少不一定会带来延迟的类似程度的减少。这主要源于每秒低浮点运算（FLOPS）效率低下。为了实现更快的网络，作者重新回顾了FLOPs的运算符，并证明了如此低的FLOPS主要是由于运算符的频繁内存访问，尤其是深度卷积。因此，本文提出了一种新的partialconvolution（PConv），通过

文章目录摘要1、介绍2、相关工作3、FasterR-CNN3.1、RPN3.1.1、Anchors3.1.2、损失函数3.1.3、训练RPN3.2、RPN和FasterR-CNN共享特征3.3、实现细节4、实验4.1、PASCALVOC上的实验结果4.2、MSCOCO上的实验结果4.3、从MSCOCO到PASCALVOC5、总结[References]摘要当前最优的目标检测算法依赖区域提议算法假设

20151Intro1.1motivationopensignal.com、cellmapper.net和opencellid.org都是提供天线（antenna）位置的网站他们提供的天线位置相当准确，但至少在大多数情况下不完全正确这个目标难以实现的原因是蜂窝网络供应商没有义务提供有关天线位置的数据，只有在少数特定国家才知道一些正确的蜂窝网络天线位置那么这些网站如何知道其余的天线在哪里呢？答案是众

概览：一、总结计算量、数据集大小、模型参数量大小的幂律与训练损失呈现线性关系。三个参数同时放大时，如何得到最佳的性能？更大的模型需要更少的样本就能达到相同的效果。</