mingo_敏

网络加速和压缩技术论文整理

从加速和压缩本身来说，两者不是同一件事，但通常情况下我们往往会同时做加速和压缩，两者都会给网络的计算带来收益，所以我们习惯将它们放在一起来讲。

低秩近似（low-rank Approximation），网络剪枝（network pruning），网络量化（network quantization），知识蒸馏（knowledge distillation）和紧凑网络设计（compact Network design）

低秩近似（low-rank Approximation）

网络剪枝（network pruning）

网络量化（network quantization）

紧凑网络设计（compact Network design）

知识蒸馏（knowledge distillation）

2011-JMLR-Learning with Structured Sparsity
2013-NIPS-Predicting Parameters in Deep Learning
2014-BMVC-Speeding up convolutional neural networks with low rank expansions
2014-NIPS-Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation
2014-NIPS-Do deep neural nets really need to be deep
2015-ICML-Compressing neural networks with the hashing trick
2015-INTERSPEECH-A Diversity-Penalizing Ensemble Training Method for Deep Learning
2015-BMVC-Data-free parameter pruning for deep neural networks
2015-NIPS-Learning both Weights and Connections for Efficient Neural Network
2015_NIPSw-Distilling Intractable Generative Models
2015-CVPR-Learning to generate chairs with convolutional neural networks
2015-CVPR-Understanding deep image representations by inverting them [2016 IJCV version: Visualizing deep convolutional neural networks using natural pre-images]
2015-CVPR-Efficient and Accurate Approximations of Nonlinear Convolutional Networks [2016 TPAMI version: Accelerating Very Deep Convolutional Networks for Classification and Detection]
2016-ICLRb-Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
2016-ICLR-All you need is a good init [Code]
2016-ICLR-Convolutional neural networks with low-rank regularization
2016-ICLR-Diversity networks
2016-EMNLP-Sequence-Level Knowledge Distillation
2016-CVPR-Inverting Visual Representations with Convolutional Networks
2016-NIPS-Learning Structured Sparsity in Deep Neural Networks
2016-NIPS-Dynamic Network Surgery for Efficient DNNs
2016.10-Deep model compression: Distilling knowledge from noisy teachers
2017-ICLR-Pruning Convolutional Neural Networks for Resource Efficient Inference
2017-ICLR-Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weights
2017-ICLR-Do Deep Convolutional Nets Really Need to be Deep and Convolutional?
2017-ICML-Variational dropout sparsifies deep neural networks
2017-CVPR-Learning deep CNN denoiser prior for image restoration
2017-CVPR-Deep roots: Improving cnn efficiency with hierarchical filter groups
2017-CVPR-All You Need is Beyond a Good Init: Exploring Better Solution for Training Extremely Deep Convolutional Neural Networks with Orthonormality and Modulation
2017-CVPR-ResNeXt-Aggregated Residual Transformations for Deep Neural Networks
2017-CVPR-Xception: Deep learning with depthwise separable convolutions
2017-ICCV-Channel pruning for accelerating very deep neural networks [Code]
2017-ICCV-Learning efficient convolutional networks through network slimming [Code]
2017-ICCV-ThiNet: A filter level pruning method for deep neural network compression [Project]
2017-ICCV-Interleaved group convolutions
2017-NIPS-Net-trim: Convex pruning of deep neural networks with performance guarantee
2017-NIPS-Learning to Prune Deep Neural Networks via Layer-wise Optimal Brain Surgeon
2017-NNs-Nonredundant sparse feature extraction using autoencoders with receptive fields clustering
2017.02-The Power of Sparsity in Convolutional Neural Networks
2018-AAAI-Auto-balanced Filter Pruning for Efficient Convolutional Neural Networks
2018-AAAI-Deep Neural Network Compression with Single and Multiple Level Quantization
2018-ICML-On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization
2018-ICMLw-Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
2018-ICLRo-Training and Inference with Integers in Deep Neural Networks
2018-ICLR-Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers
2018-ICLR-N2N learning: Network to Network Compression via Policy Gradient Reinforcement Learning
2018-ICLR-Model compression via distillation and quantization
2018-ICLR-Towards Image Understanding from Deep Compression Without Decoding
2018-ICLR-Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
2018-ICLR-Mixed Precision Training of Convolutional Neural Networks using Integer Operations
2018-ICLR-Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy
2018-ICLR-Loss-aware Weight Quantization of Deep Networks
2018-ICLR-Alternating Multi-bit Quantization for Recurrent Neural Networks
2018-ICLR-Adaptive Quantization of Neural Networks
2018-ICLR-Variational Network Quantization
2018-ICLR-Learning Sparse Neural Networks through L0 Regularization
2018-ICLRw-To Prune, or Not to Prune: Exploring the Efficacy of Pruning for Model Compression (Similar topic: 2018-NIPSw-nip in the bud, 2018-NIPSw-rethink)
2018-ICLRw-Systematic Weight Pruning of DNNs using Alternating Direction Method of Multipliers
2018-ICLRw-Weightless: Lossy weight encoding for deep neural network compression
2018-ICLRw-Variance-based Gradient Compression for Efficient Distributed Deep Learning
2018-ICLRw-Stacked Filters Stationary Flow For Hardware-Oriented Acceleration Of Deep Convolutional Neural Networks
2018-ICLRw-Training Shallow and Thin Networks for Acceleration via Knowledge Distillation with Conditional Adversarial Networks
2018-ICLRw-Accelerating Neural Architecture Search using Performance Prediction
2018-ICLRw-Nonlinear Acceleration of CNNs
2018-CVPR-Context-Aware Deep Feature Compression for High-Speed Visual Tracking
2018-CVPR-NISP: Pruning Networks using Neuron Importance Score Propagation
2018-CVPR-“Learning-Compression” Algorithms for Neural Net Pruning
2018-CVPR-Deep Image Prior [Code]
2018-CVPR-Condensenet: An efficient densenet using learned group convolutions
2018-CVPR-Shift: A zero flop, zero parameter alternative to spatial convolutions
2018-CVPR-Interleaved structured sparse convolutional neural networks
2018-IJCAI-Efficient DNN Neuron Pruning by Minimizing Layer-wise Nonlinear Reconstruction Error
2018-IJCAI-Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
2018-IJCAI-Where to Prune: Using LSTM to Guide End-to-end Pruning
2018-IJCAI-Accelerating Convolutional Networks via Global & Dynamic Filter Pruning
2018-IJCAI-Optimization based Layer-wise Magnitude-based Pruning for DNN Compression
2018-IJCAI-Progressive Blockwise Knowledge Distillation for Neural Network Acceleration
2018-IJCAI-Complementary Binary Quantization for Joint Multiple Indexing
2018-ECCV-A Systematic DNN Weight Pruning Framework using Alternating Direction Method of Multipliers
2018-ECCV-Coreset-Based Neural Network Compression
2018-ECCV-Data-Driven Sparse Structure Selection for Deep Neural Networks [Code]
2018-BMVCo-Structured Probabilistic Pruning for Convolutional Neural Network Acceleration
2018-BMVC-Efficient Progressive Neural Architecture Search
2018-BMVC-Igcv3: Interleaved lowrank group convolutions for efficient deep neural networks
2018-NIPS-Discrimination-aware Channel Pruning for Deep Neural Networks
2018-NIPS-Frequency-Domain Dynamic Pruning for Convolutional Neural Networks
2018-NIPS-ChannelNets: Compact and Efficient Convolutional Neural Networks via Channel-Wise Convolutions
2018-NIPS-DropBlock: A regularization method for convolutional networks
2018-NIPS-Constructing fast network through deconstruction of convolution
2018-NIPS-Learning Versatile Filters for Efficient Convolutional Neural Networks [Code]
2018-NIPSw-Pruning neural networks: is it time to nip it in the bud?
2018-NIPSwb-Rethinking the Value of Network Pruning [2019 ICLR version]
2018-NIPSw-Structured Pruning for Efficient ConvNets via Incremental Regularization
2018.05-Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints
2018.05-AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference
2018.11-Second-order Optimization Method for Large Mini-batch: Training ResNet-50 on ImageNet in 35 Epochs
2018.11-Rethinking ImageNet Pre-training (Kaiming He)
2019-ICLRo-The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
2019-AAAIo-A layer decomposition-recomposition framework for neuron pruning towards accurate lightweight networks
2019-CVPR-All You Need is a Few Shifts: Designing Efficient Convolutional Neural Networks for Image Classification
2019-CVPR-HetConv Heterogeneous Kernel-Based Convolutions for Deep CNNs
2019-CVPR-Fully Learnable Group Convolution for Acceleration of Deep Neural Networks
2019-CVPR-Towards Optimal Structured CNN Pruning via Generative Adversarial Learning
2019-CVPR-Centripetal SGD for Pruning Very Deep Convolutional Networks with Complicated Structure
2019-BigComp-Towards Robust Compressed Convolutional Neural Networks
2019-PR-Filter-in-Filter: Improve CNNs in a Low-cost Way by Sharing Parameters among the Sub-filters of a Filter
2019-PRL-BDNN: Binary Convolution Neural Networks for Fast Object Detection
2019.03-MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning (Face++)
2019.04-Data-Free Learning of Student Networks (Huawei)
2019.04-Resource Efficient 3D Convolutional Neural Networks
2019.04-Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks
2019.04-Knowledge Squeezed Adversarial Network Compression- 2011-JMLR-Learning with Structured Sparsity
2013-NIPS-Predicting Parameters in Deep Learning
2014-BMVC-Speeding up convolutional neural networks with low rank expansions
2014-NIPS-Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation
2014-NIPS-Do deep neural nets really need to be deep
2015-ICML-Compressing neural networks with the hashing trick
2015-INTERSPEECH-A Diversity-Penalizing Ensemble Training Method for Deep Learning
2015-BMVC-Data-free parameter pruning for deep neural networks
2015-NIPS-Learning both Weights and Connections for Efficient Neural Network
2015_NIPSw-Distilling Intractable Generative Models
2015-CVPR-Learning to generate chairs with convolutional neural networks
2015-CVPR-Understanding deep image representations by inverting them [2016 IJCV version: Visualizing deep convolutional neural networks using natural pre-images]
2015-CVPR-Efficient and Accurate Approximations of Nonlinear Convolutional Networks [2016 TPAMI version: Accelerating Very Deep Convolutional Networks for Classification and Detection]
2016-ICLRb-Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
2016-ICLR-All you need is a good init [Code]
2016-ICLR-Convolutional neural networks with low-rank regularization
2016-ICLR-Diversity networks
2016-EMNLP-Sequence-Level Knowledge Distillation
2016-CVPR-Inverting Visual Representations with Convolutional Networks
2016-NIPS-Learning Structured Sparsity in Deep Neural Networks
2016-NIPS-Dynamic Network Surgery for Efficient DNNs
2016.10-Deep model compression: Distilling knowledge from noisy teachers
2017-ICLR-Pruning Convolutional Neural Networks for Resource Efficient Inference
2017-ICLR-Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weights
2017-ICLR-Do Deep Convolutional Nets Really Need to be Deep and Convolutional?
2017-ICML-Variational dropout sparsifies deep neural networks
2017-CVPR-Learning deep CNN denoiser prior for image restoration
2017-CVPR-Deep roots: Improving cnn efficiency with hierarchical filter groups
2017-CVPR-All You Need is Beyond a Good Init: Exploring Better Solution for Training Extremely Deep Convolutional Neural Networks with Orthonormality and Modulation
2017-CVPR-ResNeXt-Aggregated Residual Transformations for Deep Neural Networks
2017-CVPR-Xception: Deep learning with depthwise separable convolutions
2017-ICCV-Channel pruning for accelerating very deep neural networks [Code]
2017-ICCV-Learning efficient convolutional networks through network slimming [Code]
2017-ICCV-ThiNet: A filter level pruning method for deep neural network compression [Project]
2017-ICCV-Interleaved group convolutions
2017-NIPS-Net-trim: Convex pruning of deep neural networks with performance guarantee
2017-NIPS-Learning to Prune Deep Neural Networks via Layer-wise Optimal Brain Surgeon
2017-NNs-Nonredundant sparse feature extraction using autoencoders with receptive fields clustering
2017.02-The Power of Sparsity in Convolutional Neural Networks
2018-AAAI-Auto-balanced Filter Pruning for Efficient Convolutional Neural Networks
2018-AAAI-Deep Neural Network Compression with Single and Multiple Level Quantization
2018-ICML-On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization
2018-ICMLw-Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
2018-ICLRo-Training and Inference with Integers in Deep Neural Networks
2018-ICLR-Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers
2018-ICLR-N2N learning: Network to Network Compression via Policy Gradient Reinforcement Learning
2018-ICLR-Model compression via distillation and quantization
2018-ICLR-Towards Image Understanding from Deep Compression Without Decoding
2018-ICLR-Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training
2018-ICLR-Mixed Precision Training of Convolutional Neural Networks using Integer Operations
2018-ICLR-Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy
2018-ICLR-Loss-aware Weight Quantization of Deep Networks
2018-ICLR-Alternating Multi-bit Quantization for Recurrent Neural Networks
2018-ICLR-Adaptive Quantization of Neural Networks
2018-ICLR-Variational Network Quantization
2018-ICLR-Learning Sparse Neural Networks through L0 Regularization
2018-ICLRw-To Prune, or Not to Prune: Exploring the Efficacy of Pruning for Model Compression (Similar topic: 2018-NIPSw-nip in the bud, 2018-NIPSw-rethink)
2018-ICLRw-Systematic Weight Pruning of DNNs using Alternating Direction Method of Multipliers
2018-ICLRw-Weightless: Lossy weight encoding for deep neural network compression
2018-ICLRw-Variance-based Gradient Compression for Efficient Distributed Deep Learning
2018-ICLRw-Stacked Filters Stationary Flow For Hardware-Oriented Acceleration Of Deep Convolutional Neural Networks
2018-ICLRw-Training Shallow and Thin Networks for Acceleration via Knowledge Distillation with Conditional Adversarial Networks
2018-ICLRw-Accelerating Neural Architecture Search using Performance Prediction
2018-ICLRw-Nonlinear Acceleration of CNNs
2018-CVPR-Context-Aware Deep Feature Compression for High-Speed Visual Tracking
2018-CVPR-NISP: Pruning Networks using Neuron Importance Score Propagation
2018-CVPR-“Learning-Compression” Algorithms for Neural Net Pruning
2018-CVPR-Deep Image Prior [Code]
2018-CVPR-Condensenet: An efficient densenet using learned group convolutions
2018-CVPR-Shift: A zero flop, zero parameter alternative to spatial convolutions
2018-CVPR-Interleaved structured sparse convolutional neural networks
2018-IJCAI-Efficient DNN Neuron Pruning by Minimizing Layer-wise Nonlinear Reconstruction Error
2018-IJCAI-Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
2018-IJCAI-Where to Prune: Using LSTM to Guide End-to-end Pruning
2018-IJCAI-Accelerating Convolutional Networks via Global & Dynamic Filter Pruning
2018-IJCAI-Optimization based Layer-wise Magnitude-based Pruning for DNN Compression
2018-IJCAI-Progressive Blockwise Knowledge Distillation for Neural Network Acceleration
2018-IJCAI-Complementary Binary Quantization for Joint Multiple Indexing
2018-ECCV-A Systematic DNN Weight Pruning Framework using Alternating Direction Method of Multipliers
2018-ECCV-Coreset-Based Neural Network Compression
2018-ECCV-Data-Driven Sparse Structure Selection for Deep Neural Networks [Code]
2018-BMVCo-Structured Probabilistic Pruning for Convolutional Neural Network Acceleration
2018-BMVC-Efficient Progressive Neural Architecture Search
2018-BMVC-Igcv3: Interleaved lowrank group convolutions for efficient deep neural networks
2018-NIPS-Discrimination-aware Channel Pruning for Deep Neural Networks
2018-NIPS-Frequency-Domain Dynamic Pruning for Convolutional Neural Networks
2018-NIPS-ChannelNets: Compact and Efficient Convolutional Neural Networks via Channel-Wise Convolutions
2018-NIPS-DropBlock: A regularization method for convolutional networks
2018-NIPS-Constructing fast network through deconstruction of convolution
2018-NIPS-Learning Versatile Filters for Efficient Convolutional Neural Networks [Code]
2018-NIPSw-Pruning neural networks: is it time to nip it in the bud?
2018-NIPSwb-Rethinking the Value of Network Pruning [2019 ICLR version]
2018-NIPSw-Structured Pruning for Efficient ConvNets via Incremental Regularization
2018.05-Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints
2018.05-AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference
2018.11-Second-order Optimization Method for Large Mini-batch: Training ResNet-50 on ImageNet in 35 Epochs
2018.11-Rethinking ImageNet Pre-training (Kaiming He)
2019-ICLRo-The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
2019-AAAIo-A layer decomposition-recomposition framework for neuron pruning towards accurate lightweight networks
2019-CVPR-All You Need is a Few Shifts: Designing Efficient Convolutional Neural Networks for Image Classification
2019-CVPR-HetConv Heterogeneous Kernel-Based Convolutions for Deep CNNs
2019-CVPR-Fully Learnable Group Convolution for Acceleration of Deep Neural Networks
2019-CVPR-Towards Optimal Structured CNN Pruning via Generative Adversarial Learning
2019-CVPR-Centripetal SGD for Pruning Very Deep Convolutional Networks with Complicated Structure
2019-BigComp-Towards Robust Compressed Convolutional Neural Networks
2019-PR-Filter-in-Filter: Improve CNNs in a Low-cost Way by Sharing Parameters among the Sub-filters of a Filter
2019-PRL-BDNN: Binary Convolution Neural Networks for Fast Object Detection
2019.03-MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning (Face++)
2019.04-Data-Free Learning of Student Networks (Huawei)
2019.04-Resource Efficient 3D Convolutional Neural Networks
2019.04-Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks
2019.04-Knowledge Squeezed Adversarial Network Compression

App Trace功能实战：一键拉起、快速安装与免提写邀请码的应用实践 tongjiwenzhang 经验分享信息可视化大数据携带参数安装
一、功能概述与业务价值作为移动端技术负责人，我们实现的AppTrace系统已成为公司用户增长的核心引擎。这套系统通过三大功能显著提升了关键指标：一键拉起：将H5/广告页用户转化率提升47%快速安装：应用商店跳转安装成功率提升至92%免提写邀请码：邀请注册转化率提高63%二、技术架构与实现细节1.一键拉起的技术实现Android端实现方案：//DeepLink路由分发器classTraceRoute
机器视觉通用平台之拟合圆工具类小治视觉算法 visual studio c#
usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Runtime.InteropServices;usingSystem.Text;usingSystem.Threading.Tasks;usingCvBase;usingSystem.IO;usingSystem.Drawing.Drawing2D;u
极客开发者如何打造下一个DeepSeek：从技术颠覆到生态构建的深度思考山顶望月川人工智能
DeepSeek的成功首先源于其技术范式的根本性突破...1.1架构创新的三大支柱DeepSeek的技术优势建立在三大创新基础之上...1.2极客开发者的技术启示对于有志打造下一个DeepSeek的极客开发者...二、生态战略：从封闭花园到开源雨林DeepSeek的第二个成功密码在于其开放生态战略...2.1开源生态的双重价值DeepSeek的开源策略创造了双重价值...2.2构建开发者生态的关键
VB.NET版本小钢琴程序代码2024-8-2-QZQ EYYLTV .net
ImportsSystem.Runtime.InteropServicesImportsSystem.ThreadingPublicClassForm1'义WindowsAPI函数PrivateSharedFunctionmidiOutGetNumDevs()AsIntegerEndFunctionPrivateSharedFunctionmidiOutGetDevCaps(ByValuDevic
JavaScript浅拷贝与深拷贝旺代 JavaScript 前端 javascript 开发语言
目录浅拷贝（ShallowCopy）一、浅拷贝的定义二、直接赋值vs浅拷贝1.直接赋值2.浅拷贝三、数组的浅拷贝方法1.slice()2.concat()3.扩展运算符（...）四、对象的浅拷贝方法1.Object.assign()2.扩展运算符（...）五、浅拷贝的局限性六、总结深拷贝（DeepCopy）一、深拷贝的定义二、深拷贝的常见实现方式1.JSON.parse(JSON.stringif
20个高级DeepSeek指令，帮助你提升200%工作效率，建议收藏！资源客 DeepSeek指令
前两天我帮一个做产品的朋友优化了几个提示词，结果花2小时就完成了原本需要一整天的竞品分析报告。他当时就愣了，说："我之前怎么没想到可以这样用？"其实DeepSeek最大的价值不是给你标准答案，而是成为你的思维伙伴。关键就在于你怎么"提问"。今天我把这段时间总结的20个高效提示词分享出来，都是我在实际工作中反复验证过的。如果你能熟练运用其中的5-6个，保证你的工作效率至少提升2倍。深度思考场景：让A
Apple SoC 图像 ISP 与 Neural Engine 联合优化案例分析：性能与质量平衡的实战经验观熵影像技术全景图谱：架构调优与实战接口隔离原则影像 Camera
AppleSoC图像ISP与NeuralEngine联合优化案例分析：性能与质量平衡的实战经验关键词：AppleSoC、ISP优化、NeuralEngine协同、图像处理性能、DeepFusion、SmartHDR、实时推理、多核异构计算、功耗管理摘要：随着图像计算复杂度的不断提升，AppleSoC中的ISP与NeuralEngine（NE）联合优化成为提升拍照性能和图像质量的关键路径。本文结合最
SurveyForge：AI自动撰写综述论文的革命性工具，助力科研效率跃升花生糖@ AIGC学习资料库人工智能 AI论文 AI助手
在学术研究领域，综述论文（SurveyPaper）的撰写是一项耗时且复杂的任务，通常需要数周甚至数月的文献调研与内容整合。如今，上海人工智能实验室、复旦大学与上海交通大学联合开源的SurveyForge，通过创新的AI技术，将这一过程压缩至10分钟内，且生成质量接近人工水平，成为科研人员的得力助手。项目简介SurveyForge是一款基于大语言模型（LLM）的自动综述论文生成工具，专为计算机科学领
ChatBox ZI&Yue python
importos#fromdotenvimportload_dotenvfromopenaiimportOpenAI#加载.env文件中的环境变量#load_dotenv()#初始化客户端（从环境变量读取配置）client=OpenAI(api_key=os.getenv("DEEPSEEK_API_KEY"),#从环境变量读取base_url=os.getenv("DEEPSEEK_BASE_U
Qwen3 Reranker模型可以微调吗？修昔底德 AI顿悟之旅人工智能 LLM Qwen3 微调
可以，官方已经开放了完整的微调代码与训练范式，甚至推荐用LoRA/QLoRA做参数高效微调，把Qwen3-Reranker快速适配到你的专属知识库场景。下面总结一张总览表，然后分步骤讲怎样落地。说明是否支持微调✅支持（Apache-2.0许可，模型权重可商用）推荐方法LoRA/QLoRA（只训练几百万参数即可）可微调尺寸0.6B、4B、8B（0.6B单卡24GB就够；4B/8B建议多卡或Deeps
大模型的MoE架构解析：从理论到应用的系统探讨不秃头de程序猿开发语言转行人工智能 ai 大模型程序员学习
MixtureofExperts（专家混合）架构正在重新定义大语言模型的发展轨迹。这种革命性的架构通过条件计算实现了万亿参数规模的模型，同时保持与千亿参数密集模型相当的计算成本。从GPT-4的1.8万亿参数到DeepSeek-V3的671亿参数，MoE架构已成为当前AI领域最重要的技术突破之一。MoE的核心洞察在于"不是所有的模型容量都需要同时激活"——通过让不同的专家网络处理不同类型的输入，实现
2024大模型秋招LLM相关面试题整理 AGI大模型资料分享官人工智能深度学习机器学习自然语言处理语言模型 easyui
0一些基础术语大模型：一般指1亿以上参数的模型，但是这个标准一直在升级，目前万亿参数以上的模型也有了。大语言模型（LargeLanguageModel，LLM）是针对语言的大模型。175B、60B、540B等：这些一般指参数的个数，B是Billion/十亿的意思，175B是1750亿参数，这是ChatGPT大约的参数规模。强化学习：（ReinforcementLearning）一种机器学习的方法，
AI Infra：Airweave，让 AI agent 打开 APP 的数据黑盒 sluke
原创陆蔚青平行记陆1、项目概述Airweave是一个开源工具平台，致力于将各类应用、数据库和文档存储内容，转换为可供AIAgent进行语义搜索的知识库。让我想起很久以前的Deeplink。它通过标准化接口（RESTAPI或MCP）输出搜索能力，整体流程涵盖授权接入、内容提取、向量嵌入以及语义查询等模块。正如它的官方网站所说：Airweave-TurnAppsIntoAgent-ReadyKnowl
CVPR 2024 图像、视频处理总汇（视频字幕、图像超分辨率、图像分类和压缩等）点云SLAM 图形图像处理深度学习计算机视觉图像处理视频处理 3DGS CVPR2024
1、Image/VideoCaptioning(图像/视频字幕)VisualFactChecker:EnablingHigh-FidelityDetailedCaptionGenerationPolos:MultimodalMetricLearningfromHumanFeedbackforImageCaptioning⭐codeprojectPanda-70M:Captioning70MVide
SpringBoot电商项目实战：从零搭建百万级架构
博主介绍：Java、Python、js全栈开发“多面手”，精通多种编程语言和技术，痴迷于人工智能领域。秉持着对技术的热爱与执着，持续探索创新，愿在此分享交流和学习，与大家共进步。DeepSeek-行业融合之万象视界(附实战案例详解100+)全栈开发环境搭建运行攻略：多语言一站式指南(环境搭建+运行+调试+发布+保姆级详解)感兴趣的可以先收藏起来，希望帮助更多的人SpringBoot电商项目实战：从
【集成学习】Bagging、Boosting、Stacking算法详解
文章目录1.相关算法详解：2.算法详细解释：2.1Bagging：2.2Boosting：2.3Stacking：2.4K-foldMulti-levelStacking：集成学习（EnsembleLearning）是一种通过结合多个模型的预测结果来提高整体预测性能的技术。它通过将多个学习器的结果集成起来，使得最终的模型性能更强，具有更好的泛化能力。常见的集成学习框架包括：Bagging、Boos
DeepSeek-V3 私有化部署配置方案（以 vLLM / FastDeploy 为主）
以下是DeepSeek-V3私有化部署配置方案（基于vLLM/FastDeploy），适用于对模型性能、数据隐私、推理效率有要求的企业/个人部署场景。目标：在本地或私有服务器中部署DeepSeek-V3或其MoE结构变体支持高并发推理、高效资源利用提供HTTP接口供前端/插件/Agent调用方案对比方案支持MoE性能优化推荐场景vLLM部分支持高（KVCache/连续批次）高并发API服务Fast
深度学习前置知识全面解析：从机器学习到深度学习的进阶之路
一、引言：人工智能时代的核心技术在当今这个数据爆炸的时代，人工智能(AI)已经成为推动社会进步的核心技术之一。作为AI领域最重要的分支，深度学习(DeepLearning)在计算机视觉、自然语言处理、语音识别等领域取得了突破性进展，彻底改变了我们与机器交互的方式。本教案将从机器学习的基础知识出发，系统性地介绍深度学习的核心概念、数学基础、网络架构和训练方法，为读者构建完整的知识体系框架。无论你是刚
【深度学习】强化学习（Reinforcement Learning, RL）主流架构解析烟锁池塘柳0 机器学习与深度学习深度学习人工智能机器学习
强化学习（ReinforcementLearning,RL）主流架构解析摘要：本文将带你深入了解强化学习（ReinforcementLearning,RL）的几种核心架构，包括基于价值（Value-Based）、基于策略（Policy-Based）和演员-评论家（Actor-Critic）方法。我们将探讨它们的基本原理、优缺点以及经典算法，帮助你构建一个清晰的RL知识体系。文章目录强化学习（Rei
【DeepSeek开发入门】DeepSeek API 开发初体验寻道AI小兵人工智能语言模型 AIGC AI编程
系列篇章No.文章01【DeepSeek应用实践】DeepSeek接入Word、WPS方法详解：无需代码，轻松实现智能办公助手功能02【DeepSeek应用实践】通义灵码+DeepSeek：AI编程助手的实战指南03【DeepSeek应用实践】Cline集成DeepSeek：开源AI编程助手，终端与Web开发的超强助力04【DeepSeek开发入门】DeepSeekAPI开发初体验05【DeepS
返利佣金最高软件的技术壁垒：基于强化学习的动态佣金算法架构揭秘
返利佣金最高软件的技术壁垒：基于强化学习的动态佣金算法架构揭秘大家好，我是阿可，微赚淘客系统及省赚客APP创始人，是个冬天不穿秋裤，天冷也要风度的程序猿！一、背景介绍在返利佣金软件中，动态佣金算法是提升用户活跃度和平台收益的关键技术。传统的佣金算法通常是静态的，无法根据用户的实时行为和市场动态进行调整。为了突破这一技术瓶颈，我们引入了强化学习（ReinforcementLearning,RL），通
chatgpt-vs-deepseek的用户调研 paceboy 人工智能
想做个用户调研，麻烦各位大佬评论区回复下：对于下面这样的chatAI试用地址：https://chatgpt-vs-deepseek.com，有多少用户需要？我办公时经常会用到，因为有时候需要多个模型的最优结果。需要用到的评论区扣1，不需要用到的评论区扣2，不关注的评论区扣3。多谢。
机器视觉通用平台之拟合直线工具类小治视觉 c#算法 visual studio 视觉检测
usingSystem;usingSystem.Collections.Generic;usingSystem.IO;usingSystem.Linq;usingSystem.Text;usingSystem.Threading.Tasks;usingCvBase;usingCWindowTool;usingHalconDotNet;namespaceCvImageTool{publicclass
CodeStral Mamba：Mistral 的终极轻量级编码助手知识大胖 NVIDIA GPU和大语言模型开发教程 ai llm mistral
简介如果你是一名开发人员，你会同意我们一天中最困难的部分是调试，我从2018年开始从事Python和Flutter开发人员，我明白这一点。在所有这些AI和编码助手出现之前，去StackOverflow尝试解决错误是另一回事，我一点也不怀念它。最近几个月，我一直在使用其他一些编码助手，如Codellama、Codegemma、QwenCode和Deepseek-Ai。那是在ChatGPT发布之后我们
Python 操作sqllite cnnews python 数据库开发语言
共有5个字段，实现增、查、改功能importsqlite3importthreadingimportfunctoolsPATH_DATABASE='threelang.db'defsynchronized(func):@functools.wraps(func)defwrapper(self,*args,**kwargs):withself.lock:returnfunc(self,*args,*
【LLM论文阅读】一只齐刘海的猫论文阅读
LLM论文阅读论文重点论文链接RopeRoFormer:EnhancedTransformerwithRotaryPositionEmbeddingRoPE论文阅读YarnUnderstandingYaRN:ExtendingContextWindowofLLMs论文YaRN笔记T5ExploringtheLimitsofTransferLearningwithaUnifiedText-to-Te
提炼总结—ROS2机器人开发（第9章）（下）
写在最前面的话为什么做该博客？该博客的特点是什么？随着DeepSeek、ChatGPT等AI技术的崛起，促使机器人技术发展到了新的高度，诞生了宇树科技、特斯拉为代表的人形机器人，四足机器人等等，越来越多的科技巨头涌入机器人赛道，行业对于相关人才的需求也随之达到了顶峰。本博客的内容是替你阅读所有关于机器人的经典书籍，采用书籍瘦身计划，帮你提炼出核心内容，采用最通俗易懂的语言来解释原理，将书读薄。大大
Deepoc光电研发垂直大模型的技术实现突破与核心模块 Deepoch 无人机人工智能科技 ai
一、模型架构与算法创新领域专用混合架构设计多模态Transformer扩展：在标准Transformer架构基础上，引入光子器件特性感知模块（如非线性光学参数编码器），支持光路拓扑结构与电磁场分布的联合建模，解决传统电芯片架构无法模拟光子干涉效应的难题。量子-光电混合计算层：通过量子线路模拟光子量子态演化，结合经典计算层优化参数搜索空间，实现NP难问题（如光子芯片布线优化）的指数级加速。物理约束的
Deepoc 大模型在无人机行业应用效果的方法 Deepoch 无人机人工智能科技语言模型 ai
在无人机行业中，Deepoc大模型的潜力，提升其应用效果，可从以下多个关键方面着手：优化数据收集与处理多源数据采集扩充收集涵盖激光雷达点云、高精度地图、气象数据、无人机飞行传感器数据、拍摄的图像与视频等多源数据。例如，在城市环境应用里，除了获取建筑物的视觉图像数据，还收集周边交通流量、信号状态等数据，为Deepoc大模型提供丰富且全面的信息，助力其更精准地理解复杂环境。构建高质量数据集建立严格的数
Deepoc 大模型：无人机行业的智能变革引擎
在科技飞速发展的当下，无人机行业正经历着一场深刻的变革。从最初简单的遥控飞行设备，到如今广泛应用于航拍、物流、农业、测绘等众多领域的智能飞行器，无人机的功能不断拓展，应用场景日益丰富。而在这场变革中，人工智能技术的融入无疑是最为关键的推动力量，尤其是大模型技术的兴起，为无人机行业带来了前所未有的发展机遇。其中，Deepoc大模型以其卓越的性能和强大的功能，正逐渐成为无人机行业垂直应用领域的一颗璀璨
深入浅出Java Annotation(元注解和自定义注解） Josh_Persistence Java Annotation 元注解自定义注解
一、基本概述　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或
mysql优化特定类型的查询 annan211 java 工作 mysql
本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。 1 优化count查询对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看真正的count()函数的作用到底是什么。 count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。在统
MAC下安装多版本JDK和切换几种方式棋子chessman jdk
环境： MAC AIR,OS X 10.10,64位历史：过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。在终端中输入jav
javaScript （1） Array_06 JavaScript java 浏览器
JavaScript 1、运算符　　运算符就是完成操作的一系列符号，它有七类：　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
国内顶级代码分享网站袁潇含 java jdk oracle .net PHP
现在国内很多开源网站感觉都是为了利益而做的当然利益是肯定的,否则谁也不会免费的去做网站 &
Elasticsearch、MongoDB和Hadoop比较随意而生 mongodb hadoop 搜索引擎
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
mac os 系统科研软件总结张亚雄 mac os
1.1 Microsoft Office for Mac 2011 大客户版，自行搜索。 1.2 Latex （MacTex）: 系统环境：https://tug.org/mactex/ &nb
Maven实战（四）生命周期 AdyZhang maven
1. 三套生命周期 Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post
Linux下Jenkins迁移 aijuans Jenkins
1. 将Jenkins程序目录copy过去源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面 tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
request.getInputStream()只能获取一次的问题 ayaoxinchao request Inputstream
问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据原因： 1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1； 2. InputStream并没有实现reset方法（可以重
数据库SQL优化大总结之百万级数据库优化方案 BigBird2012 SQL优化
网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where
jsonObject的使用 bijian1013 java json
在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 JSONUtil.java package com.bijian.json.study; import java.util.ArrayList; import java.util.Date; import java.util.HashMap;
[Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration bit1129 zookeeper
Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher， /** * Register a watcher for a particular p
【Scala十三】Scala核心七：部分应用函数 bit1129 scala
何为部分应用函数？ Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
Tomcat Error listenerStart 终极大法 ronin47 tomcat
Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 Java代码 handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
不用加减符号实现加减法 BrokenDreams 实现
今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。
读《研磨设计模式》-代码笔记-状态模式-State bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ /* 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化如果在
CUDA程序block和thread超出硬件允许值时的异常 cherishLC CUDA
调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！所以验证结果的正确性很重要！！！在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。以下程序在K5000GPU上跑的。
诡异的超长时间GC问题定位 chenchao051 jvm cms GC hbase swap
HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
maven环境快速搭建 daizj 安装 mavne 环境配置
一下载maven 安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多
PHP网站安全，避免PHP网站受到攻击的方法 dcj3sjt126com PHP
对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
yii中给CGridView设置默认的排序根据时间倒序的方法 dcj3sjt126com GridView
public function searchWithRelated() { $criteria = new CDbCriteria; $criteria->together = true; //without th
Java集合对象和数组对象的转换 dyy_gusi java集合
在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 1、数组对象转换为集合对象最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过
nginx同一主机部署多个应用 geeksun nginx
近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 1. 在nginx下创建vhosts目录，用以放置vhost文件。 mkdir vhosts 2. 修改nginx.conf的配置，在http节点增加下面内容设置，用来包含vhosts里的配置文件 #
ubuntu添加admin权限的用户账号 hongtoushizi ubuntu useradd
ubuntu创建账号的方式通常用到两种：useradd 和adduser . 本人尝试了useradd方法，步骤如下： 1:useradd 使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。顾应该如下操作：
第五章常用Lua开发库2-JSON库、编码转换、字符串处理 jinnianshilongnian nginx lua
JSON库在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成
Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 yaerfeng1989 timer quartz 定时器
原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 1.Java Timer定时首先继承jav
Linux下df与du两个命令的差别？ pda158 linux
　一、df显示文件系统的使用情况，与du比較，就是更全盘化。　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。　　举比例如以下：　　[root@localhost ~]# df -T 　　Filesystem Type &n
[转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象 ctfzh VO android sqlite 反射 Cursor
在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。使用时需要注意：考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中
该学习笔记用到的Employee表 vipbooks oracle sql 工作
这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 drop table Employee; -- 员工信息表 create table Employee( -- 员工编号 EmpNo number(3) primary key, -- 姓

网络加速和压缩技术论文整理

你可能感兴趣的:(Paper,Reading,Deep,Learning)