xieyan0811
xieyan0811

模型压缩

模型压缩

对于复杂问题建模时，深度学习模型在容纳更多参数的情况下，效果一般更好，但是模型占内存大，预测时间长的，往往限制其在小型或普通配制的硬件上使用。一般使用模型压缩方法给模型减肥，主要方法总结如下。

模型剪枝

移除对结果作用很小的参数权重，如接近0的参数。具体如去掉某些卷积核，或者卷积核中的某些权重，还有对通通道的减枝，对层的减枝，对注意力头的减枝等。
![[Pasted image 20220925094745.png]]

模型量化

减少存储权重所需的比特数，比如将 float32 降到 int8，基于KMeans的量化方案等等（将训练好的所有参数分成几簇，然后把权重转换成簇索引）。

参数共享

通过共享参数，达到减少网络参数的目的。一个不熟悉的词可由常用词定义，或者用普通单词的嵌入的稀疏组合；又如ALBERT可跨层共享所有参数。

低秩分解

低秩分解的方法运用了矩阵分解和矩阵乘法的结合律。把较大的卷积核分解为两个级联的行卷积核和列卷积核。比如：将一个3×3的卷积层，替换为一个3×1的卷积层加上一个1×3的卷积核。

知识蒸馏

将 teacher 的能力蒸馏到 student上，最近看了一些论文总结如下：

  • 第一次提出知识蒸馏
    外链：论文阅读_神经网络知识蒸馏_DK
  • 第一次将知识蒸馏用于自然语言处理
    外链：论文阅读_BERT知识蒸馏
  • 针对Transformer结构使用知识蒸馏
    外链：论文阅读_模型蒸馏_TinyBERT
  • 另一篇基于Transformer结构的优化，更易用
    外链：论文阅读_知识蒸馏_MobileBERT
  • 结合元学习和知识蒸馏
    外链：论文阅读_知识蒸馏_Meta-KD
  • 包含蒸馏源码的工具包
    外链：EasyNLP

参考

一文详解文本深度学习模型的压缩

你可能感兴趣的:(模型压缩)

  • PyTorch深度学习框架60天进阶学习计划 - 第18天：模型压缩技术 凡人的AI工具箱 深度学习pytorch学习python人工智能
    PyTorch深度学习框架60天进阶学习计划-第18天：模型压缩技术目录模型压缩技术概述知识蒸馏详解软标签生成策略KL散度损失推导温度参数调节结构化剪枝技术通道剪枝评估准则L1-norm剪枝算法APoZ剪枝算法量化训练基础量化类型与精度PyTorch量化API剪枝与量化协同优化Torch.fx动态计算图修改自动化模型压缩流程实现实战案例：ResNet模型压缩性能评估与分析进阶挑战与思考1.模型压缩
  • 人工智能 - TensorRT与DeepDP终极指南：释放GPU潜能的深度学习推理优化之道 天机️灵韵 具身智能VLA人工智能人工智能算法深度学习pytorch
    TensorRTTensorRT（TensorRuntime）是英伟达（NVIDIA）推出的高性能深度学习推理（Inference）优化器和运行时库，专为在NVIDIAGPU上高效部署深度学习模型而设计。它通过模型压缩、计算图优化、硬件级加速等技术，显著提升推理速度并降低资源消耗，广泛应用于自动驾驶、工业检测、实时视频分析等对延迟敏感的领域。一、TensorRT的核心功能模型优化与加速层融合（La
  • 基于多种模型剪枝方法（L1-norm、Slimming、AutoSlim）的模型轻量化和模型压缩实现 踟蹰横渡口,彳亍上滩舟。 pytorch量化感知训练稀疏训练模型剪枝学习教程剪枝python深度学习
    基于多种模型剪枝方法（L1-norm、Slimming、AutoSlim）的模型轻量化实现支持：VGG、MobileNet、Resnet、ShuffleNet等模型。代码下载地址：下载BackBonePrunerPruneRatioOriginal/Pruned/FinetunedAccuracyFLOPs(M)Params(M)MobileV2L1-Norm0.60.937/0.100/0.84
  • 大模型中的剪枝、蒸馏是什么意思？ 玩人工智能的辣条哥 人工智能剪枝人工智能机器学习
    环境：剪枝蒸馏问题描述：大模型中的剪枝、蒸馏是什么意思？解决方案：大模型的剪枝（Pruning）和蒸馏（Distillation）是两种常见的模型优化技术，用于减少模型的大小和计算复杂度，同时尽量保持模型的性能。这两种技术在实际应用中非常重要，尤其是在资源受限的环境中（如移动设备或边缘计算）。1.剪枝（Pruning）定义剪枝是一种模型压缩技术，通过移除模型中不重要的权重或神经元来减少模型的大小和
  • 深入解析模型蒸馏（Knowledge Distillation）：原理、方法与优化策略 赵大仁 AI大语言模型人工智能人工智能深度学习神经网络机器学习自然语言处理
    深入解析模型蒸馏（KnowledgeDistillation）：原理、方法与优化策略1.引言随着深度学习模型规模的不断增长，训练和部署大模型的计算成本也越来越高。模型蒸馏（KnowledgeDistillation,KD）是一种广泛使用的模型压缩与优化技术，通过让一个小模型（StudentModel）学习大模型（TeacherModel）的知识，使其能够在保持高准确度的同时降低计算复杂度，从而提升
  • 多模态大模型：技术原理与实战 模型压缩实战 AGI大模型与大数据研究院 DeepSeekR1&大数据AI人工智能计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    多模态大模型：技术原理与实战模型压缩实战作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：多模态大模型，技术原理，模型压缩，实战，TensorFlow，PyTorch，模型压缩方法，应用场景1.背景介绍1.1问题的由来随着人工智能技术的飞速发展，多模态大模型在图像识别、语音识别、自然语言处理等领域的应用越来越广泛。然而，多模态大模型通常具有庞大
  • 大模型“瘦身”革命——模型压缩与加速 大模型应用场景 人工智能开源transformer自然语言处理ai大模型LLM
    随着AI大模型（如GPT、BERT、DALL·E等）的崛起，它们在自然语言处理、图像生成等领域的表现令人惊叹。然而，大模型的参数量动辄数十亿甚至上千亿，带来了巨大的计算资源消耗和部署成本。如何在保持模型性能的同时，降低其计算和存储需求，成为了AI领域的热门话题。本文将深入探讨AI大模型的“瘦身”革命——模型压缩与加速技术，帮助开发者高效部署大模型。一、为什么需要模型压缩与加速？AI大模型（如GPT
  • 深度解析大模型蒸馏方法：原理、差异与案例 赵大仁 AI人工智能大语言模型人工智能
    深度解析大模型蒸馏方法：原理、差异与案例1.引言随着深度学习的飞速发展，大模型（LargeModels）如GPT、BERT、ViT逐渐成为AI领域的主流。然而，这些模型通常参数量庞大，计算开销极高，不适用于移动端或低算力环境。因此，模型蒸馏（KnowledgeDistillation,KD）作为一种模型压缩技术，成为高效部署大模型的重要手段。在本篇文章中，我们将深入探讨不同类型的模型蒸馏方法，并通
  • 智能模型轻量化：知识蒸馏技术如何重塑AI部署格局 人工智能
    智能模型轻量化：知识蒸馏技术如何重塑AI部署格局前言在人工智能技术高速迭代的今天，模型优化领域正经历着静默的革命。当我们惊叹于DeepSeek在自然语言处理上的惊艳表现时，一个关键问题逐渐浮出水面：如何让这些"庞然大物"真正走入现实场景？知识蒸馏技术作为模型压缩领域的突破性方案，正在为AI技术的普惠化开辟新路径。一、技术本质的解构与重构知识蒸馏颠覆了传统模型训练的范式，构建了"师生传承"的新型学习
  • 深度学习模型优化与医疗诊断应用突破 智能计算研究中心 其他
    内容概要近年来，深度学习技术的迭代演进正在重塑医疗诊断领域的实践范式。随着PyTorch与TensorFlow等开源框架的持续优化，模型开发效率显著提升，为医疗场景下的复杂数据处理提供了技术基座。当前研究聚焦于迁移学习与模型压缩算法的协同创新，通过复用预训练模型的泛化能力与降低计算负载，有效解决了医疗数据样本稀缺与硬件资源受限的痛点问题。与此同时，自适应学习机制通过动态调整网络参数更新策略，在病理
  • 跨框架模型演进与行业应用路径 智能计算研究中心 其他
    内容概要在人工智能技术持续迭代的背景下，模型框架的演进与行业应用的深度融合已成为推动产业智能化升级的核心驱动力。本文系统性梳理TensorFlow、PyTorch、MXNet等主流框架的技术发展脉络，重点分析其从通用计算架构向多模态、轻量化方向的转型路径。同时，针对模型优化技术领域，深入探讨迁移学习、超参数调优及模型压缩等方法的创新突破，揭示其在降低计算资源消耗、提升推理效率方面的关键作用。在行业
  • 大模型知识蒸馏：技术突破与应用范式重构——从DeepSeek创新看AI基础设施演进路径 大模型服务器厂商 重构人工智能
    一、知识蒸馏的技术哲学演进知识蒸馏（KnowledgeDistillation）作为模型压缩领域的核心技术突破，其发展轨迹折射出人工智能从"规模崇拜"向"效率优先"的范式转变。传统知识蒸馏框架主要关注概率分布层面的知识迁移，但DeepSeek等前沿项目展示出更复杂的知识萃取机制。最新研究表明，知识传递已从单纯的输出层模仿，发展到注意力模式迁移（AttentionTransfer）、隐层特征对齐（H
  • DeepSeek技术解析：降本增效的“双刃剑”如何重塑AI产业？ 爱吃青菜的大力水手 人工智能
    DeepSeek技术解析：降本增效的“双刃剑”如何重塑AI产业？正面影响分析算力需求与成本大幅降低DeepSeek通过算法优化（如稀疏计算、知识蒸馏）和模型压缩技术，将云端训练算力需求降至传统大模型的35%，车端推理芯片需求减少至65%。例如，某车企使用高通8650平台后，智驾系统成本显著下降。这种优化使得中小企业能以更低成本部署AI，甚至支持本地化私有化部署（如金融行业案例），同时减少对英伟达高
  • 整理：4篇论文知识蒸馏引领高效模型新时代 mslion 多模态人工智能知识蒸馏
    知识蒸馏（KnowledgeDistillation）是当前机器学习研究中的一个重要方向，特别是在模型压缩和效率优化等任务中。传统的深度学习模型往往依赖于复杂的大型网络，以获取卓越的性能。然而，这些庞大的模型对计算资源和存储空间的需求，使得它们在实际应用中，尤其是在边缘设备或移动端部署中面临巨大挑战。知识蒸馏技术致力于解决这一问题，其核心思想是通过一个“教师模型”向一个更小、更高效的“学生模型”传
  • 深度学习框架与边缘计算融合驱动医疗金融模型优化新路径 智能计算研究中心 其他
    内容概要随着边缘计算与深度学习框架的深度融合，医疗与金融领域的模型优化正在突破传统算力与隐私保护的瓶颈。当前，TensorFlow、PyTorch等主流框架通过轻量化改造（如TensorFlowLite与PyTorchMobile）逐步适应边缘设备的资源限制，同时结合联邦学习技术构建分布式训练网络。这种技术协同不仅降低了医疗影像诊断中的数据传输延迟，还通过动态模型压缩策略（如量化与剪枝）将金融预测
  • 大模型量化概述 AI领航者 人工智能ai大模型
    近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。模型压缩主要分为如下几类：剪枝（Pruning）知识蒸馏（KnowledgeDistillation）量化Quantization）本系列将针对一些常见大模型量化方案（GPTQ、LLM.int8()、Sm
  • 模型压缩-模型蒸馏、模型剪枝、模型量化 NLP的小Y 剪枝机器学习nlp语言模型
    一、模型蒸馏1.1蒸馏简介知识蒸馏是指通过教师模型指导学生模型训练，通过蒸馏的方式让学生模型学习到教师模型的知识，最终使学生模型达到或媲美教师模型的准确度。在模型压缩中，教师模型是一个预训练好的复杂的模型，而学生模型是一个规模较小的模型。如分类任务中，由训练好的教师模型在相同的数据下，通过将教师模型对样本的预测值作为学生模型的预测目标，指导学生模型学习，这个预测值一般指教师网络输出的类概率。教师模
  • 《DeepSeek模型压缩：在高效与性能间寻平衡》 人工智能深度学习
    在人工智能飞速发展的当下，大语言模型不断迭代升级，规模与性能同步攀升。DeepSeek作为其中的佼佼者，在模型压缩技术上不断探索，力求在减小模型体积的同时，最大程度保留模型性能，为更广泛的应用场景提供支持。量化：用低精度表达，换存储空间与计算效率量化技术是DeepSeek模型压缩的关键手段之一，它将模型中的高精度浮点数参数转换为低比特数的整数或定点数，从而实现存储空间的大幅缩减与计算速度的提升。从
  • 边缘AI架构提升LLM应用的响应速度 AI天才研究院 计算ChatGPTDeepSeekR1&大数据AI人工智能大模型javapythonjavascriptkotlingolang架构人工智能大厂程序员硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLM系统架构设计软件哲学Agent程序员实现财富自由
    边缘AI架构提升LLM应用的响应速度关键词边缘计算、边缘AI、LLM、响应速度、模型压缩、分布式计算摘要本文探讨了如何通过边缘AI架构提升大型语言模型（LLM）应用的响应速度。文章首先介绍了边缘计算与边缘AI的基本概念、优势和应用场景，然后深入分析了边缘AI系统的架构设计与实现，以及提升LLM响应速度的关键技术。通过实际案例展示了边缘AI在LLM应用中的效果，并对未来发展趋势和潜在挑战进行了展望，
  • 使用Python实现深度学习模型：知识蒸馏与模型压缩 Echo_Wish Python笔记从零开始学Python人工智能Python算法python深度学习开发语言
    在深度学习领域，模型的大小和计算复杂度常常是一个挑战。知识蒸馏（KnowledgeDistillation）和模型压缩（ModelCompression）是两种有效的技术，可以在保持模型性能的同时减少模型的大小和计算需求。本文将详细介绍如何使用Python实现这两种技术。目录引言知识蒸馏概述模型压缩概述实现步骤数据准备教师模型训练学生模型训练（知识蒸馏）模型压缩代码实现结论1.引言在实际应用中，深
  • Deepseek详细的自我介绍 welcome_123_ 人工智能
    ###**DeepSeek：中国自研AGI大模型的深度解析**---####**1.技术背景与研发理念**DeepSeek由国内顶尖AI科学家团队领衔，核心技术成员来自清华大学、北京大学及国际顶级AI实验室，团队在NLP、分布式训练、模型压缩等领域发表顶会论文超200篇。研发理念聚焦三个核心：-**高效性**：通过模型架构创新（如MoE）实现“小参数量，大性能”。-**可控性**：内置可解释性模块
  • DeepSeek-R1 蒸馏 Qwen 和 Llama 架构 企业级RAG知识库 qq_25467441 人工智能机器学习深度学习
    “DeepSeek-R1的输出，蒸馏了6个小模型”意思是利用DeepSeek-R1这个大模型的输出结果，通过知识蒸馏技术训练出6个参数规模较小的模型，以下是具体解释：-**知识蒸馏技术原理**：知识蒸馏是一种模型压缩技术，核心是“教师-学生”模式。在该场景中，DeepSeek-R1作为“教师模型”，它是一个大型、复杂且性能强大的模型，具有丰富的语言知识和出色的处理能力。以Qwen或Llama架构为
  • 模型轻量化 莱茶荼菜 人工智能学习
    影响神经网络推理速度主要有4个因素：FLOPs、MAC、计算并行度、硬件平台架构与特性（算力、GPU内存带宽）模型压缩工业界主流的模型压缩方法有：知识蒸馏（KnowledgeDistillation，KD）轻量化模型架构（也叫紧凑的模型设计）、剪枝（Pruning）、量化（Quantization）。模型剪枝（ModelPruning）：模型剪枝通过删除冗余的连接或参数来减小模型的大小。这可以通过
  • 【NLP算法面经】NLP算法面经 -- 腾讯 VS 美团（附面题） 青松ᵃⁱ NLP百面百过AI面试NLP面试算法面试人工智能
    博客主页：[青松]目录【NLP百面百过】大模型算法高频面题（全面整理ʘ‿ʘ）一、大模型（LLMs）基础面大模型（LLMs）架构篇注意力机制（Attention）篇Transformer理论篇二、大模型微调面有监督微调（SFT）篇高效微调篇提示学习篇人类对齐训练（RLHF）篇Prompt工程篇三、大模型进阶面大模型压缩篇分布式训练篇大模型魔改篇四、NLP任务实战面文本分类篇命名实体识别（NER）篇关
  • 超火的DeepSeek使用了大模型蒸馏技术嘛? 魔王阿卡纳兹 IT杂谈DeepSeek大模型蒸馏OpenAI
    是的，DeepSeek确实使用了大模型蒸馏技术。以下是通过互联网公开信息整理的内容:从多个证据中可以确认，DeepSeek在其模型训练和优化过程中采用了蒸馏技术。例如：蒸馏技术的定义与应用：蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）的技术，通过这种方式实现模型压缩和性能提升。DeepSeek利用这一技术，将大模型的知识传递给更小的模型，从而在保持性能的同时降低计算成本。具
  • 【AI中数学-信息论-综合实例】 缩小AI巨人：大模型神经网络的压缩与裁剪 云博士的AI课堂 AI中的数学人工智能神经网络深度学习知识蒸馏网络裁剪量化技术模型压缩
    第六章：信息论-综合实例第二节：缩小AI巨人：大模型神经网络的压缩与裁剪术在本节中，我们将探讨压缩和裁剪大规模神经网络模型的技术，使其更加高效，适用于实际应用。尽管大规模神经网络在AI中具有强大的能力，但由于其高计算需求、内存使用和推理时间，它们在实际部署中往往面临一些限制。模型压缩和裁剪技术能够使这些“AI巨人”变得更为可管理，同时在性能上不至于损失太多。我们将通过五个在实际应用中具有代表性的案
  • 大语言模型原理基础与前沿 高效的MoE架构 AI架构设计之禅 DeepSeekR1&大数据AI人工智能Python入门实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    大语言模型原理基础与前沿高效的MoE架构关键词：大语言模型，MoE架构，参数高效微调，分布式训练，模型压缩，推理加速1.背景介绍1.1问题的由来随着深度学习技术的飞速发展，大语言模型（LargeLanguageModels，LLMs）在自然语言处理（NaturalLanguageProcessing，NLP）领域取得了显著的成果。LLMs能够理解和生成自然语言，并在各种NLP任务中表现出色。然而，
  • 模型蒸馏、量化、裁剪的概念和区别 我就是全世界 AI人工智能
    模型压缩概述1.1模型压缩的重要性随着深度学习技术的快速发展，神经网络模型在各种任务中取得了显著的成功。然而，这些模型通常具有大量的参数和复杂的结构，导致模型体积庞大、计算资源消耗高和推理时间长。这些问题限制了深度学习模型在资源受限设备（如移动设备、嵌入式系统）上的应用。模型压缩技术的出现，旨在解决上述问题，通过减少模型的大小和计算复杂度，同时保持或提高模型的性能。模型压缩的重要性主要体现在以下几
  • 浅谈知识蒸馏技术 eso1983 机器学习人工智能深度学习
    最近爆火的DeepSeek技术，将知识蒸馏技术运用推到我们面前。今天就简单介绍一下知识蒸馏技术并附上python示例代码。知识蒸馏（KnowledgeDistillation）是一种模型压缩技术，它的核心思想是将一个大型的、复杂的教师模型（teachermodel）的知识迁移到一个小型的、简单的学生模型（studentmodel）中，从而在保持模型性能的前提下，减少模型的参数数量和计算复杂度。以下
  • 第三篇：模型压缩与量化技术——DeepSeek如何在边缘侧突破“小而强”的算力困局 python算法(魔法师版) 数据挖掘机器学习人工智能深度学习神经网络生成对抗网络边缘计算
    ——从算法到芯片的全栈式优化实践随着AI应用向移动终端与物联网设备渗透，模型轻量化成为行业核心挑战。DeepSeek通过自研的“算法-编译-硬件”协同优化体系，在保持模型性能的前提下，实现参数量与能耗的指数级压缩。本文从技术原理、工程实现到落地应用，完整解析其全链路压缩技术体系。第一章算法层创新：结构化压缩与动态稀疏化1.1非均匀结构化剪枝技术DeepSeek提出**“敏感度感知通道剪枝”（SAC
  • Linux的Initrd机制 被触发 linux
    Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin
  • maven本地仓库路径修改 bitcarter maven
    默认maven本地仓库路径：C:\Users\Administrator\.m2 修改maven本地仓库路径方法：     1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml     2.找到        
  • XSD和XML中的命名空间 darrenzhu xmlxsdschemanamespace命名空间
    http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml http://blog.csdn.net/wanghuan203/article/details/9203621 http://blog.csdn.net/wanghuan203/article/details/9204337 http://www.cn
  • Java 求素数运算 周凡杨 java算法素数
    网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。 第一种：   原理: 6N(+-)1法         任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)   
  • java 单例模式 g21121 java
    想必单例模式大家都不会陌生，有如下两种方式来实现单例模式：   class Singleton { private static Singleton instance=new Singleton(); private Singleton(){} static Singleton getInstance() { return instance; }
  • Linux下Mysql源码安装 510888780 mysql
    1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz (1)创建mysql的安装目录及数据库存放目录       解压缩下载的源码包，目录结构，特殊指定的目录除外：           
  • 32位和64位操作系统 墙头上一根草 32位和64位操作系统
    32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了
  • 我的spring学习笔记10-轻量级_Spring框架 aijuans Spring 3
    一、问题提问：     → 请简单介绍一下什么是轻量级？     轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。  
  • mongodb 环境搭建及简单CURD antlove WebInstallcurdNoSQLmongo
    一 搭建mongodb环境 1. 在mongo官网下载mongodb 2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\
  • 数据字典和动态视图 百合不是茶 oracle数据字典动态视图系统和对象权限
    数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭   数据字典中包含   数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 数据库为一
  • 多线程编程一般规则 bijian1013 javathread多线程java多线程
           如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。        不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。
  • 将文件或目录拷贝到另一个Linux系统的命令scp bijian1013 linuxunixscp
    一.功能说明        scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下：        scp 远程用户名@IP地址：文件的绝对路径
  • 【持久化框架MyBatis3五】MyBatis3一对多关联查询 bit1129 Mybatis3
    以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。   示例数据：   地址表：   CREATE TABLE ADDRESSES ( ADDR_ID INT(11) NOT NULL AUTO_INCREMENT, STREET VAR
  • cookie状态判断引发的查找问题 bitcarter formcgi
    先说一下我们的业务背景： 1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 2.form中action是一个cgi服务 3.后台cgi服务同时供PC，H5，APP 4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题） 问题：（折腾两天。。。。） 1.PC端cgi服务正常调用，cookie判断没
  • 通过Nginx,Tomcat访问日志(access log)记录请求耗时 ronin47
    一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 nginx.conf使用配置方式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r
  • java-67- n个骰子的点数。 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 bylijinnan java
    public class ProbabilityOfDice { /** * Q67 n个骰子的点数 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 * 在以下求解过程中，我们把骰子看作是有序的。 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况 */ private stati
  • 看别人的博客，觉得心情很好 Cb123456 博客心情
       以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客:    职业规划:    http://www.iteye.com/blogs/subjects/zhiyeguihua      android学习:    1.http://byandby.i
  • [JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析 comsci 工作流
        我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误      在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到
  • JS常用的事件及方法 cwqcwqmax9 js
    事件 描述 onactivate 当对象设置为活动元素时触发。 onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 onbeforeactivate 对象要被设置为当前元素前立即触发。 onbeforecut 当选中区从文档中删除之前在源对象触发。 onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即
  • 正则表达式验证日期格式 dashuaifu 正则表达式IT其它java其它
    正则表达式验证日期格式 function isDate(d){ var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i); if(!v) { this.focus(); return false; } } <input value="2000-8-8" onblu
  • Yii CModel.rules() 方法 、validate预定义完整列表、以及说说验证 dcj3sjt126com yii
    public array rules () {return} array 要调用 validate() 时应用的有效性规则。 返回属性的有效性规则。声明验证规则，应重写此方法。 每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation
  • UITextAttributeTextColor = deprecated in iOS 7.0 dcj3sjt126com ios
    In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." Ins
  • 判断一个数是质数的几种方法 EmmaZhao Mathpython
    质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。 判断一个数是质数的最简单的方法如下： def isPrime1(n): for i in range(2, n): if n % i == 0: return False return True 但是在上面的方法中有一些冗余的计算，所以
  • SpringSecurity工作原理小解读 坏我一锅粥 SpringSecurity
      SecurityContextPersistenceFilter   ConcurrentSessionFilter   WebAsyncManagerIntegrationFilter   HeaderWriterFilter   CsrfFilter   LogoutFilter   Use
  • JS实现自适应宽度的Tag切换 ini JavaScripthtmlWebcsshtml5
    效果体验：http://hovertree.com/texiao/js/3.htm   该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 HTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"
  • Hbase Rest API : 数据查询 kane_xie RESThbase
    hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。   启动命令：./bin/hbase rest s
  • JQuery实现鼠标拖动元素移动位置（源码+注释） 明子健 jqueryjs源码拖动鼠标
    欢迎讨论指正！   print.html代码： <!DOCTYPE html> <html> <head> <meta http-equiv=Content-Type content="text/html;charset=utf-8"> <title>发票打印</title> &l
  • Postgresql 连表更新字段语法 update qifeifei PostgreSQL
    下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： UPDATE tops_visa.visa_order SET op_audit_abort_pass_date = now() FROM tops_visa.visa_order as t1 INNER JOIN tops_visa.visa_visitor as t2 ON t1.
  • 将redis,memcache结合使用的方案? tcrct rediscache
    公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi
  • 开发中遇到的诡异的bug wudixiaotie bug
    今天我们服务器组遇到个问题： 我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他