xieyan0811
xieyan0811

模型压缩

模型压缩

对于复杂问题建模时，深度学习模型在容纳更多参数的情况下，效果一般更好，但是模型占内存大，预测时间长的，往往限制其在小型或普通配制的硬件上使用。一般使用模型压缩方法给模型减肥，主要方法总结如下。

模型剪枝

移除对结果作用很小的参数权重，如接近0的参数。具体如去掉某些卷积核，或者卷积核中的某些权重，还有对通通道的减枝，对层的减枝，对注意力头的减枝等。
![[Pasted image 20220925094745.png]]

模型量化

减少存储权重所需的比特数，比如将 float32 降到 int8，基于KMeans的量化方案等等（将训练好的所有参数分成几簇，然后把权重转换成簇索引）。

参数共享

通过共享参数，达到减少网络参数的目的。一个不熟悉的词可由常用词定义，或者用普通单词的嵌入的稀疏组合；又如ALBERT可跨层共享所有参数。

低秩分解

低秩分解的方法运用了矩阵分解和矩阵乘法的结合律。把较大的卷积核分解为两个级联的行卷积核和列卷积核。比如：将一个3×3的卷积层，替换为一个3×1的卷积层加上一个1×3的卷积核。

知识蒸馏

将 teacher 的能力蒸馏到 student上，最近看了一些论文总结如下：

  • 第一次提出知识蒸馏
    外链：论文阅读_神经网络知识蒸馏_DK
  • 第一次将知识蒸馏用于自然语言处理
    外链：论文阅读_BERT知识蒸馏
  • 针对Transformer结构使用知识蒸馏
    外链：论文阅读_模型蒸馏_TinyBERT
  • 另一篇基于Transformer结构的优化，更易用
    外链：论文阅读_知识蒸馏_MobileBERT
  • 结合元学习和知识蒸馏
    外链：论文阅读_知识蒸馏_Meta-KD
  • 包含蒸馏源码的工具包
    外链：EasyNLP

参考

一文详解文本深度学习模型的压缩

你可能感兴趣的:(模型压缩)

  • 医疗金融预测与语音识别中的模型优化及可解释性技术突破 智能计算研究中心 其他
    内容概要随着人工智能技术的纵深发展，模型优化与可解释性技术正在重塑医疗诊断、金融预测及语音识别领域的应用范式。在医疗领域，基于自适应学习的动态参数调整机制，结合迁移学习的跨场景知识复用，显著提升了疾病筛查模型的泛化能力；而金融预测场景中，联邦学习框架通过分布式数据协作，在保障隐私安全的前提下，实现了风险预测模型的多维度优化。语音识别领域则依托边缘计算架构，将模型压缩技术与实时推理引擎结合，有效解决
  • YOLOv11模型轻量化挑战技术文章大纲 程序猿全栈の董（董翔） githubYOLOv11
    模型轻量化的背景与意义目标检测模型YOLOv11的性能与应用场景轻量化的必要性：边缘设备部署、实时性需求、计算资源限制轻量化面临的挑战：精度与速度的权衡、模型压缩方法的选择YOLOv11的轻量化技术方向网络结构优化：深度可分离卷积、分组卷积、瓶颈设计模型剪枝：结构化剪枝与非结构化剪枝策略知识蒸馏：教师-学生模型框架与特征匹配方法量化与低比特压缩：FP16/INT8量化与二值化网络轻量化实现的具体方
  • 基于存算一体架构的实时深度学习推理优化 瑕疵 热点资讯架构深度学习人工智能
    博客主页：瑕疵的CSDN主页Gitee主页：瑕疵的gitee主页⏩文章专栏：《热点资讯》基于存算一体架构的实时深度学习推理优化基于存算一体架构的实时深度学习推理优化基于存算一体架构的实时深度学习推理优化引言存算一体架构的核心优势1.能效比突破2.实时性保障架构设计与实现技术1.存储单元创新2.硬件加速器设计3.电路级优化深度学习推理优化策略1.模型压缩技术2.硬件-软件协同优化3.运行时调度典型应
  • Transformer模型压缩：结构化剪枝与混合精度量化研究 pk_xz123456 仿真模型机器学习深度学习transformer剪枝深度学习
    Transformer模型压缩：结构化剪枝与混合精度量化研究摘要本文针对Transformer模型在实际部署中面临的计算资源消耗大、内存占用高和推理延迟等问题，提出了一种结合结构化剪枝与混合精度量化的综合压缩方案。我们首先分析了Transformer模型的结构特点及其在计算效率方面的瓶颈，然后系统地研究了结构化剪枝和混合精度量化的理论基础与实现方法。通过实验验证，我们的方法在保持模型性能的同时显著
  • 【深度学习】神经网络剪枝方法的分类 烟锁池塘柳0 机器学习与深度学习深度学习神经网络剪枝
    神经网络剪枝方法的分类摘要随着深度学习模型，特别是大语言模型（LLM）的参数量爆炸式增长，模型的部署和推理成本变得异常高昂。如何在保持模型性能的同时，降低其计算和存储需求，成为了工业界和学术界的核心议题。神经网络剪枝（Pruning）作为模型压缩的关键技术之一，应运而生。本文将解析剪枝技术的不同分类，深入探讨其原理、优缺点。文章目录神经网络剪枝方法的分类摘要1为什么我们需要剪枝？2分类方法一：剪什
  • 嵌入式AI模型压缩技术：让大模型变小 AI智能探索者 AIAgent智能体开发实战人工智能ai
    嵌入式AI模型压缩技术：让大模型变小关键词：嵌入式AI、模型压缩、剪枝、量化、知识蒸馏、轻量化网络、端侧部署摘要：当我们用手机拍照时，AI能瞬间识别出“这是一只猫”；智能摄像头能在0.1秒内检测到“有人闯入”。这些“快如闪电”的AI功能背后，藏着一项关键技术——嵌入式AI模型压缩。本文将用“给盆栽修剪枝叶”“用简笔画代替油画”等生活类比，带您一步步理解模型压缩的核心技术（剪枝、量化、知识蒸馏、轻量
  • 【深度学习|学习笔记】如何在深度学习中使用 正则化技术 进行模型压缩、稀疏建模和迁移学习调优？ 努力毕业的小土博^_^ 机器学习基础算法优质笔记2深度学习学习笔记迁移学习人工智能机器学习
    【深度学习|学习笔记】如何在深度学习中使用正则化技术进行模型压缩、稀疏建模和迁移学习调优？【深度学习|学习笔记】如何在深度学习中使用正则化技术进行模型压缩、稀疏建模和迁移学习调优？文章目录【深度学习|学习笔记】如何在深度学习中使用正则化技术进行模型压缩、稀疏建模和迁移学习调优？✅一、使用正则化进行模型压缩（ModelCompression）目标：方法：L1正则化促使权重稀疏化代码示例：后续压缩步骤
  • 深度学习学习指南 努力的Lorre 深度学习人工智能
    本帖子将以本书的逻辑和顺序做一个梳理：CS基础->AI算法->模型压缩->异构计算->AI框架->AI编译器《DeepLearningSystems》(https://deeplearningsystems.ai/)CS基础推荐书单所需的编程语言(C/C++、Python)就不多讲了，数据结构算法也是大学基础课程，不多赘述。对于操作系统需要多了解，推荐多看一看《深入理解计算机系统》(传说中的面试圣
  • 大模型·知识蒸馏·学习笔记 小先生00101 笔记人工智能神经网络机器学习自然语言处理深度学习语言模型
    第一部分：核心概念入门1.1什么是知识蒸馏？核心问题:深度学习模型（如大型神经网络）虽然性能强大，但其巨大的参数量和计算需求使其难以部署到手机、嵌入式设备等资源受限的平台。核心思想:知识蒸馏是一种模型压缩和优化的技术，其灵感来源于“教师-学生”范式。我们先训练一个复杂但性能强大的“教师模型”，然后利用这个教师模型来指导一个轻量级的“学生模型”进行学习。生动的比喻(Hinton,2015):这个过程
  • 大模型分布式训练deepspeed环境搭建 transformer变压器 分布式人工智能
    1.deepspeed介绍1.1简介DeepSpeed是一个由微软开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed还提供了一些辅助工具，如分布式训练管理、内存优化和模型压缩等，以帮助开发者更好地管理和优化大规模深度学习训练任务。此外，deepspeed基于pytorch构建
  • 教师-学生协同知识蒸馏机制在私有化系统中的融合路径：架构集成、训练范式与部署实践 观熵 人工智能DeepSeek私有化部署
    教师-学生协同知识蒸馏机制在私有化系统中的融合路径：架构集成、训练范式与部署实践关键词：私有化部署、知识蒸馏、教师模型、学生模型、协同蒸馏、蒸馏训练、边缘部署、模型压缩、国产大模型、自监督微调摘要：随着国产大模型在企业私有化环境中的广泛部署，模型的压缩与推理性能优化成为核心挑战之一。本文聚焦“教师-学生协同知识蒸馏机制”在私有化系统中的实际融合路径，系统分析从教师模型选择、蒸馏数据构建、协同训练框
  • AI原生应用性能优化：LLM模型压缩与加速方案 AI原生应用开发 AI-nativeai
    AI原生应用性能优化：LLM模型压缩与加速方案关键词：AI原生应用、性能优化、LLM模型、模型压缩、加速方案摘要：本文聚焦于AI原生应用的性能优化，重点探讨了LLM（大语言模型）的模型压缩与加速方案。通过通俗易懂的语言，从背景知识入手，深入解释核心概念，阐述算法原理，给出实际代码案例，介绍应用场景、工具资源，分析未来趋势与挑战等，旨在让读者全面了解如何对LLM模型进行压缩与加速，以提升AI原生应用
  • YOLO 在无人机视频流中的部署实践：从低延迟推理到边缘智能协同
    YOLO在无人机视频流中的部署实践：从低延迟推理到边缘智能协同关键词：YOLOv8、无人机视频流、边缘部署、RTSP、低延迟推理、实时检测、JetsonOrin、RK3588、模型压缩摘要：随着无人机在巡检、安防、农业、物流等场景的广泛应用，如何将高效的目标检测模型部署在无人机或其边缘计算模块上，成为一项关键挑战。YOLO系列模型以其高性能、低延迟特性，已被广泛应用于实时视频流的智能感知任务。本文
  • AI+法律，能不能帮我打官司？——聊聊自动化法律分析那些事儿 Echo_Wish Python进阶人工智能自动化运维
    AI+法律，能不能帮我打官司？——聊聊自动化法律分析那些事儿朋友们大家好，我是你们熟悉的Echo_Wish。今天咱们不讲图像识别、不聊大模型压缩，也不搞无人机降落——今天咱搞点“法理情”的结合，聊聊人工智能在法律分析中的自动化落地实践。这几年，“AI改变行业”是老生常谈了，但你知道吗？有一个行业，既复杂、规则化强、文本数据多、人才极度紧缺，又一直被认为是“最不可能被AI替代的职业”之一——那就是法
  • 深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（1） king of code porter 深度学习深度学习剪枝人工智能
    一、背景：为什么需要模型剪枝？随着深度学习的发展，模型参数量和计算量呈指数级增长。以ResNet18为例，其在ImageNet上的参数量约为1100万，虽然在服务器端运行流畅，但在移动端或嵌入式设备上部署时，内存和计算资源的限制使得直接使用大模型变得困难。模型剪枝（ModelPruning）作为模型压缩的核心技术之一，通过删除冗余的神经元或通道，在保持模型性能的前提下显著降低模型大小和计算量，是解
  • 深度学习之模型压缩三驾马车：模型剪枝、模型量化、知识蒸馏 king of code porter 深度学习深度学习剪枝人工智能
    一、引言在深度学习中，我们训练出的神经网络往往非常庞大（比如像ResNet、YOLOv8、VisionTransformer），虽然精度很高，但“太重”了，运行起来很慢，占用内存大，不适合部署到手机、摄像头、机器人等资源受限的设备上。于是我们就想出了一个办法：给模型“瘦身”，让它又快又轻，还能保持不错的准确率。这就是——模型压缩！模型压缩有三种最常用的方法：模型剪枝模型量化知识蒸馏下面我们分别来通
  • AI人工智能领域DALL·E 2的技术优化方向 AI大模型应用工坊 人工智能DALL·E2ai
    AI人工智能领域DALL·E2的技术优化方向关键词：DALL·E2、文本到图像生成、扩散模型、计算效率、图像质量、多模态学习、模型压缩摘要：本文深入探讨了OpenAI的DALL·E2模型在人工智能领域的技术优化方向。我们将从模型架构、训练方法、计算效率、图像质量提升等多个维度进行分析，提出具体的优化策略和技术路线。文章不仅涵盖了理论基础，还提供了实际的代码实现和数学推导，帮助读者全面理解如何提升文
  • FP16 混合精度在移动端 NPU 上的支持与性能压榨路径：架构差异 × 模型兼容 × 工程落地全解析 观熵 国产NPU×Android推理优化架构neo4j人工智能
    FP16混合精度在移动端NPU上的支持与性能压榨路径：架构差异×模型兼容×工程落地全解析关键词FP16、混合精度、移动端NPU、国产芯片、TensorFlowLite、NNAPI、模型压缩、图优化、精度漂移、硬件加速、算子支持、高效推理摘要随着国产NPU芯片在手机、边缘端等设备的广泛部署，FP16（HalfPrecisionFloatingPoint）因其在计算效率、内存带宽、功耗方面的综合优势，
  • 深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（3）
    引言前面的文章《深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（1）》和《深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）》有做了相应的裁剪说明和实践，但是只是对其中的一个层进行采集的，这篇文章是记录对ResNet18中所有的残差层进行采集的一个过程。当然，前面也提到第一层是没有进行裁剪的，原因可以自己翻看前面的原因，后面也会有提到。一、ResNet18模型结构
  • 机器学习小白必看：从零开始的模型压缩与优化 人工智能教程 机器学习人工智能自然语言处理cnn分类深度学习线性回归
    在机器学习和深度学习领域，模型压缩与优化是一个非常重要且实用的话题。随着模型规模的不断增大，如何在保持模型性能的同时减少模型的存储和计算开销，成为了一个亟待解决的问题。本文将从零开始，带你了解模型压缩与优化的基本概念、常用方法以及如何在实际项目中应用这些技术。一、模型压缩与优化的背景在实际应用中，深度学习模型往往需要大量的计算资源和存储空间。例如，一个典型的卷积神经网络（CNN）可能包含数百万甚至
  • 大模型解密之---模型蒸馏 forever0827 人工智能深度学习语言模型自然语言处理文心一言gpt-3机器学习
    模型蒸馏：知识的传承艺术想象一下，你有一位学识渊博、经验丰富但年事已高、行动缓慢的“老教授”，也有一位年轻、敏捷、学习能力强的“研究生”。我们希望这位研究生能快速掌握老教授的毕生所学，但不是通过死记硬背教授的所有著作，而是通过聆听教授的“思维过程”来学习。这就是模型蒸馏的核心思想。描述(Description):模型蒸馏是一种模型压缩和知识迁移的技术。其目标是将一个大型、复杂、强大的“教师模型(T
  • 算法在嵌入式端的部署与优化 早日退休！！！ 硬件算法嵌入式硬件
    算法在嵌入式端的部署与优化前言理论1.参考资源2.其他1.将深度学习模型移植到嵌入式端时，提高推理速度的方法2.深度学习模型移植到嵌入式端的主要流程3.假设将已经训练好的目标检测模型（比如YOLOv3)移植到树莓派4B这样一款嵌入式设备上，并且需要保证推理速度达到实时。具体流程如下4.在树莓派上使用ncnn推理引擎，可以采取以下措施提高推理速度5.先进行模型压缩再用推理模型部署是一种常见的深度学习
  • AI算力网络与通信中量化技术的挑战与机遇 AI算力网络与通信 AI算力网络与通信原理AI人工智能大数据架构AI人工智能与大数据技术人工智能网络ai
    AI算力网络与通信中量化技术的挑战与机遇关键词：AI算力网络、量化技术、通信优化、模型压缩、分布式计算摘要：随着AI应用的爆发式增长，算力需求与网络通信压力同步激增。量化技术作为连接AI算力网络与通信效率的关键桥梁，通过降低数据精度压缩模型规模、减少传输开销，成为解决“算力-通信”矛盾的核心技术。本文将从生活场景出发，用“快递网络”“语言翻译”等通俗比喻，拆解AI算力网络与量化技术的底层逻辑，结合
  • 什么是知识蒸馏？如何做模型蒸馏？结合案例说明
    一、什么是蒸馏？核心概念：在机器学习中，“蒸馏”指的是知识蒸馏。这是一种模型压缩技术，其核心思想是将一个大型、复杂、性能优越但计算成本高的模型（称为“教师模型”）所蕴含的“知识”或“智慧”，转移给一个小型、简单、计算效率高的模型（称为“学生模型”）。类比：就像化学中的蒸馏过程，通过加热和冷凝分离混合物中的组分，知识蒸馏试图从复杂教师模型的“知识混合物”中，提取出最精华、最核心的模式和关系，并将其“
  • RAG模型效果优化全攻略：多维度策略优化RAG模型性能的关键技术与方法（RAG优化） 汀、人工智能 LLM工业级落地实践LLM技术汇总人工智能RAG智能体知识库self-ragrerank
    ：RAG在大模型实际落地的时候，存在一些问题，主要集中在以下方面：缺少垂直领域知识：虽然大模型压缩了大量的人类知识，但在垂直场景上明显存在短板，需要专业化的服务去解决特定问题。存在幻觉、应用有一定门槛：在大模型使用上有一些幻觉、合规问题，没有办法很好地落地，配套工作不足，缺乏现成的方案来管理非结构化文本、进行测试、运营和管理等。存在重复建设：各业务孤立摸索，资产无法沉淀，存在低水平重复建设，对公司
  • AI持续学习模型压缩与加速方法大全 AI智能探索者 人工智能学习ai
    AI持续学习模型压缩与加速方法大全关键词：模型压缩、模型加速、持续学习、知识蒸馏、模型剪枝、量化、轻量化架构摘要：本文全面解析AI持续学习场景下的模型压缩与加速技术。从核心概念到具体方法，结合生活案例、代码示例与实战场景，系统讲解剪枝、量化、知识蒸馏等主流技术的原理与应用，帮助读者理解如何在持续学习中平衡模型性能与资源消耗，最终实现高效、可扩展的AI系统。背景介绍目的和范围随着AI技术普及，模型规
  • 【深度学习新浪潮】什么是混合精度分解？ 小米玄戒Andrew 深度学习新浪潮深度学习人工智能算法大模型语言模型LLMs
    混合精度分解是大模型压缩领域的一项核心技术，通过将模型参数或计算过程分解为不同精度的子单元，在保持性能的同时显著降低存储和计算成本。其核心思想是对模型中敏感度高、信息量大的部分采用高精度表示，而对冗余度高、敏感度低的部分采用低精度表示，从而在精度损失与压缩效率之间取得最优平衡。以下从技术原理、实现方法和典型案例三个维度展开分析：一、技术原理与核心机制1.混合精度的理论基础精度-冗余权衡：大模型中不
  • 压缩感知解析 DuHz 算法机器学习信号处理开发语言人工智能数学建模线性代数
    压缩感知解析理论基础与数学框架压缩感知理论由EmmanuelCandès、TerenceTao、DavidDonoho等数学家在2004年前后建立，该理论证明：对于在某种变换域中具有稀疏性的信号，可以通过远少于奈奎斯特采样率的随机测量实现完美重构。压缩感知的数学框架基本数学模型压缩感知的核心数学模型为：y=Φx+n\mathbf{y}=\boldsymbol{\Phi}\mathbf{x}+\ma
  • 华为鸿蒙模型轻量化进阶：从「能用」到「好用」的生态进化之路 harmonyos
    哈喽！我是小L，那个在鸿蒙端侧「用模型压缩技术撬动千亿设备」的女程序员~你知道吗？当轻量化模型遇见鸿蒙分布式能力，能让智能手表的健康监测精度提升20%，同时功耗降低30%！今天就来聊聊模型轻量化在鸿蒙生态中的「终极形态」——全场景协同、自进化模型、隐私增强，看看未来的端侧AI如何「聪明又贴心」！一、全场景协同：让模型「随需而变」（一）跨设备模型调度架构graphTDA[用户请求]-->B{设备类型
  • 第39节：模型压缩技术：剪枝与量化 点我头像干啥 pytorch人工智能python
    引言在人工智能和深度学习领域，模型规模的快速增长已成为一个显著趋势。从早期的简单神经网络到如今拥有数十亿参数的巨型模型（如GPT-3、BERT等），模型的复杂性不断提高，带来了更强大的性能，但同时也带来了计算资源消耗大、存储需求高、推理延迟长等一系列挑战。这些挑战严重限制了深度学习模型在资源受限环境（如移动设备、嵌入式系统和边缘计算场景）中的部署和应用。为了解决这些问题，模型压缩技术应运而生。模型
  • Linux的Initrd机制 被触发 linux
    Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin
  • maven本地仓库路径修改 bitcarter maven
    默认maven本地仓库路径：C:\Users\Administrator\.m2 修改maven本地仓库路径方法：     1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml     2.找到        
  • XSD和XML中的命名空间 darrenzhu xmlxsdschemanamespace命名空间
    http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml http://blog.csdn.net/wanghuan203/article/details/9203621 http://blog.csdn.net/wanghuan203/article/details/9204337 http://www.cn
  • Java 求素数运算 周凡杨 java算法素数
    网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。 第一种：   原理: 6N(+-)1法         任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)   
  • java 单例模式 g21121 java
    想必单例模式大家都不会陌生，有如下两种方式来实现单例模式：   class Singleton { private static Singleton instance=new Singleton(); private Singleton(){} static Singleton getInstance() { return instance; }
  • Linux下Mysql源码安装 510888780 mysql
    1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz (1)创建mysql的安装目录及数据库存放目录       解压缩下载的源码包，目录结构，特殊指定的目录除外：           
  • 32位和64位操作系统 墙头上一根草 32位和64位操作系统
    32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了
  • 我的spring学习笔记10-轻量级_Spring框架 aijuans Spring 3
    一、问题提问：     → 请简单介绍一下什么是轻量级？     轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。  
  • mongodb 环境搭建及简单CURD antlove WebInstallcurdNoSQLmongo
    一 搭建mongodb环境 1. 在mongo官网下载mongodb 2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\
  • 数据字典和动态视图 百合不是茶 oracle数据字典动态视图系统和对象权限
    数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭   数据字典中包含   数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 数据库为一
  • 多线程编程一般规则 bijian1013 javathread多线程java多线程
           如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。        不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。
  • 将文件或目录拷贝到另一个Linux系统的命令scp bijian1013 linuxunixscp
    一.功能说明        scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下：        scp 远程用户名@IP地址：文件的绝对路径
  • 【持久化框架MyBatis3五】MyBatis3一对多关联查询 bit1129 Mybatis3
    以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。   示例数据：   地址表：   CREATE TABLE ADDRESSES ( ADDR_ID INT(11) NOT NULL AUTO_INCREMENT, STREET VAR
  • cookie状态判断引发的查找问题 bitcarter formcgi
    先说一下我们的业务背景： 1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 2.form中action是一个cgi服务 3.后台cgi服务同时供PC，H5，APP 4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题） 问题：（折腾两天。。。。） 1.PC端cgi服务正常调用，cookie判断没
  • 通过Nginx,Tomcat访问日志(access log)记录请求耗时 ronin47
    一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 nginx.conf使用配置方式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r
  • java-67- n个骰子的点数。 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 bylijinnan java
    public class ProbabilityOfDice { /** * Q67 n个骰子的点数 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 * 在以下求解过程中，我们把骰子看作是有序的。 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况 */ private stati
  • 看别人的博客，觉得心情很好 Cb123456 博客心情
       以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客:    职业规划:    http://www.iteye.com/blogs/subjects/zhiyeguihua      android学习:    1.http://byandby.i
  • [JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析 comsci 工作流
        我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误      在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到
  • JS常用的事件及方法 cwqcwqmax9 js
    事件 描述 onactivate 当对象设置为活动元素时触发。 onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 onbeforeactivate 对象要被设置为当前元素前立即触发。 onbeforecut 当选中区从文档中删除之前在源对象触发。 onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即
  • 正则表达式验证日期格式 dashuaifu 正则表达式IT其它java其它
    正则表达式验证日期格式 function isDate(d){ var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i); if(!v) { this.focus(); return false; } } <input value="2000-8-8" onblu
  • Yii CModel.rules() 方法 、validate预定义完整列表、以及说说验证 dcj3sjt126com yii
    public array rules () {return} array 要调用 validate() 时应用的有效性规则。 返回属性的有效性规则。声明验证规则，应重写此方法。 每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation
  • UITextAttributeTextColor = deprecated in iOS 7.0 dcj3sjt126com ios
    In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." Ins
  • 判断一个数是质数的几种方法 EmmaZhao Mathpython
    质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。 判断一个数是质数的最简单的方法如下： def isPrime1(n): for i in range(2, n): if n % i == 0: return False return True 但是在上面的方法中有一些冗余的计算，所以
  • SpringSecurity工作原理小解读 坏我一锅粥 SpringSecurity
      SecurityContextPersistenceFilter   ConcurrentSessionFilter   WebAsyncManagerIntegrationFilter   HeaderWriterFilter   CsrfFilter   LogoutFilter   Use
  • JS实现自适应宽度的Tag切换 ini JavaScripthtmlWebcsshtml5
    效果体验：http://hovertree.com/texiao/js/3.htm   该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 HTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"
  • Hbase Rest API : 数据查询 kane_xie RESThbase
    hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。   启动命令：./bin/hbase rest s
  • JQuery实现鼠标拖动元素移动位置（源码+注释） 明子健 jqueryjs源码拖动鼠标
    欢迎讨论指正！   print.html代码： <!DOCTYPE html> <html> <head> <meta http-equiv=Content-Type content="text/html;charset=utf-8"> <title>发票打印</title> &l
  • Postgresql 连表更新字段语法 update qifeifei PostgreSQL
    下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： UPDATE tops_visa.visa_order SET op_audit_abort_pass_date = now() FROM tops_visa.visa_order as t1 INNER JOIN tops_visa.visa_visitor as t2 ON t1.
  • 将redis,memcache结合使用的方案? tcrct rediscache
    公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi
  • 开发中遇到的诡异的bug wudixiaotie bug
    今天我们服务器组遇到个问题： 我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他