幽径微澜
幽径微澜

第五节课 LMDeploy 大模型量化部署实践（笔记）

来源：(5)LMDeploy 大模型量化部署实践_哔哩哔哩_bilibili

课程文档：https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md

第五节课 LMDeploy 大模型量化部署实践（笔记）_第1张图片

1.大模型部署背景

（1）模型部署

定义

  • 将训练好的模型在特定软硬件环境中启动的过程，使模型能够接收输入并返回预测结果
  • 为了满足性能和效率的要求，常常对需要对模型进行优化，例如模型压缩和硬件加速

产品形态

  • 云端、边缘计算端、移动端

计算设备

  • CPU、GPU、NPU、TPU等

（2）大模型特点

内存开销巨大

  • 庞大的参数量。7B模型仅权重就需要14+G内存
  • 采用自回归生成token，需要缓存Attention的k/v，带来巨大的内存开销

动态shape

  • 请求数不固定
  • Token逐个生成，且数量不定

相对视觉模型，LLM结构简单

  • Transformers结构，大部分使decoder-only 

（3）大模型部署挑战

设备

  • 如何应对巨大的存储问题？低存储设备（消费级显卡、手机等）如何部署？

推理

  • 如何加速token的生成速度
  • 如何解决动态shape，让推理可以不间断
  • 如何有效管理和利用内存

服务

  • 如何提升系统整体吞吐量？
  • 对于个体用户，如何降低响应时间？

（4）大模型部署方案

技术点

  • 模型并行
  • 低比特量化
  • Page Attention
  • transformer计算和访存优化
  • Continuous Batch
  • ...

方案

  • huggingface transformers
  • 专门的推理加速框架

云端

  • Imdeploy
  • vllm
  • tensorrt-llm
  • deepspeed
  • ...

移动端

  • llama.cpp
  • mlc-llm
  • ...

2.LMDeploy简介

使LLM在英伟达设备上部署的全流程解决方案。包括轻量化、推理和服务。

第五节课 LMDeploy 大模型量化部署实践（笔记）_第2张图片

推理性能

（1）静态推理性能

固定batch，输入/输出token数量

第五节课 LMDeploy 大模型量化部署实践（笔记）_第3张图片

（2）动态推理性能

真实对话，不定长的输入/输出

第五节课 LMDeploy 大模型量化部署实践（笔记）_第4张图片

核心功能-量化

（1）为什么要做量化？

第五节课 LMDeploy 大模型量化部署实践（笔记）_第5张图片

（2）为什么要做Weight Only的量化？

两个基本概念
  • 计算密集：推理的绝大部分时间消耗在数值计算上；针对计算密集场景，可以通过使用更快的硬件计算单元来提升计算速度。
  • 访存密集：推理时，绝大部分时间小号在数据读取上；针对访存密集型场景，一般通过提高计算访存比来提升性能。
Weight Only量化一举多得
  • 4bit Weight Only量化，将FP16的模型权重量化为INT4，访存量直接将为FP16模型的1/4，大幅降低了访存成本，提高了Decoding的速度。
  • 加速的同时还节省了显存，同样的设备能够支持更大的模型及更长的对话长度。
LLM是典型的访存密集型任务

第五节课 LMDeploy 大模型量化部署实践（笔记）_第6张图片

（3）如何做Weight Only的量化？

  • LMDeploy使用MIT HAN LAB开源的AWQ算法，量化为4bit模型
  • 推理时，先把4bit权重，反量化回FP16（在Kernel内部进行，从G咯罢了Memory读取时仍是4bit），依旧使用的时FP16计算
  • 相较于社区使用比较多的GPTQ算法，AWQ的推理速度更快，量化的时间更短

第五节课 LMDeploy 大模型量化部署实践（笔记）_第7张图片

第五节课 LMDeploy 大模型量化部署实践（笔记）_第8张图片

核心功能-推理引擎TurboMind

第五节课 LMDeploy 大模型量化部署实践（笔记）_第9张图片

持续批处理

请求队列
  • 推理请求首先先加入到请求队列中

 Persistent线程

  1. 若batch中有空闲槽位，从队列拉取请求，尽量填满空闲槽位。若无，继续对当前batch中的请求进行forward。
  2. Batch每forward完一次。
  3. 转步骤1。

第五节课 LMDeploy 大模型量化部署实践（笔记）_第10张图片

有状态的推理

第五节课 LMDeploy 大模型量化部署实践（笔记）_第11张图片

Blocked k/v cache

支持Paged Attention、支撑有状态推理。

第五节课 LMDeploy 大模型量化部署实践（笔记）_第12张图片

block状态

  • Free未被任何序列占用
  • Activate被正在推理的序列占用
  • Cache被缓存中的序列占用

block状态迁移

第五节课 LMDeploy 大模型量化部署实践（笔记）_第13张图片

高性能的cuda kernel

第五节课 LMDeploy 大模型量化部署实践（笔记）_第14张图片

核心功能-推理服务 api server

第五节课 LMDeploy 大模型量化部署实践（笔记）_第15张图片

你可能感兴趣的:(书生·浦语大模型实战营（笔记,笔记,python)

  • 现在的花钱市场怎么样？ 荒唐忆梦
    太平天国背圣宝大花钱估价NTD8,600,000-8,600,000成交价RMB2,847,460专场钱币拍卖时间2018-06-28拍卖公司中正拍卖有限公司拍卖会2018台湾中正春季艺术品拍卖太平天国”背竖“圣宝”，阔缘楷书，直径48.5mm，少见，极美品贤孝传家花钱估价NTD8,600,000-8,600,000成交价RMB2,722,500专场钱币拍卖时间2018-01-26拍卖公司中正拍卖
  • verilator如何实现RTL的仿真(腾讯混元)
    Verilator是一个用于将Verilog或SystemVerilogRTL（寄存器传输级）代码转换为C++或SystemC模型的工具，主要用于高性能的功能仿真和验证。它不是像ModelSim或VCS那样的传统事件驱动仿真器，而是通过静态编译的方式将RTL转换为可执行的C++代码，从而实现高效仿真。下面详细介绍Verilator实现RTL仿真的流程与实现细节。一、Verilator的基本工作流程
  • WebSocket断链排查与重连实战：7种实时检测与自动恢复技巧 Clownseven websocket网络协议网络
    更多云服务器知识，尽在hsotol.com前一秒用户还在聊着天，后一秒界面突然“连接已断开，请重试”，你赶忙看日志，发现服务并没崩，CPU正常、内存平稳，也没报错。可用户就是断了，而且还不是一个两个。这种时候你才想起来：这货不是HTTP，是WebSocket。它不是请求-响应那种你来我往，它像一根细长的管子，连上之后就一直开着，谁主动断谁才结束。可问题是——它，突然就没了。WebSocket长连接
  • 花树一路香 王小永_6be2
    图片发自App绽放在路旁迎送着人来车往呼吸着尾气成长历经了冬的冷雪寒霜迎来了春的和风暖阳春花烂漫一路芬芳从不羡慕花园中同伴受到的娇生惯养也从不畏惧恶劣的环境对生命的影响从小到大是一路坚强尾气猖狂灰尘飞扬污染了枝叶的模样污染不了树腔内心的洁净与高尚一边吸着尾气的肮脏一边释放着清新的氧沁人心脾一路花香图片发自App
  • 就让时间慢慢走 花小姨
    又失眠了，记不清这是我多少次在夜里，在我柔软舒适的大床上辗转反侧的睡不着，似乎是只要闭上眼睛，所有该想得，不该想得，全都得一股脑的都挤到那本该休息的大脑里。在最近的几天听到的都是一些让人开心不起来的事情，但是这些事情也确实让我感到，时间在慢慢的走掉，而我也在慢慢成长，父母的健康，孩子的成长，事业的成功似乎是我在这个年龄，必须面对的问题，年纪越大，越是想回到小时候，这个世界上要是真的可以穿越的话，那
  • 脾气决定命运 王芝权
    人生一世是涵养一种修为，人的优雅在于能控制自己的情绪。男人的脾气不好会影响他的事业，女人的脾气不好会影响她的德品。嘴是两扇门，修养在个人。用嘴伤人是最低级的行为。只要脾气好，凡事皆为顺。人无论多聪明、多富有、多有权势，在愤怒的那一瞬间，智商等于零。所以不要在愤怒的时候做任何决策！水深则流缓，语迟则人贵。人花了一年时间学说话，却要花数十年时间学口德。说，是一种能力；不说，是一种智慧。共勉！图片发自A
  • 入侵者 半月婵
    站在这里我像是一个入侵者身边的树木沉默不语黑夜里逃离的鸟儿黎明时又潜回到这里它们站在枝头对着人间吱吱呀呀唱着它们每唱一句我的悲伤就涌上来盖住了我的快乐
  • python第一次作业
    1.技术面试题（1）TCP与UDP的区别是什么？**答：1.TCP是面向连接的协议，而UDP是元连接的协议2.TCP协议传输是可靠的，而UDP协议的传输是“尽力而为3.TCP是可以实现流控，而UDP不行4.TCP可以实现分段，而UDP不行5.TCP的传输速率较慢，占用资源较大，UDP传输速率快，占用资源小。TCP/UDP的应用场景不同TCP适合可靠性高的效率要求低的，UDP可靠性低，效率高。（2）
  • python www_hhhhhhh pythonjava面试
    1.技术面试题（1）解释Linux中的进程、线程和守护进程的概念，以及如何管理它们？答：进程：是操作系统进行资源分配的基本单位，拥有独立的地址空间、进程控制块，每个进程之间相互隔离。例如，打开一个终端窗口会启动一个bash进程。线程：是操作系统调度的基本单位，隶属于进程，共享进程的资源，但有独立的线程控制块和栈。线程切换开销远小于进程。例如，一个Web服务器的单个进程中，多个线程可同时处理不同客户
  • Python lambda表达式：匿名函数的适用场景与限制 梦幻南瓜 pythonpython服务器linux
    目录1.Lambda表达式概述1.1Lambda表达式的基本语法1.2简单示例2.Lambda表达式的核心特点2.1匿名性2.2简洁性2.3即时性2.4函数式编程特性3.Lambda表达式的适用场景3.1作为高阶函数的参数3.2简单的数据转换3.3条件筛选3.4GUI编程中的回调函数3.5Pandas数据处理4.Lambda表达式的限制4.1只能包含单个表达式4.2没有语句4.3缺乏文档字符串4.
  • 【python】 www_hhhhhhh python面试职场和发展
    1.技术面试题（1）TCP与UDP的区别是什么？答：TCP（传输控制协议）和UDP（用户数据报协议）是两种常见的传输层协议，主要区别在于连接方式和可靠性。TCP是面向连接的协议，传输数据前需建立连接，通过三次握手确保连接可靠，传输过程中有确认、重传和顺序控制机制，保证数据完整、按序到达，适用于网页浏览、文件传输等对可靠性要求高的场景。UDP是无连接的协议，无需建立连接即可发送数据，不保证数据可靠传
  • Python函数的返回值
    1.返回值定义及案例：2.返回值与print的区别：print仅仅是打印在控制台，而return则是将return后面的部分作为返回值作为函数的输出，可以用变量接走，继续使用该返回值做其它事。3.保存函数的返回值如果一个函数return返回了一个数据，那么想要用这个数据，那么就需要保存.#定义函数defadd2num(a,b):   returna+b#调用函数，顺便保存函数的返回值result=
  • python怎么把函数返回值_python函数怎么返回值
    python函数使用return语句返回“返回值”，可以将其赋给其它变量作其它的用处。所有函数都有返回值，如果没有return语句，会隐式地调用returnNone作为返回值。python函数使用return语句返回"返回值"，可以将其赋给其它变量作其它的用处。所有函数都有返回值，如果没有return语句，会隐式地调用returnNone作为返回值。一个函数可以存在多条return语句，但只有一条
  • Python星球日记 - 第8天：函数基础 Code_流苏 Python星球日记python函数def关键字函数参数返回值
    引言：上一篇：Python星球日记-第7天：字典与集合名人说：路漫漫其修远兮，吾将上下而求索。——屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder）目录一、函数的定义与调用1.什么是函数？2.如何定义函数-`def`关键字3.函数调用方式二、参数与返回值1.函数参数类型2.如何传递参数3.返回值和`return`语句三、局部变量与全局变量1.变量作用域概念2.局部变
  • 华为OD机试2025C卷 - 小明的幸运数 (C++ & Python & JAVA & JS & GO) 无限码力 华为od华为OD机试2025C卷华为OD2025C卷华为OD机考2025C卷
    小明的幸运数华为OD机试真题目录点击查看:华为OD机试2025C卷真题题库目录｜机考题库+算法考点详解华为OD机试2025C卷100分题型题目描述小明在玩一个游戏，游戏规则如下：在游戏开始前，小明站在坐标轴原点处（坐标值为0）.给定一组指令和一个幸运数，每个指令都是一个整数，小明按照指令前进指定步数或者后退指定步数。前进代表朝坐标轴的正方向走，后退代表朝坐标轴的负方向走。幸运数为一个整数，如果某个
  • Python 函数返回值 落花雨时 Python基础
    #返回值，返回值就是函数执行以后返回的结果#可以通过return来指定函数的返回值#可以之间使用函数的返回值，也可以通过一个变量来接收函数的返回值defsum(*nums):#定义一个变量，来保存结果result=0#遍历元组，并将元组中的数进行累加forninnums:result+=nprint(result)#sum(123,456,789)#return后边跟什么值，函数就会返回什么值#r
  • 2018-09-14 9b7b83ee0c03
    2018.09.14親愛的家人們，晚上好！我是刘永波我是一個激情、大爱、有擔當的男人！我在湖北武汉今天是2018年9月14日我們的口號是：TA28，能量大爆發我們的願景是:我/我們承諾創造一個激情、大愛、付出的世界我們的團歌是:迎著風我们的九字箴言是：有我在！28在！冠军在！一、表现成果1,个大家一起，着手汉川2,晚上陪家人小孩二、体验感受1,心态放轻松，抓住好机会，积极的心态。三、学习行的通的是
  • 存档python爬虫、Web学习资料
    1python爬虫学习学习Python爬虫是个不错的选择，它能够帮你高效地获取网络数据。下面为你提供系统化的学习路径和建议：1.打好基础首先要掌握Python基础知识，这是学习爬虫的前提。比如：变量、数据类型、条件语句、循环等基础语法。列表、字典等常用数据结构的操作。函数、模块和包的使用方法。文件读写操作。推荐通过阅读《Python编程：从入门到实践》这本书或者在Codecademy、LeetCo
  • Python爬虫入门到实战（3）-对网页进行操作 荼蘼 爬虫
    一.获取和操作网页元素1.获取网页中的指定元素tag_name()方法：获取元素名称。text()方法：获取元素文本内容。click()方法():点击此元素。submit()方法():提交表单。send_keys()方法：模拟输入信息。size()方法:获取元素的尺寸可进入selenium库文件夹下的webdriver\remote\webelement.py中查看更多的操作方法,2.在元素中输入
  • 解封后展览（25）：独角兽星空艺术馆 柳书岫
    独角兽星空艺术馆和恋爱博物馆其实是一个地方，正好有空来打浦桥日月光办事，就乘电梯上去瞧了。一看，有点失望啊，感觉非常小，又破旧。进去是个小白屋，被刷得雪白，但仔细瞧，破落又脏，到处有脚印。屋内两个雪白的面对面的独角兽，还有一架雪白的吊椅，其实不能算白，已经很黑了。据说独角兽的梦，是爱与幸福的代名词，沉默而温暖的独角兽，让人深沉纯净，暂时宁静。按照标识，推开另一扇屋门，恍若走进万花筒里，万花筒呈现的
  • 华为OD 机试 2025 B卷 - 周末爬山 (C++ & Python & JAVA & JS & GO) 无限码力 华为OD机试真题刷题笔记华为od华为OD2025B卷华为OD机考2025B卷华为OD机试2025B卷华为OD机试
    周末爬山华为OD机试真题目录点击查看:华为OD机试2025B卷真题题库目录｜机考题库+算法考点详解华为OD机试2025B卷200分题型题目描述周末小明准备去爬山锻炼，0代表平地，山的高度使用1到9来表示，小明每次爬山或下山高度只能相差k及k以内，每次只能上下左右一个方向上移动一格，小明从左上角(0,0)位置出发输入描述第一行输入mnk(空格分隔)。代表m*n的二维山地图，k为小明每次爬山或下山高度
  • Python,C++,Go开发芯片电路设计APP Geeker-2025 pythonc++golang
    #芯片电路设计APP-Python/C++/Go综合开发方案##系统架构设计```mermaidgraphTDA[Web前端]-->B(Python设计界面)B-->C(GoAPI网关)C-->D[C++核心引擎]D-->E[硬件加速]F[数据库]-->CG[EDA工具链]-->DH[云服务]-->C```##技术栈分工|技术|应用领域|优势||------|----------|------||
  • 《金吾生〈庄子发微〉日课4.2021-12-6》 金吾生
    《金吾生〈庄子发微〉日课4.2021-12-6》今天是辛丑己亥甲寅，冬月初三，2021-12-6星期一。《消摇游第一》1钟泰先生讲解道，“消摇”是叠韵连语。外篇《天运》说“以游消摇之虚……消摇，无为也。”这句话说的是，如果无为则得消摇，并不是说消摇就是无为。具体分析而言，“消”，是消释的意思。《田子方篇》说：“物无道，正容以悟之，使人之意也消。”杂篇《则阳》说：“非相助以德，相助消也。”“摇”，是
  • 红队测试-代理和中间人攻击工具 小浪崇礼
    BetterCAP-Modular,portableandeasilyextensibleMITMframework.Ettercap-Comprehensive,maturesuiteformachine-in-the-middleattacks.Habu-Pythonutilityimplementingavarietyofnetworkattacks,suchasARPpoisoning,D
  • pyside6使用1 窗体、信号和槽
    一、概要由于作者前期很多年都在使用C++和Qt框架进行项目的开发工作，故可以熟练的使用Qt框架。Qt框架在界面设计以及跨平台运用方面，有着巨大的优势，而界面设计恰恰是python的短板，故使用pyside6实现python和Qt的互补。1.1pyside6安装更新pip工具：pipinstall--upgradepip命令行执行如下指令：pipinstallpyside6-ihttps://pyp
  • 去摘草莓 狼的传人_d7f8
    昨天我和爸爸妈妈还有弟弟一起去摘草莓。我们摘了很多很多又美味又香甜的草莓，有大的有小的。小小的就像一粒大米，大大的，就像是一个乐高房子一样。我摘了些吃了点儿。我尝了尝好香好甜呀！
  • python-读写mysql(操作mysql数据库)
    importpymysqlimportpandasaspdimporttimeonly_time=time.localtime(time.time())time_now=time.strftime('%Y-%m-%d%H:%M:%S',only_time)dt=time.strftime('%Y%m%d',only_time)t=time.time()tt=int(t)parentId=''sta
  • 减脂四部曲 我叫丁坚持
    关于减脂，我们都话可说，又都无话可说，就像有句话说的那样，我懂得很多道理，仍旧过不好这一生。其实，之所以屡战屡败，还是方法不到位，时间再长，终究不过是小白。且看我的四部曲一、计划任何事情的开始都涉及到计划层面，拿减脂来说，你准备用多少时间减脂多少斤，时间不要拉太长，否则思想和嘴巴容易出轨，拿一个月来减脂5斤（基数大，更明显）来讲，还是可以的，只是减脂它包括：饮食、运动、心情、睡眠。没有节食，莫要节
  • python读写mysql cavin_2017 Python学习
    目前用到的连接数据库，主要实现连个功能：1.根据sql查询2.将dataframe数据通过pandas包写入mysql数据库中1.根据sql查询：通常我们通过sql查询mysql中的表，分三步1.连接数据库2.数据查询3.关闭连接，如果需要查询的步骤较多，将查询封装成函数，通过参数传递sql代码会省事很多。##定义连接数据库函数defmy_db(host,user,passwd,db,sql,po
  • 《别人怎么对你，都是你教的》读书笔记之：你剪断了我的翅膀，却抱怨我不会飞翔 枋落
    循规蹈矩不犯错，就是最好的人生？我的答案当然是否定的，因为我就是一个循规蹈矩的人，可是我觉得，这样的人生没有那么好。作为父母，总希望自己的孩子听话。至少，我就是这样被教育大的。我一直想成为父母眼里的好孩子，也成为了他们眼中的好孩子，但我心里的苦不堪言让我知道，我并不喜欢现在的我。我的好只是别人的好，却不是我自己的好。我总是挤出无辜的笑，其实是不敢面对自己的错误。父母用他们认为正确的方式教育我，没有
  • html页面js获取参数值 0624chenhong html
    1.js获取参数值js function GetQueryString(name) {      var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)");      var r = windo
  • MongoDB 在多线程高并发下的问题 BigCat2013 mongodbDB高并发重复数据
    最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫 展，重复去看 MongoDB 的 API , 终于有了新发现 ： com.mongodb.DB 这个类有
  • c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
  • 最近情况 麦田的设计者 感慨考试生活
       在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。   
  • linux系统中用pkill踢出在线登录用户 被触发 linux
    由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who   查出当前有那些终端登录（用 w 命令更详细） # who root     pts/0        2010-10-28 09:36 (192
  • 仿QQ聊天第二版 肆无忌惮_ qq
    在第一版之上的改进内容:  第一版链接: http://479001499.iteye.com/admin/blogs/2100893   用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑.   信息修改后上传至服务器再告诉所有用户,自己的窗口
  • java读取配置文件 知了ing
    1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
  • __attribute__ 你知多少？ 矮蛋蛋 C++gcc
    原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
  • jsoup使用笔记 alleni123 java爬虫JSoup
    <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
  • JAVA中的集合 Collectio 和Map的简单使用及方法 百合不是茶 listmapset
             List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念：     Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素  ，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
  • 杀LINUX的JOB进程 bijian1013 linuxunix
    今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉   系统环境：    ORACLE 10G    Linux操作系统   操作步骤如下： 第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
  • Spring AOP详解 bijian1013 javaspringAOP
            最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
  • [Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
    TypeAdapter的使用动机  Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。   以Date为例，在序列化和反序列化时，Gson默认使用java.
  • 【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
    Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
  • nginx 经验总结 ronin47 nginx 总结
    　　　深感nginx的强大，只学了皮毛，把学下的记录。 　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）            获取body,通过接口，再展开，根据Ｋ取Ｖ 　　　获取uri,以$arg_XX      &n
  • 轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
  • Netty源码学习-Java-NIO-Reactor bylijinnan java多线程netty
    Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助 参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
  • AOP通俗理解 cngolon springAOP
    1.我所知道的aop     初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和 我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而 已。 2.为什么用aop&nb
  • cursor variable 实例 ctrain variable
    create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
  • shell报bash: service: command not found解决方法 daizj linuxshellservicejps
    今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：   脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
  • 40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式PHP正则表达式oop
    你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准 ，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
  • Android逐帧动画的实现 dcj3sjt126com android
    一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
  • java远程调用linux的命令或者脚本 eksliang linuxganymed-ssh2
    转载请出自出处： http://eksliang.iteye.com/blog/2105862        Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar)   使用步骤如下： 1.导包 官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
  • adb端口被占用问题 gqdy365 adb
    最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。 一个比较彻底的解决办法就是修改
  • ASP.NET使用FileUpload上传文件 hvt .netC#hovertreeasp.netwebform
    前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上 传" />
  • 代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜IEEE
    在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。 浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说， 一点都不简单。 单单是说明 IEEE浮点数 就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。 一次面试 记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试， 多年以后，他已经称为了一名很出色的
  • 数据结构随记_1 lx.asymmetric 数据结构笔记
    第一章   1.数据结构包括数据的 逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是 顺序存储、链式存储 、索引存储 和 散列存储。 3.数据运算最常用的有五种，分别是  查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：  输入、输出、可行性、确定性和有穷性。 5.算法分析的
  • linux的会话和进程组 网络接口 linux
    会话： 一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？ 先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
  • 二维数组 元素的连续求解 1140566087 二维数组ACM
    import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
  • 也谈什么时候Java比C++快 windshome javaC++
      刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。   你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？   我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他