伟洪winnie
伟洪winnie

聊一聊高并发高可用那些事 - Kafka篇

目录

聊一聊高并发高可用那些事 - Kafka篇_第1张图片

为什么需要消息队列

1.异步 ：一个下单流程，你需要扣积分，扣优惠卷，发短信等，有些耗时又不需要立即处理的事，可以丢到队列里异步处理。

2.削峰 ：按平常的流量，服务器刚好可以正常负载。偶尔推出一个优惠活动时，请求量极速上升。由于服务器 Redis，MySQL 承受能力不一样，如果请求全部接收，服务器负载不了会导致宕机。加机器嘛，需要去调整配置，活动结束后用不到了，即麻烦又浪费。这时可以将请求放到队列里，按照服务器的能力去消费。

3.解耦 ：一个订单流程，需要扣积分，优惠券，发短信等调用多个接口，出现问题时不好排查。像发短信有很多地方需要用到， 如果哪天修改了短信接口参数，用到的地方都得修改。这时可以将要发送的内容放到队列里，起一个服务去消费， 统一发送短信。

聊一聊高并发高可用那些事 - Kafka篇_第2张图片

分区、副本、消费组

聊一聊高并发高可用那些事 - Kafka篇_第3张图片

聊一聊高并发高可用那些事 - Kafka篇_第4张图片

Zookeeper 上存的 Kafka 相关数据

聊一聊高并发高可用那些事 - Kafka篇_第5张图片

Linux Kafka 操作命令

  • 查看 Kafka 中 Topic

  • 查看 Kafka 详情

聊一聊高并发高可用那些事 - Kafka篇_第6张图片

  • 消费 Topic

聊一聊高并发高可用那些事 - Kafka篇_第7张图片

  • 查看所有消费组

  • 查看消费组的消费情况

聊一聊高并发高可用那些事 - Kafka篇_第8张图片

Windows 可视化工具 Kafka Tool

  • 配置 Hosts 文件
123.207.79.96 ZooKeeper-Kafka-01
  • 配置 Kafka Tool 连接信息

聊一聊高并发高可用那些事 - Kafka篇_第9张图片

聊一聊高并发高可用那些事 - Kafka篇_第10张图片

  • 查看 Kafka 主题数据

聊一聊高并发高可用那些事 - Kafka篇_第11张图片

生产者和消费者使用代码

  • 具体操作参考 github.com/wong-winnie/library

聊一聊高并发高可用那些事 - Kafka篇_第12张图片

订阅号：伟洪winnie

  • 订阅号回复关键字【聊聊高并发高可用那些事】获取专栏文章

聊一聊高并发高可用那些事 - Kafka篇_第13张图片

你可能感兴趣的:(聊一聊高并发高可用那些事 - Kafka篇)

  • 秋韵 人间雪白乘雪归
    一、校园久未提笔，时光流转匆匆，落笔间惊觉秋已深。近来秋雨反复，蓊郁山水，空濛缥缈，云气与天相接，山色已是一片伤心碧了。校园一直被包围在烟雾杳霭中，不得秋的清爽和空旷，在淅淅沥沥的雨里，默默的等待时光的宽宥，亦深知时间的优渥，终会将温暖泽被其上。校园的绣球花已经凋零，往日肥绿的叶子，也开始枯黄掉落，紫叶李、玉兰花、梧桐的树叶不断的随着风飘落。周末，校园被安静占领，被四周的秋色占领，被雀鸟占领。二、
  • 被动的学习 乐婷0809
    2019.3.6星期三雨读经人员:艳红雨乐宇婷诗经时间第514天读经内容:《黄帝内经》《唐诗三百首》《诗经》《新概念英语》保险这个词语对我很敏感，因为我只买了乡镇医疗险，其它保险真没有想买的意思，也一点都不懂得。下午老公的婶婶又叫我去听了一堂关于怎样去推销产品和发展人员的课，真的要睡着了，一点不明白。就在去年我上班都总要我去，今年不上班越总是说，对于在做保险这份工作的人，他们就说是在帮助一个家庭。
  • leetcode 3202. 找出有效子序列的最大长度 II 中等 圣保罗的大教堂 leetcodeleetcode
    给你一个整数数组nums和一个正整数k。nums的一个子序列sub的长度为x，如果其满足以下条件，则称其为有效子序列：(sub[0]+sub[1])%k==(sub[1]+sub[2])%k==...==(sub[x-2]+sub[x-1])%k返回nums的最长有效子序列的长度。示例1：输入：nums=[1,2,3,4,5],k=2输出：5解释：最长有效子序列是[1,2,3,4,5]。示例2：输
  • 朴素贝叶斯 不会忘的名字
    1.关键词朴素:独立性假设贝叶斯公式贝叶斯公式简单例子另一个例子，现分别有A、B两个容器，在容器A里分别有7个红球和3个白球，在容器B里有1个红球和9个白球，现已知从这两个容器里任意抽出了一个球，且是红球，问这个红球是来自容器A的概率是多少?假设已经抽出红球为事件B，选中容器A为事件A，则有：P(B)=8/20，P(A)=1/2，P(B|A)=7/10，按照公式，则有：P(A|B)=(7/10)*
  • 每日一读|阿兰·德波顿：想象旅行 沉鱼_58ae
    对旅行的期望和旅行的现实总会出现矛盾。我碰巧读到于斯曼的小说《逆流》。小说发表于1884年，主人公德埃桑迪斯公爵是一个衰朽厌世的贵族，正筹划一趟伦敦之旅。他百般思索，分析了对一个地方的想象和实际情形之间令人极度沮丧的差异。在于斯曼的小说中，德埃桑迪斯独自住在巴黎市郊的一处宽敞别墅。他几乎足不出户，因为这样，可以避免看见他心中的人之丑陋和愚蠢。但有一天清早，德埃桑迪斯突然有一种强烈的意愿，想去伦敦旅
  • Day7 作业 ququququ
    使用一个变量all_students保存一个班的学生信息(4个)，每个学生需要保存：姓名、年龄、成绩、电话all_students=[{'name':'stu1','age':19,'score':81,'tel':'192222'},{'name':'stu2','age':29,'score':90,'tel':'211222'},{'name':'stu3','age':12,'score'
  • 古典密码设计思想与经典算法：从罗马军团到数字世界的密码学之旅 算法第二深情 密码学密码学
    一、古典密码设计思想：信息的“魔法变形术”1.核心思想古典密码学的基本目标是通过变换明文字符的位置或形式，使其对未授权者不可读。其核心设计思想分为两种：置换（Permutation）：打乱字符顺序，但保留字符本身替代（Substitution）：用其他字符替换原字符，改变字符内容这两种操作如同“整理书架”和“换衣服”的区别：置换：把书架上的书按新顺序排列（位置变化）替代：把每本书的内容替换成其他文
  • 二分查找进阶：查找最靠左和最靠右的索引（Java实现） 算法第二深情 算法学习算法javaintellij-idea
    一、引言在实际开发中，二分查找（BinarySearch）是一种高效的查找算法，尤其在处理有序数组时表现出色。然而，标准的二分查找只能返回目标值的任意一个位置（例如中间位置）。如果需要找到目标值的最左索引或最右索引（例如统计重复元素的出现次数），或者只需要单纯知道最左或最有二、普通二分查找vs.边界查找1.普通二分查找publicstaticintbinarySearch(int[]arr,int
  • 求人不如求己 一盏茗悦
    南阳慧忠禅师是牛头宗之祖师，唐肃宗，代宗都曾封他为国师。唐高宗曾经跟随他求受五戒，武则天请他至宫中宣讲华严要义。传说慧忠圆寂时，有瑞云覆盖精舍，空中又传来天籁之声，慧忠安然而逝。一时之间风雨交加，震折林木，接着有白虹横贯山岩溪壑之间，颇为神奇。慧忠国师感念侍者为他服务了30年，想报答他，助他开悟，一天呼唤道，侍者！侍者一听国师叫他，立刻回答道，国师，做什么？国师无可奈何地道，不做什么。过了一会儿，
  • 今日份开心～ 漫步银河的空想家
    今日份开心～1.本周双休，感觉这周日子过得特别快，才周一开完会就周五了～2.考试通过率百分百～今年来第一次和组员一起吃饭，聊聊天～3.今天想吃小龙虾，安排上了它～4.管理好情绪，耐心处理客户问题心态放好第二级～5.穿喜欢的衣服～很显白～6.本周无因工作失误导致的罚款，每天面对各种处罚，生怕哪里没做好被罚款，鸭梨山大！7.喝上了奶茶～8.和弟弟聊天，很久没有打语音电话了～
  • 过年，我损失了什么？ 张超_75c3
    自阴历12月28日至正月5日，春节放假在老家待了整整8天。可以这么说，在家过了一个轻轻松松、愉快祥和地春节，晚上打牌、早上睡到10点起床、带妻子和女儿短途旅行两次、串亲戚等等，有说有笑，不亦乐乎！可是，今天我不想说这些，而是更想说说，这八天时间，我到底失去了什么？能不能过的更有意义些？我失去了什么？只有我自己知道，平时的我每天5:20起床，起床后学习“得到”专栏吴军的“谷歌方法论”，每天一篇，可以
  • 记忆的围城 梦宇生
    2.雪夜深时分无人赏昏黄冬风初雪涨雪来了，来得那么的突然，来得那么的措不及防。今年的雪也来得格外的早，没错，昨夜下了一整晚。图片发自App今天醒了一大早儿，早早儿出门呼吸了一下新鲜空气。看着外面这一片雪景，就仿佛装饰了我的梦，惊醒了梦中的人儿，那小人儿仿佛在我的左耳悄悄的诉说着“初雪这一天很美好，所有的谎言都能被原谅告白的人能白头偕老初雪要说你爱我”而我其实也想对那小人儿说呀！左耳近心右耳离人儿你
  • 【vue-7】Vue3 响应式数据声明：深入理解 reactive() AllenBright #Vuevue.js前端javascript
    在Vue3中，响应式系统经过了彻底的重构，提供了更强大、更灵活的方式来声明和管理响应式数据。reactive()是Vue3组合式API中最核心的响应式函数之一。本文将深入探讨reactive()的工作原理、使用场景以及最佳实践。1.什么是reactive()?reactive()是Vue3提供的一个函数，它接收一个普通JavaScript对象，并返回该对象的响应式代理。这个代理对象与原始对象看起来
  • 2018-6-12 Day9 预算日 伍羽卿桁
    【百日生涯营DAY9】制定下周的预算；然后制定下个月的预算吧。预算这件事，就跟你制定愿景一样，既要期待又要以现实为基础。通过不断试错和总结复盘，以后你的预算能力也会越来越强的！1.6月16日为来贵阳租房:1700×6（半年）＋1700（押金）＋1700（中介费）＝136002.家具:100003.搬家:50004.三餐:20005.昆明结算工资:500018-卿心-贵阳-2组
  • 备课的基本流程 那小秦
    充分地研读教材、了解学生学情之后，我们就可以着手进行教学设计了。作为老师，教学设计的基本流程是大家烂熟于心的，我们跟随易主任所发的教案模板一起来回顾一下：（图片见课件）1、教学环节要齐全教学设计的基本流程一般包括：教学目标、教学重难点、教学具准备、课时安排、教学过程（包括每一个环节均含有的设计意图）、板书设计、作业设计、教学反思。教学设计按照这个基本流程来走，一般是不会出错的。那么，怎样的教学设计
  • 剑指offer67_构建乘积数组
    构建乘积数组给定一个数组A[0,1,…,n-1]，请构建一个数组B[0,1,…,n-1]，其中B中的元素B[i]=A[0]×A[1]×…×A[i-1]×A[i+1]×…×A[n-1]。不能使用除法。数据范围输入数组长度[0,20]。样例输入：[1,2,3,4,5]输出：[120,60,40,30,24]思考题：能不能只使用常数空间？（除了输出的数组之外）算法思路核心思想：将B[i]拆解为左乘积（l
  • 无人设备遥控器之双向通讯技术篇 SKYDROID云卓小助手 算法单片机嵌入式硬件服务器网络
    无人设备遥控器的双向通讯技术通过整合数据传输与状态反馈机制，实现了遥控器与设备间的高效协同，其核心原理、技术实现及应用场景如下：一、技术原理：双向通信的构建基础双向通讯的核心在于建立一条双向数据通路，使遥控器既能发送控制指令，又能接收设备的状态信息。其实现依赖以下关键技术：射频（RF）技术遥控器与设备通过无线电波（如2.4GHz或5.8GHz频段）传输信号。发射器将指令编码为射频信号，接收器解调后
  • 三轴云台之高精度控制技术篇 SKYDROID云卓小助手 网络人工智能单片机嵌入式硬件安全
    三轴云台的高精度控制技术通过多维度协同设计，实现了对负载（如相机）的毫米级稳定控制，其核心在于机械结构、传感器、算法与智能控制系统的深度融合。一、机械结构设计：三轴联动与轻量化三轴云台通过横滚轴（Roll）、俯仰轴（Pitch）、航向轴（Yaw）的三维联动，实现负载在三维空间中的稳定控制。其机械设计需兼顾刚性与轻量化：解耦设计：三轴独立驱动，避免轴间干扰。例如，无人机急转弯时，航向轴优先响应姿态变
  • 在恋爱中学习爱情 坚冰至_Monsol
    苏州2018大雪实践出真知，是颠扑不破的真理。推而广之，在战争中学习战争，在水里学会游泳。光说不练，不仅是假把式，还是禁锢自己勇气、纯真、希望的牢笼。同样，在恋爱中学会爱情。每一次用心的“练习”，不仅给自己一生的感情之路，点缀上闪烁晶莹光泽的“小幸运”，还可能得遇相守一生的真幸运。苏州寒山寺甲·认准你要什么马云的“终极三问”，在感情里同样适用：你有什么？你要什么？你能放弃什么？人，不能贪心，不能什
  • 正面管教之旅 戚海英
    知道正面管教，源于一个好朋友。听她说了她的魅力以后才开始去接触简.尼尔人的正面管教。我是一名小学老师，随着教龄的增加，更多地感受到的职业的倦怠。熊孩子层出不穷，在与熊孩子的较量中总是重复着那种你胜三场，我胜两场的戏码。总想着可以用更好的方法去和孩子们和谐相处。特别是当我订下我要做一个让孩子最欢迎的老师的目标时，更觉得责任重大。正面管教于是走进了我的世界。图片发自App一口气买了六本，一个系列。却没
  • 多表代替密码与维吉尼亚密码：古典密码学的“动态魔法” 算法第二深情 密码学密码学
    一、多表代替密码：从“固定规则”到“动态变化”的密码革命1.定义与核心思想多表代替密码（PolyalphabeticSubstitutionCipher）是古典密码学的巅峰之作，其核心思想是“用多个替换表轮换加密”，彻底打破单表代替密码（如凯撒密码）的频率分析漏洞。单表代替密码的弱点：单表密码（如凯撒密码）的替换规则固定，导致明文字母的频率特征在密文中保留（例如英语中E最常见）。攻击者只需统计字母
  • 2018你若不离，2019我们继续❤谢谢你走进我的世界❤ 葑筝
    这一生，我们认识的人很多，相知的却少之有少。有些人，走着走着就进了心里；有些人，走着走着就淡出视线。朋友或是情人，能走过三个月的已不容易，能坚持六个月的值得珍惜，相守一年的堪称奇迹，能熬过两年的才叫知己，超过三年的值得记忆，五年后还在的，应该请进生命里，十年后依然在的，那就是亲人了，图片发自App是生命的一部分了。人和人相处久了，缺点会渐渐暴露出来，当对方把你看透了，却依然不嫌弃你，那就是真心！你
  • 第四十七天 名字无名
    四十七天了，距离五十天近了，虽然五十天不是我的初步目标，但习惯性地把五十看做一个阶段。昨夜起了大风，预报说是西北风，五级。今天气温较前天有所下降，不过也不冷，因为太阳很好，有太阳就不冷，毕竟是春天了，风再大也是春风。冬天的凛冽已经远去了，夏天近了。昨日老妈问起我老公妹妹的近况。这个妹妹在亲朋眼里是属于大脑缺根筋的人。我自小是大人嘴里的傻丫头，长到现在也傻傻分不清别人眼里的聪明人和憨人的区别。比如这
  • 甄嬛收服曹贵人（二）－我看《甄嬛传》 宝藏姐李泱
    甄嬛为收服曹贵人，如何让曹贵人承认担心年妃连累自己？1、曹贵人说：“嫔妾福薄，皇上不在意也是情理之中。”乍一听很有道理，人总得接受现实嘛。其实不然，甄嬛强调温宜公主更受冷落，曹贵人却避重就轻，只说自己福薄，只字不提温宜公主，说她忽略了公主，你信吗？甄嬛说：“其实姐姐受些委屈倒不要紧，要紧的是公主。若从小失了父皇的宠爱，将来可要怎么打算呢？”曹贵人听到“要紧的是公主“，便不由自主地侧过脸去，她无法坦
  • 本色李健：不去讨好生活，生活有时会讨好你。 海边小妹
    有些明星，虽然身处娱乐圈，但并不那么娱乐，对于粉丝们的影响，可以涉及整个人生观的建设。比如音乐人李健，他这样的歌手，不光真心地热爱着音乐，为大众带来走心又好听的歌曲，让我们的生活多了许多美好的艺术享受，尤其难得的是，他的为人处事和做人风范，都可以成为激励我们的阳光正能量。李健说过的最让我印象深刻的一句话是：“不去讨好生活，生活有时会讨好你。”这句话，每每在我对人生感到困惑的时候，便浮上心头。活在这
  • 人生课题，真实与假象 李德刚_a11e
    中年不是"问题"，而是你我必经的人生"课题"：看清"中年危机"的真实与假象一、中年危机谁说了算？2018年，接连几位女星站在荧光幕前，对观众吐露她们的心声。姚晨在《星空演讲》，用「糊掉的五年」描述40岁女演员接不到戏的处境。浙江卫视《我就是演员》中，杨蓉、王媛可和斓曦用演技告诉观众，她们是真正的实力派。但同时她们也大吐苦水，表示市场对中年女演员不友好，使得她们要不就是被迫降龄演出，要不就得面对没有
  • 如何解决一个flink on yarn集群上已经跑了一个job，再提交第二个job的时候，task报java heap size oom的问题 fzip Flinkflinkjava大数据
    在FlinkonYARN集群中提交第二个Job时出现Task的JavaHeapSizeOOM（内存溢出），核心原因是集群资源不足（第一个Job已占用大量资源，第二个Job分配的内存不够）或Job资源配置不合理（单个Job申请资源过多，或内存参数设置与实际需求不匹配）。解决需从“资源排查”“Job配置优化”“集群资源扩容”三个维度入手，具体步骤如下：一、先排查核心原因：确认资源占用与配置是否匹配1.
  • flink sql读hive catalog数据，将string类型的时间戳数据排序后写入kafka，如何保障写入kafka的数据是有序的 fzip Flinkflinksqlhive
    在FlinkSQL中，要确保从Hive读取的STRING类型时间戳数据排序后有序写入Kafka，需要结合批处理模式、时间类型转换、单分区写入和Kafka生产者配置。以下是完整解决方案：一、核心解决方案1.批处理模式+全局排序将作业设置为批处理模式，并对字符串时间戳进行类型转换后排序：--设置为批处理模式（关键！）SET'execution.runtime-mode'='batch';--从Hive
  • KVM中使用桥接模式.运维就业技术教程
    在KVM中使用桥接模式可以让虚拟机直接接入物理网络，使其成为局域网中的独立节点。以下是配置和使用桥接模式的详细指南：一、桥接模式原理作用:虚拟机通过宿主机的网桥（如virbr0）直接与物理交换机/路由器通信，获得与宿主机相同的网段IP。特点:虚拟机拥有独立IP，可被局域网内其他设备直接访问。无需NAT转换，网络性能更高。需确保宿主机网桥已正确配置。二、配置步骤1.创建网桥接口大多数Linux发行版
  • c++ STL 之队列——priority_queue 详解 必胜的小铭 c++
    一、简介priority_queue是C++STL的一个容器，它中文名是优先队列，注意不是堆，优先队列是一种特殊的队列，每个元素都有一个优先级（一般为升序或降序，也可以按入队顺序，即普通队列）。在插入元素时，根据元素的优先级将其插入到合适的位置。优先队列可以使用多种数据结构实现，包括堆、有序数组、二叉搜索树等，在这里逐一介绍。1.有序数组有序数组的定义很广泛，只按照一定顺序排列的数组，可以用排序算
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他