淡蘫铯の迗悾
淡蘫铯の迗悾

Apache Kylin 4.0精确去重的全局字典原理

全局字典讲解

为什么需要全局字典

在OLAP数据分析领域，去重计数(Count distinct)是非常常见的需求，而根据去重结果的要求又分为近似去重和精确去重。

在大规模数据集下，要想做到精确去重还要保证查询快速响应还是很有挑战性的。我们知道精确去重经常用到的处理方式就是位图法(Bit map)。对于整型数据，我们可以将统计信息保存在Bit map中，但是实际处理的数据中除了整型还会有String等其他类型，如果想做到精确去重首先就需要构建一个字典来为这些数据进行统一映射,然后再通过Bit map法进行统计。

我们都知道Kylin通过预计算技术来加速大数据分析。在增量构建Cube的时候，为了避免不同的segment单独构建字典导致最终去重结果出错，一个Cube中所有的Segment会使用同一个字典，也就是全局字典(Global Dictionary)。

全局字典的演变

Kylin从1.5.3版本就开始支持全局字典功能，但是这时的构建方式也具有明显的缺陷：

全局字典在Job Server上进行单点构建，随着数据增多构建时长变得不可控
随着数据积累，全局字典的构建对Kylin 构建节点的内存的需求会不断增多
受限于整型最大数量的限制
其实在Kylin3.1中已经加入了基于Hive的分布式全局字典构建，它已经解决了以上问题，详情可以查看Kylin分布式全局字典 。但是Kylin 4.0为了适应全新的构建查询引擎，基于spark实现了另外一种分布式构建全局字典的方式，今天我们就来详细描述一下Kylin 4.0的全局字典是如何实现的。

基于Spark的全局字典

Kylin 4.0构建全局字典的方式基于Spark进行分布式的编码处理，减小了单机节点的压力，构建字典数量能够突破整型最大数量的限制。

设计与原理

全局字典的结构

  • 每一次构建任务会生成一份新的全局字典
  • 每次新的构建任务的字典按版本号进行保存, 旧的全局字典会被逐渐删除
  • 一份字典包括一份meta数据文件和多个字典文件, 每个字典文件称之为桶(Bucket)
  • 每个桶分为两个映射( Map), 两者合并为完整的映射关系

Apache Kylin 4.0精确去重的全局字典原理_第1张图片

Bucket的概念与转化

Kylin引入了桶这一概念，可以理解为在处理数据的时候，将数据分到若干个桶(即多个分区)中进行并行处理。 第一次构建字典的时候会对每个桶内的值从1开始编码，在所有桶的编码完成之后再根据每个桶的offset值进行整体字典值的分配。在代码中两次编码是通过两个HashMap进行存储的，其中一个存储桶内相对的字典值，另一个存储所有桶之间绝对的字典值。

下图所示的是编号为1的桶多次构建任务中，桶内字典的传递，每一次构建都会为桶创建一个新的版本(即v1, v2, v3等)，加入版本控制的原因后面会有解释。Curr(current)和Prev(Previous)是一个桶内的两个HashMap，分别存储着当前桶内字典的相对(Relative)编码值和之前已经构建的所有字典值的绝对(Absolute)编码值。
Apache Kylin 4.0精确去重的全局字典原理_第2张图片

构建步骤

  • 通过 Spark 创建平表并获取需精确去重列的 distinct 值
  • 根据确定去重后的字面值数量来确认分片数, 并且根据需求判断是否需要扩容
  • 将数据分配(repartition)到多个分片(Partition)中，分别进行编码, 存储到各自的字典文件中
  • 为当前构建任务分配版本号
  • 保存字典文件和 metadata数据(桶数量和桶的 offset 值)
  • 根据条件判断需要删除旧版本

初次构建

  • 计算桶的大小
    取需要构建字典的数量处理单个桶阈值和桶数量默认值的最大值。
  • 创建桶并分配数据进行编码
  • 生成meta文件记录桶的offsets

以下是相关配置项及其默认值。

kylin.dictionary.globalV2-min-hash-partitions=10
kylin.dictionary.globalV2-threshold-bucket-size=500000

Apache Kylin 4.0精确去重的全局字典原理_第3张图片

非初次构建

  • 根据字典数量确定桶是否需要扩容
  • 已编码的字典值对扩容后的桶进行重新分配
  • 读取之前最新版本的字典数据，并分配到各个桶中
  • 将新的值分配到桶中
  • 前一次构建的字典值不会改变

Apache Kylin 4.0精确去重的全局字典原理_第4张图片

版本控制

全局字典会通过给单次构建分配基于时间戳的版本号来进行隔离。加入版本控制的原因是构建任务可能会并发执行，而当前构建全局字典过程中的编码是不支持并发。通过版本控制，每一次编码都能够完整的读取之前构建好的全局字典，这样就保证了最新版本的字典拥有最完整的全局字典编码，而且一个Cube的全局字典每次被读取的时候都会选取最新版本的字典。字典最终在文件存储系统(此处为HDFS)上按版本存储如下图所示。

Apache Kylin 4.0精确去重的全局字典原理_第5张图片

常见问题

  1. 为什么在一个BucketDIctionary需要使用两个Map?

构建过程开始需要对分配到各个桶内的字典从1开始做一个相对(Relative)编码，这一部分字典相对编码值会存储在一个HashMap中，在相对字典值编码完成后，会得到每个桶的offset值，也就是桶内字典的数量，然后根据这个字典值计算出每个桶(桶是有顺序的)内字典值相对于所有桶的offset值的绝对(Absolute)编码,字典的绝对编码也会用另一个HashMap进行存储。

  1. 会不会存在数据倾斜问题?

现在测试下来因为热点构建不出来的概率很小，一般倾斜十亿级别才会过不去,列很多的确可能会造成这个问题,不过编码的桶数是可以无限放大的 除非单key热点，否则调整参数也是很轻松完成构建。

  1. 为什么全局字典的数量能够超过整型最大基数(21亿)的限制？

因为引入了全新的BitMap数据结构Roaring64BitMap，在全局字典编码完成之后,编码会被压缩成二进制存储在Roaring64BitMap对象中，BitMap实际上是通过Long而不再是Integer进行存储的。

你可能感兴趣的:(kylin,字典,spark)

  • 8.12 orm-聚合查询 yangshiting84 暑期规划djangopython后端
    8.12orm-聚合查询聚合查询（aggregate）聚合查询函数是对一组值执行计算，并返回单个值。Django使用聚合查询前要先从django.db.models引入Avg、Max、Min、Count、Sum（首字母大写）。fromdjango.db.modelsimportAvg,Max,Min,Count,Sum#引入函数聚合查询返回值的数据类型是字典。聚合函数aggregate()是Que
  • Python自学知识清单(持续更新中...) 彩虹小黑馬 Pythonpython开发语言
    Python自学知识清单第一章：数据结构Python自学-变量及对象Python自学-函数的使用Python自学-进制转换Python自学-字符串转义、查找及切片Python自学-字符串处理函数Python自学-字符串格式化输出详解Python自学-列表的用法Python自学-元组的用法Python自学-字典的用法Python自学-集合的用法Python自学-引用与拷贝第二章：语句Python自学
  • python基础知识介绍 tqs_12345 python开发语言
    Python基础知识主要包括以下几个方面：语法基础：Python采用简洁易懂的语法，使用缩进来表示代码块。它支持多种数据类型，如整数、浮点数、字符串、列表、元组、字典和集合等。变量和数据类型：在Python中，变量不需要事先声明类型，可以根据赋值自动推断类型。Python支持多种内置数据类型，并允许用户自定义数据类型。控制流语句：Python提供了条件语句（如if-elif-else）、循环语句（
  • Spark 性能优化（四）：Cache LevenBigData spark性能调优spark性能优化大数据
    在Spark中，缓存是一种将计算结果存储在内存中的方式，目的是加速后续操作。当你执行迭代算法或查询时，如果多次重复使用相同的数据集，缓存可以避免每次都重新计算相同的转换操作。通过缓存，Spark可以将数据存储在内存中，这样在后续的处理阶段就能更快地访问。1.Spark缓存的关键点：缓存基本概念：通过调用.cache()对DataFrame或RDD进行缓存。默认情况下，数据会存储在内存中（RAM），
  • 使用Docker搭建Flink集群 O_1CxH Flink大数据Kafka大数据dockerflink容器
    目录使用Docker搭建Flink集群docker-compose一键搭建步骤附录参考资料使用Docker搭建Flink集群在学习大数据框架的时候，需要一个真实的环境。我们知道，像spark、flink这些计算框架都有多种运行模式：在本地使用多线程模拟集群真正的分布式集群如果直接在IDE（Intellj）里面编译和运行写好的程序，实际上是用的前一种运行模式；如果想尝试真正的生产环境中任务的提交和管
  • python编程入门学习（3）——自用笔记 徐少19 python入门python
    目录第五章：if语句一个简单的示例条件测试if语句使用if语句处理列表第六章：字典一个简单的字典使用字典遍历字典嵌套在列表中存储字典在字典中存储列表在字典中存储字典第五章：if语句一个简单的示例#if语句示例cars=['bmw','audi','toyota','subaru']forcarincars:ifcar=='bmw':print(car.upper())else:print(car.
  • Spark 和 Flink 信徒_ sparkflink大数据
    Spark和Flink都是目前流行的大数据处理引擎，但它们在架构设计、应用场景、性能和生态方面有较大区别。以下是详细对比：1.架构与核心概念方面ApacheSparkApacheFlink计算模型微批（Micro-Batch）为主，但支持结构化流（StructuredStreaming）原生流（TrueStreaming），基于事件驱动处理方式以RDD、DataFrame/Dataset作为核心抽
  • spark任务运行 冰火同学 Sparkspark大数据分布式
    运行环境在这里插入代码片[root@hadoop000conf]#java-versionjavaversion"1.8.0_144"Java(TM)SERuntimeEnvironment(build1.8.0_144-b01)[root@hadoop000conf]#echo$JAVA_HOME/home/hadoop/app/jdk1.8.0_144[root@hadoop000conf]#
  • Hadoop 的分布式缓存机制是如何实现的？如何在大规模集群中优化缓存性能？ 晚夜微雨问海棠呀 分布式hadoop缓存
    Hadoop的分布式缓存机制是一种用于在MapReduce任务中高效分发和访问文件的机制。通过分布式缓存，用户可以将小文件（如配置文件、字典文件等）分发到各个计算节点，从而提高任务的执行效率。分布式缓存的工作原理文件上传：用户将需要缓存的文件上传到HDFS（HadoopDistributedFileSystem）。文件路径可以在作业配置中指定。作业提交：在提交MapReduce作业时，用户可以通过
  • python字符串怎么转换成字典_用python将字符串转换成字典 weixin_39777018
    Iknowthatthisquestionsoundaduplicate,butit'snot,atleastlookedforawhileandIcouldn'tfinenothingformyspecificproblem.Ihavethefollowingstring:"{first:{name:'test',value:100},second:{name:'test2',value:50}
  • python-将字符串转换为字典 weixin_30505751 pythonjson
    json越来越流行，通过python获取到json格式的字符串后，可以通过eval函数转换成dict格式：>>>a='{"name":"yct","age":10}'>>>eval(a){'age':10,'name':'yct'}转载于:https://www.cnblogs.com/gy-ph/p/8087372.html
  • 在Python 中 字符串 转换为 字典 Yuº Pythonpython
    在Python中把字符串转换为字典例如，将字符串user_info=‘{“name”:“john”,“gender”:“male”,“age”:28}’转换为字典user_dict={“name”:“john”,“gender”:“male”,“age”:28}有以下几种方法1.通过json来转换importjsonuser_info='{"name":"john","gender":"male"
  • 【Redis】golang操作Redis基础入门 寸 铁 go数据库Redisredisgolang数据库CRUD基本操作分布式键值对
    【Redis】golang操作Redis基础入门大家好我是寸铁总结了一篇【Redis】golang操作Redis基础入门sparkles:喜欢的小伙伴可以点点关注Redis的作用Redis（RemoteDictionaryServer）是一个开源的内存数据库，它主要用于存储键值对，并提供多种数据结构的支持。Redis的主要作用包括：1.缓存:Redis可以作为缓存系统，将常用的数据缓存在内存中，以
  • hive spark读取hive hbase外表报错分析和解决 spring208208 hivehivesparkhbase
    问题现象使用Sparkshell操作hive关联Hbase的外表导致报错；hive使用tez引擎操作关联Hbase的外表时报错。问题1：使用tez或spark引擎，在hive查询时只要关联hbase的hive表就会有问题其他表正常。“org.apache.hadoop.hbase.client.RetriesExhaustedException:Can’tgetthelocations”问题2：s
  • spark-广播变量 哈哈哈哈q +sparkhdfshadoop大数据spark
    当本地数据极大的时候，可以使用广播变量，使得减少内存。本地集合对象和分布式集合对象（RDD）进行关联的时候，需要将本地集合对象广播变量。本地的数据传输到集群上，会发到每一个线程，每一个分区。每一个进程executor，有多个线程分区，进程内的线程数据共享因此，给每一个线程发送数据会导致数据占用，浪费资源。所有，出现了广播变量，使得只发送给进程代码使用：broadcast=sc.broadcast(
  • python字典的嵌套 计算机小白的爬坑之路 python基础python
    字典嵌套及打印题目：城市创建一个名为cities的字典，其中将三个城市名用作键；对于每座城市，都创建一个字典，并在其中包含该城市所属的国家、人口约数以及一个有关该城市的事实。在表示每座城市的字典中，应包含country、population和fact等键。将每座城市的名字以及有关它们的信息都打印出来。代码如下所示：cities={'北京':{'country':'China','populatio
  • Python:字典嵌套 lcqin111 python
    可以在列表中嵌套字典、在字典中嵌套列表甚至在字典中嵌套字典alien_0={'color':'green','points':5}alien_1={'color':'yellow','points':10}alien_2={'color':'red','points':15}aliens=[alien_0,alien_1,alien_2]foralieninaliens:print(alien)这
  • 【20天快速掌握Python】day06-元组、字典、集合 菜鸟进阶站 编程Python后端开发pythonjava开发语言
    1.元组的使用Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。 >>>aTuple=('et',77,99.9) >>>aTuple ('et',77,99.9)1.1访问元组 tuple=('hello',100,3.14) print(tuple[0]) """ 输出结果： hello """1.2修改元组 tuple=('hello',100,3
  • python开发基础——day12 闭包与装饰器 寰宇榛仁 python学习python开发语言
    一、上节回顾函数对象-->把函数当成一个普通数据来使用，该干嘛就干嘛1.函数可以用来赋值2.函数可以放到容器里(列表，字典，元组)3.函数可以作为参数4.函数可以作为返回值名称空间-->存放python程序里名字的地方1.内建名称空间--内置函数2.全局名称空间--定义在程序外部的名字3.局部名称空间--定义在函数内的名字作用域：一个数据能够被使用的范围全局：整个程序里他都可以使用局部：程序里的部
  • C# 泛型使用案例_C# 泛型使用整理 天马3798 C#c#开发语言C#泛型使用案例C#泛型使用整理
    一、系统自带常用的泛型1.字典，集合//字典Dictionarydic=newDictionary();//泛型集合Listlist=newList();2.泛型委托，输入参数，输出参数//泛型委托---输出参数Funcshow=()=>{intnum=0;for(inti=0;igo=(num)=>{for(inti=0;itask=Task.Run(()=>{return"测试内容";});C
  • python 浅拷贝和深拷贝 一杯水果茶！ python
    浅拷贝（ShallowCopy）语法示例代码1示例代码2深拷贝（DeepCopy）语法示例代码浅拷贝与深拷贝的区别示例：浅拷贝与深拷贝的对比浅拷贝：只复制外层容器，内层嵌套对象仍然是共享的，适用于只关心外层数据的场景。深拷贝：递归地复制整个对象及其内部所有嵌套对象，适用于需要完全独立副本的情况。浅拷贝（ShallowCopy）浅拷贝是指创建一个新的对象，但对于对象内部的元素（如列表、字典中的项等）
  • VBA两列数据对比查找相同与不同（字典与数组学习笔记） 依酒飘摇 笔记vbaexcel
    Subcompare()Dimrowt1%,rowt2%,i%,k%,a%,b%,c%Dimarr,arr1,arr2Dimd1AsObjectDimd2AsObjectSetd1=CreateObject(“scripting.dictionary”)Setd2=CreateObject(“scripting.dictionary”)rowt1=Cells(1048576,1).End(3).R
  • 探索数据云的无缝桥梁：Apache Spark 与 Snowflake 的完美结合 窦育培
    探索数据云的无缝桥梁：ApacheSpark与Snowflake的完美结合spark-snowflakeSnowflakeDataSourceforApacheSpark.项目地址:https://gitcode.com/gh_mirrors/sp/spark-snowflake项目介绍在大数据处理的浩瀚宇宙中，Snowflake以其独特的云数据仓库能力闪耀，而ApacheSpark则是数据分析和
  • maven插件学习(maven-shade-plugin和maven-antrun-plugin插件) catcher92 javamavenmaven学习大数据
    整合spark3.3.x和hive2.1.1-cdh6.3.2碰到个问题，就是spark官方支持的hive是2.3.x，但是cdh中的hive确是2.1.x的，项目中又计划用spark-thrift-server，导致编译过程中有部分报错。其中OperationLog这个类在hive2.3中新增加了几个方法，导致编译报错。这个时候有两种解决办法：修改spark源码，注释掉调用OperationLo
  • toad for oracle xpert edition,TOAD —— 快速简便的Oracle 开发及管理 weixin_39943678 toadfororaclexpertedition
    TOAD——快速简便的Oracle开发及管理TOAD®是的系列化Oracle开发和管理工具套件，包含集成化的开发、测试、管理与优化功能，可以大大提高数据库开发和管理人员的工作效率。轻松浏览和管理Oracle数据库TOAD的SchemaBrowser(模式浏览器)模块内置了方便易用的多页浏览功能，可以迅速查看和管理Oracle数据字典。通过点击特定对象，TOAD可以立即展示其相关信息，避免了逐层查看
  • 使用SparkLLM实现智能聊天：技术原理与实战演示 shuoac java
    在本篇文章中，我们将探讨如何使用iFlyTek的SparkLLM模型来实现智能聊天功能。我们将详细介绍SparkLLM的技术背景、核心原理，并通过实际代码展示如何进行实现。另外，还会分析应用场景并给出一些实践建议。技术背景介绍SparkLLM是由iFlyTek提供的一种强大的语言模型，支持多种语言生成任务。它能够理解并生成自然语言，适用于对话系统、内容生成、智能客服等场景。核心原理解析SparkL
  • 时序数据库技术体系 – 初识InfluxDB（原理） weixin_30622181 数据库大数据系统架构
    原贴地址：http://hbasefly.com/2017/12/08/influxdb-1/?qytefg=c4ft23在上篇文章《时序数据库体系技术–时序数据存储模型设计》中笔者分别介绍了多种时序数据库在存储模型设计上的一些考虑，其中OpenTSDB基于HBase对维度值进行了全局字典编码优化，Druid采用列式存储并实现了Bitmap索引以及局部字典编码优化，InfluxDB和Beringe
  • 实现python命令行 FLY@CYX python服务器linux
    如何在python程序中自定义python命令行输入参数及相关提示呢？让我们来学习一下吧。1.首先明确用到的模块，要导入optparse和sys模块，前者用于解析参数，后者用于获取终端参数。2.其次编写readcommand函数，具体实现如代码所示，大致流程可理解为：编写提示词->添加可选参数项->解析参数,并取得参数->返回处理参数后得到的字典，便于后续调用。importsysdefdefaul
  • Spark 性能优化 （三）：RBO 与 CBO LevenBigData spark性能调优spark性能优化ajax
    1.RBO的核心概念在ApacheSpark的查询优化过程中，规则优化（Rule-BasedOptimization,RBO）是Catalyst优化器的一个关键组成部分。它主要依赖于一组固定的规则进行优化，而不是基于统计信息（如CBO-Cost-BasedOptimization）。RBO主要通过一系列逻辑规则（LogicalRules）和物理规则（PhysicalRules）来转换和优化查询计划
  • python面试题 python
    以下是一些Python面试题：一、基础语法Python中的列表（list）和元组（tuple）有什么区别？答案：可变性：列表是可变的，可以修改列表中的元素、添加或删除元素；元组是不可变的，一旦创建就不能修改。语法：列表使用方括号[]定义，元组使用圆括号()定义（单个元素的元组需要在元素后面加逗号，如(1,)）。性能：由于元组的不可变性，在某些情况下元组的性能比列表略高，例如在用作字典的键时（字典的
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他