苍穆
苍穆

Hive serde 序列化表例子

文章转载自 ： http://blog.csdn.net/mango_song/article/details/12562137


1. 概述

一个文本f1.txt的格式如下：

[plain] view plain copy
print ?
  1. 1  tom  
  2.   
  3. 2        jame  
  4.   
  5. 3             mango  

它的第一列是id,第二列是name，第一列和第二列间通过不固定长度的空白(如空格 制表符等)分割；

我们希望创建一个user表，能够识别f1.txt ，通过创建表时执行分隔符的方法就不行了，这就需要用到Hive的序列化(SerDe)了。


2. 新建一个maven项目，添加hive-serde 0.11.0 , Hadoop-core 1.0.3的依赖。

创建SerdeTest类，实现Deserializer接口，

  • 在initialize()方法中，描述表的各个字段及其类型
  • 在deserialize(Writable text)方法中将text解析成id和name
  • getObjectInspector()方法返回ObjectInspectorFactory.getStandardStructObjectInspector(structFieldNames,structFieldObjectInspectors)


[java] view plain copy
print ?
  1. package com.renren.hive.tools;  
  2.   
  3.   
  4. public class SerdeTest implements Deserializer {  
  5.     private List structFieldNames = new ArrayList();  
  6.     private List structFieldObjectInspectors = new ArrayList();  
  7.   
  8.     @Override  
  9.     public ObjectInspector getObjectInspector() throws SerDeException {  
  10.         // TODO Auto-generated method stub  
  11.   
  12.         return ObjectInspectorFactory.getStandardStructObjectInspector(  
  13.                 structFieldNames, structFieldObjectInspectors);  
  14.     }  
  15.   
  16.     @Override  
  17.     public Object deserialize(Writable text) throws SerDeException {  
  18.         // TODO Auto-generated method stub  
  19.   
  20.         List result = new ArrayList();  
  21.         StringTokenizer tokenizer = new StringTokenizer(text.toString());  
  22.         int index = 0;  
  23.   
  24.         while (tokenizer.hasMoreTokens()) {  
  25.             if (index == 0) {  
  26.                 result.add(Integer.valueOf(tokenizer.nextToken()).intValue());  
  27.             } else {  
  28.                 result.add(tokenizer.nextToken());  
  29.             }  
  30.             index++;  
  31.         }  
  32.   
  33.         return result;  
  34.     }  
  35.   
  36.     @Override  
  37.     public void initialize(Configuration arg0, Properties arg1)  
  38.             throws SerDeException {  
  39.         // TODO Auto-generated method stub  
  40.         structFieldNames.add("id");  
  41.         structFieldObjectInspectors.add(ObjectInspectorFactory  
  42.                 .getReflectionObjectInspector(Integer.TYPE,  
  43.                         ObjectInspectorOptions.JAVA));  
  44.         structFieldNames.add("name");  
  45.         structFieldObjectInspectors.add(ObjectInspectorFactory  
  46.                 .getReflectionObjectInspector(String.class,  
  47.                         ObjectInspectorOptions.JAVA));  
  48.     }  
  49.   
  50.     @Override  
  51.     public SerDeStats getSerDeStats() {  
  52.         // TODO Auto-generated method stub  
  53.         return null;  
  54.     }  
  55.   
  56. }  
    57. 3.  生成jar包添加到hive/lib下:

       

    [plain] view plain copy
    print ?
    1. mvn clean package   

       将生成的jar包:hive-serde-tool-1.0.1-SNAPSHOT.jar 添加到hive_home/lib下，并在hive-site.xml中添加:

    [html] view plain copy
    print ?
    1. <property>  
    2.   <name>hive.aux.jars.pathname>  
    3.   <value>file:///home/dp/hive/lib/hive-serde-tool-1.0.1-SNAPSHOT.jarvalue>  
    4. property>  
    4. 创建hive表，指定serde

      

    [plain] view plain copy
    print ?
    1. hive -e "create table test row formated serde 'com.renren.hive.tools.SerdeTest'"  

    5.加载并查询数据

     

    [plain] view plain copy
    print ?
    1. hive -e "load data  local inpath 'f1.txt' overwrite into table test"  
    2.   
    3.  hive -e "select * from test"  

    你可能感兴趣的:(hive,hive,序列化,SerDe)

    • python pickle模块 懒大王爱吃狼 pythonpythonphp数据库服务器Python基础python学习开发语言
      pickle是Python的一个标准模块，它实现了基本的二进制协议，用于对象的序列化和反序列化。序列化是指将对象转换为字节流的过程，这样对象就可以被保存到文件中或通过网络传输。反序列化是指将字节流转换回对象的过程。使用pickle序列化对象要将一个对象序列化（即保存到文件中），你可以使用pickle.dump()函数。这个函数接受两个必需的参数：要序列化的对象和保存对象的文件对象（通常是一个打开的
    • Springboot 权限认证框架 -- SA-Token 集成 Redis（二） dazhong2012 springbootspringbootredis后端sa-token
      引言SA-Token系列文章：Springboot权限认证框架–SA-Token简介（一）在上一篇文章中，我们可能已经讨论了如何在SpringBoot项目中集成SA-Token权限认证框架。接下来，我们将继续深入讨论如何将SA-Token与Redis集成，以便将用户的会话信息存储在Redis中，从而实现会话的共享和持久化。Sa-Token默认将数据保存在内存中，此模式读写速度最快，且避免了序列化与
    • Spring Boot 配置ObjectMapper处理JSON序列化 凉宫二萌 springbootspringboot1024程序员节
      添加配置类importcom.fasterxml.jackson.annotation.JsonInclude;importcom.fasterxml.jackson.databind.ObjectMapper;importcom.fasterxml.jackson.databind.SerializationFeature;importcom.fasterxml.jackson.datatype
    • Spring boot定义LocalDateTime序列化 梦幻D开始 工作记录技术杂记springboot后端java
      刚刚开通了一个公众号，会分享一些技术博客和自己觉得比较好的项目，同时会更新一些自己使用的工具和图书资料，后面会整理一些面试资料进行分享，觉得有兴趣的可以关注一下。文章目录前言解决打完收工！前言在开发需求过程中，定义字段为LocalDateTime,返回的序列化字段是按照LocalDateTime.toString返回的，返回的字符串带一个’T’，在application.properties里面统
    • PHP序列化与反序列化：serialize()和unserialize()函数 MdlForward phpandroid开发语言
      PHP中的serialize()和unserialize()函数是用于将数据序列化和反序列化的重要工具。序列化是将PHP数据结构转换为字符串的过程，以便在存储或传输时使用。反序列化则是将序列化的字符串重新转换为PHP数据结构的过程。这两个函数在处理对象、数组和复杂数据结构时非常有用，可以轻松地将它们转换为可存储或传输的格式。序列化数据：serialize()serialize()函数将PHP数据结
    • 配置Spring Boot中的Jackson序列化 LOVE_DDZ Spring-BootJAVAspringbootjava后端
      配置SpringBoot中的Jackson序列化在开发基于SpringBoot的应用程序时，Jackson是默认的JSON序列化和反序列化工具。它提供了强大的功能，可以灵活地处理JSON数据。然而，Jackson的默认行为可能无法完全满足我们的需求。例如，日期格式、空值处理、数据精度等问题可能需要自定义配置。本文将详细介绍如何在SpringBoot中配置Jackson，以满足这些需求。1.为什么需
    • php序列化与反序列化 lally. phpandroid开发语言
      文章目录基础知识魔术方法：在序列化和反序列化过程中自动调用的方法什么是`__destruct()`方法？何时触发`__destruct()`方法？用途：语法示例：反序列化漏洞利用前提条件一些绕过策略绕过__wakeup函数绕过正则匹配绕过相等逻辑判断利用大S的ascll码绕过反序列化字符逃逸高级反序列化phar反序列化什么是PHAR文件？特点session反序列化基础知识序列化：将对象转化为一个可
    • Python--内置模块和开发规范（上） 索然无味io Python安全开发python开发语言windows网络安全web安全笔记
      1.内置模块1.1JSON模块核心功能序列化：Python数据类型→JSON字符串importjsondata=[{"id":1,"name":"武沛齐"},{"id":2,"name":"Alex"}]json_str=json.dumps(data,ensure_ascii=False)#禁用ASCII转义反序列化：JSON字符串→Python数据类型data_list=json.loads(
    • Anaconda配置tensorflow-gpu教程 rubisco214 tensorflow人工智能python
      最近在入门tensorflow深度学习，配置环境吃了不少苦头，写个完整的教程首先得在自己主机上装cuda（我之前就是主机上没装cuda,只在虚拟环境里面装了，结果jupyter里面怎么调都识别不到GPU）打开Nvidia控制面板，左上角帮助-系统信息-组件NVCUDA64.DLL后面的NVIDIACUDA12.1就是你的显卡支持的CUDA版本，去CUDA官网CUDAToolkitArchive|N
    • linux压缩解压文件夹命令 zip unzip 和 tar luoluosheng07 linuxlinux运维服务器
      1.zip和unzip（处理.zip文件）压缩文件夹zip-r压缩包名.zip文件夹名-r:递归压缩子目录内容。示例：zip-rmyarchive.zipmydir解压文件unzip压缩包名.zip-d目标目录-d:指定解压目录（默认当前目录）。示例：unzipmyarchive.zip-d/path/to/extract查看压缩包内容unzip-l压缩包名.zip2.tar（处理.tar、.ta
    • Java笔记 - 黑马程序员_06(Stream，字节流，字符流，对象流（序列化流），属性集(Properties)） 谦逊蓄意，只为飞的更高 Javajava开发语言
      StreamStream流的三类方法：获取Stream流创建一条流水线，并把数据放到流水线上准备进行操作中间方法流水线上的操作，一次操作完毕之后，还可以继续进行其他操作终结方法是流水线上的最后一个操作，一个Stream流只能有一次终结方法创建Stream流的方式：方式1：根据集合获取流Collection根接口中提供了stream()方法可以获取流。单列集合：直接调用stream0方法即可双列集合
    • JAVA面试常见题_基础部分_mybatis面试题 茂茂在长安 JAVAmysqljava面试mybatis
      1、什么是MyBatis？答：MyBatis是一个可以自定义SQL、存储过程和高级映射的持久层框架。2、讲下MyBatis的缓存答：MyBatis的缓存分为一级缓存和二级缓存,一级缓存放在session里面,默认就有,二级缓存放在它的命名空间里,默认是不打开的,使用二级缓存属性类需要实现Serializable序列化接口(可用来保存对象的状态),可在它的映射文件中配置3、Mybatis是如何进行分
    • （七）消息队列-Kafka 序列化avro（传递） 平凡君 消息队列kafkalinq分布式
      （七）消息队列-Kafka序列化avro（传递）客从远方来，遗我双鲤鱼。呼儿烹鲤鱼，中有尺素书。——佚名《饮马长城窟行》本文已同步CSDN、掘金平台、知乎等多个平台，图片依然保持最初发布的水印（如CSDN水印）。（以后属于本人原创均以新建状态在多个平台分享发布）前言多年前，由于工作的性质，发现这系列没有写完，想了想，做人做事还是要有始有终。实在是借口太多了，太不像话了…由于时间过得太久了，这篇开始
    • python 一小时 教程 wsf_123456 pythonPython编程CC#C++
      1序言面向读者本文适合有经验的程序员尽快进入Python2.x世界.特别地,如果你掌握Java和Javascript,不用1小时你就可以用Python快速流畅地写有用的Python程序.Python3.x用户请参考:http://www.cnitblog.com/yunshichen/archive/2009/04/01/55924.html(由于Django不支持python3,所以为了你的发展
    • HIVE 面试题总结 小余真旺财 Hivehive
      Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。一、Hive架构用户接口：CLI（hiveshell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）元数据：元数据包括：表名、表所属的数据库（默
    • Hive 面试题 昨夜为你摘星
      什么是Hive?Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的意义（最初研发的原因）?降低程序员使用Hadoop的难度，降低学习成本Hive的内部组成模块，作用
    • hivePB级迁移方案 我要用代码向我喜欢的女孩表白 数据库bigdata-大数据专栏hive
      1、评估磁盘空间大小、调整副本数、设置heapsize大小2、distcp-i-skipcrccheck源端到目标端，迁移3、元数据迁移，建表，替换location地址，或者导出db4、表分区修复5、配置增量T-1迁移或者T-26、校验历史分区脚本，表结构，大小，文件数7、根据ditcp不对的，进行补数脚本，删分区，重拉8、任务校验，客户跑完任务后，校验指定分区的count数和内容的md59、任务
    • 深入剖析 Weblogic、ThinkPHP、Jboss、Struct2 历史漏洞 阿贾克斯的黎明 网络安全web安全
      目录深入剖析Weblogic、ThinkPHP、Jboss、Struct2历史漏洞一、Weblogic漏洞（一）漏洞原理（二）漏洞利用代码（Python示例）（三）防范措施二、ThinkPHP漏洞（一）漏洞原理（二）漏洞利用代码（示例，假设存在漏洞的代码片段）（三）防范措施三、Jboss漏洞（一）漏洞原理（二）漏洞利用代码（Java示例，用于构造恶意序列化数据）（三）防范措施四、Struct2漏洞
    • 深入剖析 Java 反序列化：FASTjson 漏洞与 Shiro 漏洞 阿贾克斯的黎明 网络安全phpweb安全开发语言
      目录深入剖析Java反序列化：FASTjson漏洞与Shiro漏洞引言Java反序列化原理示例代码FASTjson漏洞分析漏洞成因示例代码防护措施Shiro漏洞分析漏洞成因示例代码（模拟攻击场景）防护措施总结引言在Java应用开发中，反序列化是一项重要的技术，但同时也隐藏着巨大的安全风险。FASTjson和Shiro作为Java开发中常用的工具和框架，其反序列化漏洞曾引发了广泛关注。本文将深入探讨
    • Day5 --- Flask-RESTful请求响应与SQLAlchemy基础 laufing 问题flaskrestfulpython
      文章目录昨日回顾今日内容1.请求解析1.1RequestParser处理请求1.2参数详解1.3处理请求案例2.返回响应2.1序列化数据:2.2返回JSON格式3.ORM与Flask-SQLAlchemy3.1ORM介绍ORM框架3.2Flask-SQLAlchemy扩展3.3定义模型类3.4数据库迁移操作4.数据增删改查4.1新增数据4.2简单查询4.3更新数据4.4删除数据5.数据操作案例昨日
    • Hive基本操作 小肥柴呀 ApacheHivehive数据库
      Hive基本操作1.Hive常用命令1.1Hive启动1.2Hive退出1.3Hive查看历史命令1.4Hive常用交互命令2.数据库基本操作2.1创建数据库2.2创建数据库并指定hdfs存储位置2.3删除空数据库2.4强制删除非空数据库2.5查看所有数据库2.6查看数据相关信息2.7数据库切换2.8修改数据库3.数据表基本操作3.1创建表3.1.1创建表的方式3.1.2创建内部表3.1.3创建外
    • hive迁移补数脚本细粒度 表名-分区唯一键 我要用代码向我喜欢的女孩表白 hivehadoop数据仓库
      假设我通过对数脚本发现，这些表对不上。假设检测出来是这样的（这些表存在于源端，但不存在目标端）我们需要从源端迁移过去。diff.txtads_xx1dt=20250219ads_xx2dt=20250217ads_xx2dt=20250218ads_xx2dt=20250219ads_xx3dt=20250217ads_xx4dt=20250217bak_xx1dt=20250109bak_xx1
    • 比较RPC和RESTful API的优缺点 事业运财运爆棚 android
      RPC和RESTfulAPI是两种不同的远程调用方式，它们各自具有不同的优缺点。RPC的优点包括：高效：RPC使用自定义的通信协议，可以减少报文传输量，提高传输效率。灵活：RPC支持多种语言，不同的编程语言可以方便地调用远程接口。通用：RPC可以基于XML、JSON等标准化的数据格式进行通信，使得不同语言之间可以正确地传递数据。RPC的缺点包括：实现复杂：RPC需要实现编码、序列化、网络传输等功能
    • 国产唯一开源湖仓框架LakeSoul 2.0 重磅升级：支持快照回滚、Flink和Hive对接 元灵数智 大数据数据库spark
      首先，附上Github链接LakeSoul：https://github.com/meta-soul/LakeSoul，可搜索公众号元灵数智，在底部菜单了解我们-用户交流获取官方技术交流群二维码，进群与业内大佬进行技术交流。DMetaSoul团队于7月初发布了LakeSoul2.0版本，对1.0版本进行了多方面升级优化，提高了自身架构设计的灵活性，也更好地适应客户未来业务高速发展的需要。2.0版本
    • shell字典数组 吃不到的烤鱼 shell脚本
      转自:http://www.firefoxbug.com/index.php/archives/2369/#shell字典数组#!/bin/bashecho"shell定义字典"#必须先声明declare-Adicdic=([key1]="value1"[key2]="value2"[key3]="value3")#打印指定key的valueecho${dic["key1"]}#打印所有key值e
    • HTTP 协议 星竹 服务器http网络协议服务器
      项目：csdn:https://blog.csdn.net/2303_76953932/article/details/142704176?spm=1001.2014.3001.5501halo:https://xingzhu.top/archives/webfu-wu-qi-xiao-xiang-mu-linux-c-epoll说明：参考学习:https://www.bilibili.com/v
    • Java 入门指南：Java IO流 —— 序列化与反序列化 ZachOn1y Javajava开发语言后端个人开发java-ee团队开发
      序列化序列化是指将对象转换为字节流的过程，以便能够将其存储到文件、内存、网络传输等介质中，或者在不同的进程、网络或机器之间进行数据交换。序列化的逆过程称为反序列化，即将字节流转换为对象。过反序列化，可以从存储介质或网络传输中读取数据，并重新构建对象。Java中的序列化通过实现Serializable接口来实现。Serializable接口是一个标记接口，没有方法需要实现。当一个类实现了Serial
    • Flink连接kerberos认证的hive 并使用table API lisacumt flinkhive大数据
      有个问题flink的kerveros通过配置设置。但是HiveCatalog还需要再次使用UserGroupInformation再次认证。直接上代码：importcom.amihaiemil.eoyaml.*;importlombok.AllArgsConstructor;importlombok.Data;importlombok.NoArgsConstructor;importorg.apa
    • Hive SQL 使用及进阶详解 小四的快乐生活 hivesqlhadoop
      一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析。Hive将SQL查询转换为MapReduce、Tez或Spark等分布式计算任务，使得不熟悉Java编程的数据分析人员也能方便地处理大规模数据。二、HiveSQL基础使用（一）环境准备在
    • linux 打包解压命令 luoluosheng07 linuxlinux服务器运维
      1.Linux打包和解压命令打包命令tar命令是最常用的打包工具，可以用来创建归档文件。创建一个名为archive.tar的tar包：tar-cvfarchive.tar/path/to/directory/这里：c表示创建新的归档文件。v表示在打包过程中显示文件。f指定归档文件的名称。zip命令用于创建zip格式的压缩文件。zip-rarchive.zip/path/to/directory/这
    • 开发者关心的那些事 圣子足道 ios游戏编程apple支付
      我要在app里添加IAP，必须要注册自己的产品标识符（product identifiers）。产品标识符是什么？ 产品标识符（Product Identifiers）是一串字符串，它用来识别你在应用内贩卖的每件商品。App Store用产品标识符来检索产品信息，标识符只能包含大小写字母（A-Z）、数字（0-9）、下划线（-）、以及圆点(.)。你可以任意排列这些元素，但我们建议你创建标识符时使用
    • 负载均衡器技术Nginx和F5的优缺点对比 bijian1013 nginxF5
              对于数据流量过大的网络中，往往单一设备无法承担，需要多台设备进行数据分流，而负载均衡器就是用来将数据分流到多台设备的一个转发器。         目前有许多不同的负载均衡技术用以满足不同的应用需求，如软/硬件负载均衡、本地/全局负载均衡、更高
    • LeetCode[Math] - #9 Palindrome Number Cwind javaAlgorithm题解LeetCodeMath
      原题链接：#9 Palindrome Number   要求： 判断一个整数是否是回文数，不要使用额外的存储空间   难度：简单   分析： 题目限制不允许使用额外的存储空间应指不允许使用O(n)的内存空间，O(1)的内存用于存储中间结果是可以接受的。于是考虑将该整型数反转，然后与原数字进行比较。 注：没有看到有关负数是否可以是回文数的明确结论，例如
    • 画图板的基本实现 15700786134 画图板
       要实现画图板的基本功能，除了在qq登陆界面中用到的组件和方法外，还需要添加鼠标监听器，和接口实现。 首先，需要显示一个JFrame界面： public class DrameFrame extends JFrame {              //显示
    • linux的ps命令 被触发 linux
      Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。 要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行
    • Android 音乐播放器 下一曲 连续跳几首歌 肆无忌惮_ android
      最近在写安卓音乐播放器的时候遇到个问题。在MediaPlayer播放结束时会回调 player.setOnCompletionListener(new OnCompletionListener() { @Override public void onCompletion(MediaPlayer mp) { mp.reset(); Log.i("H
    • java导出txt文件的例子 知了ing javaservlet
      代码很简单就一个servlet,如下： package com.eastcom.servlet; import java.io.BufferedOutputStream; import java.io.IOException; import java.net.URLEncoder; import java.sql.Connection; import java.sql.Resu
    • Scala stack试玩, 提高第三方依赖下载速度 矮蛋蛋 scalasbt
      原文地址： http://segmentfault.com/a/1190000002894524 sbt下载速度实在是惨不忍睹, 需要做些配置优化 下载typesafe离线包, 保存为ivy本地库 wget http://downloads.typesafe.com/typesafe-activator/1.3.4/typesafe-activator-1.3.4.zip 解压r
    • phantomjs安装(linux，附带环境变量设置) ，以及casperjs安装。 alleni123 linuxspider
      1. 首先从官网 http://phantomjs.org/下载phantomjs压缩包，解压缩到/root/phantomjs文件夹。 2. 安装依赖 sudo yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6 3. 配置环境变量 vi /etc/profil
    • JAVA IO FileInputStream和FileOutputStream，字节流的打包输出 百合不是茶 java核心思想JAVA IO操作字节流
      在程序设计语言中，数据的保存是基本，如果某程序语言不能保存数据那么该语言是不可能存在的，JAVA是当今最流行的面向对象设计语言之一，在保存数据中也有自己独特的一面，字节流和字符流 1，字节流是由字节构成的，字符流是由字符构成的 字节流和字符流都是继承的InputStream和OutPutStream ,java中两种最基本的就是字节流和字符流   类 FileInputStream
    • Spring基础实例（依赖注入和控制反转） bijian1013 spring
      前提条件：在http://www.springsource.org/download网站上下载Spring框架，并将spring.jar、log4j-1.2.15.jar、commons-logging.jar加载至工程1.武器接口 package com.bijian.spring.base3; public interface Weapon { void kil
    • HR看重的十大技能 bijian1013 提升能力HR成长
          一个人掌握何种技能取决于他的兴趣、能力和聪明程度，也取决于他所能支配的资源以及制定的事业目标，拥有过硬技能的人有更多的工作机会。但是，由于经济发展前景不确定，掌握对你的事业有所帮助的技能显得尤为重要。以下是最受雇主欢迎的十种技能。 　　一、解决问题的能力 　　每天，我们都要在生活和工作中解决一些综合性的问题。那些能够发现问题、解决问题并迅速作出有效决
    • 【Thrift一】Thrift编译安装 bit1129 thrift
      什么是Thrift The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently and s
    • 【Avro三】Hadoop MapReduce读写Avro文件 bit1129 mapreduce
      Avro是Doug Cutting(此人绝对是神一般的存在）牵头开发的。 开发之初就是围绕着完善Hadoop生态系统的数据处理而开展的（使用Avro作为Hadoop MapReduce需要处理数据序列化和反序列化的场景）,因此Hadoop MapReduce集成Avro也就是自然而然的事情。 这个例子是一个简单的Hadoop MapReduce读取Avro格式的源文件进行计数统计，然后将计算结果
    • nginx定制500，502，503，504页面 ronin47 nginx　错误显示
      server { listen 80; error_page 500/500.html; error_page 502/502.html; error_page 503/503.html; error_page 504/504.html; location /test {return502;}} 配置很简单，和配
    • java-1.二叉查找树转为双向链表 bylijinnan 二叉查找树
      import java.util.ArrayList; import java.util.List; public class BSTreeToLinkedList { /* 把二元查找树转变成排序的双向链表 题目： 输入一棵二元查找树，将该二元查找树转换成一个排序的双向链表。 要求不能创建任何新的结点，只调整指针的指向。 10 / \ 6 14 / \
    • Netty源码学习-HTTP-tunnel bylijinnan javanetty
      Netty关于HTTP tunnel的说明： http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/socket/http/package-summary.html#package_description 这个说明有点太简略了 一个完整的例子在这里： https://github.com/bylijinnan
    • JSONUtil.serialize(map)和JSON.toJSONString(map)的区别 coder_xpf jqueryjsonmapval()
       JSONUtil.serialize(map)和JSON.toJSONString(map)的区别   数据库查询出来的map有一个字段为空   通过System.out.println()输出 JSONUtil.serialize(map)： {"one":"1","two":"nul
    • Hibernate缓存总结 cuishikuan 开源sshjavawebhibernate缓存三大框架
      一、为什么要用Hibernate缓存？ Hibernate是一个持久层框架，经常访问物理数据库。 为了降低应用程序对物理数据源访问的频次，从而提高应用程序的运行性能。 缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。   二、Hibernate缓存原理是怎样的？ Hibernate缓存包括两大类：Hib
    • CentOs6 dalan_123 centos
      首先su - 切换到root下面1、首先要先安装GCC GCC-C++ Openssl等以来模块：yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2、再安装ncurses模块yum -y install ncurses-develyum install ncurses-devel3、下载Erang
    • 10款用 jquery 实现滚动条至页面底端自动加载数据效果 dcj3sjt126com JavaScript
        无限滚动自动翻页可以说是web2.0时代的一项堪称伟大的技术，它让我们在浏览页面的时候只需要把滚动条拉到网页底部就能自动显示下一页的结果，改变了一直以来只能通过点击下一页来翻页这种常规做法。 无限滚动自动翻页技术的鼻祖是微博的先驱：推特(twitter)，后来必应图片搜索、谷歌图片搜索、google reader、箱包批发网等纷纷抄袭了这一项技术，于是靠滚动浏览器滚动条
    • ImageButton去边框&Button或者ImageButton的背景透明 dcj3sjt126com imagebutton
      在ImageButton中载入图片后，很多人会觉得有图片周围的白边会影响到美观，其实解决这个问题有两种方法 一种方法是将ImageButton的背景改为所需要的图片。如：android:background="@drawable/XXX" 第二种方法就是将ImageButton背景改为透明，这个方法更常用 在XML里；    <ImageBut
    • JSP之c:foreach eksliang jspforearch
      原文出自：http://www.cnblogs.com/draem0507/archive/2012/09/24/2699745.html <c:forEach>标签用于通用数据循环，它有以下属性 属 性 描 述 是否必须 缺省值 items 进行循环的项目 否 无 begin 开始条件 否 0 end 结束条件 否 集合中的最后一个项目 step 步长 否 1
    • Android实现主动连接蓝牙耳机 gqdy365 android
      在Android程序中可以实现自动扫描蓝牙、配对蓝牙、建立数据通道。蓝牙分不同类型，这篇文字只讨论如何与蓝牙耳机连接。 大致可以分三步： 一、扫描蓝牙设备： 1、注册并监听广播： BluetoothAdapter.ACTION_DISCOVERY_STARTED BluetoothDevice.ACTION_FOUND BluetoothAdapter.ACTION_DIS
    • android学习轨迹之四：org.json.JSONException: No value for hyz301 json
      org.json.JSONException: No value for items  在JSON解析中会遇到一种错误，很常见的错误   06-21 12:19:08.714 2098-2127/com.jikexueyuan.secret I/System.out﹕ Result:{"status":1,"page":1,&
    • 干货分享：从零开始学编程 系列汇总 justjavac 编程
      程序员总爱重新发明轮子，于是做了要给轮子汇总。 从零开始写个编译器吧系列 (知乎专栏) 从零开始写一个简单的操作系统 (伯乐在线) 从零开始写JavaScript框架 (图灵社区) 从零开始写jQuery框架 (蓝色理想 ) 从零开始nodejs系列文章 (粉丝日志) 从零开始编写网络游戏 
    • jquery-autocomplete 使用手册 macroli jqueryAjax脚本
      jquery-autocomplete学习 一、用前必备 官方网站：http://bassistance.de/jquery-plugins/jquery-plugin-autocomplete/ 当前版本：1.1 需要JQuery版本：1.2.6 二、使用 <script src="./jquery-1.3.2.js" type="text/ja
    • PLSQL-Developer或者Navicat等工具连接远程oracle数据库的详细配置以及数据库编码的修改 超声波 oracleplsql
      　　在服务器上将Oracle安装好之后接下来要做的就是通过本地机器来远程连接服务器端的oracle数据库，常用的客户端连接工具就是PLSQL-Developer或者Navicat这些工具了。刚开始也是各种报错，什么TNS:no listener;TNS:lost connection;TNS:target hosts...花了一天的时间终于让PLSQL-Developer和Navicat等这些客户
    • 数据仓库数据模型之：极限存储--历史拉链表 superlxw1234 极限存储数据仓库数据模型拉链历史表
      在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，    比如，查看某一个用户在过去某一段时间内，更新过几次等等; 4. 变化的比例和频率不是很大，比如，总共有10
    • 10点睛Spring MVC4.1-全局异常处理 wiselyman spring mvc
      10.1 全局异常处理 使用@ControllerAdvice注解来实现全局异常处理; 使用@ControllerAdvice的属性缩小处理范围 10.2 演示 演示控制器 package com.wisely.web; import org.springframework.stereotype.Controller; import org.spring