苍穆
苍穆

Hive serde 序列化表例子

文章转载自 ： http://blog.csdn.net/mango_song/article/details/12562137


1. 概述

一个文本f1.txt的格式如下：

[plain] view plain copy
print ?
  1. 1  tom  
  2.   
  3. 2        jame  
  4.   
  5. 3             mango  

它的第一列是id,第二列是name，第一列和第二列间通过不固定长度的空白(如空格 制表符等)分割；

我们希望创建一个user表，能够识别f1.txt ，通过创建表时执行分隔符的方法就不行了，这就需要用到Hive的序列化(SerDe)了。


2. 新建一个maven项目，添加hive-serde 0.11.0 , Hadoop-core 1.0.3的依赖。

创建SerdeTest类，实现Deserializer接口，

  • 在initialize()方法中，描述表的各个字段及其类型
  • 在deserialize(Writable text)方法中将text解析成id和name
  • getObjectInspector()方法返回ObjectInspectorFactory.getStandardStructObjectInspector(structFieldNames,structFieldObjectInspectors)


[java] view plain copy
print ?
  1. package com.renren.hive.tools;  
  2.   
  3.   
  4. public class SerdeTest implements Deserializer {  
  5.     private List structFieldNames = new ArrayList();  
  6.     private List structFieldObjectInspectors = new ArrayList();  
  7.   
  8.     @Override  
  9.     public ObjectInspector getObjectInspector() throws SerDeException {  
  10.         // TODO Auto-generated method stub  
  11.   
  12.         return ObjectInspectorFactory.getStandardStructObjectInspector(  
  13.                 structFieldNames, structFieldObjectInspectors);  
  14.     }  
  15.   
  16.     @Override  
  17.     public Object deserialize(Writable text) throws SerDeException {  
  18.         // TODO Auto-generated method stub  
  19.   
  20.         List result = new ArrayList();  
  21.         StringTokenizer tokenizer = new StringTokenizer(text.toString());  
  22.         int index = 0;  
  23.   
  24.         while (tokenizer.hasMoreTokens()) {  
  25.             if (index == 0) {  
  26.                 result.add(Integer.valueOf(tokenizer.nextToken()).intValue());  
  27.             } else {  
  28.                 result.add(tokenizer.nextToken());  
  29.             }  
  30.             index++;  
  31.         }  
  32.   
  33.         return result;  
  34.     }  
  35.   
  36.     @Override  
  37.     public void initialize(Configuration arg0, Properties arg1)  
  38.             throws SerDeException {  
  39.         // TODO Auto-generated method stub  
  40.         structFieldNames.add("id");  
  41.         structFieldObjectInspectors.add(ObjectInspectorFactory  
  42.                 .getReflectionObjectInspector(Integer.TYPE,  
  43.                         ObjectInspectorOptions.JAVA));  
  44.         structFieldNames.add("name");  
  45.         structFieldObjectInspectors.add(ObjectInspectorFactory  
  46.                 .getReflectionObjectInspector(String.class,  
  47.                         ObjectInspectorOptions.JAVA));  
  48.     }  
  49.   
  50.     @Override  
  51.     public SerDeStats getSerDeStats() {  
  52.         // TODO Auto-generated method stub  
  53.         return null;  
  54.     }  
  55.   
  56. }  
    57. 3.  生成jar包添加到hive/lib下:

       

    [plain] view plain copy
    print ?
    1. mvn clean package   

       将生成的jar包:hive-serde-tool-1.0.1-SNAPSHOT.jar 添加到hive_home/lib下，并在hive-site.xml中添加:

    [html] view plain copy
    print ?
    1. <property>  
    2.   <name>hive.aux.jars.pathname>  
    3.   <value>file:///home/dp/hive/lib/hive-serde-tool-1.0.1-SNAPSHOT.jarvalue>  
    4. property>  
    4. 创建hive表，指定serde

      

    [plain] view plain copy
    print ?
    1. hive -e "create table test row formated serde 'com.renren.hive.tools.SerdeTest'"  

    5.加载并查询数据

     

    [plain] view plain copy
    print ?
    1. hive -e "load data  local inpath 'f1.txt' overwrite into table test"  
    2.   
    3.  hive -e "select * from test"  

    你可能感兴趣的:(hive,hive,序列化,SerDe)

    • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
      Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
      接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
    • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
      从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
    • Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
      一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
    • 车载以太网之SOME/IP IT_码农 车载以太网车载以太网SOME/IP
      整体介绍SOME/IP(全称为：Scalableservice-OrientedMiddlewarEoverIP)，是运行在车载以太网协议栈基础之上的中间件，或者也可以称为应用层软件。发展历程AUTOSAR4.0-完成宝马SOME/IP消息的初步集成；AUTOSAR4.1-支持SOME/IP-SD及其发布/订阅功能；AUTOSAR4.2-添加transformer用于序列化以及其他相关优化；AUT
    • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
      做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
    • JavaScript 基础 - 第15天 +码农快讯+ JavaScript学习笔记javascript前端开发语言
      文章目录JavaScript基础-第15天深浅拷贝浅拷贝深拷贝通过JSON序列化实现js库lodash实现深拷贝通过递归实现深拷贝异常处理throwtry...catchdebugger处理this改变thiscallapplybindthis指向性能优化防抖（debounce）手写防抖函数节流（throttle）手写节流函数JavaScript基础-第15天深浅拷贝浅拷贝浅拷贝：把对象拷贝给一个
    • 使用WAF防御网络上的隐蔽威胁之反序列化攻击 baiolkdnhjaio 网络安全
      什么是反序列化反序列化是将数据结构或对象状态从某种格式转换回对象的过程。这种格式通常是二进制流或者字符串（如JSON、XML），它是对象序列化（即对象转换为可存储或可传输格式）的逆过程。反序列化的安全风险反序列化的安全风险主要来自于处理不受信任的数据源时的不当反序列化。如果应用程序反序列化了恶意构造的数据，攻击者可能能够执行代码、访问敏感数据、进行拒绝服务攻击等。这是因为反序列化过程中可能会自动触
    • 大数据之flink与hive 星辰_mya 大数据flinkhive
      其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
    • hive血缘关系之输入表与目标表的解析 zxfBdd hive大数据治理大数据
      接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
    • 【保姆级】Protobuf详解及入门指南 AQin1012 Java网络protobuf序列化二进制协议协议Java
      目录Protobuf概述什么是Protobuf为什么要使用ProtobufProtobuf实战环境配置创建文件解析/封装数据附录AQin.proto完整代码Protobuf概述什么是ProtobufProtobuf（ProtocolBuffers）协议Protobuf是一种由Google开发的二进制序列化格式和相关的技术，它用于高效地序列化和反序列化结构化数据，通常用于网络通信、数据存储等场景为什
    • Netty权威指南：Netty总结-高性能与可靠性 Ty_1106 Nettyjava网络rpc
      第二十二章高性能之道22.1RPC调用性能模型分析22.1.1传统RPC调用性能差三宗罪：网络传输采用同步阻塞I/O导致经常性阻塞序列化性能差线程模型问题22.1.2I/O通信性能三要素传输：BIO、NIO或者AIO协议：HTTP公有协议，内部私有协议线程：数据报如何读取，Reactor线程模型22.2Netty高性能之道22.2.1异步非阻塞通信I/O多路复用技术22.2.2高效的Reactor
    • 初级练习[3]:Hive SQL子查询应用 大数据深度洞察 Hivehivesqlhadoop数据仓库大数据数据库
      目录环境准备看如下链接子查询查询所有课程成绩均小于60分的学生的学号、姓名查询没有学全所有课的学生的学号、姓名解释：没有学全所有课，也就是该学生选修的课程数<总的课程数。查询出只选修了三门课程的全部学生的学号和姓名环境准备看如下链接环境准备https://blog.csdn.net/qq_45115959/article/details/142057624?spm=1001.2014.3001.5
    • Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linuxlinux运维服务器后端bashshell
      在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
    • Anaconda版本和Python版本对应关系 纬领网络 pythonanaconda3
      官网下载地址：https://repo.anaconda.com/archive/下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
    • 第 12 章 Spring MVC 扩展和 SSM 框架整合 HUNAG-DA-PAO springmvcjava
      SpringMVC框架处理JSON数据SON格式数据在现阶段的Web项目开发中扮演着非常重要的角色。在前端页面和后台交互的过程中，需要一种格式清晰、高效且两端都可以轻松使用的数据格式做交互的媒介，JSON正可以满足这一需求。JSON数据的传递处理在Java中处理JSON数据的传递通常涉及到序列化和反序列化操作。序列化是将Java对象转换为JSON格式的字符串，以便可以将其存储或通过网络传输；反序列
    • RAG与LLM原理及实践(17)---Docker Redis & Python Usage PhoenixAI8 RAGMilvusChroma源码及实践redis数据库缓存
      目录背景Redis环境download修改镜像RunRedisCodingpythonredisdownload基本使用描述完整代码运行结果高阶用法序列化的方式Snapshot与AOF快照（RDB）AOF（Append-OnlyFile）代码总结发布与订阅描述代码运行结果注意事项解释Transanction描述代码键空间描述开启python代码运行结果背景实际上，你会发现本专栏题目是RAG，Mil
    • R语言包AMORE安装报错问题以及RStudio与Rtools环境配置 卡卡_R-Python R语言数据分析与可视化r语言开发语言
      在使用R语言进行AMORE安装时会遇到报错，这时候需要采用解决办法：'''AMORE包安装，需要离线官网下载安装包：Indexof/src/contrib/Archive/AMORE(r-project.org)https://cran.r-project.org/src/contrib/Archive/AMORE/一、出现的问题最近开始学习R语言，安装了最新版的R4.4.1和RStudio，但安
    • 中级练习[3]：Hive SQL用户行为与商品销售数据分析 大数据深度洞察 Hivehive数据仓库大数据sql
      目录1.用户累计消费金额及VIP等级查询1.1题目需求1.2代码实现2.首次下单后第二天连续下单的用户比率查询2.1题目需求2.2代码实现3.每个商品销售首年的年份、销售数量和销售金额统计3.1题目需求3.2代码实现1.用户累计消费金额及VIP等级查询1.1题目需求从订单信息表(order_info)中统计每个用户截止其每个下单日期的累积消费金额，以及每个用户在其每个下单日期的VIP等级。VIP等
    • Python基础知识进阶之正则表达式_头歌python正则表达式进阶 前端陈萨龙 程序员python学习面试
      最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
    • 编程常用命令总结 Yellow0523 LinuxBigData大数据
      编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
    • Java 实体类转byte数组 亦诗亦诗 javajvm开发语言
      Java实体类转byte数组在Java中，将实体类转换为字节数组的常用方式是将其序列化为二进制数据。可以使用Java提供的序列化API或第三方库实现。1、下面是使用Java序列化API将实体类转换为字节数组的示例代码：1、实现java.io.Serializable接口publicclassMyClassimplementsSerializable{//...}2、创建一个ObjectOutput
    • 博客园怎么了？ YYH1992
      新年好，给大家拜个早年！今年来到安徽过年，无聊中，不知不觉中又来到博客园了（忠实粉丝哦），却发现一件奇怪的事情，请看截图难道博客园被挂马了？抑或其它问题？如果真有问题，还请dudu抓紧时间修正，免得影响我们园子的声誉！我要下线了，出去买回家的车票了，只能年后回家了。。。转载于:https://www.cnblogs.com/HollisYao/archive/2008/02/06/1065351.
    • 循环引用和你不知道的JSON.stringify 不cong明的亚子 前端javascript循环引用
      前言将循环引用和JSON.stringify放在一起，眼界宽的大佬应该知道我要阐述的东西是什么了；不太清楚的xdm不用着急，这篇文章将带你们彻底搞懂循环引用，以及使用JSON.stringify的黑魔法来序列化循环引用的对象。如有错误之处，还望指出！一、Whatis循环引用？来自百度百科的解答当一个单元格内的公式直接或间接地应用了这个公式本身所在的单元格时，就称为循环引用。以上回答有点抽象，不过很
    • 【C++开发中XML 文件的妙用】 勾魂凉皮 c++xml开发语言
      在C++中，XML（可扩展标记语言）文件通常用于存储配置数据、应用程序设置、数据交换格式等。由于其结构化和可读性强的特点，XML文件在配置管理、序列化、跨平台数据交换以及软件国际化等方面有着广泛的应用。XML文件的妙用配置管理：XML文件经常被用来存储应用程序的配置。可以动态读取XML文件来配置应用程序的行为，而无需重新编译代码。数据交换格式：XML是跨平台、跨语言的数据交换格式。许多网络协议和数
    • Kotlin data class Json序列化问题 AgentRich kotlinjson开发语言
      先说结果换了Solon框架后allinkt遇到了一个问题。就是json数据层级深的时候只能序列化第一层，经过测试主流的json框架都是这样。研究了一天终于找到一个不依赖的解决方法。先上结果代码：@OptIn(ExperimentalStdlibApi::class)funmain(args:Array){valret="""{"code":200,"msg":"成功","data":{"id":"
    • 枚举类实现单例模式——最优解决方案 CodeDunkster 单例模式开发语言
      在Java中，实现单例模式的方式有很多，如饿汉式、懒汉式、双重校验锁、静态内部类等。然而，所有这些方法都存在一定的局限性或潜在的安全隐患，如反射和序列化的破坏。在这些方法中，枚举类实现单例模式被认为是最好的选择，因为它不仅简单易懂，而且可以天然防御反射和序列化的攻击。本文将详细介绍枚举类实现单例模式的优点以及为什么它被视为最优的解决方案。1.什么是单例模式？单例模式是一种设计模式，旨在确保某个类在
    • linux下文件的复制、移动与删除 搬砖中年人
      一、文件复制命令cp命令格式：cp[-adfilprsu]源文件(source)目标文件(destination)cp[option]source1source2source3...directory参数说明：-a:是指archive的意思，也说是指复制所有的目录-d:若源文件为连接文件(linkfile)，则复制连接文件属性而非文件本身-f:强制(force)，若有重复或其它疑问时，不会询问用户
    • Java集合-----List接口及其实现类：ArrayList、LinkedList、Vector Colourful． Java集合java集合
      文章目录List接口概述List接口的常用方法List接口的实现类ArrayList源码分析类继承关系ArrayList中的属性：ArrayList构造函数：ArrayList中常用方法添加操作：add()删除操作：remove()获取元素：get()ArrayList是如何实现序列化的？ArrayList的总结LinkedList源码分析类继承关系类成员属性类构造器LinkedList的List
    • flink table factory基础知识 loukey_j
      一、概述在flink中很多组件都是TableFactory的子类。比如序列化，反序列化，tableSinkFactory,tableSourceFactory.TableFactory是用来创建序列化，反序列器，tableSource和tableSink的工厂。二、TableFactory源码在flink框架中，TableFactory的子类并不是程序员自己随心new出来的。flink的提供给程序
    • 开发者关心的那些事 圣子足道 ios游戏编程apple支付
      我要在app里添加IAP，必须要注册自己的产品标识符（product identifiers）。产品标识符是什么？ 产品标识符（Product Identifiers）是一串字符串，它用来识别你在应用内贩卖的每件商品。App Store用产品标识符来检索产品信息，标识符只能包含大小写字母（A-Z）、数字（0-9）、下划线（-）、以及圆点(.)。你可以任意排列这些元素，但我们建议你创建标识符时使用
    • 负载均衡器技术Nginx和F5的优缺点对比 bijian1013 nginxF5
              对于数据流量过大的网络中，往往单一设备无法承担，需要多台设备进行数据分流，而负载均衡器就是用来将数据分流到多台设备的一个转发器。         目前有许多不同的负载均衡技术用以满足不同的应用需求，如软/硬件负载均衡、本地/全局负载均衡、更高
    • LeetCode[Math] - #9 Palindrome Number Cwind javaAlgorithm题解LeetCodeMath
      原题链接：#9 Palindrome Number   要求： 判断一个整数是否是回文数，不要使用额外的存储空间   难度：简单   分析： 题目限制不允许使用额外的存储空间应指不允许使用O(n)的内存空间，O(1)的内存用于存储中间结果是可以接受的。于是考虑将该整型数反转，然后与原数字进行比较。 注：没有看到有关负数是否可以是回文数的明确结论，例如
    • 画图板的基本实现 15700786134 画图板
       要实现画图板的基本功能，除了在qq登陆界面中用到的组件和方法外，还需要添加鼠标监听器，和接口实现。 首先，需要显示一个JFrame界面： public class DrameFrame extends JFrame {              //显示
    • linux的ps命令 被触发 linux
      Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。 要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行
    • Android 音乐播放器 下一曲 连续跳几首歌 肆无忌惮_ android
      最近在写安卓音乐播放器的时候遇到个问题。在MediaPlayer播放结束时会回调 player.setOnCompletionListener(new OnCompletionListener() { @Override public void onCompletion(MediaPlayer mp) { mp.reset(); Log.i("H
    • java导出txt文件的例子 知了ing javaservlet
      代码很简单就一个servlet,如下： package com.eastcom.servlet; import java.io.BufferedOutputStream; import java.io.IOException; import java.net.URLEncoder; import java.sql.Connection; import java.sql.Resu
    • Scala stack试玩, 提高第三方依赖下载速度 矮蛋蛋 scalasbt
      原文地址： http://segmentfault.com/a/1190000002894524 sbt下载速度实在是惨不忍睹, 需要做些配置优化 下载typesafe离线包, 保存为ivy本地库 wget http://downloads.typesafe.com/typesafe-activator/1.3.4/typesafe-activator-1.3.4.zip 解压r
    • phantomjs安装(linux，附带环境变量设置) ，以及casperjs安装。 alleni123 linuxspider
      1. 首先从官网 http://phantomjs.org/下载phantomjs压缩包，解压缩到/root/phantomjs文件夹。 2. 安装依赖 sudo yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6 3. 配置环境变量 vi /etc/profil
    • JAVA IO FileInputStream和FileOutputStream，字节流的打包输出 百合不是茶 java核心思想JAVA IO操作字节流
      在程序设计语言中，数据的保存是基本，如果某程序语言不能保存数据那么该语言是不可能存在的，JAVA是当今最流行的面向对象设计语言之一，在保存数据中也有自己独特的一面，字节流和字符流 1，字节流是由字节构成的，字符流是由字符构成的 字节流和字符流都是继承的InputStream和OutPutStream ,java中两种最基本的就是字节流和字符流   类 FileInputStream
    • Spring基础实例（依赖注入和控制反转） bijian1013 spring
      前提条件：在http://www.springsource.org/download网站上下载Spring框架，并将spring.jar、log4j-1.2.15.jar、commons-logging.jar加载至工程1.武器接口 package com.bijian.spring.base3; public interface Weapon { void kil
    • HR看重的十大技能 bijian1013 提升能力HR成长
          一个人掌握何种技能取决于他的兴趣、能力和聪明程度，也取决于他所能支配的资源以及制定的事业目标，拥有过硬技能的人有更多的工作机会。但是，由于经济发展前景不确定，掌握对你的事业有所帮助的技能显得尤为重要。以下是最受雇主欢迎的十种技能。 　　一、解决问题的能力 　　每天，我们都要在生活和工作中解决一些综合性的问题。那些能够发现问题、解决问题并迅速作出有效决
    • 【Thrift一】Thrift编译安装 bit1129 thrift
      什么是Thrift The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently and s
    • 【Avro三】Hadoop MapReduce读写Avro文件 bit1129 mapreduce
      Avro是Doug Cutting(此人绝对是神一般的存在）牵头开发的。 开发之初就是围绕着完善Hadoop生态系统的数据处理而开展的（使用Avro作为Hadoop MapReduce需要处理数据序列化和反序列化的场景）,因此Hadoop MapReduce集成Avro也就是自然而然的事情。 这个例子是一个简单的Hadoop MapReduce读取Avro格式的源文件进行计数统计，然后将计算结果
    • nginx定制500，502，503，504页面 ronin47 nginx　错误显示
      server { listen 80; error_page 500/500.html; error_page 502/502.html; error_page 503/503.html; error_page 504/504.html; location /test {return502;}} 配置很简单，和配
    • java-1.二叉查找树转为双向链表 bylijinnan 二叉查找树
      import java.util.ArrayList; import java.util.List; public class BSTreeToLinkedList { /* 把二元查找树转变成排序的双向链表 题目： 输入一棵二元查找树，将该二元查找树转换成一个排序的双向链表。 要求不能创建任何新的结点，只调整指针的指向。 10 / \ 6 14 / \
    • Netty源码学习-HTTP-tunnel bylijinnan javanetty
      Netty关于HTTP tunnel的说明： http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/socket/http/package-summary.html#package_description 这个说明有点太简略了 一个完整的例子在这里： https://github.com/bylijinnan
    • JSONUtil.serialize(map)和JSON.toJSONString(map)的区别 coder_xpf jqueryjsonmapval()
       JSONUtil.serialize(map)和JSON.toJSONString(map)的区别   数据库查询出来的map有一个字段为空   通过System.out.println()输出 JSONUtil.serialize(map)： {"one":"1","two":"nul
    • Hibernate缓存总结 cuishikuan 开源sshjavawebhibernate缓存三大框架
      一、为什么要用Hibernate缓存？ Hibernate是一个持久层框架，经常访问物理数据库。 为了降低应用程序对物理数据源访问的频次，从而提高应用程序的运行性能。 缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。   二、Hibernate缓存原理是怎样的？ Hibernate缓存包括两大类：Hib
    • CentOs6 dalan_123 centos
      首先su - 切换到root下面1、首先要先安装GCC GCC-C++ Openssl等以来模块：yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2、再安装ncurses模块yum -y install ncurses-develyum install ncurses-devel3、下载Erang
    • 10款用 jquery 实现滚动条至页面底端自动加载数据效果 dcj3sjt126com JavaScript
        无限滚动自动翻页可以说是web2.0时代的一项堪称伟大的技术，它让我们在浏览页面的时候只需要把滚动条拉到网页底部就能自动显示下一页的结果，改变了一直以来只能通过点击下一页来翻页这种常规做法。 无限滚动自动翻页技术的鼻祖是微博的先驱：推特(twitter)，后来必应图片搜索、谷歌图片搜索、google reader、箱包批发网等纷纷抄袭了这一项技术，于是靠滚动浏览器滚动条
    • ImageButton去边框&Button或者ImageButton的背景透明 dcj3sjt126com imagebutton
      在ImageButton中载入图片后，很多人会觉得有图片周围的白边会影响到美观，其实解决这个问题有两种方法 一种方法是将ImageButton的背景改为所需要的图片。如：android:background="@drawable/XXX" 第二种方法就是将ImageButton背景改为透明，这个方法更常用 在XML里；    <ImageBut
    • JSP之c:foreach eksliang jspforearch
      原文出自：http://www.cnblogs.com/draem0507/archive/2012/09/24/2699745.html <c:forEach>标签用于通用数据循环，它有以下属性 属 性 描 述 是否必须 缺省值 items 进行循环的项目 否 无 begin 开始条件 否 0 end 结束条件 否 集合中的最后一个项目 step 步长 否 1
    • Android实现主动连接蓝牙耳机 gqdy365 android
      在Android程序中可以实现自动扫描蓝牙、配对蓝牙、建立数据通道。蓝牙分不同类型，这篇文字只讨论如何与蓝牙耳机连接。 大致可以分三步： 一、扫描蓝牙设备： 1、注册并监听广播： BluetoothAdapter.ACTION_DISCOVERY_STARTED BluetoothDevice.ACTION_FOUND BluetoothAdapter.ACTION_DIS
    • android学习轨迹之四：org.json.JSONException: No value for hyz301 json
      org.json.JSONException: No value for items  在JSON解析中会遇到一种错误，很常见的错误   06-21 12:19:08.714 2098-2127/com.jikexueyuan.secret I/System.out﹕ Result:{"status":1,"page":1,&
    • 干货分享：从零开始学编程 系列汇总 justjavac 编程
      程序员总爱重新发明轮子，于是做了要给轮子汇总。 从零开始写个编译器吧系列 (知乎专栏) 从零开始写一个简单的操作系统 (伯乐在线) 从零开始写JavaScript框架 (图灵社区) 从零开始写jQuery框架 (蓝色理想 ) 从零开始nodejs系列文章 (粉丝日志) 从零开始编写网络游戏 
    • jquery-autocomplete 使用手册 macroli jqueryAjax脚本
      jquery-autocomplete学习 一、用前必备 官方网站：http://bassistance.de/jquery-plugins/jquery-plugin-autocomplete/ 当前版本：1.1 需要JQuery版本：1.2.6 二、使用 <script src="./jquery-1.3.2.js" type="text/ja
    • PLSQL-Developer或者Navicat等工具连接远程oracle数据库的详细配置以及数据库编码的修改 超声波 oracleplsql
      　　在服务器上将Oracle安装好之后接下来要做的就是通过本地机器来远程连接服务器端的oracle数据库，常用的客户端连接工具就是PLSQL-Developer或者Navicat这些工具了。刚开始也是各种报错，什么TNS:no listener;TNS:lost connection;TNS:target hosts...花了一天的时间终于让PLSQL-Developer和Navicat等这些客户
    • 数据仓库数据模型之：极限存储--历史拉链表 superlxw1234 极限存储数据仓库数据模型拉链历史表
      在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，    比如，查看某一个用户在过去某一段时间内，更新过几次等等; 4. 变化的比例和频率不是很大，比如，总共有10
    • 10点睛Spring MVC4.1-全局异常处理 wiselyman spring mvc
      10.1 全局异常处理 使用@ControllerAdvice注解来实现全局异常处理; 使用@ControllerAdvice的属性缩小处理范围 10.2 演示 演示控制器 package com.wisely.web; import org.springframework.stereotype.Controller; import org.spring