苍穆
苍穆

Hive serde 序列化表例子

文章转载自 ： http://blog.csdn.net/mango_song/article/details/12562137


1. 概述

一个文本f1.txt的格式如下：

[plain] view plain copy
print ?
  1. 1  tom  
  2.   
  3. 2        jame  
  4.   
  5. 3             mango  

它的第一列是id,第二列是name，第一列和第二列间通过不固定长度的空白(如空格 制表符等)分割；

我们希望创建一个user表，能够识别f1.txt ，通过创建表时执行分隔符的方法就不行了，这就需要用到Hive的序列化(SerDe)了。


2. 新建一个maven项目，添加hive-serde 0.11.0 , Hadoop-core 1.0.3的依赖。

创建SerdeTest类，实现Deserializer接口，

  • 在initialize()方法中，描述表的各个字段及其类型
  • 在deserialize(Writable text)方法中将text解析成id和name
  • getObjectInspector()方法返回ObjectInspectorFactory.getStandardStructObjectInspector(structFieldNames,structFieldObjectInspectors)


[java] view plain copy
print ?
  1. package com.renren.hive.tools;  
  2.   
  3.   
  4. public class SerdeTest implements Deserializer {  
  5.     private List structFieldNames = new ArrayList();  
  6.     private List structFieldObjectInspectors = new ArrayList();  
  7.   
  8.     @Override  
  9.     public ObjectInspector getObjectInspector() throws SerDeException {  
  10.         // TODO Auto-generated method stub  
  11.   
  12.         return ObjectInspectorFactory.getStandardStructObjectInspector(  
  13.                 structFieldNames, structFieldObjectInspectors);  
  14.     }  
  15.   
  16.     @Override  
  17.     public Object deserialize(Writable text) throws SerDeException {  
  18.         // TODO Auto-generated method stub  
  19.   
  20.         List result = new ArrayList();  
  21.         StringTokenizer tokenizer = new StringTokenizer(text.toString());  
  22.         int index = 0;  
  23.   
  24.         while (tokenizer.hasMoreTokens()) {  
  25.             if (index == 0) {  
  26.                 result.add(Integer.valueOf(tokenizer.nextToken()).intValue());  
  27.             } else {  
  28.                 result.add(tokenizer.nextToken());  
  29.             }  
  30.             index++;  
  31.         }  
  32.   
  33.         return result;  
  34.     }  
  35.   
  36.     @Override  
  37.     public void initialize(Configuration arg0, Properties arg1)  
  38.             throws SerDeException {  
  39.         // TODO Auto-generated method stub  
  40.         structFieldNames.add("id");  
  41.         structFieldObjectInspectors.add(ObjectInspectorFactory  
  42.                 .getReflectionObjectInspector(Integer.TYPE,  
  43.                         ObjectInspectorOptions.JAVA));  
  44.         structFieldNames.add("name");  
  45.         structFieldObjectInspectors.add(ObjectInspectorFactory  
  46.                 .getReflectionObjectInspector(String.class,  
  47.                         ObjectInspectorOptions.JAVA));  
  48.     }  
  49.   
  50.     @Override  
  51.     public SerDeStats getSerDeStats() {  
  52.         // TODO Auto-generated method stub  
  53.         return null;  
  54.     }  
  55.   
  56. }  
    57. 3.  生成jar包添加到hive/lib下:

       

    [plain] view plain copy
    print ?
    1. mvn clean package   

       将生成的jar包:hive-serde-tool-1.0.1-SNAPSHOT.jar 添加到hive_home/lib下，并在hive-site.xml中添加:

    [html] view plain copy
    print ?
    1. <property>  
    2.   <name>hive.aux.jars.pathname>  
    3.   <value>file:///home/dp/hive/lib/hive-serde-tool-1.0.1-SNAPSHOT.jarvalue>  
    4. property>  
    4. 创建hive表，指定serde

      

    [plain] view plain copy
    print ?
    1. hive -e "create table test row formated serde 'com.renren.hive.tools.SerdeTest'"  

    5.加载并查询数据

     

    [plain] view plain copy
    print ?
    1. hive -e "load data  local inpath 'f1.txt' overwrite into table test"  
    2.   
    3.  hive -e "select * from test"  

    你可能感兴趣的:(hive,hive,序列化,SerDe)

    • 【漏洞复现】广联达 Linkworks OA ArchiveWebService XML实体注入漏洞 0x0000001 漏洞复现xml网络安全web安全渗透测试网络安全
      免责声明：本文旨在提供有关特定漏洞的信息，以帮助用户了解潜在风险。发布此信息旨在促进网络安全意识和技术进步，并非出于恶意。读者应理解，利用本文提到的漏洞或进行相关测试可能违反法律或服务协议。未经授权访问系统、网络或应用程序可能导致法律责任或严重后果。作者对读者基于本文内容的行为不承担责任。读者在使用信息时必须遵守适用法律法规和服务协议，独自承担所有风险和责任。如有侵权，请联系删除。漏洞描述广联达L
    • 大数据新视界 -- Hive 事务管理的应用与限制（2 - 16 - 8） 青云交 大数据新视界#Hive之道Hive事务管理应用场景优化策略数据一致性并发处理大数据爱好者们大数据
      亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
    • Hive 整合 Spark 全教程 （Hive on Spark） 字节全栈_rJF hivesparkhadoop
      hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00:9870dfs.namenode.secondary.http-addressBigdata00:9868dfs.replication13）YARN配
    • dubbo 负载均衡策略和集群容错策略都有哪些？动态代理策略呢？ 码农小旋风 后端
      面试题dubbo负载均衡策略和集群容错策略都有哪些？动态代理策略呢？面试官心理分析继续深问吧，这些都是用dubbo必须知道的一些东西，你得知道基本原理，知道序列化是什么协议，还得知道具体用dubbo的时候，如何负载均衡，如何高可用，如何动态代理。说白了，就是看你对dubbo熟悉不熟悉：dubbo工作原理：服务注册、注册中心、消费者、代理通信、负载均衡；网络通信、序列化：dubbo协议、长连接、NI
    • 开发者交流平台项目部署到阿里云服务器教程 独自破碎E 阿里云服务器云计算java后端开发语言
      本文使用PuTTY软件在本地Windows系统远程控制Linux服务器；其中，Windows系统为Windows10专业版，Linux系统为CentOS7.664位。1.工具软件的准备maven：https://archive.apache.org/dist/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gztomcat：https
    • hive表指定分区字段搜索_Hive学习-Hive基本操作（建库、建表、分区表、写数据）... weixin_39710660 hive表指定分区字段搜索
      hive简单认识Hive是建立在HDFS之上的数据仓库，所以Hive的数据全部存储在HDFS上。Hive的数据分为两部分，一部分是存在HDFS上的具体数据，一部分是描述这些具体数据的元数据信息，一般Hive的元数据存在MySQL上。Hive是类SQL语法的数据查询、计算、分析工具，执行引擎默认的是MapReduce，可以设置为Spark、Tez。Hive分内部表和外部表，外部表在建表的同时指定一个
    • hive 分区表select全部数据_【Hive教程】（六）HIVE分区表 (静态分区+动态分区) weixin_39658318 hive分区表select全部数据
      分区表分区表在实际企业中用途非常广，首先一个案例体验一下分区表的作用:假设我每天都要往HIVE表中插入一万条数据。经过一年的时间，我里面已经有365万条数据。现在我需要查询某个日期的数据，我select*fromtablenamewheredata=”20180101″,那么hive一般会扫描整个表内容，会消耗很多时间。如果引入partition概念。以日期作为分区字段，相同日期的数据在同一个分区
    • 【hadoop学习之路】Hive HQL 语句实现查询 新世纪debug战士 hadoop学习之路hive
      目录表数据表1students_data.txt表2course.txt实验步骤结论表数据表1students_data.txt21434,Sara,F,21,20,73,classC41443,Mary,M,19,30,90,classA43333,Dery,F,20,40,85,classB45454,Mary,F,22,10,91,classA14634,Henry,M,18,50,56,c
    • 【大数据入门核心技术-Hive】（十一）HiveSQL数据分区 forest_long 大数据技术入门到21天通关大数据hivehadoop数据仓库hdfs
      目录一、分区的概念二、创建分区1）静态分区1、单分区测试2、多分区测试2)动态分区3、动态分区和静态分区混合使用三、分区的其它操作1、恢复分区2、归档分区3、交换分区四、分区数据查询1、单分区数据查询2、多分区数据查询方法1：通过union方法2：通过or一、分区的概念数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。hive
    • 本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程 weixin_30777913 数据库数据仓库hivesqlserver
      我们已经有安装ApacheHive的Linux服务器集群，它可以连接到一个SQLServerRDS数据库，需要在该Linux服务器上安装配置sqoop，然后将Hive中所有的表数据复制到SQLServerRDS数据库。以下是分步指南，用于在Linux服务器上安装配置Sqoop并将Hive表数据迁移至SQLServerRDS：1.安装Sqoop步骤：下载Sqoop前往ApacheSqoop下载页面，
    • 设计转换Apache Hive的HQL语句为Snowflake SQL语句的Python程序方法 weixin_30777913 python数据仓库hivesql
      首先，根据以下各类HQL语句的基本实例和官方文档记录的这些命令语句各种参数设置，得到各种HQL语句的完整实例，然后在Snowflake的官方文档找到它们对应的SnowflakeSQL语句，建立起对应的关系表。在这个过程中要注意HQL语句和SnowflakeSQL语句的区别，比如Hive可以给单个用户加权限，但是Snowflake数据仓库是RBAC，也就是基于角色的权限控制，所以HQL语句中给用户加
    • windows注册表详解 ywwow 计算机科学与技术windowsmicrosoftsystem磁盘dos网络
      偶尔得转点文章。空格键坏了，想用修改键盘映射的方法来代替一下，于是就找到了注册表。然后在不断的搜索中，发现了这篇有点收藏价值的文章，转过来保存下。windows注册表详解http://blog.donews.com/converter/archive/2004/09/16/100404.aspx注册表对有的人还是比较陌生的，因为现在第三方软件太多了，如优化大师、魔法兔子等等，但个人觉得改善系统的第
    • Python正则表达式指南 weixin_33755554 python
      http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html1.正则表达式基础1.1.简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不
    • java 字符串日期字段格式化前端显示 qq_36608622 java开发语言
      在Java应用程序中，如果你有一个字符串类型的日期字段，并希望将其格式化后显示在前端，可以通过多种方式实现。这通常涉及到在后端将字符串转换为Date或LocalDateTime等对象，然后使用适当的注解或配置来确保它们以正确的格式序列化为JSON发送到前端。以下是几种常见方法：方法一：使用@JsonFormat注解(Jackson)如果你使用的是Jackson来处理JSON序列化和反序列化，可以在
    • HDFS总结 ChenJieYaYa Hadoophdfshadoopbigdata
      基于前面的学习与配置，相信对于HDFS有了一定的了解HDFS概述1.什么是HDFSHadoopDistributedFileSystem：分步式文件系统HDFS是Hadoop体系中数据存储管理的基础HDFS是基于流数据模式访问和处理超大文件的需求而开发的1.流式数据：将数据序列化为字节流来存储，这样不会破坏文件的结构和内容，而且字节流直接存储在磁盘上，可以分片或分块2.当超大规模的文件本身就已经超
    • Ubuntu20.4编译vlc、vlc-qt 小逍遥雪 Ubuntuvlcqt
      1.安装Qt软件，文章中安装的Qt版本：5.11.3Qt官方下载链接：Indexof/new_archive/qt2.下载vlc源码，文章中vlc源码版本：vlc-3.0.8因为系统是linxu系统，所以下载时选择：vlc-3.0.8.tar.xzvlc官方源码下载链接：Indexof/vlc/3.下载vlc_qt源码vlc_qt官方源码下载链接：https://vlc-qt.tano.si/
    • 【详细讲解】hive优化 songqq27 大数据hive
      1、开启本地模式大多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。用户可以通过设置hive.exec.mode.local.auto的值
    • 在python中如何使用protobuf 牛马猿。 python开发语言
      文章目录前言一、protobuf是什么？二、使用步骤1.确保已经安装好protoc2.编写.proto协议文件3.使用protoc命令生成Python代码4.在python中导入生成的模块前言文章将介绍在python中如何使用protobuf。一、protobuf是什么？protobuf是一种用于序列化结构数据的工具，实现数据的存储与交换，与编程语言和开发平台无关。。二、使用步骤1.确保已经安装好
    • protobuf学习和使用(Python) 呀儿呦丶 Python学习python开发语言
      Protobuf学习文章目录Protobuf学习简介安装example数据类型映射关系proto2和proto3的区别案例example1_定义基本的消息类型example2_使用repeated字段example3_定义枚举类型example4_使用oneofexample5_字段编号与保留简介ProtocolBuffers(Protobuf)是一种由Google开发的高效、跨平台的序列化协议。
    • 大数据毕业设计hadoop+spark+hive豆瓣图书数据分析可视化大屏 豆瓣图书爬虫 图书推荐系统 qq_79856539 javawebjava大数据hadoop课程设计
      系统总体目标基于Spark的个性化书籍推荐系统是一种基于大数据技术的智能推荐系统，它可以根据用户的历史行为和偏好，为用户提供个性化的书籍推荐。该系统采用Spark技术，可以实现大数据的实时处理，从而提高推荐系统的准确性和可靠性。此外，该系统还可以根据用户的习惯和偏好，提供更加个性化的书籍推荐，从而满足用户的需求。系统的使用者包含普通用户和管理员两类，普通用户是系统的主要服务对象，主流人群是经常查看
    • ubuntu22.04 + isaac gym环境配置流程 Yakusha linuxbashc++
      1.CUDA安装1.看系统架构：uname-m2.去官网下载适配你显卡驱动的最新cuda，可以通过nvidia-smi查看https://developer.nvidia.com/cuda-toolkit-archive3.然后执行，全选continue和yessudo./cuda_12.4.1_550.54.15_linux.run在bashrc中添加：exportPATH=/usr/local
    • java FastJSON自定义序列化和反序列化(扩展点)方法总结！10个步骤让你轻松掌握 墨瑾轩 一起学学Java【一】开发语言java
      关注墨瑾轩，带你探索编程的奥秘！超萌技术攻略，轻松晋级编程高手技术宝库已备好，就等你来挖掘订阅墨瑾轩，智趣学习不孤单即刻启航，编程之旅更有趣嘿，小伙伴们！今天我们要一起探讨一个非常实用的话题——如何使用FastJSON自定义序列化和反序列化。你知道吗？FastJSON是阿里巴巴开源的一个高性能JSON库，广泛应用于Java项目中。虽然FastJSON提供了丰富的内置功能，但有时候我们还需要根据具体
    • FastAPI：一个贼快的Python Web框架 程序媛千千 fastapipython
      Python，作为一个强大而灵活的编程语言，提供了多种框架来简化Web开发过程。其中，FastAPI是一个很新但极其强大的库，它允许开发者以极简的代码高效地构建API。什么是FastAPI？FastAPI是一个现代、快速（高性能）的Web框架，用于构建API与Web应用程序。它基于标准Python类型提示这一特性，提供了多项功能，如数据验证、序列化、文档生成等。为什么选择FastAPI？速度：Fa
    • Python——Pickle库 Devin01213
      pickle是python语言的一个标准模块，安装python后已包含pickle库，不需要单独再安装。那么为什么需要序列化和反序列化这一操作呢？1.便于存储。序列化过程将文本信息转变为二进制数据流。这样就信息就容易存储在硬盘之中，当需要读取文件的时候，从硬盘中读取数据，然后再将其反序列化便可以得到原始的数据。在Python程序运行中得到了一些字符串、列表、字典等数据，想要长久的保存下来，方便以后
    • python pickle 模块的使用 weixin_30305735 pythonjson数据结构与算法
      用于序列化的两个模块json：用于字符串和Python数据类型间进行转换pickle:用于python特有的类型和python的数据类型间进行转换json提供四个功能：dumps,dump,loads,loadpickle提供四个功能：dumps,dump,loads,loadpickle可以存储什么类型的数据呢？所有python支持的原生类型：布尔值，整数，浮点数，复数，字符串，字节，None。
    • Python中Pickle库 SteveKenny Pythonpython开发语言后端
      文章目录简介函数dumpsloadsdumpload简介Python中有个序列化过程叫作pickle，它能够实现任意对象与文本之间的相互转化，也可以实现任意对象与二进制之间的相互转化。也就是说，pickle可以实现Python对象的存储及恢复。pickle模块的应用很简单，只有四个方法dumps()：将Python中的对象序列化成二进制对象，并返回loads()：读取给定的二进制对象数据，并将其转
    • python中的序列化 fate252 Pythonpython序列化picklejson
      序列化（picking）把不方便存储或不可传输的对象转换为可存储或可传输的数据的过程称之为序列化。序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。反过来，把从磁盘或网络得到的序列化数据重建为对象的过程称之为反序列化（unpickling）。序列化和反序列化实际是为了通用存储或传输而编码和解码的过程。举例：网络游戏mabi洛奇的存档功能，当每次不想玩的时候就可以存档到服务器
    • Java中String类型的字符串转换成JSON对象和JSON字符串 柳小同学 javajson
      提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、Java字符串String类型转换成Json对象二、序列化1.引入fastjson依赖2.序列化的使用三、反序列化1.引入fastjson依赖2.反序列化的使用一、Java字符串String类型转换成Json对象在开发中会遇到接收前端传入一个Json对象，然后Json对象里面又有一个字段是Json字符串，例如{"code"
    • Hive（3）：Hive客户端使用 不死鸟.亚历山大.狼崽子 hivehive大数据hadoop
      1HiveClient、HiveBeelineClientHive发展至今，总共历经了两代客户端工具。第一代客户端（deprecated不推荐使用）：$HIVE_HOME/bin/hive,是一个shellUtil。主要功能：一是可用于以交互或批处理模式运行Hive查询；二是用于Hive相关服务的启动，比如metastore服务。第二代客户端（recommended推荐使用）：$HIVE_HOME
    • Shell变量获取Hive返回值 for your wish HiveShell
      while循环的使用，if循环的使用，执行hive语句并赋值给shell变量grep过滤无效字符的使用hive.cli.print.header可以控制在cli中是否显示表的列名counts0=`hive-e"sethive.cli.print.header=false;selectcasewhencount(1)>0then1else0endcountfromdwb.mid_organizati
    • 开发者关心的那些事 圣子足道 ios游戏编程apple支付
      我要在app里添加IAP，必须要注册自己的产品标识符（product identifiers）。产品标识符是什么？ 产品标识符（Product Identifiers）是一串字符串，它用来识别你在应用内贩卖的每件商品。App Store用产品标识符来检索产品信息，标识符只能包含大小写字母（A-Z）、数字（0-9）、下划线（-）、以及圆点(.)。你可以任意排列这些元素，但我们建议你创建标识符时使用
    • 负载均衡器技术Nginx和F5的优缺点对比 bijian1013 nginxF5
              对于数据流量过大的网络中，往往单一设备无法承担，需要多台设备进行数据分流，而负载均衡器就是用来将数据分流到多台设备的一个转发器。         目前有许多不同的负载均衡技术用以满足不同的应用需求，如软/硬件负载均衡、本地/全局负载均衡、更高
    • LeetCode[Math] - #9 Palindrome Number Cwind javaAlgorithm题解LeetCodeMath
      原题链接：#9 Palindrome Number   要求： 判断一个整数是否是回文数，不要使用额外的存储空间   难度：简单   分析： 题目限制不允许使用额外的存储空间应指不允许使用O(n)的内存空间，O(1)的内存用于存储中间结果是可以接受的。于是考虑将该整型数反转，然后与原数字进行比较。 注：没有看到有关负数是否可以是回文数的明确结论，例如
    • 画图板的基本实现 15700786134 画图板
       要实现画图板的基本功能，除了在qq登陆界面中用到的组件和方法外，还需要添加鼠标监听器，和接口实现。 首先，需要显示一个JFrame界面： public class DrameFrame extends JFrame {              //显示
    • linux的ps命令 被触发 linux
      Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。 要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行
    • Android 音乐播放器 下一曲 连续跳几首歌 肆无忌惮_ android
      最近在写安卓音乐播放器的时候遇到个问题。在MediaPlayer播放结束时会回调 player.setOnCompletionListener(new OnCompletionListener() { @Override public void onCompletion(MediaPlayer mp) { mp.reset(); Log.i("H
    • java导出txt文件的例子 知了ing javaservlet
      代码很简单就一个servlet,如下： package com.eastcom.servlet; import java.io.BufferedOutputStream; import java.io.IOException; import java.net.URLEncoder; import java.sql.Connection; import java.sql.Resu
    • Scala stack试玩, 提高第三方依赖下载速度 矮蛋蛋 scalasbt
      原文地址： http://segmentfault.com/a/1190000002894524 sbt下载速度实在是惨不忍睹, 需要做些配置优化 下载typesafe离线包, 保存为ivy本地库 wget http://downloads.typesafe.com/typesafe-activator/1.3.4/typesafe-activator-1.3.4.zip 解压r
    • phantomjs安装(linux，附带环境变量设置) ，以及casperjs安装。 alleni123 linuxspider
      1. 首先从官网 http://phantomjs.org/下载phantomjs压缩包，解压缩到/root/phantomjs文件夹。 2. 安装依赖 sudo yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6 3. 配置环境变量 vi /etc/profil
    • JAVA IO FileInputStream和FileOutputStream，字节流的打包输出 百合不是茶 java核心思想JAVA IO操作字节流
      在程序设计语言中，数据的保存是基本，如果某程序语言不能保存数据那么该语言是不可能存在的，JAVA是当今最流行的面向对象设计语言之一，在保存数据中也有自己独特的一面，字节流和字符流 1，字节流是由字节构成的，字符流是由字符构成的 字节流和字符流都是继承的InputStream和OutPutStream ,java中两种最基本的就是字节流和字符流   类 FileInputStream
    • Spring基础实例（依赖注入和控制反转） bijian1013 spring
      前提条件：在http://www.springsource.org/download网站上下载Spring框架，并将spring.jar、log4j-1.2.15.jar、commons-logging.jar加载至工程1.武器接口 package com.bijian.spring.base3; public interface Weapon { void kil
    • HR看重的十大技能 bijian1013 提升能力HR成长
          一个人掌握何种技能取决于他的兴趣、能力和聪明程度，也取决于他所能支配的资源以及制定的事业目标，拥有过硬技能的人有更多的工作机会。但是，由于经济发展前景不确定，掌握对你的事业有所帮助的技能显得尤为重要。以下是最受雇主欢迎的十种技能。 　　一、解决问题的能力 　　每天，我们都要在生活和工作中解决一些综合性的问题。那些能够发现问题、解决问题并迅速作出有效决
    • 【Thrift一】Thrift编译安装 bit1129 thrift
      什么是Thrift The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently and s
    • 【Avro三】Hadoop MapReduce读写Avro文件 bit1129 mapreduce
      Avro是Doug Cutting(此人绝对是神一般的存在）牵头开发的。 开发之初就是围绕着完善Hadoop生态系统的数据处理而开展的（使用Avro作为Hadoop MapReduce需要处理数据序列化和反序列化的场景）,因此Hadoop MapReduce集成Avro也就是自然而然的事情。 这个例子是一个简单的Hadoop MapReduce读取Avro格式的源文件进行计数统计，然后将计算结果
    • nginx定制500，502，503，504页面 ronin47 nginx　错误显示
      server { listen 80; error_page 500/500.html; error_page 502/502.html; error_page 503/503.html; error_page 504/504.html; location /test {return502;}} 配置很简单，和配
    • java-1.二叉查找树转为双向链表 bylijinnan 二叉查找树
      import java.util.ArrayList; import java.util.List; public class BSTreeToLinkedList { /* 把二元查找树转变成排序的双向链表 题目： 输入一棵二元查找树，将该二元查找树转换成一个排序的双向链表。 要求不能创建任何新的结点，只调整指针的指向。 10 / \ 6 14 / \
    • Netty源码学习-HTTP-tunnel bylijinnan javanetty
      Netty关于HTTP tunnel的说明： http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/socket/http/package-summary.html#package_description 这个说明有点太简略了 一个完整的例子在这里： https://github.com/bylijinnan
    • JSONUtil.serialize(map)和JSON.toJSONString(map)的区别 coder_xpf jqueryjsonmapval()
       JSONUtil.serialize(map)和JSON.toJSONString(map)的区别   数据库查询出来的map有一个字段为空   通过System.out.println()输出 JSONUtil.serialize(map)： {"one":"1","two":"nul
    • Hibernate缓存总结 cuishikuan 开源sshjavawebhibernate缓存三大框架
      一、为什么要用Hibernate缓存？ Hibernate是一个持久层框架，经常访问物理数据库。 为了降低应用程序对物理数据源访问的频次，从而提高应用程序的运行性能。 缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。   二、Hibernate缓存原理是怎样的？ Hibernate缓存包括两大类：Hib
    • CentOs6 dalan_123 centos
      首先su - 切换到root下面1、首先要先安装GCC GCC-C++ Openssl等以来模块：yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2、再安装ncurses模块yum -y install ncurses-develyum install ncurses-devel3、下载Erang
    • 10款用 jquery 实现滚动条至页面底端自动加载数据效果 dcj3sjt126com JavaScript
        无限滚动自动翻页可以说是web2.0时代的一项堪称伟大的技术，它让我们在浏览页面的时候只需要把滚动条拉到网页底部就能自动显示下一页的结果，改变了一直以来只能通过点击下一页来翻页这种常规做法。 无限滚动自动翻页技术的鼻祖是微博的先驱：推特(twitter)，后来必应图片搜索、谷歌图片搜索、google reader、箱包批发网等纷纷抄袭了这一项技术，于是靠滚动浏览器滚动条
    • ImageButton去边框&Button或者ImageButton的背景透明 dcj3sjt126com imagebutton
      在ImageButton中载入图片后，很多人会觉得有图片周围的白边会影响到美观，其实解决这个问题有两种方法 一种方法是将ImageButton的背景改为所需要的图片。如：android:background="@drawable/XXX" 第二种方法就是将ImageButton背景改为透明，这个方法更常用 在XML里；    <ImageBut
    • JSP之c:foreach eksliang jspforearch
      原文出自：http://www.cnblogs.com/draem0507/archive/2012/09/24/2699745.html <c:forEach>标签用于通用数据循环，它有以下属性 属 性 描 述 是否必须 缺省值 items 进行循环的项目 否 无 begin 开始条件 否 0 end 结束条件 否 集合中的最后一个项目 step 步长 否 1
    • Android实现主动连接蓝牙耳机 gqdy365 android
      在Android程序中可以实现自动扫描蓝牙、配对蓝牙、建立数据通道。蓝牙分不同类型，这篇文字只讨论如何与蓝牙耳机连接。 大致可以分三步： 一、扫描蓝牙设备： 1、注册并监听广播： BluetoothAdapter.ACTION_DISCOVERY_STARTED BluetoothDevice.ACTION_FOUND BluetoothAdapter.ACTION_DIS
    • android学习轨迹之四：org.json.JSONException: No value for hyz301 json
      org.json.JSONException: No value for items  在JSON解析中会遇到一种错误，很常见的错误   06-21 12:19:08.714 2098-2127/com.jikexueyuan.secret I/System.out﹕ Result:{"status":1,"page":1,&
    • 干货分享：从零开始学编程 系列汇总 justjavac 编程
      程序员总爱重新发明轮子，于是做了要给轮子汇总。 从零开始写个编译器吧系列 (知乎专栏) 从零开始写一个简单的操作系统 (伯乐在线) 从零开始写JavaScript框架 (图灵社区) 从零开始写jQuery框架 (蓝色理想 ) 从零开始nodejs系列文章 (粉丝日志) 从零开始编写网络游戏 
    • jquery-autocomplete 使用手册 macroli jqueryAjax脚本
      jquery-autocomplete学习 一、用前必备 官方网站：http://bassistance.de/jquery-plugins/jquery-plugin-autocomplete/ 当前版本：1.1 需要JQuery版本：1.2.6 二、使用 <script src="./jquery-1.3.2.js" type="text/ja
    • PLSQL-Developer或者Navicat等工具连接远程oracle数据库的详细配置以及数据库编码的修改 超声波 oracleplsql
      　　在服务器上将Oracle安装好之后接下来要做的就是通过本地机器来远程连接服务器端的oracle数据库，常用的客户端连接工具就是PLSQL-Developer或者Navicat这些工具了。刚开始也是各种报错，什么TNS:no listener;TNS:lost connection;TNS:target hosts...花了一天的时间终于让PLSQL-Developer和Navicat等这些客户
    • 数据仓库数据模型之：极限存储--历史拉链表 superlxw1234 极限存储数据仓库数据模型拉链历史表
      在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，    比如，查看某一个用户在过去某一段时间内，更新过几次等等; 4. 变化的比例和频率不是很大，比如，总共有10
    • 10点睛Spring MVC4.1-全局异常处理 wiselyman spring mvc
      10.1 全局异常处理 使用@ControllerAdvice注解来实现全局异常处理; 使用@ControllerAdvice的属性缩小处理范围 10.2 演示 演示控制器 package com.wisely.web; import org.springframework.stereotype.Controller; import org.spring