caiandyong
caiandyong

Pig Latin示例

1.创建并上传数据到HDFS

Pig Latin示例_第1张图片


2.加载

records = LOAD 'hdfs://127.0.0.1:8020/pig/pigtestdata' AS (year:chararray,temperature:int,quality:int);
DUMP records;
DESCRIBE records
 
  
 
  
 
  
 
  
 
  Pig Latin示例_第2张图片 
  
 
  
3.过滤
 
   
  
filter_records = FILTER records BY temperature >= 0 AND quality == 2;
DUMP filter_records
 
  
 
  
 
  Pig Latin示例_第3张图片 
  
 
  

 
  
4.分组
 
   
  
group_records = GROUP records BY year;
DUMP group
DESCRIBE group_records
 
  
 
  Pig Latin示例_第4张图片 
  
 
  
5.数据变换
 
   
  
max_temperature = FOREACH group_records GENERATE group ,MAX(records.temperature);
DUMP max_temperature
 
  
 
  
 
   
  
 
  

 
  

 
  

 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(Hbase-Hive-pig)

        

            

                
    
                                
  • Linux的Initrd机制
                                    被触发
linux
                                    
    Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin
    
                                
    • 
                                
  • maven本地仓库路径修改
                                    bitcarter
maven
                                    
    默认maven本地仓库路径：C:\Users\Administrator\.m2 
 
修改maven本地仓库路径方法： 
    
1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml 
    
2.找到 
       
    
                                
    • 
                                
  • XSD和XML中的命名空间
                                    darrenzhu
xmlxsdschemanamespace命名空间
                                    
    http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml 

http://blog.csdn.net/wanghuan203/article/details/9203621 

http://blog.csdn.net/wanghuan203/article/details/9204337 
 

http://www.cn
    
                                
    • 
                                
  • Java 求素数运算
                                    周凡杨
java算法素数
                                    
    网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。   
第一种：    
  
原理: 6N(+-)1法              任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)    
    
                                
    • 
                                
  • java 单例模式
                                    g21121
java
                                    
    想必单例模式大家都不会陌生，有如下两种方式来实现单例模式： 
  
class Singleton {
  private static Singleton instance=new Singleton();
  private Singleton(){}
  static Singleton getInstance() {
      return instance;
  }
    
                                
    • 
                                
  • Linux下Mysql源码安装
                                    510888780
mysql
                                    
    1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz 
 
(1)创建mysql的安装目录及数据库存放目录       
解压缩下载的源码包，目录结构，特殊指定的目录除外： 
          
    
                                
    • 
                                
  • 32位和64位操作系统
                                    墙头上一根草
32位和64位操作系统
                                    
    32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了
    
                                
    • 
                                
  • 我的spring学习笔记10-轻量级_Spring框架
                                    aijuans
Spring 3
                                    
    一、问题提问： 
 
    → 请简单介绍一下什么是轻量级？ 
 
    轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。 
 
 
    
                                
    • 
                                
  • mongodb 环境搭建及简单CURD
                                    antlove
WebInstallcurdNoSQLmongo
                                    
    一 搭建mongodb环境 
1. 在mongo官网下载mongodb 
2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 
3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\
    
                                
    • 
                                
  • 数据字典和动态视图
                                    百合不是茶
oracle数据字典动态视图系统和对象权限
                                    
    数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭   数据字典中包含 
  
 
 数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 
 数据库为一
    
                                
    • 
                                
  • 多线程编程一般规则
                                    bijian1013
javathread多线程java多线程
                                    
           如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。 
       不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。 

    
                                
    • 
                                
  • 将文件或目录拷贝到另一个Linux系统的命令scp
                                    bijian1013
linuxunixscp
                                    
    一.功能说明        scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下：        scp 远程用户名@IP地址：文件的绝对路径
    
                                
    • 
                                
  • 【持久化框架MyBatis3五】MyBatis3一对多关联查询
                                    bit1129
Mybatis3
                                    
    以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。 
  示例数据：
  
  
地址表： 
  
CREATE TABLE ADDRESSES 
(
  ADDR_ID INT(11) NOT NULL AUTO_INCREMENT,
  STREET VAR
    
                                
    • 
                                
  • cookie状态判断引发的查找问题
                                    bitcarter
formcgi
                                    
    先说一下我们的业务背景： 
1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 
2.form中action是一个cgi服务 
3.后台cgi服务同时供PC，H5，APP 
4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题） 
 
问题：（折腾两天。。。。） 
1.PC端cgi服务正常调用，cookie判断没
    
                                
    • 
                                
  • 通过Nginx,Tomcat访问日志(access log)记录请求耗时
                                    ronin47

                                    
    一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 
nginx.conf使用配置方式： 
log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r
    
                                
    • 
                                
  • java-67- n个骰子的点数。 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。
                                    bylijinnan
java
                                    
    

public class ProbabilityOfDice {

	/**
	 * Q67 n个骰子的点数
	 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。
	 * 在以下求解过程中，我们把骰子看作是有序的。
	 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况
	 */
	private stati
    
                                
    • 
                                
  • 看别人的博客，觉得心情很好
                                    Cb123456
博客心情
                                    
       以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客: 
   职业规划: 
   http://www.iteye.com/blogs/subjects/zhiyeguihua 
  
   android学习: 
   1.http://byandby.i
    
                                
    • 
                                
  • [JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析
                                    comsci
工作流
                                    
     
    我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误 
 
     在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到
    
                                
    • 
                                
  • JS常用的事件及方法
                                    cwqcwqmax9
js
                                    
    事件 描述 
onactivate 当对象设置为活动元素时触发。 
onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 
onbeforeactivate 对象要被设置为当前元素前立即触发。 
onbeforecut 当选中区从文档中删除之前在源对象触发。 
onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即
    
                                
    • 
                                
  • 正则表达式验证日期格式
                                    dashuaifu
正则表达式IT其它java其它
                                    
                     正则表达式验证日期格式

function isDate(d){
 var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i);
 if(!v) {
  this.focus();
  return false;
 }
}
<input value="2000-8-8" onblu
    
                                
    • 
                                
  • Yii CModel.rules() 方法 、validate预定义完整列表、以及说说验证
                                    dcj3sjt126com
yii
                                    
    public array rules () {return} array 要调用 validate() 时应用的有效性规则。 返回属性的有效性规则。声明验证规则，应重写此方法。 每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation 
    
                                
    • 
                                
  • UITextAttributeTextColor = deprecated in iOS 7.0
                                    dcj3sjt126com
ios
                                    
    In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." 
Ins
    
                                
    • 
                                
  • 判断一个数是质数的几种方法
                                    EmmaZhao
Mathpython
                                    
    质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。 
判断一个数是质数的最简单的方法如下： 
 

def isPrime1(n):
	for i in range(2, n):
		if n % i == 0:
			return False
	return True
 
但是在上面的方法中有一些冗余的计算，所以
    
                                
    • 
                                
  • SpringSecurity工作原理小解读
                                    坏我一锅粥
SpringSecurity
                                    
     
   SecurityContextPersistenceFilter 
   ConcurrentSessionFilter 
   WebAsyncManagerIntegrationFilter 
   HeaderWriterFilter 
   CsrfFilter 
   LogoutFilter 
   Use
    
                                
    • 
                                
  • JS实现自适应宽度的Tag切换
                                    ini
JavaScripthtmlWebcsshtml5
                                    
    效果体验：http://hovertree.com/texiao/js/3.htm 
  
该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 
HTML文件代码： 
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml"
    
                                
    • 
                                
  • Hbase Rest API : 数据查询
                                    kane_xie
RESThbase
                                    
    hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。 
  
启动命令：./bin/hbase rest s
    
                                
    • 
                                
  • JQuery实现鼠标拖动元素移动位置（源码+注释）
                                    明子健
jqueryjs源码拖动鼠标
                                    
    欢迎讨论指正！ 
  
print.html代码： 
<!DOCTYPE html>
<html>
<head>
<meta http-equiv=Content-Type content="text/html;charset=utf-8">
<title>发票打印</title>
&l
    
                                
    • 
                                
  • Postgresql 连表更新字段语法 update
                                    qifeifei
PostgreSQL
                                    
    下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： 
UPDATE tops_visa.visa_order
SET op_audit_abort_pass_date = now()
FROM
	tops_visa.visa_order as  t1
INNER JOIN tops_visa.visa_visitor as t2 
ON t1. 
    
                                
    • 
                                
  • 将redis,memcache结合使用的方案?
                                    tcrct
rediscache
                                    
    公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi
    
                                
    • 
                                
  • 开发中遇到的诡异的bug
                                    wudixiaotie
bug
                                    
    今天我们服务器组遇到个问题： 
我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他