290434409
290434409

Hadoop之HBase学习笔记

阅读更多

本文主要是一些具体的java代码以及少量的概念描述，至于具体的概念可以详细百度

 

1、namespace

   HBase namespace特性是对表资源进行隔离的一种技术，隔离技术决定了HBase能否实现资源统一化管理的关键，提高了整体的安全性。

 

   *配额管理：限制一个namespace使用的资源，如：region、table
   *命名空间安全管理：提供了多租户安全管理
   *Region服务器组：保证了数据隔离性，可以将一个namespace或者table固定在一个regionServer上

 

1.1 预定义的namespace
      *hbase 系统命名空间，包含hbase的内部表
      *default 默认命名空间

 

1.2 namespace的DDL操作

1.2.1 创建：create_namespace 'zhw 

hbase(main):004:0> create_namespace 'zhw'
0 row(s) in 0.1210 seconds

1.2.2 删除：drop_namespace 'zhw'

 

hbase(main):006:0> drop_namespace 'zhw'
0 row(s) in 0.1000 seconds

1.2.3 查看：list_namespace

 

 

hbase(main):009:0> list_namespace
NAMESPACE
default
hbase
zhw
3 row(s) in 0.0770 seconds

1.2.4 权限：

 

 

grant  [ [ [  ] ] ]
revoke   [ 
 [  [  ] ] ]
user_permission 
  *注意*权限需要进行启用：hbase-site.xml
 
 

       hbase.security.authorization
       true


      hbase.coprocessor.master.classes
      
             org.apache.hadoop.hbase.security.access.AccessController
      


       hbase.coprocessor.region.classes
       
            org.apache.hadoop.hbase.security.token.TokenProvider,org.apache.hadoop.hbase.security.access.AccessController
      


 
 
2、具体代码：
2.1 全局配置（此文代码均基于这个配置的），由于使用Zookeeper，所以只需要两个参数就ok：
 
Configuration config=new Configuration();
config.set("hbase.zookeeper.quorum", "10.8.177.204");
config.set("hbase.zookeeper.property.clientPort", "2181");
HBaseAdmin admin = new HBaseAdmin(config);
2.2创建表
 
HTableDescriptor tDesc=new HTableDescriptor(TableName.valueOf(tableName));
HColumnDescriptor cDesc=new HColumnDescriptor(family);
tDesc.addFamily(cDesc);
admin.createTable(tabDesc);
admin.close();
 常用：
    设置region的store文件最大值：tDesc.setMaxFileSize(512);默认256M
    设置region内存中的最大值：tDesc.setMemStoreFlushSize(512)默认64M
    设置列族的数据保存时长：cDesc.setTimeToLive(5184000);单位秒
    设置列族数据保存再内存中：cDsc.setInMemory(true);可以提高响应速度
    设置列族数据保存的版本：setMaxVersions(10)  setMinVersions(5)
    WAL日志级别：枚举类Durability
        HTableDescriptor|Delete|Put对象.setDurability(Durability.FSYNC_WAL );//安全性高，影响性能
        Durability.USE_DEFAULT：use HBase's global default value (SYNC_WAL)
2.3 删除表
admin.disableTable(tableName);
admin.deleteTable(tableName);
 
2.4 修改表
        admin.disableTable(table.getTableName());
        for(String rmFam:removeFamilies){
            table.removeFamily(Bytes.toBytes(rmFam));
            System.err.println(" - deleted family " + rmFam);
        }
        for(HColumnDescriptor family:addCols){
            table.addFamily(family);
            System.err.println(" - added family " + family.getNameAsString());
        }
        admin.modifyTable(table.getTableName(),table);
        admin.enableTable(table.getTableName());
 
2.5 插入数据
public static void insert(String family,String[] qualifiers,String[] values,Put put){
        for(int i=0;i 
  
 
 
  
3、查询数据
 
  
3.1 按RowKey查询，核心类：Get
 
  
 
 
  
Get get=new Get(Bytes.toBytes(id));指定RowKey
get.addFamily(Bytes.toBytes(family));//指定列族 可选
get.addColumn(Bytes.toBytes(family),Bytes.toBytes(qualifier));//指定列
get.setTimeStamp(1444810207364L);//指定时间戳
get.setMaxVersions() ;//获取所有版本
 
  
 取值:
 
  
 
 
  
 
 
  
Result Cell CellUtil  //取值处理
Bytes.toString(CellUtil.cloneFamily(cell)) //
 
  
 
 
  
 
 
  
3.2 全表扫描，核心类：Scan
 
  
 
 
  
Scan scan=new Scan();
scan.addFamily(Bytes.toBytes(family));
scan.addColumn(Bytes.toBytes(family),Bytes.toBytes(col));
 
  
 取值：
 
  
 
 
  
 
 
  
ResultScanner rs=table.getScanner(scan);//后续上同
 
  
 
 
  
 
 
  
4、过滤器
 
  
4.1 过滤器比较器
 
  
RegexStringComparator
SubstringComparator
BinaryComparator
BinaryPrefixComparator
NullComparator
BitComparator
 
  
4.2 常用过滤器
 
  
SingleColumnValueFilter
FamilyFilter
QualifierFilter
RowFilter
PageFilter
... ...
 
  
    
 
  
4.3 过滤器包装：
 
  
SkipFilter//类似于对过滤器的非操作
FilterList//可以进行过滤器的【与|或】操作
 
  
 
 
  
5、异常：
 
  
代码中出现了Retrying connec to server...
 
  
多半是HBase的某个HRegionServer有问题了.
 
  
 
 
  
6、以上代码亲测全部通过，具体代码见附件.

7、参考资料
 
  
http://blog.csdn.net/opensure/article/details/46470969
http://blog.csdn.net/wulantian/article/details/41011297
http://www.cloudera.com/content/cloudera/en/documentation/core/v5-2-x/topics/cdh_sg_hbase_authorization.html
http://blog.csdn.net/u010967382/article/details/37653177
http://hbase.apache.org/0.94/book.html
 
  
 
 
  
 
 
  
     
   
  • Hadoop之HBase学习笔记_第1张图片
    •  
   
  • 大小: 36 KB
    •  
  
 
  
     
   
  • H-HI-M.zip (10.1 KB)
    •  
   
  • 下载次数: 0
    •  
  
 
  
     
   
  • 查看图片附件
    •  
  
 
 
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(hbase,hadoop,HBase,Hbase)

        

            

                
    
                    
  • 【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据
                        forest_long
大数据技术入门到21天通关大数据hivehadoop开发语言后端数据仓库
                        
    一、环境准备hive安装部署参考：【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建二、hive加载Json格式数据1、数据准备vistu.json[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]上传到hdfshadoopfs-putstu.j
    
                    
    • 
                    
  • cascading 入门 （一）
                        zhumin726

                        
    1cascading是什么cascading是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用，而不用考虑背后的MapReduce。Cascading目前依赖于Hadoop提供存储和执行架构，但是CascadingAPI为开发者隔离了Hadoop的技术细节，提供了不需要改变初始流程工作流定义就可以在不同的计算框架内运行的能力。
    
                    
    • 
                    
  • 搭建单机伪分布式Hadoop+spark+scala
                        啥也不会0-0
分布式hadoopspark
                        
    目录一、准备环境包：二、创建centos7虚拟机并配置ip三、链接Xshell并上环境包四、安装JDK1.解压jdk2.设置JAVA环境变量3.执行source使设置生效：4.检查JAVA是否可用。五、免密登陆1.创建ssh秘钥，输入如下命令，生成公私密钥2.将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出六、安装Hadoop软件1.解压hadoo
    
                    
    • 
                    
  • Hadoop 与 Spark：大数据处理的比较
                        王子良.
大数据经验分享hadoopspark大数据
                        
    欢迎来到我的博客！非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长。博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
    
                    
    • 
                    
  • 虚拟机VMware Workstation Pro安装集群+hadoop+spark+scala
                        落枫兮
hadoopsparkscala
                        
    参考资料：参考视频教程链接：大数据实验虚拟机安装Hadoop和Spark_哔哩哔哩_bilibiliup主：孤独时代的硕硕namenode安装选择镜像、路径、磁盘（最好不要c盘）、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置。选择语言、时区、软件、位置和网络
    
                    
    • 
                    
  • Hadoop分布式文件系统-HDFS架构
                        Fancs2024
hadoophadoophdfs
                        
    一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。主要是为了解决大数据如何存储的问题，跟一般文件系统不同的是，它可以通过扩展服务器结点来扩充存储量，可以用低成本的硬件构建出支持高吞吐量的文件系统。二、HDFS的特点高容错性：一个HDFS集群会包含非常多的结点，HDFS将文件分块存储，并且会保存多个副本到不同的机器节点上以保证数据的安全，而且
    
                    
    • 
                    
  • TiDB 对 Hadoop 的影响：大数据时代的新选择
                        狮歌~资深攻城狮
tidb数据仓库数据分析数据库分布式
                        
    TiDB对Hadoop的影响：大数据时代的新选择随着大数据时代的到来，各种处理和存储海量数据的技术应运而生。Hadoop和TiDB都是这个时代的代表性技术，但它们的设计初衷、使用场景和应用方式却有所不同。那么，TiDB作为一个分布式数据库，它对传统的Hadoop生态系统产生了哪些影响呢？今天，我们就来聊聊这个话题。Hadoop简介：大数据的“老牌劲旅”首先，我们需要了解一下Hadoop的背景。Ha
    
                    
    • 
                    
  • MySQL、HBase 和 Elasticsearch：特点与区别详解
                        一休哥助手
mysqlhbaseelasticsearch
                        
    引言随着大数据和分布式计算的快速发展，数据库系统已从传统的关系型数据库（RDBMS）扩展到多种新型数据存储技术，包括NoSQL数据库和搜索引擎等。MySQL、HBase和Elasticsearch是其中三种非常常见的数据存储系统，它们在各自的领域都有着重要的应用。MySQL作为传统的关系型数据库，HBase则是一个分布式、可扩展的NoSQL数据库，而Elasticsearch则是一个分布式的搜索引
    
                    
    • 
                    
  • Apache DolphinScheduler 限制秒级别的定时调度
                        
数据库
                        
    背景ApacheDolphinScheduler定时任务配置采用的7位Crontab表达式，分别对应秒、分、时、月天、月、周天、年。在团队日常开发工作中，工作流的定时调度一般不会细化到秒级别。但历史上出现过因配置的疏忽大意而产生故障时间，如应该配置每分钟执行的工作流被配置长了每秒执行，造成短时间内产生大量工作流实例，对ApacheDolphinScheduler服务可用性和提交任务的Hadoop集
    
                    
    • 
                    
  • 有了TiDB，是否还需要“散装”大数据组件？
                        狮歌~资深攻城狮
tidb数据仓库数据分析数据库分布式
                        
    有了TiDB，是否还需要“散装”大数据组件？最近和同事们讨论一个问题：在大数据应用日益增多的今天，如果使用了TiDB这样的一体化数据库，还需要使用那些传统的大数据组件（比如Hadoop、Spark等）吗？相信大家在公司或项目中，常常遇到需要处理大量数据的场景，特别是互联网、金融、电商等行业。随着TiDB的兴起，它作为一款分布式关系型数据库，似乎能够解决不少大数据问题。那么，问题来了：如果我们已经选
    
                    
    • 
                    
  • Hadoop是什么，怎么部署安装？
                        狮歌~资深攻城狮
hadoop大数据分布式
                        
    Hadoop是什么？Hadoop是一个由Apache基金会开发的开源分布式系统基础架构，主要用于处理和存储大规模数据集。它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。HDFS提供了一个高吞吐量的数据访问接口，允许用户在集群中存储大量数据。它通过将文件分割成多个块并分布在集群的不同节点上来实现高可靠性和可
    
                    
    • 
                    
  • azkaban的概况
                        北京小峻
大数据azkabanmysql数据库
                        
    Azkaban的性质azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器可以调度任何任务,只要你的任务能用脚本启动azkaban的类似的产品还有很多,例如hadoop生态中原生的:oozie,areflow局限性目前azkaban只支持mysql作为元数据管理系统,必须安装mysql服务器角色executorserver有好几个是真正执行的程序,调度用户的任务
    
                    
    • 
                    
  • 基于hadoop的协同过滤算法电影推荐系统的设计与实现
                        AI天才研究院
大数据AI人工智能AI大模型企业级应用开发实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
                        
    基于hadoop的协同过滤算法电影推荐系统的设计与实现文章目录基于hadoop的协同过滤算法电影推荐系统的设计与实现1.背景介绍1.1电影推荐系统的重要性1.2传统推荐系统的缺陷1.3Hadoop在大数据处理中的作用2.核心概念与联系2.1协同过滤算法2.2基于用户的协同过滤2.3基于项目的协同过滤2.4Hadoop在协同过滤算法中的应用3.核心算法原理具体操作步骤3.1基于用户的协同过滤算法流程
    
                    
    • 
                    
  • hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
                        QQ-1305637939
毕业设计大数据毕设计算机毕业设计hivespringboot爬虫
                        
    hive电影数据分析Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop集群环境3.MR数据清洗data.csv4.Hive汇总处理,将Hive处理的结果数据保存到本地Mysql数据库中5.Springboot+Vu
    
                    
    • 
                    
  • hadoop电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
                        QQ-1305637939
计算机毕业设计毕业设计大数据毕设hadoopspringboot爬虫
                        
    全套视频教程全套开发文档hadoop电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【Hadoop项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop集群环境3.data.csv数据清洗4.MR数据汇总处理,将Reduce的结果数据保存到本地Mysql数据库中5.Springboot
    
                    
    • 
                    
  • spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
                        QQ-1305637939
毕业设计大数据毕设计算机毕业设计sparkspringboot爬虫大数据电影推荐电影分析
                        
    spark电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop集群环境3.MR数据清洗data.csv4.Spark汇总处理,将Spark处理的结果数据保存到本地Mysql数据库中5.Springboo
    
                    
    • 
                    
  • hadoop图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
                        QQ-1305637939
毕业设计大数据毕设图书数据分析hadoopspringboot爬虫
                        
    hadoop图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql前后端分离2.Echarts图表统计数据,直观展示数据情况3.发表评论后，用户可以回复评论,回复的评论可以被再次回复,一级评论可以添加图片附件4.爬虫图书数据1万+5.推荐图书列表展示,推荐图
    
                    
    • 
                    
  • 2024年最全（一）大数据---Hadoop整体介绍（架构层）----（组件，并发知识体系大全
                        2401_84586689
程序员大数据hadoop架构
                        
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Hadoop方案一、大数据介绍============
    
                    
    • 
                    
  • 大数据分析专业毕业设计最新最全选题精华汇总--持续更新中⑤
                        源码空间站11
pythondjango大数据分析数据可视化hadoophive大数据分析毕设
                        
    目录前言开题指导建议更多精选选题选题帮助最后前言大家好,这里是源码空间站学长大数据分析专业毕业设计毕设专题!大四是整个大学期间最忙碌的时光，一边要忙着准备考研、考公、考教资或者实习为毕业后面临的升学就业做准备,一边要为毕业设计耗费大量精力。学长给大家整理了大数据分析专业最新精选选题，如遇选题困难或选题有任何疑问，都可以问学长哦(见文末)!以下是学长精心整理的一些选题:21.基于Hadoop和Spa
    
                    
    • 
                    
  • Hadoop 常用命令
                        ZenPower
hadoop大数据分布式
                        
    查看指定目录下的文件及文件夹hadoopfs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小（单位Byte）hadoopfs-du/user/hive/warehouse#文件大小（单位人性化）hadoopfs-du-h/user/hive/warehouse#文件大小（只显示汇总）hadoopfs-du-s/user/hive/warehouse删除指定
    
                    
    • 
                    
  • hadoop常用命令汇总
                        m0_67402026
javajava后端
                        
    1、查看目录下的文件列表：hadoopfs–ls[文件目录]hadoopfs-ls-h/lance2、将本机文件夹存储至hadoop上：hadoopfs–put[本机目录][hadoop目录]hadoopfs-putlance/3、在hadoop指定目录内创建新目录：hadoopfs–mkdir[目录]hadoopfs-mkdir/lance4、在hadoop指定目录下新建一个文件，使用touch
    
                    
    • 
                    
  • hadoop常用命令
                        我要用代码向我喜欢的女孩表白
hadoopnpm大数据
                        
    Yarn查看提交到资源调度器的任务（任何用yarn资源的都可以看，比如spark、tez、mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs查看hdfs目录hdfsdfs-ls/（查看本集群的目录）hdfsdfs-lshdfs://i
    
                    
    • 
                    
  • 生成目录结构（tree）
                        刘小二Start
编辑器
                        
    生成目录结构（tree）本操作使用场景：MacOS，Homebrew1.安装（tree）工具brewinstalltree2.Tree操作说明安装完成后，可直接运行：tree，既可自动生成当前目录文件下目录结构。输入treehelp可查看tree项目可操作命令，具体命令结构如下：$tree--helpusage:tree[-adfghilnpqrstuvxACDFNS][-HbaseHREF][-
    
                    
    • 
                    
  • Kylin入门教程
                        -龙川-
介绍学习笔记kylin
                        
    引言ApacheKylin是一个开源的分布式分析引擎，提供Hadoop上的多维分析（OLAP）能力，使得超大规模数据集的实时查询和分析成为可能。它通过预计算数据立方体来加速查询，使得复杂查询可以在亚秒级响应。本文将详细介绍Kylin的基本概念、安装与配置、基本操作及高级功能，帮助你全面掌握这款强大的数据分析工具。第一部分：Kylin简介1.1什么是Kylin？Kylin是由eBay开发并捐赠给Ap
    
                    
    • 
                    
  • flume系列之：flume落cos
                        快乐骑行^_^
日常分享专栏flume系列
                        
    flume系列之：flume落cos一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka数据通过Flume存储到HDFS或COSflumetocos使用指南二、安装cosjar包将对应hadoop版本的hadoop-cos的jar包(hadoop-cos-{hadoop.ve
    
                    
    • 
                    
  • Hadoop 和 Spark 的内存管理机制分析
                        王子良.
经验分享hadoopspark大数据
                        
    欢迎来到我的博客！非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长。博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
    
                    
    • 
                    
  • SS00023.PBpositions——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|
                        yanqi_vip
数据库hadoophive大数据hdfs
                        
    一、Griffin编译准备###---软件解压缩[root@hadoop02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software/griffin-griffin-0.5.0.zip[root@hadoop02~]#cd/opt/yanqi/software/[root@hadoop02software]#unzi
    
                    
    • 
                    
  • 解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告
                        克里斯蒂亚诺罗纳尔多阿维罗
hadoop
                        
    这个警告意味着Hadoop在加载本地本机库时遇到了问题。通常情况下，Hadoop会尝试加载本地的本机库以提高性能，但是如果找不到适合你的操作系统和架构的本地库，它会退而使用内置的Java类来模拟所需的功能。虽然这个警告会影响Hadoop的性能，但它并不会导致Hadoop无法正常工作。你仍然可以使用Hadoop，但可能会遇到性能上的损失。解决方法：在Hadoop中，配置'java.library.p
    
                    
    • 
                    
  • Hive 数据类型全解析：大数据开发者的实用指南
                        大鳥
sqlhive数据仓库
                        
    在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。而理解Hive的数据类型是有效使用Hive的基础，本文将深入探讨Hive的数据类型，帮助大家更好地掌握Hive的使用。Hive数据类型概述Hive支持多种数据类型，主要可分为数值类型、日期/时间类型、字符类型、Misc类型以及复杂类型。这些数据类型为存储和处理各种不同格式的数据提供了有力的支持。以
    
                    
    • 
                    
  • Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）
                        青云交
大数据新视界Java大视界HDFSJava流代码示例性能优化读写操作大数据Hadoopjava
                        
    亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
    
                    
    • 
                                
  • 如何用ruby来写hadoop的mapreduce并生成jar包
                                    wudixiaotie
mapreduce
                                    
    ruby来写hadoop的mapreduce，我用的方法是rubydoop。怎么配置环境呢： 
1.安装rvm： 
    不说了 网上有 
2.安装ruby： 
    由于我以前是做ruby的，所以习惯性的先安装了ruby，起码调试起来比jruby快多了。 
3.安装jruby： 
    rvm install jruby然后等待安
    
                                
    • 
                                
  • java编程思想 -- 访问控制权限
                                    百合不是茶
java访问控制权限单例模式
                                    
    访问权限是java中一个比较中要的知识点,它规定者什么方法可以访问,什么不可以访问 
  
一:包访问权限; 
  
自定义包: 
package com.wj.control;
//包
public class Demo {
  //定义一个无参的方法
	public void DemoPackage(){
		System.out.println("调用
    
                                
    • 
                                
  • [生物与医学]请审慎食用小龙虾
                                    comsci
生物
                                    
     
     现在的餐馆里面出售的小龙虾,有一些是在野外捕捉的,这些小龙虾身体里面可能带有某些病毒和细菌,人食用以后可能会导致一些疾病,严重的甚至会死亡..... 
 
     所以,参加聚餐的时候,最好不要点小龙虾...就吃养殖的猪肉,牛肉,羊肉和鱼,等动物蛋白质 
    
    
                                
    • 
                                
  • org.apache.jasper.JasperException: Unable to compile class for JSP:
                                    商人shang
maven2.2jdk1.8
                                    
    环境： jdk1.8    maven  tomcat7-maven-plugin  2.0 
原因： tomcat7-maven-plugin  2.0 不知吃 jdk 1.8，换成 tomcat7-maven-plugin  2.2就行，即 
  
  
<plugin>
				
    
                                
    • 
                                
  • 你的垃圾你处理掉了吗?GC
                                    oloz
GC
                                    
    前序:本人菜鸟，此文研究学习来自网络，各位牛牛多指教　 
 
 
 
1.垃圾收集算法的核心思想 
　　Java语言建立了垃圾收集机制，用以跟踪正在使用的对象和发现并回收不再使用(引用)的对象。该机制可以有效防范动态内存分配中可能发生的两个危险：因内存垃圾过多而引发的内存耗尽，以及不恰当的内存释放所造成的内存非法引用。 
　　垃圾收集算法的核心思想是：对虚拟机可用内存空间，即堆空间中的对象进行识别
    
                                
    • 
                                
  • shiro 和 SESSSION
                                    杨白白
shiro
                                    
    shiro 在web项目里默认使用的是web容器提供的session，也就是说shiro使用的session是web容器产生的，并不是自己产生的，在用于非web环境时可用其他来源代替。在web工程启动的时候它就和容器绑定在了一起，这是通过web.xml里面的shiroFilter实现的。通过session.getSession()方法会在浏览器cokkice产生JESSIONID，当关闭浏览器，此
    
                                
    • 
                                
  • 移动互联网终端 淘宝客如何实现盈利
                                    小桔子
移動客戶端淘客淘寶App
                                    
           2012年淘宝联盟平台为站长和淘宝客带来的分成收入突破30亿元，同比增长100%。而来自移动端的分成达1亿元，其中美丽说、蘑菇街、果库、口袋购物等App运营商分成近5000万元。 可以看出，虽然目前阶段PC端对于淘客而言仍旧是盈利的大头，但移动端已经呈现出爆发之势。而且这个势头将随着智能终端(手机，平板)的加速普及而更加迅猛
    
                                
    • 
                                
  • wordpress小工具制作
                                    aichenglong
wordpress小工具
                                    
    wordpress 使用侧边栏的小工具，很方便调整页面结构 
小工具的制作过程 
1 在自己的主题文件中新建一个文件夹(如widget)，在文件夹中创建一个php(AWP_posts-category.php) 
小工具是一个类,想侧边栏一样，还得使用代码注册，他才可以再后台使用，基本的代码一层不变 
<?php 
 class AWP_Post_Category extends WP_Wi
    
                                
    • 
                                
  • JS微信分享
                                    AILIKES
js
                                    
    // 所有功能必须包含在 WeixinApi.ready 中进行 
   WeixinApi.ready(function(Api) { 
       // 微信分享的数据 
           var wxData = { 
      &nb
    
                                
    • 
                                
  • 封装探讨
                                    百合不是茶
JAVA面向对象 封装
                                    
    //封装   属性 方法 将某些东西包装在一起，通过创建对象或使用静态的方法来调用，称为封装；封装其实就是有选择性地公开或隐藏某些信息，它解决了数据的安全性问题，增加代码的可读性和可维护性 
  
在 Aname类中申明三个属性，将其封装在一个类中：通过对象来调用 
  
例如   1： 
	//属性 将其设为私有
	姓名 name 可以公开

    
                                
    • 
                                
  • jquery radio/checkbox change事件不能触发的问题
                                    bijian1013
JavaScriptjquery
                                    
    我想让radio来控制当前我选择的是机动车还是特种车，如下所示：  
<html> 
<head> 
<script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js" type="text/javascript"><
    
                                
    • 
                                
  • AngularJS中安全性措施
                                    bijian1013
JavaScriptAngularJS安全性XSRFJSON漏洞
                                    
            在使用web应用中，安全性是应该首要考虑的一个问题。AngularJS提供了一些辅助机制，用来防护来自两个常见攻击方向的网络攻击。 
一.JSON漏洞 
        当使用一个GET请求获取JSON数组信息的时候（尤其是当这一信息非常敏感，
    
                                
    • 
                                
  • [Maven学习笔记九]Maven发布web项目
                                    bit1129
maven
                                    
    基于Maven的web项目的标准项目结构 
user-project 
    user-core 
    user-service 
    user-web 
       src 
     
    
                                
    • 
                                
  • 【Hive七】Hive用户自定义聚合函数(UDAF)
                                    bit1129
hive
                                    
    用户自定义聚合函数，用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。 
问题：UDF也可以提供输入多个参数然后输出一个结果的运算，比如加法运算add(3，5)，add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么？ 
  
Double evaluate(Double a, Double b) 
 
    
                                
    • 
                                
  • 通过 nginx-lua 给 Nginx 增加 OAuth 支持
                                    ronin47

                                    
    前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGeek 在过去几年中取得了发展，我们已经积累了不少针对各种任务的不同管理接口。我们通常为新的展示需求创建新模块，比如我们自己的博客、图表等。我们还定期开发内部工具来处理诸如部署、可视化操作及事件处理等事务。在处理这些事务中，我们使用了几个不同的接口来认证： 
&n
    
                                
    • 
                                
  • 利用tomcat-redis-session-manager做session同步时自定义类对象属性保存不上的解决方法
                                    bsr1983
session
                                    
    在利用tomcat-redis-session-manager做session同步时，遇到了在session保存一个自定义对象时，修改该对象中的某个属性，session未进行序列化，属性没有被存储到redis中。   在 tomcat-redis-session-manager的github上有如下说明：   Session Change Tracking 
As noted in the &qu
    
                                
    • 
                                
  • 《代码大全》表驱动法-Table Driven Approach-1
                                    bylijinnan
java算法
                                    
    关于Table Driven Approach的一篇非常好的文章： 
 
http://www.codeproject.com/Articles/42732/Table-driven-Approach 
 
 
package com.ljn.base;

import java.util.Random;

public class TableDriven {

    public 
    
                                
    • 
                                
  • Sybase封锁原理
                                    chicony
Sybase
                                    
           昨天在操作Sybase IQ12.7时意外操作造成了数据库表锁定，不能删除被锁定表数据也不能往其中写入数据。由于着急往该表抽入数据，因此立马着手解决该表的解锁问题。     无奈此前没有接触过Sybase IQ12.7这套数据库产品，加之当时已属于下班时间无法求助于支持人员支持，因此只有借助搜索引擎强大的
    
                                
    • 
                                
  • java异常处理机制
                                    CrazyMizzz
java
                                    
    java异常关键字有以下几个，分别为 try catch final throw throws 
他们的定义分别为 
try：    Opening exception-handling statement. 
catch：  Captures the exception. 
finally： Runs its code before terminating
    
                                
    • 
                                
  • hive 数据插入DML语法汇总
                                    daizj
hiveDML数据插入
                                    
    Hive的数据插入DML语法汇总1、Loading files into tables语法：1) LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]解释：1)、上面命令执行环境为hive客户端环境下： hive>l
    
                                
    • 
                                
  • 工厂设计模式
                                    dcj3sjt126com
设计模式
                                    
      使用设计模式是促进最佳实践和良好设计的好办法。设计模式可以提供针对常见的编程问题的灵活的解决方案。  工厂模式 
工厂模式（Factory）允许你在代码执行时实例化对象。它之所以被称为工厂模式是因为它负责“生产”对象。工厂方法的参数是你要生成的对象对应的类名称。  
Example #1 调用工厂方法（带参数）   
<?phpclass Example{ 
    
                                
    • 
                                
  • mysql字符串查找函数
                                    dcj3sjt126com
mysql
                                    
      
FIND_IN_SET(str,strlist) 
假如字符串str 在由N 子链组成的字符串列表strlist 中，则返回值的范围在1到 N 之间。一个字符串列表就是一个由一些被‘,’符号分开的自链组成的字符串。如果第一个参数是一个常数字符串，而第二个是type SET列，则   FIND_IN_SET() 函数被优化，使用比特计算。如果str不在strlist 或st
    
                                
    • 
                                
  • jvm内存管理
                                    easterfly
jvm
                                    
    一、JVM堆内存的划分 
 分为年轻代和年老代。年轻代又分为三部分：一个eden,两个survivor。 
 工作过程是这样的：e区空间满了后，执行minor gc，存活下来的对象放入s0, 对s0仍会进行minor gc，存活下来的的对象放入s1中，对s1同样执行minor gc，依旧存活的对象就放入年老代中； 
 年老代满了之后会执行major gc，这个是stop the word模式，执行
    
                                
    • 
                                
  • CentOS-6.3安装配置JDK-8
                                    gengzg
centos
                                    
    JAVA_HOME=/usr/java/jdk1.8.0_45
JRE_HOME=/usr/java/jdk1.8.0_45/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME
    
                                
    • 
                                
  • 【转】关于web路径的获取方法
                                    huangyc1210
Web路径
                                    
    假定你的web application 名称为news,你在浏览器中输入请求路径：  http://localhost:8080/news/main/list.jsp  则执行下面向行代码后打印出如下结果：  1、 System.out.println(request.getContextPath()); //可返回站点的根路径。也就是项
    
                                
    • 
                                
  • php里获取第一个中文首字母并排序
                                    远去的渡口
数据结构PHP
                                    
    很久没来更新博客了，还是觉得工作需要多总结的好。今天来更新一个自己认为比较有成就的问题吧。 最近在做储值结算，需求里结算首页需要按门店的首字母A-Z排序。我的数据结构原本是这样的： 
Array
(
    [0] => Array
        (
            [sid] => 2885842
            [recetcstoredpay] =&g
    
                                
    • 
                                
  • java内部类
                                    hm4123660
java内部类匿名内部类成员内部类方法内部类
                                    
         　在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类。内部类仍然是一个独立的类，在编译之后内部类会被编译成独立的.class文件，但是前面冠以外部类的类名和$符号。内部类可以间接解决多继承问题,可以使用内部类继承一个类，外部类继承一个类，实现多继承。 
     &nb
    
                                
    • 
                                
  • Caused by: java.lang.IncompatibleClassChangeError: class org.hibernate.cfg.Exten
                                    zhb8015

                                    
    maven pom.xml关于hibernate的配置和异常信息如下，查了好多资料，问题还是没有解决。只知道是包冲突，就是不知道是哪个包....遇到这个问题的分享下是怎么解决的。。 
  
maven pom: 
  
		<dependency>
			<groupId>org.hibernate</groupId>
			<ar
    
                                
    • 
                                
  • Spark 性能相关参数配置详解－任务调度篇
                                    Stark_Summer
sparkcachecpu任务调度yarn
                                    
    随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。 
  
由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便
    
                                
    • 
                                
  • css3滤镜
                                    wangkeheng
htmlcss
                                    
    经常看到一些网站的底部有一些灰色的图标，鼠标移入的时候会变亮，开始以为是js操作src或者bg呢，搜索了一下，发现了一个更好的方法：通过css3的滤镜方法。 
 
html代码： 
 
<a href='' class='icon'><img src='utv.jpg' /></a> 
css代码： 
 
.icon{-webkit-filter: graysc
    
                                
    •