爱学习的孙同学
爱学习的孙同学

【Hbase 06】spark读写Hbase数据库以及Hbase util工具常用方法类封装（java和scala版本）

Spark处理的数据有很多是存放在HBase数据库中的，所以，我们需要学会如何读写HBase数据库。HBase是针对谷歌BigTable的开源实现，是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。HBase可以支持超大规模数据存储，它可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。

话不多说，开始撸代码：

spark读取Hbase封装工具类

scala版本：

添加依赖：


    org.apache.hbase
    hbase-client
    1.2.6



    org.apache.hbase
    hbase-server
    1.2.6

版本依赖支持关系请看博主的上一篇文章，Hbase的版本很重要，别整差了

readHbase读取

 
  
 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(大数据从入门到精通,spark,hbase)

        

            

                
    
                    
  • 基于Python+Django的可视化学习系统设计与实现（毕业设计源码+技术文档+系统部署）
                        逐梦设计
Python毕业设计实战案例pythondjango课程设计vue.js毕业设计源码
                        
    博主简介作者简介：Java领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、多年校企合作经验，被多个学校常年聘为校外企业导师，指导学生毕业设计并参与学生毕业答辩指导，有较为丰富的相关经验。期待与各位高校教师、企业讲师以及同行交流合作主要内容：Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、
    
                    
    • 
                    
  • 云智慧：拥抱AI算法驱动的智能运维服务创新引擎
                        

                        
    随着信息化、数字化、智能化的加码，企业对人工智能、大数据等技术应用呈现出明显兴趣，海笔研究对国内中型规模企业调研表明，在2020年，54.1%的企业选择购买人工智能类应用，41.9%的企业选择购买大数据及BI类应用，各类产品软件的应用大幅提升了企业信息系统复杂度，以及运维管理难度。业务发展催生服务需求从系统管理者角度出发，信息系统从“单机Excel表格”到“集中式单系统”再到“微服务、云架构”等，
    
                    
    • 
                    
  • C++开发内存监控工具推荐
                        点云SLAM
开发工具开发环境c++开发语言AddPropertygperftoolsAddress内存监控访问越界
                        
    在C++开发中，内存管理是至关重要的，尤其是当程序处理大数据或长时间运行时，内存泄漏或不当使用可能导致性能下降或崩溃。以下是几种常见且有效的内存监控工具，它们可以帮助开发者实时分析、诊断和优化程序的内存使用。1.ValgrindValgrind是一个广泛使用的内存调试和性能分析工具，它的Memcheck工具可以帮助你检查程序中的内存泄漏、内存越界、未初始化内存使用等问题。特点：检测内存泄漏。检查内
    
                    
    • 
                    
  • Java 大视界 -- Java 大数据在智慧农业精准灌溉与施肥决策中的应用（144）
                        青云交
大数据新视界Java大视界java大数据智慧农业精准灌溉施肥决策数据分析机器学习
                        
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
    
                    
    • 
                    
  • Java 大视界 -- 基于 Java 的大数据机器学习模型的多模态融合技术与应用（143）
                        青云交
大数据新视界Java大视界java大数据机器学习多模态融合智能安防智能客服数据处理
                        
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
    
                    
    • 
                    
  • 国内外的网络安全成难题，IPLOOK 2022年用产品筑起“护城墙”
                        爱浦路 IPLOOK
网络安全安全架构
                        
    《爱尔兰时报》和爱尔兰国家广播电台（RTE）于12月31日对2021年爱尔兰科技行业的赢家和弱点进行了年终盘点。双方纷纷表示，2021年爱尔兰科技行业最大的弱点是爱尔兰的网络安全，这一年是一场前所未有的灾难。随着人工智能、大数据、5G等新兴技术的发展，企业面临的威胁日益增加，信息安全的重要性变得越来越突显。现在我们把视线从爱尔兰的网络安全问题拉回到国内的网络安全现状。我国对网络安全问题保持时刻警惕
    
                    
    • 
                    
  • 【Python系列】高效Parquet数据处理策略：合并与分析实践
                        小团团0
python开发语言
                        
    在大数据时代，数据的存储、处理和分析变得尤为重要。Parquet作为一种高效的列存储格式，被广泛应用于大数据处理框架中，如ApacheSpark、ApacheHive等。Parquet是一个开源的列存储格式，它被设计用于支持复杂的嵌套数据结构，同时提供高效的压缩和编码方案，以优化存储空间和查询性能。以下将详细介绍如何使用Python对Parquet文件进行数据处理与合并，并提供相应的源码示例。一、
    
                    
    • 
                    
  • CSS3学习教程，从入门到精通，CSS3 布局语法知识点及案例代码（15）
                        知识分享小能手
编程语言如门前端开发网页开发css3学习css前端html5htmlJava后端开发
                        
    CSS3布局知识点及案例代码一、盒模型知识点CSS盒模型是理解CSS布局的基础，它包括内容（content）、内边距（padding）、边框（border）和外边距（margin）四个部分。content：盒子的内容区域，定义宽度和高度。padding：内容与边框之间的空间，可控制内容与边框的距离。border：围绕内容和内边距的边框，可设置边框的样式、宽度和颜色。margin：边框与其他元素之间
    
                    
    • 
                    
  • CSS3学习教程，从入门到精通，CSS3 盒子模型语法知识点及案例代码（13）
                        知识分享小能手
编程语言如门前端开发网页开发css3学习前端csshtml5htmlJava后端开发
                        
    CSS3盒子模型语法知识点及案例代码CSS3盒子模型概述CSS3盒子模型是用于控制网页元素布局和外观的重要工具。它包括标准盒子模型、IE盒子模型以及CSS3引入的弹性盒子模型和网格布局模型。一、标准盒子模型（StandardBoxModel）语法selector{width:value;height:value;padding:value;border:value;margin:value;}wi
    
                    
    • 
                    
  • CSS3学习教程，从入门到精通，CSS3 背景样式语法知识点及案例代码（11）
                        知识分享小能手
编程语言如门前端开发网页开发css3学习前端csshtml5JavaJava后端开发
                        
    CSS3背景样式语法知识点及案例代码一、背景颜色（background-color）/*设置元素的背景颜色*/selector{background-color:color-value;}selector：选择器，指定要设置背景颜色的元素。color-value：颜色值，可以是颜色名称、十六进制颜色代码、RGB颜色值或HSL颜色值等。案例：.box{width:200px;height:200px
    
                    
    • 
                    
  • CSS3学习教程，从入门到精通，CSS3 图像属性知识点及案例代码（16）
                        知识分享小能手
前端开发网页开发编程语言如门css3学习前端csshtml5javascriptcss前端开发
                        
    CSS3图像属性知识点及案例代码一、图像属性概述CSS3提供了丰富的图像属性，可以控制图像的显示方式、大小、位置、滤镜效果等。以下是一些常用的图像属性：二、常用图像属性1.background-image作用:设置元素的背景图像。语法:background-image:url("image.jpg");案例:.box{width:300px;height:200px;background-imag
    
                    
    • 
                    
  • hbase表无法删除，命令行卡住问题处理
                        spring208208
大数据组件线上问题分析hbase数据库大数据
                        
    问题现象hbase表无法删除，命令行卡住1.activemaster日志出现超时WARNorg.apache.hadoop.hbase.master.procedure.TruncateTableProcedure:Retriableerrortryingtotruncatetable=xxxstate=TRUNCATE_TABLE_PRE_OPERATIONorg.apache.hadoop.h
    
                    
    • 
                    
  • 股神系列：蒋菲的量化投资中，如何利用大数据优化模型？她的数据来源有哪些？
                        云策量化
量化交易量化软件量化炒股量化炒股QMT量化交易入门教程PTrade股票投资deepseek
                        
    推荐阅读：《程序化炒股：如何申请官方交易接口权限？个人账户可以申请吗？》标题：股神系列：蒋菲的量化投资中，如何利用大数据优化模型？她的数据来源有哪些？正文：在金融投资的世界里，量化投资以其科学、系统和客观的特点，成为了众多投资者追求的“圣杯”。而在量化投资领域，蒋菲以其独特的大数据量化投资模型而闻名。本文将深入探讨蒋菲如何利用大数据优化其量化投资模型，以及她的数据来源有哪些。一、量化投资模型的优化
    
                    
    • 
                    
  • 2024年第五届MathorCup数学应用挑战赛--大数据竞赛思路、代码更新中.....
                        宇哥预测优化代码学习
1024程序员节
                        
    欢迎来到本博客❤️❤️博主优势：博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。本文目录如下：目录⛳️研赛及概况一、竞赛背景与目的二、组织机构与参赛对象三、竞赛时间与流程四、竞赛要求与规则五、奖项设置与奖励六、研究文档撰写建议七、参考资料与资源1找程序网站推荐2公式编辑器、流程图、论文排版324年研赛资源下载4思路、Python、Matlab代码分享......⛳
    
                    
    • 
                    
  • AI人工智能软件开发方案：开启智能时代的创新钥匙
                        广州硅基技术官方
人工智能
                        
    一、引言：AI浪潮下的软件开发新机遇近年来，人工智能（AI）技术的迅猛发展如同一股汹涌澎湃的浪潮，席卷了全球各个领域。从最初的概念提出到如今的广泛应用，AI历经了漫长的发展历程，终于迎来了属于它的黄金时代。回首过去，AI的发展并非一帆风顺，早期由于计算能力和算法的限制，经历了多次起伏。但随着大数据、云计算、机器学习、深度学习等技术的不断突破，AI迎来了爆发式增长。如今，AI已经深入到人们生活和工作
    
                    
    • 
                    
  • 深度学习框架PyTorch——从入门到精通（6.2）自动微分机制
                        Fansv587
深度学习pytorch人工智能经验分享python机器学习
                        
    本节自动微分机制是上一节自动微分的扩展内容自动微分是如何记录运算历史的保存张量非可微函数的梯度在本地设置禁用梯度计算设置requires_grad梯度模式（GradModes）默认模式（梯度模式）无梯度模式推理模式评估模式（`nn.Module.eval()`）自动求导中的原地操作原地操作的正确性检查多线程自动求导CPU上的并发不确定性计算图保留自动求导节点的线程安全性C++钩子函数不存在线程安全
    
                    
    • 
                    
  • 使用Couchbase实现高效的AI应用缓存与数据存储
                        scaFHIO
人工智能缓存python
                        
    在当今AI应用的开发中，除了模型本身的性能，数据存储和缓存的效率也至关重要。Couchbase作为一款分布式NoSQL云数据库，其性能、可扩展性以及对AI、边缘计算应用的支持能力，使其成为优秀的选择。在本文中，我们将探讨如何通过Couchbase来实现高效的数据存储与缓存，尤其是在AI应用中。技术背景介绍随着AI应用规模的扩大和复杂度的增加，我们需要可靠的数据存储解决方案来满足实时性要求，同时减少
    
                    
    • 
                    
  • Angular中`trackBy`函数的独特性与性能优化
                        t0_54program
编程问题解决手册angular.js前端javascript个人开发
                        
    在Angular项目中，优化性能是每一个开发者都需要考虑的问题。特别是在处理大数据量或动态变化的列表时，Angular的trackBy函数成为了我们手中的利器。然而，当我们面对多个列表使用相同trackBy函数时，可能会产生一些疑问：如果这些列表中的项有相同的ID，是否会影响Angular的变更检测？本文将详细探讨trackBy函数在这种情境下的表现及其带来的性能优化。trackBy函数简介tra
    
                    
    • 
                    
  • 石油储运生产 2D 可视化，组态应用赋能工业智慧发展
                        智慧园区
智慧城市bigdata人工智能大数据物联网网络
                        
    当前，国际油价低位徘徊导致各国石油化工行业投资大幅缩减，石油化工建设行业竞争环境日趋严峻，施工企业的利润空间也被不断压缩。内外交困的环境下，促使企业采取更有效的管理手段来提高效率和降低成本。石油工业大数据具有无限潜力与价值，将大数据与数据挖掘技术应用其中，不仅可以提升石油行业工业化水平，而且对其智慧化发展起到强有力的推动作用。图扑软件-构建先进2D和3D可视化所需要的一切图扑软件采用自主研发的HT
    
                    
    • 
                    
  • 人民日报报道，华为云赋能智能制造助力图扑软件构造数字孪生场景
                        智慧园区
华为人工智能物联网
                        
    2021年12月22日，《人民日报》头版头条刊登了《华为云赋能智能制造，助力图扑软件构造数字孪生场景》一文，聚焦数据可视化建设发展。报道指出，数字经济发展的背后，是大数据时趋势下各地区积极贯彻国家数字经济发展战略的时代精神;高效便捷管控的背后，是云端平台各大企业的互助共赢;高质精准2D、3D数据可视图的背后，是专注于数据可视化Web组态开发的厦门图扑软件科技有限公司。并对厦门图扑软件科技有限公司进
    
                    
    • 
                    
  • 华为云赋能智能制造，助力图扑软件构造数字孪生场景
                        36Kr网
科技华为云制造bigdata
                        
    出行手机查看交通方案、物业管理的智能可视勘察管控、疫情地图提前预知危害……这些曾经存在于科幻片中的高科技场景一一在现代生活得到了应用与普及，其背后的数据可视化应用，正贯穿于当今大数据时代的各行各业，成为人们洞察数据内涵的有力工具，推动数字经济发展驶入“快车道”。数字经济发展的背后，是大数据时趋势下各地区积极贯彻国家数字经济发展战略的时代精神；高效便捷管控的背后，是云端平台各大企业的互助共赢；高质精
    
                    
    • 
                    
  • spark explain如何使用
                        fzip
Sparkspark执行计划
                        
    在Spark中，explain是分析SQL或DataFrame执行计划的核心工具，通过不同模式可展示查询优化和执行的详细信息，默认情况下，这个语句只提供关于物理计划的信息。以下是具体使用方法及不同模式的作用：1.explain的基本语法在Spark3.0及以上版本，explain支持多种模式参数，通过mode指定输出格式：#DataFrame调用方式df.explain(mode="simple"
    
                    
    • 
                    
  • 【Spark】查询优化中分区（Partitioning）和分桶（Bucketing）是什么关系？什么时候应当分区，什么时候应当分桶？
                        petrel2015
spark大数据分布式数据库
                        
    在学习Spark的过程中，分区和分桶乍一看很像，都能为了计算加速，但是仔细一想，一查还是有些差异的，甚至说差异很大。那么具体有什么差异点，有什么相同点。我做出了如下的整理，供大家参考，欢迎指正。相同点分区（Partitioning）和分桶（Bucketing）在很多方面具有相似性，它们都是用于优化大数据查询性能的技术数据划分的目的：优化查询性能分区和分桶的核心目标是通过将数据分割成更小的逻辑单元来
    
                    
    • 
                    
  • pyspark学习rdd处理数据方法——学习记录
                        亭午
学习
                        
    python黑马程序员"""文件，按JSON字符串存储1.城市按销售额排名2.全部城市有哪些商品类别在售卖3.上海市有哪些商品类别在售卖"""frompysparkimportSparkConf,SparkContextimportosimportjsonos.environ['PYSPARK_PYTHON']=r"D:\anaconda\envs\py10\python.exe"#创建Spark
    
                    
    • 
                    
  • 数据湖Iceberg、Hudi和Paimon比较_数据湖框架对比(1)
                        2301_79098963
程序员知识图谱人工智能
                        
    4.Schema变更支持对比项ApacheIcebergApacheHudiApachePaimonSchemaEvolutionALLback-compatibleback-compatibleSelf-definedschemaobjectYESNO(spark-schema)NO（我理解，不准确）SchemaEvolution：指schema变更的支持情况，我的理解是hudi仅支持添加可选列
    
                    
    • 
                    
  • 大数据技术实战---项目中遇到的问题及项目经验
                        一个“不专业”的阿凡
大数据
                        
    问题导读：1、项目中遇到过哪些问题？2、Kafka消息数据积压，Kafka消费能力不足怎么处理？3、Sqoop数据导出一致性问题？4、整体项目框架如何设计？项目中遇到过哪些问题7.1Hadoop宕机（1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存
    
                    
    • 
                    
  • Apache大数据旭哥优选大数据选题
                        Apache大数据旭
大数据定制选题javahadoopspark开发语言ideahive数据库架构
                        
    定制旭哥服务，一对一，无中介包安装+答疑+售后态度和技术都很重要定制按需求做要求不高就实惠一点定制需提前沟通好怎么做，这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、spark、hive、hbase、flink、SparkStreaming、kafka、flume、sqoop分析+推
    
                    
    • 
                    
  • Java后端开发技术详解
                        小二爱编程·
java开发语言
                        
    Java作为一门成熟的编程语言，已广泛应用于后端开发领域。其强大的生态系统和广泛的支持库使得Java成为许多企业和开发者的首选后端开发语言。随着云计算、微服务架构和大数据技术的兴起，Java后端开发的技术栈也不断演进。本文将详细介绍Java后端开发的核心技术，包括Java基础、常见框架、数据库操作、缓存技术、异步编程等。1.Java基础：理解面向对象的编程Java是一种面向对象的编程语言，面向对象
    
                    
    • 
                    
  • Flowable 6.6.0应用指南 - Flowable UI应用安装
                        月满闲庭
#应用指南中英文对照版
                        
    培训视频推荐CSDN上提供了Flowable6.6.0的系列培训视频课程，欢迎有兴趣的朋友前往学习。《Flowable流程入门课程》《Flowable流程高级课程》《Flowable从入门到精通》Flowable6.6.0用户指南相关文档下载BPMN用户指南第一部分-中文PDF精编版BPMN用户指南第二部分-中文PDF精编版BPMN用户指南第三部分-中文PDF精编版应用程序指南-中文PDF精编版应
    
                    
    • 
                    
  • IDC权威认证！永洪科技入选 IDC「GBI图谱」，点亮生成式 BI 价值灯塔
                        永洪科技
科技人工智能BI大数据数据分析
                        
    大数据市场正在稳步前进，生成式AI已成为厂商服务的重点方向，其发展离不开数据底座建设和数据工程管理，反过来AI也会帮助开发运维人员、业务人员和管理层更好地使用、查询数据。IDC调研数据显示，在生成式AI的驱动下，未来5年企业在数据管理和数据分析基础设施建设的投资增长率将分别达到8.7%和9.2%。近日，国际咨询机构IDC发布了《中国数据智能市场生态图谱V5.0》，在这一领域，永洪科技以其创新前沿的
    
                    
    • 
                                
  • 深入浅出Java Annotation(元注解和自定义注解）
                                    Josh_Persistence
Java Annotation元注解自定义注解
                                    
    一、基本概述 
  
  
　　 Annontation是Java5开始引入的新特征。中文名称一般叫注解。它提供了一种安全的类似注释的机制，用来将任何的信息或元数据（metadata）与程序元素（类、方法、成员变量等）进行关联。 
  
　　更通俗的意思是为程序的元素（类、方法、成员变量）加上更直观更明了的说明，这些说明信息是与程序的业务逻辑无关，并且是供指定的工具或
    
                                
    • 
                                
  • mysql优化特定类型的查询
                                    annan211
java工作mysql
                                    
    

本节所介绍的查询优化的技巧都是和特定版本相关的，所以对于未来mysql的版本未必适用。

1 优化count查询
  对于count这个函数的网上的大部分资料都是错误的或者是理解的都是一知半解的。在做优化之前我们先来看看
  真正的count()函数的作用到底是什么。
  count()是一个特殊的函数，有两种非常不同的作用，他可以统计某个列值的数量，也可以统计行数。
  在统
    
                                
    • 
                                
  • MAC下安装多版本JDK和切换几种方式
                                    棋子chessman
jdk
                                    
    环境： 
MAC AIR,OS X 10.10,64位 
  
历史： 
过去 Mac 上的 Java 都是由 Apple 自己提供，只支持到 Java 6，并且OS X 10.7 开始系统并不自带（而是可选安装）（原自带的是1.6）。 
后来 Apple 加入 OpenJDK 继续支持 Java 6，而 Java 7 将由 Oracle 负责提供。 
  
在终端中输入jav
    
                                
    • 
                                
  • javaScript （1）
                                    Array_06
JavaScriptjava浏览器
                                    
    JavaScript 
 
1、运算符 
　　运算符就是完成操作的一系列符号，它有七类： 　　赋值运算符（=,+=,-=,*=,/=,%=,<<=,>>=,|=,&=）、算术运算符(+,-,*,/,++,--,%)、比较运算符(>,<,<=,>=,==,===,!=,!==)、逻辑运算符(||,&&,!)、条件运算(?:)、位
    
                                
    • 
                                
  • 国内顶级代码分享网站
                                    袁潇含
javajdkoracle.netPHP
                                    
           现在国内很多开源网站感觉都是为了利益而做的 
  
        
       当然利益是肯定的,否则谁也不会免费的去做网站 
  
   &
    
                                
    • 
                                
  • Elasticsearch、MongoDB和Hadoop比较
                                    随意而生
mongodbhadoop搜索引擎
                                    
        
IT界在过去几年中出现了一个有趣的现象。很多新的技术出现并立即拥抱了“大数据”。稍微老一点的技术也会将大数据添进自己的特性，避免落大部队太远，我们看到了不同技术之间的边际的模糊化。假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配
    
                                
    • 
                                
  • mac os 系统科研软件总结
                                    张亚雄
mac os
                                    
    1.1 Microsoft Office for Mac 2011 
     大客户版，自行搜索。 
     1.2 Latex （MacTex）: 
     系统环境：https://tug.org/mactex/ 
    &nb
    
                                
    • 
                                
  • Maven实战（四）生命周期
                                    AdyZhang
maven
                                    
    1. 三套生命周期     Maven拥有三套相互独立的生命周期，它们分别为clean，default和site。 每个生命周期包含一些阶段，这些阶段是有顺序的，并且后面的阶段依赖于前面的阶段，用户和Maven最直接的交互方式就是调用这些生命周期阶段。 以clean生命周期为例，它包含的阶段有pre-clean, clean 和 post
    
                                
    • 
                                
  • Linux下Jenkins迁移
                                    aijuans
Jenkins
                                    
    1. 将Jenkins程序目录copy过去       源程序在/export/data/tomcatRoot/ofctest-jenkins.jd.com下面                tar -cvzf jenkins.tar.gz ofctest-jenkins.jd.com &
    
                                
    • 
                                
  • request.getInputStream()只能获取一次的问题
                                    ayaoxinchao
requestInputstream
                                    
    问题：在使用HTTP协议实现应用间接口通信时，服务端读取客户端请求过来的数据，会用到request.getInputStream()，第一次读取的时候可以读取到数据，但是接下来的读取操作都读取不到数据        
原因：   1. 一个InputStream对象在被读取完成后，将无法被再次读取，始终返回-1；   2. InputStream并没有实现reset方法（可以重
    
                                
    • 
                                
  • 数据库SQL优化大总结之 百万级数据库优化方案
                                    BigBird2012
SQL优化
                                    
    网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。 
这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 
1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 
2.应尽量避免在 where 
    
                                
    • 
                                
  • jsonObject的使用
                                    bijian1013
javajson
                                    
            在项目中难免会用java处理json格式的数据，因此封装了一个JSONUtil工具类。 
JSONUtil.java 
package com.bijian.json.study;

import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
    
                                
    • 
                                
  • [Zookeeper学习笔记之六]Zookeeper源代码分析之Zookeeper.WatchRegistration
                                    bit1129
zookeeper
                                    
    Zookeeper类是Zookeeper提供给用户访问Zookeeper service的主要API，它包含了如下几个内部类 
  
  
首先分析它的内部类，从WatchRegistration开始，为指定的znode path注册一个Watcher， 
  
    /**
     * Register a watcher for a particular p
    
                                
    • 
                                
  • 【Scala十三】Scala核心七：部分应用函数
                                    bit1129
scala
                                    
    何为部分应用函数？ 
Partially applied function: A function that’s used in an expression and that misses some of its arguments.For instance, if function f has type Int => Int => Int, then f and f(1) are p
    
                                
    • 
                                
  • Tomcat Error listenerStart 终极大法
                                    ronin47
tomcat
                                    
    Tomcat报的错太含糊了，什么错都没报出来，只提示了Error listenerStart。为了调试，我们要获得更详细的日志。可以在WEB-INF/classes目录下新建一个文件叫logging.properties，内容如下 
 
Java代码  
handlers = org.apache.juli.FileHandler, java.util.logging.ConsoleHa
    
                                
    • 
                                
  • 不用加减符号实现加减法
                                    BrokenDreams
实现
                                    
            今天有群友发了一个问题，要求不用加减符号(包括负号)来实现加减法。 
        分析一下，先看最简单的情况，假设1+1，按二进制算的话结果是10，可以看到从右往左的第一位变为0，第二位由于进位变为1。 
   
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-状态模式-State
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 




/*

当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类
状态模式主要解决的是当控制一个对象状态的条件表达式过于复杂时的情况
把状态的判断逻辑转移到表示不同状态的一系列类中，可以把复杂的判断逻辑简化

如果在
    
                                
    • 
                                
  • CUDA程序block和thread超出硬件允许值时的异常
                                    cherishLC
CUDA
                                    
    调用CUDA的核函数时指定block 和 thread大小，该大小可以是dim3类型的（三维数组），只用一维时可以是usigned int型的。 
以下程序验证了当block或thread大小超出硬件允许值时会产生异常！！！GPU根本不会执行运算！！！ 
所以验证结果的正确性很重要！！！ 
在VS中创建CUDA项目会有一个模板，里面有更详细的状态验证。 
 
 
以下程序在K5000GPU上跑的。
    
                                
    • 
                                
  • 诡异的超长时间GC问题定位
                                    chenchao051
jvmcmsGChbaseswap
                                    
    HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志： 
2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700
    
                                
    • 
                                
  • maven环境快速搭建
                                    daizj
安装mavne环境配置
                                    
    一 下载maven 
 
安装maven之前，要先安装jdk及配置JAVA_HOME环境变量。这个安装和配置java环境不用多说。 
 
maven下载地址：http://maven.apache.org/download.html，目前最新的是这个apache-maven-3.2.5-bin.zip，然后解压在任意位置，最好地址中不要带中文字符，这个做java 的都知道，地址中出现中文会出现很多
    
                                
    • 
                                
  • PHP网站安全，避免PHP网站受到攻击的方法
                                    dcj3sjt126com
PHP
                                    
      
对于PHP网站安全主要存在这样几种攻击方式:1、命令注入(Command Injection)2、eval注入(Eval Injection)3、客户端脚本攻击(Script Insertion)4、跨网站脚本攻击(Cross Site Scripting, XSS)5、SQL注入攻击(SQL injection)6、跨网站请求伪造攻击(Cross Site Request Forgerie
    
                                
    • 
                                
  • yii中给CGridView设置默认的排序根据时间倒序的方法
                                    dcj3sjt126com
GridView
                                    
    public function searchWithRelated() { 
        $criteria = new CDbCriteria; 
 
        $criteria->together = true; //without th
    
                                
    • 
                                
  • Java集合对象和数组对象的转换
                                    dyy_gusi
java集合
                                    
        在开发中，我们经常需要将集合对象（List，Set）转换为数组对象，或者将数组对象转换为集合对象。Java提供了相互转换的工具，但是我们使用的时候需要注意，不能乱用滥用。 
1、数组对象转换为集合对象 
    最暴力的方式是new一个集合对象，然后遍历数组，依次将数组中的元素放入到新的集合中，但是这样做显然过
    
                                
    • 
                                
  • nginx同一主机部署多个应用
                                    geeksun
nginx
                                    
    近日有一需求，需要在一台主机上用nginx部署2个php应用，分别是wordpress和wiki，探索了半天，终于部署好了，下面把过程记录下来。 
1.   在nginx下创建vhosts目录，用以放置vhost文件。 
mkdir vhosts 
  
2.   修改nginx.conf的配置， 在http节点增加下面内容设置，用来包含vhosts里的配置文件 
#
    
                                
    • 
                                
  • ubuntu添加admin权限的用户账号
                                    hongtoushizi
ubuntuuseradd
                                    
    ubuntu创建账号的方式通常用到两种：useradd 和adduser .   本人尝试了useradd方法，步骤如下：  
1:useradd 
   使用useradd时，如果后面不加任何参数的话，如：sudo useradd sysadm 创建出来的用户将是默认的三无用户：无home directory ,无密码,无系统shell。 
顾应该如下操作： 
  
    
                                
    • 
                                
  • 第五章 常用Lua开发库2-JSON库、编码转换、字符串处理
                                    jinnianshilongnian
nginxlua
                                    
       JSON库 
  
在进行数据传输时JSON格式目前应用广泛，因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能；目前Lua也有几个JSON库，本人用过cjson、dkjson。其中cjson的语法严格（比如unicode \u0020\u7eaf），要求符合规范否则会解析失败（如\u002），而dkjson相对宽松，当然也可以通过修改cjson的源码来完成
    
                                
    • 
                                
  • Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解
                                    yaerfeng1989
timerquartz定时器
                                    
    原创整理不易，转载请注明出处：Spring定时器配置的两种实现方式OpenSymphony Quartz和java Timer详解 
代码下载地址：http://www.zuidaima.com/share/1772648445103104.htm 
有两种流行Spring定时器配置：Java的Timer类和OpenSymphony的Quartz。 
1.Java Timer定时 
首先继承jav
    
                                
    • 
                                
  • Linux下df与du两个命令的差别？
                                    pda158
linux
                                    
    　一、df显示文件系统的使用情况，与du比較，就是更全盘化。   　　最经常使用的就是 df -T，显示文件系统的使用情况并显示文件系统的类型。   　　举比例如以下：   　　[root@localhost ~]# df -T   　　Filesystem                   Type &n
    
                                
    • 
                                
  • [转]SQLite的工具类 ---- 通过反射把Cursor封装到VO对象
                                    ctfzh
VOandroidsqlite反射Cursor
                                    
    在写DAO层时，觉得从Cursor里一个一个的取出字段值再装到VO(值对象)里太麻烦了，就写了一个工具类，用到了反射，可以把查询记录的值装到对应的VO里，也可以生成该VO的List。 
  
使用时需要注意：   
考虑到Android的性能问题，VO没有使用Setter和Getter，而是直接用public的属性。  
表中的字段名需要和VO的属性名一样，要是不一样就得在查询的SQL中
    
                                
    • 
                                
  • 该学习笔记用到的Employee表
                                    vipbooks
oraclesql工作
                                    
        这是我在学习Oracle是用到的Employee表，在该笔记中用到的就是这张表，大家可以用它来学习和练习。 
 
 

drop table Employee;
-- 员工信息表
create table Employee(
       -- 员工编号
       EmpNo number(3) primary key,
       -- 姓
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他