-山海經-
-山海經-

Giraph 运行常见错误

1. Could not find or load main class org.apache.giraph.yarn.GiraphApplicationMaster

16/08/30 08:45:13 ERROR yarn.GiraphYarnClient: Giraph: org.apache.giraph.examples.SimpleShortestPathsComputation reports FAILED state, diagnostics show: Application application_1472465026418_0008 failed 2 times due to AM Container for appattempt_1472465026418_0008_000002 exited with  exitCode: 1 due to: Exception from container-launch: ExitCodeException exitCode=1: 

ExitCodeException exitCode=1: 

at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)

at org.apache.hadoop.util.Shell.run(Shell.java:455)

at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)

at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:300)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)

at java.util.concurrent.FutureTask.run(FutureTask.java:262)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

at java.lang.Thread.run(Thread.java:745)

Container exited with a non-zero exit code 1.Failing this attempt.. Failing the application.

出现该错误时在命令行运行的命令为：

 
  
     
   
  1. $> hadoop jar /home/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar
    2.  
   
  2. org.apache.giraph.GiraphRunner
    3.  
   
  3. org.apache.giraph.examples.SimpleShortestPathsComputation -vif
    4.  
   
  4. org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat
    5.  
   
  5. -vip /user/input/tiny_graph.txt -vof
    6.  
   
  6. org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op
    7.  
   
  7. /user/giraph_output/shortestpaths -w 4 -yj
    8.  
   
  8. /home/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar
    9.  
  
 
  
 在网上查到说好像是绝对路径的问题，于是创建软链接试试：
 
  
 
  
     
   
  1. ln -s /home/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar
    2.  
  
 
  
 然后重新运行命令行：
 
  
 
  
     
   
  1. $> hadoop jar giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar
    2.  
   
  2. org.apache.giraph.GiraphRunner
    3.  
   
  3. org.apache.giraph.examples.SimpleShortestPathsComputation -vif
    4.  
   
  4. org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat
    5.  
   
  5. -vip /user/input/tiny_graph.txt -vof
    6.  
   
  6. org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op
    7.  
   
  7. /user/giraph_output/shortestpaths -w 4 -yj
    8.  
   
  8. giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.5.2-jar-with-dependencies.jar
    9.  
  
 
  
 发现可以工作了。
 
  
 
   
 
  
 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(giraph)

        

            

                
    
                    
  • 软件体系结构
                        城堡修炼者
hadoopmapreducehbase
                        
    名词解释Zookeeper：是一个分布式的，开放源码的分布式应用程序协调服务，是Google的一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Giraph：是一个迭代的图计算系统。Giraph计算的输入是由点和直连的边组成的图。图形(Graph)是大数据领域最热门的关键词。Hive：hive是
    
                    
    • 
                    
  • 2013 Bossie评选：最佳开源大数据工具
                        xiyf2046
大数据
                        
    标签：开源,开源工具,NoSQL,大数据,IT头条【IT168评论】MapReduce的出现是为了突破数据库的局限。Giraph、Hama以及Impala等工具的出现则是为了突破MapReduce的局限。虽然上述方案的运行都需要以Hadoop为基础，但图形、文档、列式以及其它NoSQL数据库也是大数据当中不可或缺的组成部分。哪款大数据工具能够满足您的需求?这个问题在如今解决方案数量迅速增长的背景之
    
                    
    • 
                    
  • 大数据图数据库之离线挖掘计算模型
                        张俊林博客
大数据
                        
    /*版权声明：可以任意转载，转载时请务必标明文章原始出处和作者信息.*/author:张俊林节选自《大数据日知录：架构与算法》十四章，书籍目录在此对于离线挖掘类图计算而言，目前已经涌现出众多各方面表现优秀而各具特点的实际系统，典型的比如Pregel、Giraph、Hama、PowerGraph、GraphLab、GraphChi等。通过对这些系统的分析，我们可以归纳出离线挖掘类图计算中一些常见的计
    
                    
    • 
                    
  • 运行 Giraph 提示 too many counters
                        weixin_30421525
javanetty大数据
                        
    运行Giraph提示toomanycounters在加入-camapreduce.job.counters.limit=1000后，仍然运行失败16/10/2008:56:08INFOjob.GiraphJob:Waitingforresources...Jobwillstartonlywhenitgetsall2mappers16/10/2008:56:38INFOjob.HaltApplica
    
                    
    • 
                    
  • Giraph测试用例之Parallel BFS
                        飞火流云
高性能计算
                        
    该用例源自：https://github.com/MarcoLotz/GiraphBFSSO/blob/master/src/uk/co/qmul/giraph/structurebfs/SimpleBFSStructureComputation.java本人对其做了轻度修改和注释，想将消息修改为出发点ID的，但是发现作者原版能看出BFS的深度和解决环的问题就不改了。关于结果正确性的问题，只要该点
    
                    
    • 
                    
  • Giraph源码分析（九）—— Aggregators 原理解析
                        HamaWhite
Giraph大规模图数据专栏
                        
    HamaWhite原创，转载请注明出处！欢迎大家加入Giraph技术交流群：228591158Giraph中Aggregator的基本用法请参考官方文档：http://giraph.apache.org/aggregators.html，本文重点在解析Giraph如何实现Aggregators，后文用图示的方法描述了Aggregator的执行过程。基本原理：在每个超级步中，每个Worker计算本地
    
                    
    • 
                    
  • Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目
                        conglian1917

                        
    作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的顶点数
    
                    
    • 
                    
  • Giraph源码分析（七）—— 添加消息统计功能
                        conglian1917

                        
    作者|白松1、添加类，把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。源代码如下：packageorg.apache.giraph.counters;importjava.util.Iterator;importjava.util.Map;importorg.apache.ha
    
                    
    • 
                    
  • Giraph参数说明
                        houzhizhen
graphdb
                        
    公共参数参数名称简称默认值示例备注giraph.maxNumberOfSupersteps-15最多迭代次数giraph.computationClass--org.apache.giraph.examples.PageRankComputationVertex计算classgiraph.vertex.input.dir-vip-/data/data_wdc_600/arc数据输入路径giraph
    
                    
    • 
                    
  • Giraph Aggregator Guide
                        houzhizhen
graphdb
                        
    AggregatorAggregator运行聚集在一个超级步中所有顶点的操作。Aggregator的操作类型可以是多样的，并不总是对值求和，如LongSumAggregator是对Long性进行求和，而LongMinAggregator只保留所有的最小值。LongMaxAggregator只保留最大值。LongProductAggregator保留把聚集的每个数的乘积。如LongProductAg
    
                    
    • 
                    
  • Hadoop 图处理
                        oxuzhenyi
实验楼课程
                        
    Hadoop图处理1.1实验内容本课程将基于hadoop平台实现Giraph分布式系统中的图处理。1.2课程来源本课程基于图灵教育的《Hadoop应用架构》第5章制作，真诚感谢图灵教育对实验楼的授权。为了保证可以在实验楼环境中完成本次实验，我们在原书内容基础上补充了一系列的实验指导，比如实验截图，代码注释，帮助您更好的实战。如果您对于实验有疑惑或者建议可以随时在讨论区中提问，与同学们一起探讨。1.
    
                    
    • 
                    
  • Hadoop生态圈
                        _梓杰_
大数据
                        
    文章目录一、Hadoop三、Mapreduce四、HBASE五、Zookeeper六、HIVE七、Pig八、Sqoop九、Flume十、Mahout十一、Oozie十二、Yarn十三、Mesos十四、Tachyon十五、Tez十六、Spark十七、Giraph十八、GraphX十九、MLib二十、Streaming二十一、Kafka二十二、Phoenix二十三、ranger二十四、knox二十五、
    
                    
    • 
                    
  • Giraph 运行常见错误
                        -山海經-
giraph
                        
    1.Couldnotfindorloadmainclassorg.apache.giraph.yarn.GiraphApplicationMaster16/08/3008:45:13ERRORyarn.GiraphYarnClient:Giraph:org.apache.giraph.examples.SimpleShortestPathsComputationreportsFAILEDstate
    
                    
    • 
                    
  • HPC大规模集群下的Hadoop2.5+Zookeeper3.4+Giraph1.2的配置、安装与应用
                        AlexP5
大数据
                        
    因为实验室项目需求需要进行上亿规模的图文件计算，还好学校HPC（高性能计算机中心）有100多台机器可以用，不用花高价买阿里云服务了，不过。。因为HPC的机器都是用来跑mpi程序的，很少进行分布式计算，更坑爹的是里面装的Hadoop2.7.4版本和Giraph不兼容，所以只有全部纯手动进行安装配置了...在安装的过程中遇到了非常非常多的坑，下面进行学习总结，以防重蹈覆辙。一、项目需求首先简单介绍一下
    
                    
    • 
                    
  • Giraph源码分析（四）—— Master 如何检查Worker启动成功
                        HamaWhite
Giraph大规模图数据专栏GiraphZooKeeper
                        
    HamaWhite原创，转载请注明出处！欢迎大家加入Giraph技术交流群：228591158欢迎访问：西北工业大学-大数据与知识管理研究室（NorthwesternPolytechnicalUniversity-BigDataandKnowledgeManagementLab），链接：http://wowbigdata.cn/，http://wowbigdata.net.cn/，http://w
    
                    
    • 
                    
  • Hello Giraph
                        zqhxuyuan
HadoopGraph
                        
    ApacheGiraphhttp://blog.cloudera.com/blog/2014/02/how-to-write-and-run-giraph-jobs-on-hadoop/http://blog.cloudera.com/blog/2014/05/how-to-manage-time-dependent-multilayer-networks-in-apache-hadoop/大规模
    
                    
    • 
                    
  • The Message Process of Giraph
                        houzhizhen
graphdb
                        
    AbstractComputation.sendMessage/***Sendamessagetoavertexid.**@paramidVertexidtosendthemessageto*@parammessageMessagedatatosend*/@OverridepublicvoidsendMessage(Iid,M2message){workerClientRequestProcess
    
                    
    • 
                    
  • Giraph: The process of read Vertices
                        houzhizhen
graphdb
                        
    GraphTaskManager.execute/***Performtheworkassignedtothiscomputenodeforthisjobrun.*1)Runcheckpointperfrequencypolicy.*2)Foreveryvertexonthismapper,runthecompute()function*3)Waituntilallmessagingisdone.
    
                    
    • 
                    
  • YARN
                        Stephen__Chou
Hadoop
                        
    YARN是Hadoop的资源管理器。理解YARN如何为Hadoop集群提供灵活的资源管理理解YARN如何拓展Hadoop使得能够支持多种框架如MapReduce、Spark、Giraph和FlinkYARN是Hadoop从1.0升级至2.0出现的，hadoop1.0只支持MapReduce任务、资源利用率低。如图，Hadoop2.0中加入YARN使得hadoop中的编程模型有了除MapReduce
    
                    
    • 
                    
  • Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目
                        HamaWhite
Giraph大规模图数据专栏
                        
    HamaWhite原创，转载请注明出处！欢迎大家加入Giraph技术交流群：228591158目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后
    
                    
    • 
                    
  • Giraph superstep中做的事情，以及其与BSP模型的对比
                        上杉绘梨衣-
Giraph
                        
    Giraph在一个superstep中要做的事情大概分为3步1.处理单元要对每一个activevertices迭代，callcompute(),在一个vertex生成message后，它们会被发送到对应的处理单元根据destinationvertex.在message被发送前沪指当它们到底destination的时候,combiners会被调用，在这些不同的阶段。处理单元在结束computingv
    
                    
    • 
                    
  • SparkGraphX介绍
                        长空飞鹰
分布式计算
                        
    1并行图计算从社交网络到自然语言建模，图数据的规模和重要性已经促进了许多并行图系统的发展（例如Giraph和GraphLab等）。通过限制可描述的计算类型以引入新的划分图的方法，这些图计算模型可以有效地执行复杂的图算法，效率远远高于更通用的数据并行系统。下图比较了常见的数据并行模型和图并行模型。分布式图计算框架的目的，就是将对于巨型图的各种操作，包装为简单的接口，让分布式存储，并行计算等复杂问题对
    
                    
    • 
                    
  • 分布式大数据系统概览（HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph）
                        华师数据学院·王嘉宁
分布式大数据处理系统大数据stormsparkstreaming
                        
    分布式大数据处理系统概览（三）  本博文主要对现如今分布式大数据处理系统进行概括整理，相关课程为华东师范大学数据科学与工程学院《大数据处理系统》，参考大夏学堂，下面主要整理HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph有关的内容。分布式大数据处理系统大纲分布式大数据处理系统概
    
                    
    • 
                    
  • Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目
                        数澜
大数据
                        
    作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的顶点数
    
                    
    • 
                    
  • Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目
                        数澜科技
大数据
                        
    作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的顶点数
    
                    
    • 
                    
  • Giraph源码分析（七）—— 添加消息统计功能
                        数澜
大数据had
                        
    作者|白松1、添加类，把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。源代码如下：packageorg.apache.giraph.counters;importjava.util.Iterator;importjava.util.Map;importorg.apache.ha
    
                    
    • 
                    
  • Giraph源码分析（七）—— 添加消息统计功能
                        数澜科技
hadoop
                        
    作者|白松1、添加类，把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。源代码如下：packageorg.apache.giraph.counters;importjava.util.Iterator;importjava.util.Map;importorg.apache.ha
    
                    
    • 
                    
  • Giraph源码分析（六）——Edge 分析
                        数澜
大数据
                        
    1.在Vertex类中，顶点的存储方式采用邻接表形式。每个顶点有VertexId、VertexValue、OutgoingEdges和Halt，boolean型的halt变量用于记录顶点的状态，false时表示active，true表示inactive状态。片段代码如下。2.org.apache.giraph.edge.Edge接口，用于存储顶点的边，每条边包含targetVertexId和edg
    
                    
    • 
                    
  • Giraph源码分析（六）——Edge 分析
                        数澜科技
大数据hadoop
                        
    1.在Vertex类中，顶点的存储方式采用邻接表形式。每个顶点有VertexId、VertexValue、OutgoingEdges和Halt，boolean型的halt变量用于记录顶点的状态，false时表示active，true表示inactive状态。片段代码如下。2.org.apache.giraph.edge.Edge接口，用于存储顶点的边，每条边包含targetVertexId和edg
    
                    
    • 
                    
  • Giraph 源码分析（五）—— 加载数据+同步总结
                        数澜
大数据Hadoop
                        
    作者|白松关于Giraph共有九个章节，本文第五个章节。环境：在单机上（机器名：giraphx）启动了2个workers。输入：SSSP文件夹，里面有1.txt和2.txt两个文件。1、在Worker向Master汇报健康状况后，就开始等待Master创建InputSplit。方法：每个Worker通过检某个Znode节点是否存在，同时在此Znode上设置Watcher。若不存在，就通过BSPEv
    
                    
    • 
                                
  • 集合框架
                                    天子之骄
java数据结构集合框架
                                    
       集合框架 
集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 
从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。 
  
简单介绍： 
  
Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
    
                                
    • 
                                
  • Table Driven（表驱动）方法实例
                                    bijian1013
javaenumTable Driven表驱动
                                    
    实例一：   
/**
 * 驾驶人年龄段
 * 保险行业，会对驾驶人的年龄做年龄段的区分判断
 * 驾驶人年龄段：01-[18,25);02-[25,30);03-[30-35);04-[35,40);05-[40,45);06-[45,50);07-[50-55);08-[55,+∞)
 */
public class AgePeriodTest {

    //if...el
    
                                
    • 
                                
  • Jquery 总结
                                    cuishikuan
javajqueryAjaxWebjquery方法
                                    
    1.$.trim方法用于移除字符串头部和尾部多余的空格。如：$.trim('   Hello   ') // Hello2.$.contains方法返回一个布尔值，表示某个DOM元素（第二个参数）是否为另一个DOM元素（第一个参数）的下级元素。如：$.contains(document.documentElement, document.body); 3.$
    
                                
    • 
                                
  • 面向对象概念的提出
                                    麦田的设计者
java面向对象面向过程
                                    
       
     面向对象中，一切都是由对象展开的，组织代码，封装数据。 
  在台湾面向对象被翻译为了面向物件编程，这充分说明了，这种编程强调实体。 
  
    下面就结合编程语言的发展史，聊一聊面向过程和面向对象。 
     c语言由贝尔实
    
                                
    • 
                                
  • linux网口绑定
                                    被触发
linux
                                    
    刚在一台IBM Xserver服务器上装了RedHat Linux Enterprise AS 4，为了提高网络的可靠性配置双网卡绑定。 
 
一、环境描述 
我的RedHat Linux Enterprise AS 4安装双口的Intel千兆网卡，通过ifconfig -a命令看到eth0和eth1两张网卡。 
 
二、双网卡绑定步骤： 
2.1 修改/etc/sysconfig/network
    
                                
    • 
                                
  • XML基础语法
                                    肆无忌惮_
xml
                                    
    一、什么是XML？ 
XML全称是Extensible Markup Language，可扩展标记语言。很类似HTML。XML的目的是传输数据而非显示数据。XML的标签没有被预定义，你需要自行定义标签。XML被设计为具有自我描述性。是W3C的推荐标准。 
  
二、为什么学习XML？ 
用来解决程序间数据传输的格式问题 
做配置文件 
充当小型数据库 
  
三、XML与HTM
    
                                
    • 
                                
  • 为网页添加自己喜欢的字体
                                    知了ing
字体 秒表 css
                                    
    @font-face {
			font-family: miaobiao;//定义字体名字
			font-style:  normal;
		    font-weight: 400;
			src: url('font/DS-DIGI-e.eot');//字体文件
		} 
使用： 
 
<label style="font-size:18px;font-famil
    
                                
    • 
                                
  • redis范围查询应用-查找IP所在城市
                                    矮蛋蛋
redis
                                    
    原文地址： 
http://www.tuicool.com/articles/BrURbqV 
需求 
 
根据IP找到对应的城市 
 
原来的解决方案 
 
oracle表（ip_country）： 
 
 
查询IP对应的城市： 
 
1.把a.b.c.d这样格式的IP转为一个数字，例如为把210.21.224.34转为3524648994 
 
2. select city from ip_
    
                                
    • 
                                
  • 输入两个整数， 计算百分比
                                    alleni123
java
                                    
    	public static String getPercent(int x, int total){
		 
		double result=(x*1.0)/(total*1.0);
		System.out.println(result);
		
		
		DecimalFormat df1=new DecimalFormat("0.0000%");
		

    
                                
    • 
                                
  • 百合——————>怎么学习计算机语言
                                    百合不是茶
java 移动开发
                                    
        对于一个从没有接触过计算机语言的人来说，一上来就学面向对象，就算是心里上面接受的了，灵魂我觉得也应该是跟不上的，学不好是很正常的现象，计算机语言老师讲的再多，你在课堂上面跟着老师听的再多，我觉得你应该还是学不会的，最主要的原因是你根本没有想过该怎么来学习计算机编程语言，记得大一的时候金山网络公司在湖大招聘我们学校一个才来大学几天的被金山网络录取，一个刚到大学的就能够去和
    
                                
    • 
                                
  • linux下tomcat开机自启动
                                    bijian1013
tomcat
                                    
    方法一： 
修改Tomcat/bin/startup.sh 为: 
export JAVA_HOME=/home/java1.6.0_27
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export PATH=$JAVA_HOME/bin:$PATH
export CATALINA_H
    
                                
    • 
                                
  • spring aop实例
                                    bijian1013
javaspringAOP
                                    
    1.AdviceMethods.java 
package com.bijian.study.spring.aop.schema;

public class AdviceMethods {

	public void preGreeting() {
		System.out.println("--how are you!--");
	}
} 
2.beans.x
    
                                
    • 
                                
  • [Gson八]GsonBuilder序列化和反序列化选项enableComplexMapKeySerialization
                                    bit1129
serialization
                                    
    enableComplexMapKeySerialization配置项的含义 
 Gson在序列化Map时，默认情况下，是调用Key的toString方法得到它的JSON字符串的Key，对于简单类型和字符串类型，这没有问题，但是对于复杂数据对象，如果对象没有覆写toString方法，那么默认的toString方法将得到这个对象的Hash地址。 
  
GsonBuilder用于
    
                                
    • 
                                
  • 【Spark九十一】Spark Streaming整合Kafka一些值得关注的问题
                                    bit1129
Stream
                                    
    包括Spark Streaming在内的实时计算数据可靠性指的是三种级别： 
1. At most once，数据最多只能接受一次，有可能接收不到 
2. At least once, 数据至少接受一次，有可能重复接收 
3. Exactly once  数据保证被处理并且只被处理一次， 
  
具体的多读几遍http://spark.apache.org/docs/lates
    
                                
    • 
                                
  • shell脚本批量检测端口是否被占用脚本
                                    ronin47

                                    
    #!/bin/bash
cat ports   |while read line
do#nc -z  -w 10  $line

nc -z -w 2 $line 58422>/dev/null2>&1if[ $?-eq 0]then
echo $line:ok
else
echo $line:fail
fi

done

这里的ports 既可以是文件
    
                                
    • 
                                
  • java-2.设计包含min函数的栈
                                    bylijinnan
java
                                    
    具体思路参见：http://zhedahht.blog.163.com/blog/static/25411174200712895228171/ 
 

import java.util.ArrayList;
import java.util.List;


public class MinStack {

	//maybe we can use origin array rathe
    
                                
    • 
                                
  • Netty源码学习-ChannelHandler
                                    bylijinnan
javanetty
                                    
     
一般来说，“有状态”的ChannelHandler不应该是“共享”的，“无状态”的ChannelHandler则可“共享” 
例如ObjectEncoder是“共享”的, 但 ObjectDecoder 不是 
因为每一次调用decode方法时，可能数据未接收完全（incomplete）， 
它与上一次decode时接收到的数据“累计”起来才有可能是完整的数据，是“有状态”的 
 
 

p
    
                                
    • 
                                
  • java生成随机数
                                    cngolon
java
                                    
    方法一： 
/** 
* 生成随机数 
* @author [email protected] 
* @return 
*/ 
public synchronized static String getChargeSequenceNum(String pre){ 
StringBuffer sequenceNum = new StringBuffer(); 
Date dateTime = new D
    
                                
    • 
                                
  • POI读写海量数据
                                    ctrain
海量数据
                                    
    import java.io.FileOutputStream; 
import java.io.OutputStream; 
 
import org.apache.poi.xssf.streaming.SXSSFRow; 
import org.apache.poi.xssf.streaming.SXSSFSheet; 
import org.apache.poi.xssf.streaming
    
                                
    • 
                                
  • mysql 日期格式化date_format详细使用
                                    daizj
mysqldate_format日期格式转换日期格式化
                                    
     
 日期转换函数的详细使用说明 
   DATE_FORMAT(date,format) Formats the date value according to the format string. The following specifiers may be used in the format string. The&n
    
                                
    • 
                                
  • 一个程序员分享8年的开发经验
                                    dcj3sjt126com
程序员
                                    
      
在中国有很多人都认为IT行为是吃青春饭的，如果过了30岁就很难有机会再发展下去!其实现实并不是这样子的，在下从事.NET及JAVA方面的开发的也有8年的时间了，在这里在下想凭借自己的亲身经历，与大家一起探讨一下。 
明确入行的目的 
很多人干IT这一行都冲着“收入高”这一点的，因为只要学会一点HTML, DIV+CSS，要做一个页面开发人员并不是一件难事，而且做一个页面开发人员更容
    
                                
    • 
                                
  • android欢迎界面淡入淡出效果
                                    dcj3sjt126com
android
                                    
    很多Android应用一开始都会有一个欢迎界面，淡入淡出效果也是用得非常多的，下面来实现一下。 
主要代码如下： 
package com.myaibang.activity; 
import android.app.Activity;import android.content.Intent;import android.os.Bundle;import android.os.CountDown
    
                                
    • 
                                
  • linux 复习笔记之常见压缩命令
                                    eksliang
tar解压linux系统常见压缩命令linux压缩命令tar压缩
                                    
    转载请出自出处:http://eksliang.iteye.com/blog/2109693 
linux中常见压缩文件的拓展名 
*.gz   gzip程序压缩的文件
*.bz2  bzip程序压缩的文件
*.tar  tar程序打包的数据，没有经过压缩
*.tar.gz  tar程序打包后，并经过gzip程序压缩
*.tar.bz2 tar程序打包后，并经过bzip程序压缩
*.zi
    
                                
    • 
                                
  • Android 应用程序发送shell命令
                                    gqdy365
android
                                    
    项目中需要直接在APP中通过发送shell指令来控制lcd灯，其实按理说应该是方案公司在调好lcd灯驱动之后直接通过service送接口上来给APP，APP调用就可以控制了，这是正规流程，但我们项目的方案商用的mtk方案，方案公司又没人会改，只调好了驱动，让应用程序自己实现灯的控制，这不蛋疼嘛！！！！ 
 
发就发吧！ 
 
一、关于shell指令： 
我们知道，shell指令是Linux里面带的
    
                                
    • 
                                
  • java 无损读取文本文件
                                    hw1287789687
读取文件无损读取读取文本文件charset
                                    
    java 如何无损读取文本文件呢？ 
以下是有损的 
@Deprecated
	public static String getFullContent(File file, String charset) {
		BufferedReader reader = null;
		if (!file.exists()) {
			System.out.println("getFull
    
                                
    • 
                                
  • Firebase 相关文章索引
                                    justjavac
firebase
                                    
    Awesome Firebase 
最近谷歌收购Firebase的新闻又将Firebase拉入了人们的视野，于是我做了这个 github 项目。 
Firebase 是一个数据同步的云服务，不同于 Dropbox 的「文件」，Firebase 同步的是「数据」，服务对象是网站开发者，帮助他们开发具有「实时」（Real-Time）特性的应用。 
开发者只需引用一个 API 库文件就可以使用标准 RE
    
                                
    • 
                                
  • C++学习重点
                                    lx.asymmetric
C++笔记
                                    
    1.c++面向对象的三个特性：封装性，继承性以及多态性。 
  
2.标识符的命名规则：由字母和下划线开头，同时由字母、数字或下划线组成；不能与系统关键字重名。 
  
3.c++语言常量包括整型常量、浮点型常量、布尔常量、字符型常量和字符串性常量。 
  
4.运算符按其功能开以分为六类：算术运算符、位运算符、关系运算符、逻辑运算符、赋值运算符和条件运算符。 
&n
    
                                
    • 
                                
  • java bean和xml相互转换
                                    q821424508
javabeanxmlxml和bean转换java bean和xml转换
                                    
    这几天在做微信公众号 
做的过程中想找个java bean转xml的工具，找了几个用着不知道是配置不好还是怎么回事，都会有一些问题， 
然后脑子一热谢了一个javabean和xml的转换的工具里，自己用着还行，虽然有一些约束吧 ， 
还是贴出来记录一下  
  
  
顺便你提一下下，这个转换工具支持属性为集合、数组和非基本属性的对象。 
  
packag
    
                                
    • 
                                
  • C 语言初级 位运算
                                    1140566087
位运算c
                                    
      第十章 位运算    1、位运算对象只能是整形或字符型数据，在VC6.0中int型数据占4个字节    2、位运算符：  运算符 作用  ~ 按位求反  << 左移  >> 右移  & 按位与  ^ 按位异或  | 按位或   他们的优先级从高到低；    3、位运算符的运算功能：  a、按位取反：  ~01001101 = 101
    
                                
    • 
                                
  • 14点睛Spring4.1-脚本编程
                                    wiselyman
spring4
                                    
    14.1 Scripting脚本编程 
 
 脚本语言和java这类静态的语言的主要区别是:脚本语言无需编译,源码直接可运行; 
 如果我们经常需要修改的某些代码,每一次我们至少要进行编译,打包,重新部署的操作,步骤相当麻烦; 
 如果我们的应用不允许重启,这在现实的情况中也是很常见的; 
 在spring中使用脚本编程给上述的应用场景提供了解决方案,即动态加载bean; 
 spring支持脚本
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他