Giraph

软件体系结构

Giraph：是一个迭代的图计算系统。Giraph计算的输入是由点和直连的边组成的图。图形(Graph)是大数据领域最热门的关键词。Hive：hive是
城堡修炼者·2023-12-26 04:42

2013 Bossie评选：最佳开源大数据工具

Giraph、Hama以及Impala等工具的出现则是为了突破MapReduce的局限。
xiyf2046·2022-12-05 11:03

大数据图数据库之离线挖掘计算模型

*/author:张俊林节选自《大数据日知录：架构与算法》十四章，书籍目录在此对于离线挖掘类图计算而言，目前已经涌现出众多各方面表现优秀而各具特点的实际系统，典型的比如Pregel、Giraph、Hama
张俊林博客·2020-09-10 15:15

运行 Giraph 提示 too many counters

运行Giraph提示toomanycounters在加入-camapreduce.job.counters.limit=1000后，仍然运行失败16/10/2008:56:08INFOjob.GiraphJob
weixin_30421525·2020-08-23 07:00

Giraph测试用例之Parallel BFS

该用例源自：https://github.com/MarcoLotz/GiraphBFSSO/blob/master/src/uk/co/qmul/giraph/structurebfs/SimpleBFSStructureComputation.java
飞火流云·2020-08-17 21:52

Giraph源码分析（九）—— Aggregators 原理解析

欢迎大家加入Giraph技术交流群：228591158Giraph中Aggregator的基本用法请参考官方文档：http://giraph.apache.org/aggregators.html，本文重点在解析
HamaWhite·2020-08-12 00:45

Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目

作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的顶点数
conglian1917·2020-08-02 23:22

Giraph源码分析（七）—— 添加消息统计功能

在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。
conglian1917·2020-08-02 23:21

Giraph参数说明

公共参数参数名称简称默认值示例备注giraph.maxNumberOfSupersteps-15最多迭代次数giraph.computationClass--org.apache.giraph.examples.PageRankComputationVertex
houzhizhen·2020-07-27 23:02

Giraph Aggregator Guide

AggregatorAggregator运行聚集在一个超级步中所有顶点的操作。Aggregator的操作类型可以是多样的，并不总是对值求和，如LongSumAggregator是对Long性进行求和，而LongMinAggregator只保留所有的最小值。LongMaxAggregator只保留最大值。LongProductAggregator保留把聚集的每个数的乘积。如LongProductAg
houzhizhen·2020-07-27 23:01

Hadoop 图处理

Hadoop图处理1.1实验内容本课程将基于hadoop平台实现Giraph分布式系统中的图处理。1.2课程来源本课程基于图灵教育的《Hadoop应用架构》第5章制作，真诚感谢图灵教育对实验楼的授权。
oxuzhenyi·2020-07-14 16:23

Hadoop生态圈

、HBASE五、Zookeeper六、HIVE七、Pig八、Sqoop九、Flume十、Mahout十一、Oozie十二、Yarn十三、Mesos十四、Tachyon十五、Tez十六、Spark十七、Giraph
_梓杰_·2020-07-10 15:35

Giraph 运行常见错误

1.Couldnotfindorloadmainclassorg.apache.giraph.yarn.GiraphApplicationMaster16/08/3008:45:13ERRORyarn.GiraphYarnClient
-山海經-·2020-07-10 13:52

HPC大规模集群下的Hadoop2.5+Zookeeper3.4+Giraph1.2的配置、安装与应用

因为HPC的机器都是用来跑mpi程序的，很少进行分布式计算，更坑爹的是里面装的Hadoop2.7.4版本和Giraph不兼容，所以只有全部纯手动进行安装配置了...在安装的过程中遇到了非常非常多的坑，下面进行学习总结
AlexP5·2020-07-10 04:42

Giraph源码分析（四）—— Master 如何检查Worker启动成功

欢迎大家加入Giraph技术交流群：228591158欢迎访问：西北工业大学-大数据与知识管理研究室（NorthwesternPolytechnicalUniversity-BigDataandKnowledgeManagementLab
HamaWhite·2020-07-09 02:03

Hello Giraph

ApacheGiraphhttp://blog.cloudera.com/blog/2014/02/how-to-write-and-run-giraph-jobs-on-hadoop/http://blog.cloudera.com
zqhxuyuan·2020-07-06 14:21

The Message Process of Giraph

AbstractComputation.sendMessage/***Sendamessagetoavertexid.**@paramidVertexidtosendthemessageto*@parammessageMessagedatatosend*/@OverridepublicvoidsendMessage(Iid,M2message){workerClientRequestProcess
houzhizhen·2020-07-04 17:10

Giraph: The process of read Vertices

GraphTaskManager.execute/***Performtheworkassignedtothiscomputenodeforthisjobrun.*1)Runcheckpointperfrequencypolicy.*2)Foreveryvertexonthismapper,runthecompute()function*3)Waituntilallmessagingisdone.
houzhizhen·2020-07-04 17:10

YARN

理解YARN如何为Hadoop集群提供灵活的资源管理理解YARN如何拓展Hadoop使得能够支持多种框架如MapReduce、Spark、Giraph和FlinkYARN是Hadoop从1.0升级至2.0
Stephen__Chou·2020-06-30 16:18

Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目

欢迎大家加入Giraph技术交流群：228591158目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。
HamaWhite·2020-06-30 02:12

Giraph superstep中做的事情，以及其与BSP模型的对比

Giraph在一个superstep中要做的事情大概分为3步1.处理单元要对每一个activevertices迭代，callcompute(),在一个vertex生成message后，它们会被发送到对应的处理单元根据
上杉绘梨衣-·2020-06-29 19:08

SparkGraphX介绍

1并行图计算从社交网络到自然语言建模，图数据的规模和重要性已经促进了许多并行图系统的发展（例如Giraph和GraphLab等）。
长空飞鹰·2020-06-24 18:17

分布式大数据系统概览（HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph）

大数据处理系统》，参考大夏学堂，下面主要整理HDFS/MapReduce/Spark/Yarn/Zookeeper/Storm/SparkStreaming/Lambda/DataFlow/Flink/Giraph
华师数据学院·王嘉宁·2020-01-10 15:17

Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目

作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的顶点数
数澜·2019-08-20 10:53

Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目

作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的顶点数
数澜科技·2019-08-20 00:00

Giraph源码分析（七）—— 添加消息统计功能

在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。
数澜·2019-08-19 16:30

Giraph源码分析（七）—— 添加消息统计功能

在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。
数澜科技·2019-08-19 00:00

Giraph源码分析（六）——Edge 分析

2.org.apache.giraph.edge.Edge接口，用于存储顶点的边，每条边包含targetVertexId和edg
数澜·2019-08-12 15:34

Giraph源码分析（六）——Edge 分析

2.org.apache.giraph.edge.Edge接口，用于存储顶点的边，每条边包含targetVertexId和edg
数澜科技·2019-08-12 00:00

Giraph 源码分析（五）—— 加载数据+同步总结

作者|白松关于Giraph共有九个章节，本文第五个章节。环境：在单机上（机器名：giraphx）启动了2个workers。输入：SSSP文件夹，里面有1.txt和2.txt两个文件。
数澜·2019-08-08 11:28

Giraph 源码分析（五）—— 加载数据+同步总结

作者|白松关于Giraph共有九个章节，本文第五个章节。环境：在单机上（机器名：giraphx）启动了2个workers。输入：SSSP文件夹，里面有1.txt和2.txt两个文件。
数澜科技·2019-08-08 00:00

Giraph源码分析（四）—— Master 如何检查Worker启动成功

本文的目的说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步（不太确定）。环境在单机上（机器名：giraphx）启动了2个workers。
数澜·2019-07-26 10:16

Giraph源码分析（三）—— 消息通信

由前文知道每个BSPServiceWorker有一个WorkerServer对象，WorkerServer对象里面又有ServerData对象，作为数据实。ServerData中包含该Worker的partitionStore、edgeStore、incomingMessageStore、currentMessageStore、聚集值等。其中incomingMessageStore对象为Messa
数澜·2019-07-25 14:26

Giraph源码分析（二）—启动Master/Worker服务

1、org.apache.giraph.bsp.CentralizedService接口功能：BasicserviceinterfacesharedbybothCentralizedServiceMasterandCentralizedServiceWorker
数澜·2019-07-22 20:52

Giraph源码分析（一）— 启动ZooKeeper服务

Giraph介绍：ApacheGiraphisaniterativegraphprocessingsystembuiltforhighscalability.Forexample,itiscurrentlyusedatFacebooktoanalyzethesocialgraphformedbyusersandtheirconnections.G
数澜·2019-07-22 19:02

Giraph源码分析（一）— 启动ZooKeeper服务

Giraph介绍：ApacheGiraphisaniterativegraphprocessingsystembuiltforhighscalability.Forexample,itiscurrentlyusedatFacebooktoanalyzethesocialgraphformedbyusersandtheirconnections.G
数澜科技·2019-07-19 00:00

类中添加日志打印

利用log4jpackageorg.apache.giraph.examples;importjava.io.IOException;importorg.apache.giraph.edge.Edge;
飞火流云·2018-09-23 15:06

GiraphV1.2源码阅读记录

1.关于Worker和分区号的对应关系和Hama中不同，Giraph中一个Worker对应多个分区，而worker的ID和任务号并不像Hama中存在一一对应关系，而是通过MAp保存；BspServiceWorker
飞火流云·2016-11-29 17:54

hadoop--之YARN框架流程

Hadoop1.0版本中MapReduce架构存在的许多问题，例如：（一）无法支持更多的计算模型，Mapreduce将两个阶段计算模型MapReduce固化到了Hadoop系统中，无法更容易的支持更多的计算框架，比如Giraph
Gedeon·2016-10-11 21:36

Giraph集群测试Pagerank

[liuqiang2@mu02bin]$giraph..
cloudeagle_bupt·2016-03-18 17:00

[ZZ] Big Data 开源工具

big-data-right-now-five-trendy-open-source-technologies/ 总结的开源工具:   1, STORM AND KAFKA2, DRILL AND DREMEL3, R4, GREMLIN AND GIRAPH5
·2015-11-13 18:03

Giraph之SSSP（shortest path）单机伪分布运行成功

  所遇问题：Exception 1： Exception in thread "main" java.lang.IllegalArgumentException: "checkLocalJobRunnerConfiguration: When using"LocalJobRunner, must have only one worker si
·2015-11-13 10:58

Run Example in Giraph: Shortest Paths

转自：https://marsty5.wordpress.com/2013/04/29/run-example-in-giraph-shortest-paths/ Run Example in Giraph
·2015-11-13 10:41

Giraph简介

转自： http://xinhstechblog.blogspot.com/2012/10/giraph-for-large-multigraphs.html Giraph Overview Giraph
·2015-11-13 10:40

大数据处理工具汇总（没有最全，只有更全^_^）

Apache Tajo、Hive 流式计算：Facebook Puma、Twitter Rainbird、YAhoo S4、Twitter Storm 迭代计算：Apache Hama、Apache Giraph
·2015-11-02 18:31

大数据图数据库之离线挖掘计算模型

                    节选自《大数据日知录：架构与算法》十四章，书籍目录在此    对于离线挖掘类图计算而言，目前已经涌现出众多各方面表现优秀而各具特点的实际系统，典型的比如Pregel、Giraph
malefactor·2014-10-08 19:00

Giraph：基于Hadoop的开源图形处理平台

开源项目Giraph的支持者或许都知道，Facebook在开发图谱搜索(GraphSearch)服务时，选择采用了Giraph，并开始了对此项开源技术的研究。
badboy_1990·2014-07-08 19:00

Giraph基础介绍

GiraphOverviewApacheGiraphisaniterativegraphprocessingsystembuiltforhighscalability.Forexample,itiscurrentlyusedatFacebooktoanalyzethesocialgraphformedbyusersandtheirconnections.Giraphoriginatedastheo
badboy_1990·2014-07-08 19:00

GPS-Graph Processing System Graph Coloring算法分析 （三）

欢迎大家加入Giraph技术交流群： 228591158  Graphcoloringistheproblemofassigningacolortoeachvertexofanundirectedgraphsuchthatnotwoadjacentverticeshavethe
xin_jmail·2014-06-09 20:00

GPS-Graph Processing System 修改源码经验总结 （四）

欢迎大家加入Giraph技术交流群： 228591158本文目的：在修改GPS源码后，详细描述如何编译和分发到各Worker节点上。
xin_jmail·2014-06-06 09:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他