GraphX

Spark组件之GraphX学习8--随机图生成和TopK最大入度

解释前一篇为最大入度，但是有时候需要求topK,这篇博文求的TopK的入度，出度和度的求法类似2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/graphx-programming-guide.html
bob601450868·2016-05-03 22:00

Spark组件之GraphX学习7--随机图生成和reduce最大或最小出度/入度/度

SparkLearning1解释通过自定义函数reduce最大或最小出度/入度/度2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/graphx-programming-guide.html
bob601450868·2016-05-03 21:00

Spark组件之GraphX学习6--随机图生成和出度入度等信息显示

github.com/xubo245/SparkLearning1解释简单不详述2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/graphx-programming-guide.html
bob601450868·2016-05-03 21:00

Spark组件之GraphX学习5--随机图生成和消息发送aggregateMessages以及mapreduce操作（含源码分析）

更多代码请见：https://github.com/xubo245/SparkLearning0.主要：随机图生成消息发送aggregateMessages，进行reducer计算最后还有个mapValues操作1解释（1）随机图生成GraphGenerators.logNormalGraph随机图生成方法源码：默认出度为4，标准偏差为1.3，并行生成numVertices，partition默认
bob601450868·2016-05-03 20:00

Spark组件之GraphX学习4--Structural Operators：mask

更多代码请见：https://github.com/xubo245/SparkLearning1解释connectedComponents源码：返回连接成分的顶点值：包含顶点Id，属性没了/** *Computetheconnectedcomponentmembershipofeachvertexandreturnagraphwiththevertex *valuecontainingthelow
bob601450868·2016-05-03 20:00

Spark组件之GraphX学习3--Structural Operators：subgraph

更多代码请见：https://github.com/xubo245/SparkLearning1解释子图，过滤结构化操作有多个classGraph[VD,ED]{ defreverse:Graph[VD,ED] defsubgraph(epred:EdgeTriplet[VD,ED]=>Boolean, vpred:(VertexId,VD)=>Boolean):Graph[VD,ED] defm
bob601450868·2016-05-03 19:00

Spark组件之GraphX学习2--triplets实践

https://github.com/xubo245/SparkLearning1解释2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/graphx-programming-guide.html
bob601450868·2016-05-03 19:00

Spark组件之GraphX学习1--入门实例Property Graph

xubo245/SparkLearning比较好理解，详细了解请看参考【1】1.属性图2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/graphx-programming-guide.html
bob601450868·2016-05-03 19:00

第1课：通过案例对Spark Streaming透彻理解三板斧之一Spark Streaming另类实验及本质解析

Spark一开始并没我们今天看到的SparkSQL,SparkStreaming,MLlib(machinelearning),GraphX(graph)，SparkR等相关内容,只有原始的SparkCore
love205088·2016-05-02 22:17

spark 版本定制 20160501 通过案例对SparkStreaming透彻理解之一

比如 SparkStreaming、SparkSQL、GraphX 、MLlib选择sparkstreaming做为源码定制的出发点的原因：从依赖的专业知识上讲，相对于其他API，无需引入过多的专业领域的依赖知识
柯里昂·2016-05-02 14:00

通过案例对SparkStreaming 透彻理解三板斧之一：解密SparkStreaming另类实验

根据spark历史演进的趋势，sparkgraphX,机器学习已经发展得非常好。对它进行改进是重要的，单不是最重要的。
荀道子·2016-05-02 09:00

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
·2016-04-26 16:00

[置顶] pregel 与 spark graphX 的 pregel api

简介在Hadoop兴起之后，google又发布了三篇研究论文，分别阐述了了Caffeine、Pregel、Dremel三种技术，这三种技术也被成为google的新“三驾马车”，其中的Pregel是google提出的用于大规模分布式图计算框架。主要用于图遍历（BFS）、最短路径（SSSP）、PageRank计算等等计算。在Pregel计算模式中，输入是一个有向图，该有向图的每一个顶点都有一个相应的独
u013468917·2016-04-20 12:00

GraphFrames介绍

什么是GraphFrames与ApacheSpark的GraphX类似，GraphFrames支持多种图
LW_GHY·2016-04-12 22:00

GraphX源码解析（Graph构建过程）

0.Graph构建Graph对象是用户的操作入口，主要包含edge和vertex两部分。边是由点组成，所以边中所有的点就是点的全集，但这个全集包含了重复的点，去重后就是VertexRDD。1.构建图的方法从边的集合构建图（Graph.fromEdges）deffromEdges[VD:ClassTag,ED:ClassTag]( edges:RDD[Edge[ED]], defaultValue:
ZCF1002797280·2016-04-06 15:00

Storm 实时云计算 学习使用 包括基本api 以及 高层次api trident 的基本使用

1s以下的实时查询,Spark却做不到，Storm更加自由风格计算是在bolt节点上，Spark是在链上，Sparkstream与storm同样可以实现即时有一定延迟的比如CEP的查询Spark有MLgraphx
zhuyuping·2016-04-06 00:00

Spark Python 快速体验

Spark的技术栈包括了这些模块：核心模块：SparkCore集群管理 StandaloneSchedulerYARNMesosSparkSQLSpark流StreamingSpark机器学习MLLibGraphX
naughty·2016-04-04 14:00

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
LW_GHY·2016-03-18 21:00

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
openthings·2016-03-11 16:00

基于Spark DataFrame的图数据库GraphFrame：用Spark SQL查询Graph

什么是GraphFrameGraphFrame是类似于Spark的GraphX库，支持图处理。
侠天·2016-03-10 00:00

Spark MLlib LDA 基于GraphX实现原理及源码分析

LDA背景LDA（隐含狄利克雷分布）是一个主题聚类模型，是当前主题聚类领域最火、最有力的模型之一，它能通过多轮迭代把特征向量集合按主题分类。目前，广泛运用在文本主题聚类中。LDA的开源实现有很多。目前广泛使用、能够分布式并行处理大规模语料库的有微软的LightLDA，谷歌plda、plda+，sparkLDA等等。下面介绍这3种LDA：LightLDA依赖于微软自己实现的multiverso参数服
tanglizhe1105·2016-02-25 22:00

Spark GraphX原理介绍

背景现实应用中，数据内部可能存在较高的关联度，如图模型应用。在对这样的数据进行处理时，并行计算框架就会面临较大的挑战，会引入大量的数据连接（join）和聚合（aggregation）操作，带来大量的计算和数据迁移，严重消耗集群资源，因此对此类算法的优化就显得极为重要。互联网上网页权值计算的PageRank算法是一个典型的图模型问题，它依据网页之间的链接指向关系来判断网页的重要性，指向一个网页的链接
tanglizhe1105·2016-02-25 20:00

GraphX迭代的瓶颈与分析

背景测试了一个case，用GraphX1.6跑标准的LPA算法，使用的是内置的LabelPropagation算法包。
zbf8441372·2016-02-03 16:00

5.Spark之简介GraphX

GraphX是ApacheSparkAPI中用于图和图的并行计算。下面介绍它的几个特点。灵活性：无缝的与图和集合工作。GraphX在一个系统中结合了ETL、探索分析、交互式图计算。
鞋底留个洞·2016-01-27 14:00

常见创建RDD的方法

课程会涵盖Scala编程详解、Spark核心编程、SparkSQL和SparkStreaming、SparkGraphX、SparkR、MachineLearning、Spark内核以及源码剖析、性能调优
kxr0502·2016-01-20 08:20

倾情大奉送--Spark入门实战系列

这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、SparkStreaming、SparkMLib和SparkGraphX
coco_ethan·2016-01-17 22:36

大数据系列第七课：RDD于Spark运行机制

课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析
kxr0502·2016-01-09 13:00

Spark 综合应用

岁的人名HiveOnSpark:使用了hiveContext计算每年销售额店铺分类,根据销售额对店铺分类,使用sparkSQL和MLLib聚类算法PageRank,计算最有价值的网页,使用sparkSQL和GraphX
u012432611·2016-01-04 11:00

解析Spark大数据分析框架的核心部件

Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、SparkSQL数据检索语言、Tachyon文件系统
勿忘初心321·2015-12-23 13:00

Spark生态圈之——MLBase分布式机器学习系统

MLBase背景MLBase是Spark生态圈里的一部分，专门负责机器学习这块(除它之外，还有负责图计算的GraphX、SQLad-hoc查询的Shark、具备容错性查询能力的BlinkDB等)。
kavy·2015-12-18 16:00

分布式图并行计算框架：PowerGraph

在看了他的简历后，发现他居然也是SparkGraphx的第一作者，并且Graphx这篇论论文也是发表在OSDI上，非常牛逼！戳这里，是他的博客地址。
ZCF1002797280·2015-12-16 22:00

spark graphx 最短路径及中间节点

{SparkConf,SparkContext} importorg.apache.spark.graphx.
wingerli·2015-11-27 09:00

Spark GraphX 2

顶点：VertexRDD 边：EdgeRDD、Edge、EdgeDirection Triplet：EdgeTriplet 存储：PartitionStrategy通常的存储方式有两种：切边或切顶点，GraphX
sunflower627·2015-11-26 14:00

Spark GraphX

1OverviewGraphXisanewcomponentinSparkforgraphsandgraph-parallelcomputation.Atahighlevel,GraphXextendstheSparkRDDbyintroducinganewGraphabstraction
sunflower627·2015-11-26 14:00

Graphx 最短路径源码解析

1.最短路径测试代码下面主要是对Spark图计算框架GraphX中的单源点最短路径的源码进行解析。
ZCF1002797280·2015-11-24 08:00

GraphX之Pregel（BSP模型-消息传递机制）学习

  /* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information re
·2015-11-13 06:16

Spark之GraphX的Graph_scala学习

/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding c
·2015-11-13 06:15

Spark大数据处理技术

透彻讲解Spark原理和架构，以及部署模式、调度框架、存储管理及应用监控等重要模块 Spark生态圈深度检阅：SQL处理Shark和Spark SQL、流式处理Spark Streaming、图计算Graphx
·2015-11-12 10:36

Spark学习体会

Spark的计算使用Scala语言编写代码，其中图计算用到了GraphX。对Spark技术的学习已经非常重要。
andyshar·2015-11-12 07:00

把传统的基于sql的企业信息中心迁移到spark 架构应该考虑的几点思考...[修改中]

而且spark提供了内置的mlib和graphX 一般的报表都
·2015-11-11 13:56

Spark GraphX（一）

1.基础Spark中属性图是由VertexRDD和EdgeRDD两个参数构成的。其中，每个vertex由一个唯一的64位长的标识符（VertexId）作为key。同时，属性图也和RDD一样，是不可变的、分布式的、可容错的。属性图Graph的定义如下：abstractclassGraph[VD,ED]{ valvertices:VertexRDD[VD] valedges:EdgeRDD[ED va
u010376788·2015-11-08 19:00

Spark GraphX的边构造过程详解——从 RDD[Edge[ED]] 到 EdgeRDD[ED, VD]

关键词SparkGraphXRDDEdgeEdgeRDDEdgeRDDImpl分区索引分区索引本文介绍SparkGraphX内部对边存储的机理，详解边分区内部的索引构建过程。
tanglizhe1105·2015-11-02 09:00

Spark_GraphX安装记录

另外，手动编译需要安装sbt,这个类似maven,很麻烦，我只是想运行下GraphX,因此直接下载pre-built版本，可以直接运行的，无需安装sbt设置环境变量SPARK_HOME=/opt/spark
飞火流云·2015-10-30 20:28

[翻译 by Zephyr] README In Spark Building

同时，它也支持一系列丰富高水平的工具，包括用于SQL的SparkSQL和数据结构处理，用于机器学习的MLlib，用于图形处理的GraphX,和实时流处理的SparkStreaming。
u011414200·2015-10-26 10:00

Spark1.5.1学习笔记（一）Standalone集群配置

好记性不如烂笔头ApacheSpark是一个通用的大规模数据快速处理引擎，基于Scala语言实现，但提供多语言（Java,Scala,PythonandR）API，以及丰富的工具集（如SparkSQL、MLib、GraphX
luchunli1985·2015-10-23 10:01

Spark1.5.1学习笔记（一）Standalone集群配置

好记性不如烂笔头ApacheSpark是一个通用的大规模数据快速处理引擎，基于Scala语言实现，但提供多语言（Java,Scala,PythonandR）API，以及丰富的工具集（如SparkSQL、MLib、GraphX
luchunli1985·2015-10-23 10:01

GraphXML.html backup

GraphXML—AnXMLBbasedGgraphIinterchangeFformatI.Herman,M.S.Marshall CWIP.O.Box94079,1090GBAmsterdam,TheNetherlandsEmail
titer1·2015-10-20 17:00

Spark Graphx:构建graph和聚合消息

About最近在优化kcore算法时，对Graphx代码看了几遍。1.2后Graphx性能有所提升，代码不太容易理解，现在用图表示出来会更直观。
Rayn-瑞恩·2015-09-28 16:00

hadoop编程----寻找社交网络图中的三角关系

目前图的三角形计数问题已经成为了Spark系统中GraphX图计算库所提供的一个算法级API。本次实验任务就是要在Hadoop系统上实现Twitter社交网络图的三角形计数任务。
jianjian1992·2015-09-20 20:00

spark学习笔记总结-spark入门资料精化

SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等核心组件解决了很
u013719780·2015-09-14 22:00
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他