E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
GraphX
Spark：超越Hadoop MapReduce
本文选自《Spark
GraphX
实战》。大数据对一些数据科学团队来说是主要的挑战，因为在要求的可扩展性方面单机没有能力和容量来运行大规模数据处理。
博文视点
·
2017-04-12 12:39
Spark
GraphX
Spar
spark的生态圈
系统中，其核心框架是sparkcore，同时涵盖支持结构化数据SQL查询与分析的查询引擎SparkSQL和shark，提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib，并行图计算框架
GraphX
蜗牛0
·
2017-04-11 19:08
Spark
Spark相关文章索引（3）
环境部署Spark2.1.0的Standalone模式部署基本常识spark中的rdd的持久化Spark入门实战系列–9.Spark图计算
GraphX
介绍及实例《Spark官方文档》SparkSQL,DataFrames
BlackEnn
·
2017-04-10 13:00
spark
大数据
Spark相关文章索引（3）
环境部署Spark2.1.0的Standalone模式部署基本常识spark中的rdd的持久化Spark入门实战系列–9.Spark图计算
GraphX
介绍及实例《Spark官方文档》SparkSQL,DataFrames
BlackEnn
·
2017-04-10 13:00
spark
大数据
Spark相关文章索引（3）
环境部署Spark2.1.0的Standalone模式部署基本常识spark中的rdd的持久化Spark入门实战系列–9.Spark图计算
GraphX
介绍及实例《Spark官方文档》SparkSQL,DataFrames
BlackEnn
·
2017-04-10 13:00
spark
大数据
Spark相关文章索引（3）
环境部署Spark2.1.0的Standalone模式部署基本常识spark中的rdd的持久化Spark入门实战系列–9.Spark图计算
GraphX
介绍及实例《Spark官方文档》SparkSQL,DataFrames
BlackEnn
·
2017-04-10 12:00
spark
大数据
Spark2.1.0官方文档
它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的SparkSQL，用于机器学习的MLlib，用于图形处理的
GraphX
和SparkStreaming。
FlinkMe
·
2017-03-04 15:00
igraph社团发现和角色提取
/********社团发现***********/目标：找带权重的社团选型：networkx社团发现算法很少，igraph算法多，Spark
Graphx
能找到高效的实现方法。
huxuanlai
·
2017-03-03 13:49
图和空间分析
Graphx
源码解析之SVD++算法
Spark
Graphx
中SVD++算法主要是参考论文:http://public.research.att.com/~volinsky/netflix/kdd08koren.pdf,核心计算公式为：rui
蚂蚁大哥大
·
2017-02-28 13:17
spark
相似度算法
推荐系统
graphx
svd++
spark 学习笔记
Spark学习笔记DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、
GraphX
等)->Parquet->其它各种DataMining
哎哟喂喽
·
2017-01-15 10:51
spark 学习笔记
Spark学习笔记DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、
GraphX
等)->Parquet->其它各种DataMining
哎哟喂喽
·
2017-01-15 10:51
spark
graphx
创建
创建
graphx
1、工厂方法apply定义在Graph中，定义如下：defapply[VD,ED](vertices:RDD[(VertexId,VD)],edges:RDD[Edge[ED]],defaultVertexAttr
Dillon2015
·
2016-12-19 20:36
spark
graphx
Spark 基础
Spark核心引擎的特点——速度快、通用大一统的软件栈，其组件——SparkCore、SparkSQL(结构化数据)、SparkStreaming（实时计算）、MLib（机器学习）、
GraphX
（图计算
九七学姐
·
2016-11-29 09:19
四两拨千斤：借助Spark
GraphX
将QQ千亿关系链计算提速20倍
借助Spark
GraphX
，我们用寥寥100行核心代码，在高配置的TDW-Spark集群上，只花了2个半小时，便完成了原来需要2天的全量共同好友计算。
a3301
·
2016-11-19 12:40
Spark优化那些事(2)-
graphx
实现介数估算踩坑总结
背景最近一段时间在使用spark
graphx
实现介数估算。介数（betweenness）可分为点介数和边介数，在图中衡量一个点或边的重要程度，后面的讨论均是针对点介数，边介数实现方式类似。
a3301
·
2016-11-19 11:26
Spark
Graphx
图计算案例实战之aggregateMessages求社交网络中的最大年纪追求者和平均年纪！
Spark
Graphx
图计算案例实战之aggregateMessages求社交网络中的最大年纪追求者和平均年纪！
moviebat
·
2016-11-17 13:59
aggregate
spark
graphx
Spark图处理
GraphX
学习笔记！
Spark图处理
GraphX
学习笔记！一、什么是
GraphX
？
Graphx
利用了Spark这样了一个并行处理框架来实现了图上的一些可并行化执行的算法。
moviebat
·
2016-11-14 08:08
pagerank
spark
graphx
Spark笔试题
1.Spark的四大组件下面哪个不是(D)A.SparkStreamingBMlibC
Graphx
DSparkR2.下面哪个端口不是spark自带服务的端口(C)A.8080B.4040C.8090D.180803
燃烧的岁月_
·
2016-11-09 06:16
spark
大数据面试题
1.列举spark比hadoop快的原因，以及现在存在的主要问题2.描述下使用sparkstreaming和
GraphX
实现实时计算的可行性，以及可能会遇到的问题3.
GraphX
的PregelAPI只支持有向图遍历
秉寒CHO
·
2016-10-15 13:56
Hadoop
HBase
Spark
kafka
scala
DW
Spark四大组件包括Spark Streaming、Spark SQL、Spark MLlib和Spark
GraphX
。
Spark四大组件包括SparkStreaming、SparkSQL、SparkMLlib和Spark
GraphX
。
山鹰的天空
·
2016-08-31 14:57
spark
Spark
GraphX
学习笔记
概述
GraphX
是Spark中用于图(如Web-GraphsandSocialNetworks)和图并行计算(如PageRankandCollaborativeFiltering)的API,可以认为是GraphLab
千寻千梦
·
2016-08-26 08:45
spark
Spark大数据学习资源汇总
31745111Sparkresource1官方资料Spark官网及文档AMPLab官网Databricks博客2Spark生态系统资源分享2.1SparkSparkhanson教程2.2SparkSQLandShark2.3
GraphX
2.4SparkStreaming2.5MLlib3Spa
kingzone_2008
·
2016-08-24 15:58
Spark
好友推荐算法-基于关系的推荐
最近在搞社交网络的算法，前面简单叙述了pagerank的相关以及
graphx
的实现，现在简单介绍好友推荐算法，每当我们在QQ的添加好友等的时候，下面总会出现腾讯推荐给我们的好友，你会发现推荐的好友大多都是你某个好友的好友
九指码农
·
2016-08-13 09:18
spark及问题解决
graphx
Spark图计算
GraphX
介绍及实例
【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、
GraphX
介绍1.1
GraphX
应用背景Spark
GraphX
是一个分布式图处理框架，它是基于Spark
gongpulin
·
2016-06-30 23:44
spark
graphx
初涉，结合源码学习一
Graphx
中的重要概念graph1.graph成员变量有:vertices,edges,triplets.2.在triplets中，同时记录着edge和vertex成员函数函数分成几大类对所有顶点或边的操作
sinat_31726559
·
2016-06-10 15:00
graphx初涉
结合源码学习一
spark简介
并且提供了用于机器学习(MLlib),流计算（Streaming）,图计算(
GraphX
)等子模块，1.4.0版本更是提供了与R语言的集成，这使得Spark几乎成为了多领域通吃的全能技术。
gongpulin
·
2016-05-29 23:00
DT大数据梦工厂Spark 定制班笔记(002)
Sparkcore上面有4个流行的框架：SparkSQL、SparkSreaming、MLlib、
GraphX
；SparkSreaming是第一个出现的框架。
ry076
·
2016-05-21 14:22
GraphFrames介绍：构建在DataFrame之上的图处理库
什么是GraphFrames与ApacheSpark的
GraphX
类似，GraphFrames支持多种图
Wei-L
·
2016-05-15 23:34
Big
Data
GraphFrames介绍：构建在DataFrame之上的图处理库
什么是GraphFrames与ApacheSpark的
GraphX
类似，GraphFrames支持多种图
LW_GHY
·
2016-05-15 23:00
spark
基于Spark的图计算框架
GraphX
入门介绍
基于Spark的图计算框架
GraphX
入门介绍
GraphX
原型论文
GraphX
是Spark中用于图(e.g.,Web-GraphsandSocialNetworks)和图并行计算(e.g.,PageRankandCollaborativeFiltering
nysyxxg
·
2016-05-13 15:00
Spark中文手册9：spark
GraphX
编程指南（2）
问题导读1.
GraphX
提供了几种方式从RDD或者磁盘上的顶点和边集合构造图?2.PageRank算法在图中发挥什么作用？3.三角形计数算法的作用是什么？
wanmeilingdu
·
2016-05-09 21:00
spark
Spark中文手册8：spark
GraphX
编程指南（1）
问题导读1.什么是
GraphX
？2.如何将Spark和
GraphX
引入到项目中？3.从一个图中取出顶点特征加入到另外一个图中如何实现？
wanmeilingdu
·
2016-05-09 21:00
spark
第2课:通过案例对 spark streaming 透彻理解三板斧之二：spark streaming运行机制
本期内容：1.SparkStreaming架构2.SparkStreaming运行机制Spark大数据分析框架的核心部件：sparkCore、sparkStreaming流计算、
GraphX
图计算、MLlib
kaden
·
2016-05-09 20:12
PageRank
{SparkContext,SparkConf}importorg.apache.spark.
graphx
.
泡海椒
·
2016-05-08 14:00
spark-
graphx
以及图的相关介绍
首先介绍图：一、图的基本概念图是由顶点集合(vertex)及顶点间的关系集合组成的一种数据结构：Graph＝(V,E)V表示顶点的集合，E表示图的边的集合即顶点之间关系的集合。其中V={x|x某个数据对象}是顶点的有穷非空集合；E={(x,y)|x,yV}或E={|x,yV&&Path(x,y)}是顶点之间关系的有穷集合，也叫做边(edge)集合。Path(x,y)表示从x到y的一条单向通路
qq_14950717
·
2016-05-06 22:00
spark版本定制一
比如 SparkStreaming、SparkSQL 、
GraphX
、MLlib选择sparkstreaming做为源码定制的出发点的原因：从依赖的专业知识上讲，相对于其他API，无需引入过多的专业领域的依赖知识
数据china
·
2016-05-05 09:00
Spark组件之
GraphX
学习16--最短路径ShortestPaths
SparkLearning1解释求图中的最短路径，更多的请见参考【3】，这篇写的很详细2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/
graphx
-programming-guide.html
bob601450868
·
2016-05-04 20:00
Spark组件之
GraphX
学习20--待学习部分
1.Sparkexamples中自带的三个例子实践LiveJournalPageRank.scala Analytics.scala SynthBenchmark.scala在《深入理解Spark核心思想和源码分析》这本书的10.9有讲到LiveJournalPageRank.scala，里面的数据下载比较慢，而且本地跑会比较慢，故之后有时间学习2.《Spark高级数据分析》这本书中第7章用Gra
bob601450868
·
2016-05-04 20:00
Spark组件之
GraphX
学习15--we-Google.txt大图分析
github.com/xubo245/SparkLearning1解释统计边和点和最大度2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/
graphx
-programming-guide.html
bob601450868
·
2016-05-04 19:00
Spark组件之
GraphX
学习14--TriangleCount实例和分析
更多代码请见：https://github.com/xubo245/SparkLearning1解释统计图中的Triangle，并返回源码：/* *LicensedtotheApacheSoftwareFoundation(ASF)underoneormore *contributorlicenseagreements.SeetheNOTICEfiledistributedwith *thiswo
bob601450868
·
2016-05-04 18:00
Spark组件之
GraphX
学习13--ConnectedComponents操作
更多代码请见：https://github.com/xubo245/SparkLearning1解释取联通部分源码：objectConnectedComponents{ /** *Computetheconnectedcomponentmembershipofeachvertexandreturnagraphwiththevertex *valuecontainingthelowestvertex
bob601450868
·
2016-05-04 17:00
Spark组件之
GraphX
学习12--
GraphX
常见操作汇总Simple
GraphX
更多代码请见：https://github.com/xubo245/SparkLearning1解释
GraphX
常见操作汇总，包括建立图，查询最大度，map和join操作等2.代码：/* *LicensedtotheApacheSoftwareFoundation
bob601450868
·
2016-05-04 16:00
Spark组件之
GraphX
学习11--PageRank例子（PageRankAboutBerkeleyWiki）
PageRank来对wiki中有关berkeley的链接进行计算，取top（10）2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/
graphx
-programming-guide.html
bob601450868
·
2016-05-04 16:00
Spark组件之
GraphX
学习10--PageRank学习和使用（From examples）
更多代码请见：https://github.com/xubo245/SparkLearning1解释原理在参考【3】中讲的很详细，包括MapReduce情况下的。源码：/** *RunadynamicversionofPageRankreturningagraphwithvertexattributescontainingthe *PageRankandedgeattributescontaini
bob601450868
·
2016-05-04 16:00
PageRank学习和使用
Spark组件之
GraphX
学习9--使用pregel函数求单源最短路径
更多代码请见：https://github.com/xubo245/SparkLearning1解释使用pregel函数求单源最短路径
GraphX
中的单源点最短路径例子，使用的是类Pregel的方式。
bob601450868
·
2016-05-04 15:00
Spark组件之
GraphX
学习8--邻居集合
github.com/xubo245/SparkLearning1解释收集每个顶点的邻居顶点2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/
graphx
-programming-guide.html
bob601450868
·
2016-05-03 22:00
邻居集合
Spark组件之
GraphX
学习8--随机图生成和TopK最大入度
解释前一篇为最大入度，但是有时候需要求topK,这篇博文求的TopK的入度，出度和度的求法类似2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/
graphx
-programming-guide.html
bob601450868
·
2016-05-03 22:00
随机图生成和TopK最大入度
Spark组件之
GraphX
学习7--随机图生成和reduce最大或最小出度/入度/度
SparkLearning1解释通过自定义函数reduce最大或最小出度/入度/度2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/
graphx
-programming-guide.html
bob601450868
·
2016-05-03 21:00
Spark组件之
GraphX
学习6--随机图生成和出度入度等信息显示
github.com/xubo245/SparkLearning1解释简单不详述2.代码：/** *@authorxubo *refhttp://spark.apache.org/docs/1.5.2/
graphx
-programming-guide.html
bob601450868
·
2016-05-03 21:00
Spark组件之
GraphX
学习5--随机图生成和消息发送aggregateMessages以及mapreduce操作（含源码分析）
更多代码请见：https://github.com/xubo245/SparkLearning0.主要：随机图生成消息发送aggregateMessages，进行reducer计算最后还有个mapValues操作1解释（1）随机图生成GraphGenerators.logNormalGraph随机图生成方法源码：默认出度为4，标准偏差为1.3，并行生成numVertices，partition默认
bob601450868
·
2016-05-03 20:00
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他