spark技术

基于Spark技术实现大规模时间序列异常检测成功落地

最近一直忙于异常检测项目的上线，一直没有时间来更新博客，该系统已经在大规模时间序列场景稳定运行1个多月，简单总结一下。达到的目标，通过Spark对3万个服务器进行预测，每个服务器包括5个指标，每个指标对应一个时间序列，模型全量15万，全量训练用21个Core耗时3个小时，预测程序12个core运行状态良好，整个系统已经平稳运行一个月，整个系统预估能够支持上亿个模型进行同时训练和预测。设计到的技术：
andyliuzhii·2018-01-10 09:43

Spark技术实战之基础篇

Spark技术实战之基础篇-Scala语言从入门到精通为什么要学习Scala?
刘志隆·2017-12-11 06:13

Spark技术栈学习

1.Spark特点：Spark高效计算的原因是基于内存的计算（很快写，很快运行），高效DAG执行引擎，Spark比MapReduce快100倍，拥有Java，Scale，Python等API，且支持多种平台（Hadoop,Cloud,Mesos等），能够在一个应用中支持SparkStream（流计算），SparkSQL（自查询），SparkCore（批处理），GraphX，MLLib等MapRed
MrGeroge·2017-12-05 19:46

大数据前景分析：Hadoop将被Spark替代？

与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?如果现在想要参加大数据培训的话，应该从哪一种开始呢?（1）先说二者之间的区别吧。首先，Hadoop与Spark解决问题
away30·2017-09-28 18:01

系统的学习大数据分布式计算spark技术

这篇博客是我系统的学习spark的点点滴滴，写这篇博客的目的有两：一是将自己多年学习到的知识的总结；二是分享给大家，希望对大家有帮助系统的学习spark技术的形式有两种：博客和视频，对于能用博客说明白的问题
tangweiqun·2017-09-24 22:14

spark2.x由浅入深深到底系列六之RDD java api用JdbcRDD读取关系型数据库

学习任何的spark技术之前，请先正确理解spark，可以参考：正确理解spark以下是用sparkRDDjavaapi实现从关系型数据库中读取数据，这里使用的是derby本地数据库，当然可以是mysql
tangweiqun·2017-09-20 23:42

与 Hadoop 对比，如何看待 Spark 技术？

转自：https://www.zhihu.com/question/26568496与Hadoop对比，如何看待Spark技术？
phoenixdsf·2017-08-18 16:31

分布式机器学习平台

技术架构功能特点大数据支持，基于Hadoop和Spark技术，支持海量数据挖掘深度学习支持，支持运行于GPU之上的深度学习
武汉飔拓科技·2017-07-24 14:15

技术分享

面试题、经验分享及新手问答整理http://www.aboutyun.com/thread-9581-1-1.htmlSpark技术实战之1-
学霸很烦恼·2017-07-19 18:39

Docker和hadoop

感觉开源除了spark技术，就是docker了，甚至把Go语言也带火了，把Go在TIOBE的排名从百名外带入主流语言的行列。
jiezhu2007·2017-06-27 21:00

Docker和hadoop

感觉开源除了spark技术，就是docker了，甚至把Go语言也带火了，把Go在TIOBE的排名从百名外带入主流语言的行列。
jiezhu2007·2017-06-27 21:00

Spark App自动化分析和故障诊断

本文系陈泽老师在CCTC2017Spark技术峰会上所做的分享，点击下载演讲PPT。非常高兴有机会可以代表我们团
csdn郭芮·2017-06-21 11:22

10亿数据量的即席查询 spark 和 kylin的对比

10亿+的数据对于普通的rdbms还是有些压力的，而且数据每天还在不停的增长，所以我们运用了我们的spark技术来做一个计算加速。关于增量更新的相关，我会在后续的博客中介绍。
去买大白兔·2017-05-21 22:49

Spark技术在京东智能供应链预测的应用

作者|杨冬越郭景瞻1背景前段时间京东公开了面向第二个十二年的战略规划，表示京东将全面走向技术化，大力发展人工智能和机器人自动化技术，将过去传统方式构筑的优势全面升级。京东Y事业部顺势成立，该事业部将以服务泛零售为核心，着重智能供应能力的打造，核心使命是利用人工智能技术来驱动零售革新。1.1  京东的供应链京东一直致力于通过互联网电商建立需求侧与供给侧的精准、高效匹配，供应链管理是零售联调中的核心能
·2017-03-29 00:00

探秘Hadoop生态10：Spark架构解析以及流式计算原理

www.csdn.net/导语spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming之后，对spark
黄小斜·2017-03-08 09:54

年度最强音丨CCTC 四大峰会和技术专场日程公布

作为业内最具价值的云计算年度技术盛会，今年大会为期三天，以“技术与应用，趋势与实践”为主题，除了顶尖技术专家云集的Keynote演讲，主办方还特设了“中国Spark技术峰会”、“OpenStack技术峰会
付江·2016-05-05 11:08

Apache Spark在SnappyData支持即时SQL分析

2016年5月13日-15日，由CSDN重磅打造的2016中国云计算技术大会（CCTC2016）将于5月13日-15日在北京举办，今年大会特设“中国Spark技术峰会”、“Container技术峰会”、
qq2891572499·2016-05-05 09:37

通过案例对SparkStreaming 透彻理解三板斧之一：解密SparkStreaming另类实验

Spark中程序最容易出错的是流处理，流处理也是目前spark技术瓶颈之一，所以要做出一个优秀的spark发行版的话，对流处理的优化是必需的。
荀道子·2016-05-02 09:00

Mozilla的Rust提高了速度，并且更加简洁

2016年5月13日-15日，由CSDN重磅打造的2016中国云计算技术大会（CCTC2016）将于5月13日-15日在北京举办，今年大会特设“中国Spark技术峰会”、“Container技术峰会”、
孙_思·2016-05-01 07:03

最佳案例实践精讲 中国云计算技术大会四大峰会日程公布

作为业内最具价值的云计算年度技术盛会，今年大会为期三天，以“技术与应用，趋势与实践”为主题，除了顶尖技术专家云集的Keynote演讲，主办方还特设了“中国Spark技术峰会”、“OpenStack技术峰会
付江·2016-04-28 07:30

【Container讲师专访】国防科大谭郁松：天河二号上基于容器的HPC/大数据处理

2016年5月13日-15日，由CSDN重磅打造的2016中国云计算技术大会（CCTC2016）将于5月13日-15日在北京举办，今年大会特设“中国Spark技术峰会”、“Container技术峰会”、
少数pai·2016-04-27 10:34

Container峰会议题公开，顶级技术+生产级实践一网打尽

2016年5月13日-15日，由CSDN重磅打造的2016中国云计算技术大会（CCTC2016）将于5月13日-15日在北京举办，今年大会特设“中国Spark技术峰会”、“Container技术峰会”、
少数pai·2016-04-24 22:41

【Container讲师专访】峰值交易额超30亿，看广发证券的Docker落地

2016年5月13日-15日，由CSDN重磅打造的2016中国云计算技术大会（CCTC2016）将于5月13日-15日在北京举办，今年大会特设“中国Spark技术峰会”、“Container技术峰会”、
少数pai·2016-04-22 16:42

如何用curl 来访问MESOS Scheduler HTTP API

2016年5月13日-15日，由CSDN重磅打造的2016中国云计算技术大会（CCTC2016）将于5月13日-15日在北京举办，今年大会特设“中国Spark技术峰会”、“Container技术峰会”、
少数pai·2016-04-21 09:23

60位+超强讲师阵容！中国云计算技术大会部分讲师议题公布

作为业内最具价值的云计算年度技术盛会，今年大会为期三天，以“技术与应用，趋势与实践”为主题，除了顶尖技术专家云集的Keynote演讲，主办方还特设了“中国Spark技术峰会”、“OpenStack技术峰会
付江·2016-04-20 07:29

成都大数据Hadoop与Spark技术培训班

成都大数据Hadoop与Spark技术培训班中国信息化培训中心特推出了大数据技术架构及应用实战课程培训班，通过专业的大数据Hadoop与Spark技术架构体系与业界真实案例来全面提升大数据工程师、开发设计人员的工作水平
weixin_34129145·2016-04-11 21:00

Spark Python 快速体验

Spark技术栈如上图所示，Spark的技术栈包括了这些模块：核心模块：SparkCore集群管理 StandaloneSchedulerYARNMesosSparkSQLSpark流StreamingSpark
naughty·2016-04-04 14:00

Spark Streaming实践和优化

SparkStreaming实践和优化2016-02-20徐鑫hadoop123点击hadoop123关注我哟☀最知名的hadoop/spark大数据技术分享基地，分享hadoop/spark技术内幕，
xiao_jun_0820·2016-02-22 11:58

Spark技术内幕：Master基于ZooKeeper的High Availability（HA）源码实现

目录(?)[+]Master的重启策略集群启动参数的配置CuratorFramework简介ZooKeeperLeaderElectionAgent的实现设计理念如果Spark的部署方式选择Standalone，一个采用Master/Slaves的典型架构，那么Master是有SPOF（单点故障，SinglePointofFailure）。Spark可以选用ZooKeeper来实现HA。    Z
javastart·2016-02-17 13:00

Spark技术内幕：Shuffle的性能调优

Spark技术内幕：Shuffle的性能调优目录(?)[+]通过上面的架构和源码实现的分析，不难得出Shuffle是SparkCore比较复杂的模块的结论。它也是非常影响性能的操作之一。
javastart·2016-02-14 17:00

Spark集群部署

 Spark集群部署   本次博文转发了超图研究所的技术博文，希望对各位Spark技术研究者有用。
wangshgeo·2016-01-28 08:00

倾情大奉送--Spark入门实战系列

这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。
coco_ethan·2016-01-17 22:36

spark源码梳理(0)-说明

主要参考《Spark技术内幕》一书（简称《内幕》）。《内幕》主要以源码模块为主线进行横向解析。
distantlight1·2016-01-03 16:00

大数据的成长历程

大数据Spark技术是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法
aaron_liu76·2016-01-03 11:13

大数据-Spark技术由浅入深

Spark生态系统，未来大数据领域的佼佼者。ApacheSpark是一个新兴的大数据处理的引擎，主要特点是提供了一个集群的分布式内存抽象，以支持需要工作集的应用。Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，Ma
abenceo·2015-12-29 11:40

Spark学习体会

对Spark技术的学习已经非常重要。最近半年多时间里，经常看书学习，特别是看Spark亚太研究院王家林老师的Spark技术视频，觉得受益很多。
andyshar·2015-11-12 07:00

我的第一本著作：Spark技术内幕上市！

现在各大网站销售中！京东：http://item.jd.com/11770787.html当当：http://product.dangdang.com/23776595.html亚马逊：http://www.amazon.cn/SparkInternals前言和目录附上，以便有需要了解的同学：诞生于2005年的Hadoop解决了大数据的存储和计算问题，已经成为大数据处理的事实标准。但是，随着数据规
anzhsoft·2015-09-20 10:31

我的第一本著作：Spark技术内幕上市！

现在各大网站销售中！京东：http://item.jd.com/11770787.html当当：http://product.dangdang.com/23776595.html亚马逊：http://www.amazon.cn/SparkInternals前言和目录附上，以便有需要了解的同学：诞生于2005年的Hadoop解决了大数据的存储和计算问题，已经成为大数据处理的事实标准。但是，随着数据规
anzhsoft2008·2015-09-20 10:00

[置顶] 倾情大奉送--Spark入门实战系列

这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。
yirenboy·2015-08-05 09:00

七牛是如何搞定每天500亿条日志的

七牛是如何搞定每天500亿条日志的2015-07-31 CSDN 七牛云存储7月30日，七牛数据平台工程师王团结在CSDNSpark微信用户群，与近千名Spark技术开发人员，结合七牛内部使用的数据平台
xiao_jun_0820·2015-08-04 13:00

倾情大奉送--Spark入门实战系列

这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。
shishanyuan·2015-08-03 16:00

倾情大奉送--Spark入门实战系列

这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。
shishanyuan·2015-08-03 16:00

spark学习一

spark学习一 1、参考文档 OSTC2015-张安站-Spark技术内幕 http://share.csdn.net/slides/13506 使用IDEA开发Spark应用 http:/
wangqiaowqo·2015-07-21 16:00

Spark技术内幕：Master基于ZooKeeper的HighAvailability（HA）源码实现

如果Spark的部署方式选择Standalone，一个采用Master/Slaves的典型架构，那么Master是有SPOF（单点故障，SinglePointofFailure）。Spark可以选用ZooKeeper来实现HA。ZooKeeper提供了一个LeaderElection机制，利用这个机制可以保证虽然集群存在多个Master但是只有一个是Active的，其他的都是Standby，当Ac
javastart·2015-06-15 17:00

与Hadoop相比，如何看待Spark技术?

之前看Spark的评价，几乎一致表示，Spark是小数据集上处理复杂迭代的交互系统，并不擅长大数据集，也没有稳定性。但是最近的风评已经变化，尤其是14年10月他们完成了Petasort的实验，这标志着Spark越来越接近替代HadoopMapReduce了。Sort和Shuffle是MapReduce上最核心的操作之一，比如上千个Mapper之后，按照Key将数据集分发到对应的Reducer上，要
shenmanli·2015-04-29 09:00

Apache Spark技术实战之9 -- 日志级别修改

摘要 在学习使用Spark的过程中，总是想对内部运行过程作深入的了解，其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息，那么如何进行合理设置呢，不复杂但也绝不是将一个INFO换为TRACE那么简单。 主要问题 调整Spark日志级别的配置文件是$SPARK_HOME/conf/log4j.properties，默认级别是INFO，如果曾经将其改为DEBUG的朋友可能会有这样的
·2015-04-13 22:00

OSTC 2015

上周六去北京参加了OSTC2015开源技术大会，并分享了《Spark技术内幕》，主要涵盖了SparkCore的核心实现。
anzhsoft·2015-04-04 05:15

OSTC 2015

上周六去北京参加了OSTC2015开源技术大会，并分享了《Spark技术内幕》，主要涵盖了SparkCore的核心实现。
anzhsoft2008·2015-04-04 05:00

Spark技术内幕：Storage 模块整体架构

Storage模块负责了Spark计算过程中所有的存储，包括基于Disk的和基于Memory的。用户在实际编程中，面对的是RDD，可以将RDD的数据通过调用org.apache.spark.rdd.RDD#cache将数据持久化；持久化的动作都是由Storage模块完成的。包括Shuffle过程中的数据，也都是由Storage模块管理的。可以说，RDD实现了用户的逻辑，而Storage则管理了用户
gaowenhui2008·2015-03-19 10:00

[置顶] Spark技术内幕：Shuffle的性能调优

通过上面的架构和源码实现的分析，不难得出Shuffle是SparkCore比较复杂的模块的结论。它也是非常影响性能的操作之一。因此，在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义，由于这些参数的确是非常重要，这里算是做一个详细的总结。1.1.1  spark.shuffle.manager前文也多次提到过，Spark1.2.0官方支持两种方式的Shuff
gaowenhui2008·2015-03-19 10:00
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他