spark2

Spark Python API函数学习：pyspark API

—PySpark2.0.1documentationhttp://spark.apache.org/docs/latest/api/python/index.htmlSparkPythonAPI函数学习
葡萄喃喃呓语·2016-10-23 19:50

Spark Storage ④ - 存储执行类介绍（DiskBlockManager、DiskStore、MemoryStore）

本文为Spark2.0源码分析笔记，某些实现可能与其他版本有所出入这篇文章前半部分我们对直接在Block存取发挥重要作用的类进行介绍，主要是DiskBlockManager、MemoryStore、DiskStore
牛肉圆粉不加葱·2016-10-22 22:05

Scala2.11.8 + Sbt + Maven + IntelliJ Idea + Spark2.0开发环境搭建备忘

已有hadoopyarn和spark集群部署、运行在分布式环境中，程序开发编码在PC上，由于逐渐增多scala编写spark2.0程序，入乡随俗使用sbt和IntelliJIdea，顺便对PC上的Scala
bitbyteworld·2016-10-10 22:16

Spark2.8.0源代码导入，XMPP即时通讯Openfire和Spark源代码导入

关于Spark这里的Spark是指XMPP协议的一个客户端，并非目前非常流行的大数据计算框架Spark，误看名称进入博客的同学不好意思了，可以绕道了。因为平时实用XMPP协议的服务器大多实用的openfire，最近公司有需求，需要做一个桌面的入口，并实现部分即时通讯功能，于是便想研究下Spark的项目结构和部分代码。导入后的结构如下：--------------------------------
jaikydota163·2016-10-04 17:00

Spark Mllib 回归学习笔记一（java）：线性回归（线性，lasso，岭），广义回归

本博使用spark2.0.0版本，对于每一个回归这里不详讲原理，附上链接，有兴趣的伙伴可以点开了解。
yinglish_·2016-10-01 16:56

Spark2.0机器学习系列之9： 聚类算法(LDA）

在写这篇文章之前，先说一些题外话。许多机器学习算法（如后面将要提到的LDA）涉及的数学知识太多，前前后后一大堆，理解起来不是那么容易。面对复杂的机器学习模型，尤其是涉及大量数学知识的模型，我们往往要花费大量的时间和精力去推导数学算法（公式），如果过分沉湎于此会忽略了很多背后也许更重要的东西，正所谓只见树木，不见森林，而这是缺乏远见，是迷茫的。我们需要深入理解模型背后的逻辑和所蕴含的或简或繁的思想。
千寻千梦·2016-09-21 15:06

Spark2.0机器学习系列之9： 聚类算法(LDA）

    在写这篇文章之前，先说一些题外话。    许多机器学习算法（如后面将要提到的LDA）涉及的数学知识太多，前前后后一大堆，理解起来不是那么容易。    面对复杂的机器学习模型，尤其是涉及大量数学知识的模型，我们往往要花费大量的时间和精力去推导数学算法（公式），如果过分沉湎于此会忽略了很多背后也许更重要的东西，正所谓只见树木，不见森林，而这是缺乏远见，是迷茫的。    我们需要深入理解模型背后
qq_34531825·2016-09-21 15:00

通过Spark结合使用Hive和ORC存储格式

在这篇博客中，我们将一起分析通过Spark访问Hive的数据，主要分享以下几点内容：1.如何通过SparkShell交互式访问Spark2.如何读取HDFS文件和创建一个RDD3.如何通过SparkAPI
Free World·2016-09-19 16:42

openfire-spark源码搭建

简介安装环境以及下载安装步骤新建项目复制源码包到新建项目环境配置ANT编译以及运行eclipse调试以及运行简介这是xmpp客户端的软件spark2.7.7版本。
啊道·2016-09-19 13:50

大数据Spark “蘑菇云”行动第47课程 Spark 2.0实战之Dataset：collect_list、collect_set、avg、sum、countDistinct等

大数据Spark“蘑菇云”行动第47课程Spark2.0实战之Dataset：collect_list、collect_set、avg、sum、countDistinct等DatasetAPI:http
段智华·2016-09-17 22:15

scalaIDE 与spark2.0 源代码关联

scalaIDE与spark2.0源代码关联一scalaIDEmaven方式获取spark2.0源代码不安装插件，scalaide的maven新建的是java工程，没法使用scala代码。
段智华·2016-09-17 19:01

CentOS7 基于Hadoop2.7 的Spark2.0集群搭建

序言上传文件到各服务器安装配置Scala安装配置Spark配置集群启动集群测试Spark集群序言Hadoop2.7集群已搭建完毕.参考“CentOS7从零开始搭建Hadoop2.7集群‘’。（node192.168.169.131,node1192.168.169.133,node2192.168.169.132,node3192.168.169.134）本地下载scala-2.11.8.tgz：
小杭嘟嘟嘟·2016-09-17 17:23

第45课 Spark 2.0实战之Dataset：map、flatMap、mapPartitions、dropDuplicate、coalesce、repartition等

第45课Spark2.0实战之Dataset：map、flatMap、mapPartitions、dropDuplicate、coalesce、repartition等packagecom.dt.spark200importorg.apache.spark.sql.SparkSessionimportscala.collection.mutable.ArrayBufferobjectDataSet
段智华·2016-09-16 19:41

第44课：Spark 2.0编程实战之DataSet案例开发实战

第44课：Spark2.0编程实战之DataSet案例开发实战people.json{"name":"Michael"}{"name":"Andy","age":30}{"name":"Justin",
段智华·2016-09-16 17:32

CentOS7 从零搭建Spark 2.0 单机环境

序言配置网络环境更新安装基础软件安装Spark20单机模式下运行序言预先以Minimal方式在VMVare虚拟机内安装CentOS7。配置网络环境获得网络配置信息。
小杭嘟嘟嘟·2016-09-15 19:58

第43课：Spark 2.0编程实战之SparkSession、DataFrame、DataSet开发实战

第43课：Spark2.0编程实战之SparkSession、DataFrame、DataSet开发实战2017年5月份左右，老师个人认为需要等到Spark2.2版本DataSet背后会被Tungsten
段智华·2016-09-13 22:44

spark 2.0.0 Structured Streaming Programming

spark2.0.0StructuredStreamingProgrammingpackagecom.dt.spark200;importjava.util.Arrays;importjava.util.Iterator
段智华·2016-09-10 21:02

spark 2.0.0 开始了

spark2.0.0开始SparkSessionspark=SparkSession.builder().master("Local").appName("JavaWordCount").getOrCreate
段智华·2016-09-10 09:44

关于部署大数据开发环境的几个笔记

把主文件目录的权限更改755原来是777原因：怀疑是设置主文件目录为777以后，系统将其当做root用户，查找公钥时按照root目录去找的2.windows下使用intellij的maven搭建scala2.11.8+spark2.0.0
chao_ggggg·2016-09-09 10:17

Spark2.0 特征提取、转换、选择之二：特征选择、文本处理，以中文自然语言处理(情感分类为例)

特征选择RFormulaRFormula是一个很方便，也很强大的Feature选择（自由组合的）工具。输入string进行独热编码（见下面例子country）输入数值型转换为double（见下面例子hour）label为string，也用StringIndexer进行编号RFormulaproducesavectorcolumnoffeaturesandadoubleorstringcolumno
千寻千梦·2016-09-04 11:47

spark2.0中逻辑回归模型

今天上午看了下spark2.0中的逻辑回归模型，相比以前mllib版本确实改进不少，逻辑回归模型再次不再多说，原理较为简单，模型中的一些参数设定，自己要主要，代码主要是用maven跟git进行管理，数据是官方自带的数据
旭旭_哥·2016-09-03 11:56

Spark 之Kmeans

参考源码：Spark2.0mllibKmeans大概用时三小时，虽说大部分和源码都一样，但是自己写的过程中，还是学到了很多东西。
Codlife一王家二公子·2016-09-03 09:05

Spark2.0 特征提取、转换、选择之一：数据规范化，String-Index、离散-连续特征相互转换

数据规范化（标准化）在数据预处理时，这两个术语可以互换使用。（不考虑标准化在统计学中有特定的含义）。下面所有的规范化操作都是针对一个特征向量（dataFrame中的一个colum）来操作的。首先举一个例子：//MaxAbsScaler例子（参考后面MaxAbsScaler部分)//例子：对特征0，特征1，特征2，分别进行缩放，使得值为[-1,1]//例如特征0，其特征向量为[1000,100,-1
千寻千梦·2016-09-02 17:44

Spark2.0机器学习系列之5：GBDT（梯度提升决策树）、GBDT与随机森林差异、参数调试及Scikit代码分析

关于决策树和随机森林，我也写了两篇介绍博客，可以作为参考：随机森林介绍、关键参数分析及Spark2.0中实现http://blog.csdn.net/qq_34531825/article/details
千寻千梦·2016-08-30 09:33

spark的安装和使用

笔者的环境为：centos7.该文章主要是讲述了在centos7上搭建spark2.0的具体操作和spark的简单使用，希望可以给刚刚接触spark的朋友一些帮助。
ouyangyanlan·2016-08-29 18:00

Spark2.0机器学习系列之3：决策树及Spark 2.0-MLlib、Scikit代码分析

概述分类决策树模型是一种描述对实例进行分类的树形结构。决策树可以看为一个if-then规则集合，具有“互斥完备”性质。决策树基本上都是采用的是贪心（即非回溯）的算法，自顶向下递归分治构造。生成决策树一般包含三个步骤：特征选择决策树生成剪枝决策树算法种类决策树主要有ID3,C4.5,C5.0andCART几种，ID3,C4.5,和CART实际都采用的是贪心（即非回溯）的算法，自顶向下递归分治构造。对
千寻千梦·2016-08-26 18:45

spark、scala安装配置

scala-2.11.4 exportPATH=$SCALA_HOME/bin:$PATH source/etc/profile4、分发文件夹到其他主机，同理，配置相应该的环境变量二、安装Spark1、下载spark2
illbehere·2016-08-24 17:00

Spark-Scala-RDD 入门问题汇总

系统运行版本是：Hadoop2.7.2/Spark2.0.0/Scala2.11.8编辑器：IDEA1：在Spark上如何运行程序编写的程序必须打包并在终端运行。
左手121·2016-08-17 17:13

hadoop2.2.0安装spark1.1.0（maven编译）

而在目前spark官网上已经下载不到spark1.1.0版本（目前已经发布了spark2.0版本）。为了在机器上使用spark，选择了csdn上下载了spark1.1.0的源码，自己尝试编译。
TurboBoost·2016-08-16 12:30

0003.spark2.0源码分析（3）--master注册机制与状态管理

1.Master接收注册的对象（1）Driver（2）Application（3）worker（4）Executor不会注册给Master，Executor是注册给Driver中的SchedulerBackend2.源码说明worker启动过程Worker是在启动后主动向Master注册，所以在生成环境中加入新的Worker到已经运行的Spark集群上，此时不需要重新启动Spark集群，就能够加入
njiang·2016-08-14 08:00

安装部署（八） Hive+Sqoop安装部署和使用

Hive+Sqoop安装haddoop2.7.2spark2.0.0zookeeper3.4.8kafka0.10.0.0hbase1.2.2jdk1.8.0_101ubuntu14.04.04x64参考
dst1213·2016-08-12 22:52

安装部署（七） HBase集群安装部署与测试

HBase集群安装部署与测试Hadoop2.7.2Spark2.0.0Kafka0.10.0.0HBase1.2.2Zookeeper3.4.8参考：http://www.tuicool.com/articles
dst1213·2016-08-12 12:15

安装部署（六） Kafka集群安装部署以及Producer和Consumer的JAVA代码测试

Kafka集群安装部署以及Producer和Consumer的JAVA代码测试kafkascala2.11_0.10.0.0ubuntu14.04.04x64hadoop2.7.2spark2.0.0scala2.11.8jdk1.8.0
dst1213·2016-08-11 15:50

Spark资料

阅读更多testSparkSQLCatalyst源码分析之Optimizerhttp://blog.csdn.net/oopsoom/article/details/38121259//spark2.0
fushengxu·2016-08-10 19:00

谷歌Dataflow编程模型和spark 2.0 structured streaming

Raymond转载请注明出处Email：colorantat163.comBLOG：http://blog.csdn.net/colorant/主要介绍一下Dataflow编程模型的基本思想，最后面再简单比较一下spark2.0structuredstreaming
彩色蚂蚁·2016-08-09 16:05

谷歌Dataflow编程模型和spark 2.0 structured streaming

Raymond转载请注明出处Email：colorantat163.comBLOG：http://blog.csdn.net/colorant/主要介绍一下Dataflow编程模型的基本思想，后面再简单比较一下spark2.0structuredstreaming
colorant·2016-08-09 16:00

Spark2.0 Structured Streaming

综述StructuredStreaming是构建在SparkSQL引擎上的流式数据处理引擎，使用Scala编写，具有容错功能。你可以像在使用静态RDD数据一样来编写你的流式计算过程。当流数据连续不断的产生时，SparkSQL将会增量的，持续不断的处理这些数据并将结果更新到结果集中。你可以使用DataSet/DataFrameAPI来展现数据流的aggregations,event-timewind
董云龙·2016-08-07 23:45

如何做Spark 版本兼容

我们知道Spark2.0，Spark1.6还有Spark1.5三者之间版本是不兼容的，尤其是一些内部API变化比较大。如果你的系统使用了不少底层的API,那么这篇文章或许对你有帮助。
祝威廉·2016-08-05 21:00

大数据基础（八） Spark 2.0.0下IPython和Notebook的安装配置

环境：spark2.0.0,anaconda21.sparkipython和notebook安装配置方法一：这个方法可以通过网页进入ipythonnotebook，另开终端可以进入pyspark如果装有
dst1213·2016-08-03 21:37

spark编译失败 PermGen space

最近spark2.0出来了mvn编译了下：报错：[ERROR]PermGenspace->[Help1][ERROR][ERROR]Toseethefullstacktraceoftheerrors,re-runMavenwiththe-eswitch
oO寒枫Oo·2016-08-01 19:52

Spark2学习2之window下编译spark-2.0.0

更多代码请见：https://github.com/xubo245/SparkLearning Spark中组件Ml的学习 1.解释(1)基本配置：scala-2.11.8java1.7maven3.3.9(2)下载：github(3)设定jvm参数：exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m
bob601450868·2016-07-30 17:00

Spark2学习1之基本环境搭建（win）问题

更多代码请见：https://github.com/xubo245/SparkLearning版本：Spark-2.0.01解释从【2】中下载release版，idea打开mvnpackage，报错遇到的问题：main: [INFO]------------------------------------------------------------------------ [INFO]Reac
bob601450868·2016-07-30 17:00

Spark 2.0技术预览

Spark2.0预览版已出，本文将带你浏览下这个2.0到底有啥流逼的地方。
光于前裕于后·2016-07-28 11:01

大数据Spark “蘑菇云”行动前传第9课：Scala类和对象彻底实战和Spark源码鉴赏

大数据Spark“蘑菇云”行动前传第9课：Scala类和对象彻底实战和Spark源码鉴赏1spark源码中scala类和对象鉴赏2scala中类和对象代码操作实战激动人心的消息：spark2.0昨晚7月
段智华·2016-07-27 20:15

IBM专家亲自解读 Spark2.0 操作指南

Spark背景介绍1、什么是Spark在Apache的网站上，有非常简单的一句话，”Sparkisafastandgeneralengine”,就是Spark是一个统一的计算引擎，而且突出了fast。那么具体是做什么的呢？是做large-scale的processing，即大数据的处理。“Sparkisafastandgeneralengineforlarge-scaleprocessing”这句
chenjunji123456·2016-07-08 11:00

[2.4]以row_number为例解读spark sql的窗口函数

大数据梦工厂场景将本地文件toNGroup.txt中的内容：hadoop@master:~/resource$cattoNGroup.txthadoop29hadoop87hadoop39hadoop27hadoop88spark29spark90spark27spark84spark92hadoop
彭宇成·2016-06-29 20:33

Spark定制班第29课：深入理解Spark 2.x中的Structured Streaming内幕

本期内容：1.新型的SparkStreaming思维2.StructuredStreaming内幕Spark2.0仍有bug，不适合于生成环境。只用于测试。
andyshar·2016-06-24 10:35

Greenplum或DeepGreen中使用外部表访问Hive数据(分隔符是Hive表默认列分隔符)

1.查看数据(Hive默认列分隔符实际打印不可见，但是使用vi编辑器时，显示^A，可以通过先按CtrlV，再按A来输出)[gpadmin@JSZ~]$catok.txt 1^ASpark2^AHadoop2
jiangshouzhuang·2016-06-20 16:00

Hadoop周刊—第 173 期

技术新闻Databricks博客介绍了ApacheSpark2.0的新特性——跨语言支持存储和加载机器学习模型。模型通过简单的API被存储和加
成都心情·2016-06-20 09:00

spark2.0

原文链接：ApacheSpark2.0Preview:MachineLearningModelPersistence作者：JosephBradley译者：郭芮（[email protected]）简介研究机器学习用例
sinat_31726559·2016-06-10 12:00
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他