MLlib

【原】Learning Spark (Python版) 学习笔记(四)----Spark Sreaming与MLlib机器学习

第10-11章主要讲的是SparkStreaming和MLlib方面的内容。我们知道Spark在离线处理数据上的性能很好，那么它在实时数据上的表现怎么样呢？
Charlotte77·2016-05-30 12:00

【原】Learning Spark (Python版) 学习笔记(四)----Spark Sreaming与MLlib机器学习

第10-11章主要讲的是SparkStreaming和MLlib方面的内容。我们知道Spark在离线处理数据上的性能很好，那么它在实时数据上的表现怎么样呢？
Charlotte77·2016-05-30 12:00

spark简介

并且提供了用于机器学习(MLlib),流计算（Streaming）,图计算(GraphX)等子模块，1.4.0版本更是提供了与R语言的集成，这使得Spark几乎成为了多领域通吃的全能技术。
gongpulin·2016-05-29 23:00

spark 数据类型(Data Types)

在有监督机器学习中，MLlib使用标记点(labeledpoint
mllhxn·2016-05-29 00:07

Spark中组件Mllib的学习35之随机森林（entropy）进行分类

更多代码请见：https://github.com/xubo245/SparkLearningSpark中组件Mllib的学习之分类篇1解释随机森林：RandomForest大概思想就是生成多个决策树，
KeepLearningBigData·2016-05-25 15:15

DT大数据梦工厂Spark 定制班笔记(002)

Sparkcore上面有4个流行的框架：SparkSQL、SparkSreaming、MLlib、GraphX；SparkSreaming是第一个出现的框架。
ry076·2016-05-21 14:22

使用 Spark MLlib 做 K-means 聚类分析[转]

原文地址：https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice4/引言提起机器学习(MachineLearning)，相信很多计算机从业者都会对这个技术方向感到兴奋。然而学习并使用机器学习算法来处理数据却是一项复杂的工作，需要充足的知识储备，如概率论，数理统计，数值逼近，最优化理论等。机器学习旨在使计算机具有人类
weixin_30635053·2016-05-18 22:00

Spark中组件Mllib的学习11之使用ALS对movieLens中一百万条（1M）数据集进行训练，并对输入的新用户数据进行电影推荐

更多代码请见：https://github.com/xubo245/SparkLearning1解释spark-1.5.2数据集：http://grouplens.org/datasets/movielens/一百万条（1M）数据划分：将样本评分表以key值切分成3个部分，分别用于训练(60%，并加入用户评分),校验(20%),and测试(20%)用多个参数训练模型，取训练最好的模型，然后再来推荐
KeepLearningBigData·2016-05-17 22:48

Spark中组件Mllib的学习11之使用ALS对movieLens中一百万条（1M）数据集进行训练，并对输入的新用户数据进行电影推荐

更多代码请见：https://github.com/xubo245/SparkLearning1解释spark-1.5.2数据集：http://grouplens.org/datasets/movielens/一百万条（1M）数据划分：将样本评分表以key值切分成3个部分，分别用于训练(60%，并加入用户评分),校验(20%),and测试(20%)用多个参数训练模型，取训练最好的模型，然后再来推荐
bob601450868·2016-05-17 22:00

Spark中组件Mllib的学习10之修改MovieLens来对movieLen中的100k数据进行预测

更多代码请见：https://github.com/xubo245/SparkLearning1解释数据下载：http://files.grouplens.org/datasets/movielens/2.代码：/**LicensedtotheApacheSoftwareFoundation(ASF)underoneormore*contributorlicenseagreements.Seeth
KeepLearningBigData·2016-05-17 21:19

Spark中组件Mllib的学习10之修改MovieLens来对movieLen中的100k数据进行预测

更多代码请见：https://github.com/xubo245/SparkLearning1解释数据下载：http://files.grouplens.org/datasets/movielens/2.代码：/* *LicensedtotheApacheSoftwareFoundation(ASF)underoneormore *contributorlicenseagreements.See
bob601450868·2016-05-17 21:00

Spark中组件Mllib的学习9之ALS训练的model来预测数据的准确率研究

更多代码请见：https://github.com/xubo245/SparkLearning1解释研究ALS的准确率2.代码：packageorg.apache.spark.mllib.learning.recommend
bob601450868·2016-05-17 20:00

Spark中组件Mllib的学习8之ALS训练的model来预测数据

更多代码请见：https://github.com/xubo245/SparkLearning1解释使用官网的ALS来预测用户2.代码：packageorg.apache.spark.mllib.learning.recommend
bob601450868·2016-05-16 23:00

Spark中组件Mllib的学习7之ALS隐式转换训练的model来预测数据

更多代码请见：https://github.com/xubo245/SparkLearning1解释使用隐式转换的来进行推荐，感觉有问题2.代码：packageapache.spark.mllib.learning.recommendimportjava.text.SimpleDateFormatimportjava.util.Dateimportorg.apache.spark.mllib.re
KeepLearningBigData·2016-05-16 22:55

Spark中组件Mllib的学习7之ALS隐式转换训练的model来预测数据

更多代码请见：https://github.com/xubo245/SparkLearning1解释使用隐式转换的来进行推荐，感觉有问题2.代码：packageapache.spark.mllib.learning.recommend
bob601450868·2016-05-16 22:00

Spark中组件Mllib的学习6之ALS测试（apache spark 含隐式转换）

https://github.com/xubo245/SparkLearningspark-1.5.21解释使用spark官网推荐的算法,使用了隐式转换2.代码：packageapache.spark.mllib.learning.recommend
bob601450868·2016-05-16 22:00

Spark中组件Mllib的学习5之ALS测试（apache spark）

更多代码请见：https://github.com/xubo245/SparkLearning1解释按照spark官网使用ALS进行计算2.代码：packageorg.apache.spark.mllib.learning.recommend
bob601450868·2016-05-16 22:00

Spark中组件Mllib的学习4之examples中的MovieLensALS修改本地运行

环境：spark-1.5.2在idea中自己定义的project中local模式运行，需要注意几个地方：1.文件导入：MovieLensALS.scala和AbstractParams.scala其中继承了MovieLensALSAbstractParams，如果不导入AbstractParams会报错2.maven的pom导入包 4.0.0 org.apache.spark SparkLea
bob601450868·2016-05-16 22:00

Spark中组件Mllib的学习3之用户相似度计算

代码：/***@authorxubo*time2016.516*ref《SparkMlLib机器学习实战》P64*/ packageorg.apache.spark.mllib.learning.recommend
bob601450868·2016-05-16 20:00

第2课：解密SparkStreaming运行机制和架构

在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。
罗白莲·2016-05-15 20:30

spark中协同过滤算法分析

spark的MLlib是其机器学习算法库。其中协同过滤算法叫做ALS，交替最小二乘法。下面对算法思路和执行代码进行分析。算法思想：1、对于用户、商品、评分构成的打分矩阵。
qq_23617681·2016-05-15 00:55

spark中协同过滤算法分析

spark的MLlib是其机器学习算法库。其中协同过滤算法叫做ALS，交替最小二乘法。下面对算法思路和执行代码进行分析。算法思想：1、对于用户、商品、评分构成的打分矩阵。
qq_23617681·2016-05-15 00:00

spark笔记-MLlib之kmeans

{SparkConf,SparkContext} importorg.apache.spark.mllib.clustering.KMeans importorg.apache.spark.mllib.linalg.Vectors
q383700092·2016-05-13 20:00

spark机器学习库指南[Spark 1.3.1版]

本文翻译自Spark官方文档：MachineLearningLibrary(MLlib)Guide ，代码示例以Python版为主，部分Python不支持的功能保留原理说明，代码示例略去，另外翻译的时候对部分概念做注解
lihaitao000·2016-05-13 10:00

在Kaggle手写数字数据集上使用Spark MLlib的RandomForest进行手写数字识别

昨天我使用SparkMLlib的朴素贝叶斯进行手写数字识别，准确率在0.83左右，今天使用了RandomForest来训练模型，并进行了参数调优。首先来说说RandomForest训练分类器时使用到的一些参数：numTrees：随机森林中树的数目。增大这个数值可以减小预测的方差，提高预测试验的准确性，训练时间会线性地随之增长。maxDepth：随机森林中每棵树的深度。增加这个值可以是模型更具表征性
LXYTSOS·2016-05-12 20:43

在Kaggle手写数字数据集上使用Spark MLlib的RandomForest进行手写数字识别

昨天我使用SparkMLlib的朴素贝叶斯进行手写数字识别，准确率在0.83左右，今天使用了RandomForest来训练模型，并进行了参数调优。首先来说说RandomForest训练分类器时使用到的一些参数：numTrees：随机森林中树的数目。增大这个数值可以减小预测的方差，提高预测试验的准确性，训练时间会线性地随之增长。maxDepth：随机森林中每棵树的深度。增加这个值可以是模型更具表征性
LXYTSOS·2016-05-12 20:00

在Kaggle手写数字数据集上使用Spark MLlib的RandomForest进行手写数字识别

昨天我使用SparkMLlib的朴素贝叶斯进行手写数字识别，准确率在0.83左右，今天使用了RandomForest来训练模型，并进行了参数调优。首先来说说RandomForest训练分类器时使用到的一些参数：numTrees：随机森林中树的数目。增大这个数值可以减小预测的方差，提高预测试验的准确性，训练时间会线性地随之增长。maxDepth：随机森林中每棵树的深度。增加这个值可以是模型更具表征性
LXYTSOS·2016-05-12 20:00

在Kaggle手写数字数据集上使用Spark MLlib的朴素贝叶斯模型进行手写数字识别

昨天我在Kaggle上下载了一份用于手写数字识别的数据集，想通过最近学习到的一些方法来训练一个模型进行手写数字识别。这些数据集是从28×28像素大小的手写数字灰度图像中得来，其中训练数据第一个元素是具体的手写数字，剩下的784个元素是手写数字灰度图像每个像素的灰度值，范围为[0,255]，测试数据则没有训练数据中的第一个元素，只包含784个灰度值。现在我打算使用SparkMLlib中提供的朴素贝叶
LXYTSOS·2016-05-11 22:40

在Kaggle手写数字数据集上使用Spark MLlib的朴素贝叶斯模型进行手写数字识别

昨天我在Kaggle上下载了一份用于手写数字识别的数据集，想通过最近学习到的一些方法来训练一个模型进行手写数字识别。这些数据集是从28×28像素大小的手写数字灰度图像中得来，其中训练数据第一个元素是具体的手写数字，剩下的784个元素是手写数字灰度图像每个像素的灰度值，范围为[0,255]，测试数据则没有训练数据中的第一个元素，只包含784个灰度值。现在我打算使用SparkMLlib中提供的朴素贝叶
LXYTSOS·2016-05-11 22:00

在Kaggle手写数字数据集上使用Spark MLlib的朴素贝叶斯模型进行手写数字识别

昨天我在Kaggle上下载了一份用于手写数字识别的数据集，想通过最近学习到的一些方法来训练一个模型进行手写数字识别。这些数据集是从28×28像素大小的手写数字灰度图像中得来，其中训练数据第一个元素是具体的手写数字，剩下的784个元素是手写数字灰度图像每个像素的灰度值，范围为[0,255]，测试数据则没有训练数据中的第一个元素，只包含784个灰度值。现在我打算使用SparkMLlib中提供的朴素贝叶
LXYTSOS·2016-05-11 22:00

Spark MLlib学习(一)数据类型 Data Types

MLlib是spark的机器学习库，有常用学习算法和实用工具，包括分类、回归、聚类、协同过滤、降维等。
myy1012010626·2016-05-11 18:00

Spark MLlib 机器学习算法与源码解析（网络课程—第一期）

《SparkMLlib机器学习算法与源码解析》spark是一个开源集群运算框架，最初是由加州大学柏克利分校AMPLab所开发。Spark使用了内存内运算技术，在内存上的运算速度比HadoopMapReduce的运算速度快上100倍，即便是在磁盘上运行也能快10倍。Spark允许将数据加载至集群内存，并多次对其进行查询，非常适合用于机器学习算法。目前，Spark成为了现在大数据领域最火的开源软件，S
sunbow0·2016-05-11 17:00

第2课:通过案例对 spark streaming 透彻理解三板斧之二：spark streaming运行机制

本期内容：1.SparkStreaming架构2.SparkStreaming运行机制Spark大数据分析框架的核心部件：sparkCore、sparkStreaming流计算、GraphX图计算、MLlib
kaden·2016-05-09 20:12

第1课：通过案例对SparkStreaming 透彻理解三板斧之一

Spark目前有四个SparkSQL,SparkStreaming,MLlib(machinelearning),Grap
freshghost1·2016-05-08 10:00

【原】Spark之机器学习(Python版)(一)——聚类

不过没关系，PySpark里有ml包，除了ml包，还可以使用MLlib，这个在后期会写，也很方便。首先来看一下Spark自带的例子：1f
Charlotte77·2016-05-06 14:00

【原】Spark之机器学习(Python版)(一)——聚类

不过没关系，PySpark里有ml包，除了ml包，还可以使用MLlib，这个在后期会写，也很方便。首先来看一下Spark自带的例子：
Charlotte77·2016-05-06 14:00

spark版本定制一

比如 SparkStreaming、SparkSQL 、GraphX 、MLlib选择sparkstreaming做为源码定制的出发点的原因：从依赖的专业知识上讲，相对于其他API，无需引入过多的专业领域的依赖知识
数据china·2016-05-05 09:00

基于Spark MLlib平台的协同过滤算法---电影推荐系统

说到推荐系统，大家可能立马会想到协同过滤算法。本文基于SparkMLlib平台实现一个向用户推荐电影的简单应用。其中，主要包括三部分内容：协同过滤算法概述基于模型的协同过滤应用---电影推荐实时推荐架构分析        一、协同过滤算法概述      本人对算法的研究，目前还不是很深入，这里简单的介绍下其工作原理。        通常，协同过滤算法按照数据使用，可以分为：        1）基于
lhui798·2016-05-04 15:00

spark 版本定制 20160502 通过案例对SparkStreaming透彻理解之三

在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。
柯里昂·2016-05-04 11:00

第1课：通过案例对SparkStreaming 透彻理解三板斧之一

通过案例对SparkStreaming透彻理解三板斧之一在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib
段智华·2016-05-03 21:10

第1课：通过案例对SparkStreaming 透彻理解三板斧之一

通过案例对SparkStreaming透彻理解三板斧之一 在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib
duan_zhihua·2016-05-03 21:00

Spark版本定制第2天：通过案例对SparkStreaming透彻理解之二

在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。
lhui798·2016-05-03 18:00

Spark版本定制第1天：通过案例对SparkStreaming透彻理解之一

另类在线实验2瞬间理解SparkStreaming本质在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib
lhui798·2016-05-03 18:07

Spark版本定制第1天：通过案例对SparkStreaming透彻理解之一

另类在线实验2瞬间理解SparkStreaming本质在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib
lhui798·2016-05-03 18:00

(版本定制)第2课：通过案例对SparkStreaming透彻理解之二

在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。
18610086859·2016-05-03 17:20

第1课：通过案例对Spark Streaming透彻理解三板斧之一Spark Streaming另类实验及本质解析

Spark一开始并没我们今天看到的SparkSQL,SparkStreaming,MLlib(machinelearning),GraphX(graph)，SparkR等相关内容,只有原始的SparkCore
love205088·2016-05-02 22:17

spark 版本定制 20160501 通过案例对SparkStreaming透彻理解之一

比如 SparkStreaming、SparkSQL、GraphX 、MLlib选择sparkstreaming做为源码定制的出发点的原因：从依赖的专业知识上讲，相对于其他API，无需引入过多的专业领域的依赖知识
柯里昂·2016-05-02 14:00

Spark中组件Mllib的学习2之MovieLensALS学习（集群run-eaxmples运行）

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.将spark下的data文件夹上传到hdfs目录2.运行：hadoop@Master:~/cloud/spark-1.5.2$./bin/run-examplemllib.MovieLensALS--rank5--numIterations20--lambda1.0--k
bob601450868·2016-04-27 20:00

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
·2016-04-26 16:00

Spark 编程工具类与工具方法（一）—— 欧式距离

importorg.apache.spark.mllib.linalg.
lanchunhui·2016-04-23 16:00
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他