MLlib

Machine Learning on Spark——第三节 统计基础（一)

作者：周志湖微信号：zhouzhihubeyond本文主要内容本文对了org.apache.spark.mllib.stat包及子包中的相关统计类进行介绍，stat包中包括下图中的类或对象:本文将对其中的部分内容进行详细讲解获取矩阵列
lovehuangjiaju·2015-09-14 17:00

Spark入门实战系列--8.Spark MLlib（下）--SparkMLlib实战

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1、MLlib实例1.1聚类实例1.1.1算法说明聚类（Clusteranalysis）有时也被翻译为簇类，其核心任务是
yirenboy·2015-09-11 09:00

Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1机器学习概念1.1机器学习的定义在维基百科上对机器学习提出以下几种定义：“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。“机器学习是对能通过经验自动改进的计算机算法的研究”。“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”一种经常引
yirenboy·2015-09-11 09:00

Spark入门实战系列--8.Spark MLlib（下）--机器学习库SparkMLlib实战

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、MLlib实例1.1 聚类实例1.1.1 算法说明聚类（Clusteranalysis）有时也被翻译为簇类
shishanyuan·2015-09-10 08:00

Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、机器学习概念1.1 机器学习的定义在维基百科上对机器学习提出以下几种定义：l“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。l“机器学习是对能通过经验自动改进的计算机算法的研究”。l“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。
shishanyuan·2015-09-09 07:00

使用spark和spark mllib进行股票预测

最近对股票预测很感兴趣,也好，刚好可以熟悉scala和spark。这个家伙真是牛b:http://eugenezhulenev.com/blog/2014/11/14/stock-price-prediction-with-big-data-and-machine-learning/全是英文，本来对scala也只是入门，希望通过这个能深入些了解。自己安排个计划吧:先把scala和高频限制订单相关的
newlife111·2015-09-08 20:00

MLlib协同过滤ALS算法初探

算法做协同过滤大致就是建立用户商品矩阵，根据评分值以解数独的形式解出来import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.mllib.recommendation
ctor·2015-08-18 13:00

Spark MLlib LDA 源码解析

1、SparkMLlibLDA源码解析http://blog.csdn.net/sunbow0SparkMLlibLDA应该算是比较难理解的，其中涉及到大量的概率与统计的相关知识，而且还涉及到了SparkGraphX图计算方面的知识，要想明白其中的原理得要下一番功夫。LDA源码解析前的基础知识：1）LDA主题模型的理论知识参照：LDA数学八卦2）SparkGraphX基础知识http://blog
sunbow0·2015-08-14 15:00

Spark MLlib使用有感

之前因为看过一些Spark的东西，所以准备瞄准MLlib，直接使用其机器学习库来进行算法的测试。但是发现一个非常重大的问题——因为Spark默认是将
defang0693·2015-08-12 17:00

Spark大数据分析框架的核心部件

Spark大数据分析框架的核心部件Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、SparkSQL数据检索语言
openthings·2015-08-07 11:00

Spark MLlib LDA主题模型

SparkMLlibLDA主题模型（1）SparkMLlibLDA主题模型是Spark1.3开始加入的，具体介绍看以下文档：官方编程指南：http://spark.apache.org/docs/latest/mllib-clustering.html
sunbow0·2015-08-07 11:00

Spark历险记之编译和远程任务提交

Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL、SparkStreaming、MLLib
qindongliang1922·2015-08-05 22:00

Spark历险记之编译和远程任务提交

Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL、SparkStreaming、MLLib
u010454030·2015-08-05 19:00

Spark MLlib 算法

SparkMLlibKMeans聚类算法http://blog.csdn.net/sunbow0/article/details/45673613SparkMLlibStatistics统计http://blog.csdn.net/sunbow0/article/details/45644273SparkMLlibFPGrowth算法http://blog.csdn.net/sunbow0/art
yizheyouye·2015-07-23 10:00

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)（1）http://blog.csdn.net/sunbow0/article/details/46126479（2）http://blog.csdn.net/sunbow0/article/details/46126557（3）http://blog.csdn.net/sunbow0/article/detail
yizheyouye·2015-07-23 10:00

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)(1)http://blog.csdn.net/sunbow0/article/details/46377785(2)http://blog.csdn.net/sunbow0/article/details/46378031(3)http://blog.csdn.net/sunbow0/arti
yizheyouye·2015-07-23 10:00

Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)

SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)（1）http://blog.csdn.net/sunbow0/article/details/47007765（2）http://blog.csdn.net/sunbow0/article/details/47007831（3）http://blog.csdn.net/sunbo
yizheyouye·2015-07-23 10:00

Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.3

3、SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.3http://blog.csdn.net/sunbow0第三章ConvolutionNeuralNetwork(卷积神经网络)3实例3.1测试数据按照上例数据，或者新建图片识别数据。3.2CNN实例   //2测试数据   Logger.getRootLogger.set
sunbow0·2015-07-22 20:00

Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.2

3、SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.2http://blog.csdn.net/sunbow0第三章ConvolutionNeuralNetwork(卷积神经网络)2基础及源码解析2.1ConvolutionNeuralNetwork卷积神经网络基础知识1）基础知识：自行google,百度，基础方面的非常多，
sunbow0·2015-07-22 20:00

Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1

3、SparkMLlibDeepLearningConvolutionNeuralNetwork(深度学习-卷积神经网络)3.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体SparkMLlibDeepLearning(深度学习)目录结构：第一章Neu
sunbow0·2015-07-22 20:00

spark/MLlib 协同过滤算法

http://www.cnblogs.com/zhangchaoyang/articles/2664366.htmlCollaborativeFilteringRecommendation协同过滤推荐算法向量之间的相似度度量向量之间的相似度：距离的倒数、向量夹角、相关系数等。皮尔森Pearson相关系数：或当两个变量的线性关系增强时，相关系数趋向于1或-1。Pearson相关系数在计算相关度(相似
ae5555·2015-07-20 15:39

Spark GraphX源码解析启动篇（1）

    一直负责公司的大数据平台技术建设，也一直在使用并研究spark，讲spark架构和原理的文章非常多，但是真正对graphx，mllib，sql，r等API实现源码介绍的文章非常少
yixiaohuamax·2015-07-02 16:00

基于Spark MLlib平台的协同过滤算法---电影推荐系统

基于SparkMLlib平台的协同过滤算法---电影推荐系统      又好一阵子没有写文章了，阿弥陀佛...最近项目中要做理财推荐，所以，回过头来回顾一下协同过滤算法在推荐系统中的应用。    说到推荐系统，大家可能立马会想到协同过滤算法。本文基于SparkMLlib平台实现一个向用户推荐电影的简单应用。其中，主要包括三部分内容：协同过滤算法概述基于模型的协同过滤应用---电影推荐实时推荐架构分
996440550·2015-06-15 21:57

基于Spark MLlib平台的协同过滤算法---电影推荐系统

基于SparkMLlib平台的协同过滤算法---电影推荐系统又好一阵子没有写文章了，阿弥陀佛...最近项目中要做理财推荐，所以，回过头来回顾一下协同过滤算法在推荐系统中的应用。说到推荐系统，大家可能立马会想到协同过滤算法。本文基于SparkMLlib平台实现一个向用户推荐电影的简单应用。其中，主要包括三部分内容：协同过滤算法概述基于模型的协同过滤应用---电影推荐实时推荐架构分析一、协同过滤算法概
weixin_34061482·2015-06-15 21:57

基于Spark MLlib平台的协同过滤算法---电影推荐系统

基于SparkMLlib平台的协同过滤算法---电影推荐系统又好一阵子没有写文章了，阿弥陀佛...最近项目中要做理财推荐，所以，回过头来回顾一下协同过滤算法在推荐系统中的应用。说到推荐系统，大家可能立马会想到协同过滤算法。本文基于SparkMLlib平台实现一个向用户推荐电影的简单应用。其中，主要包括三部分内容：协同过滤算法概述基于模型的协同过滤应用---电影推荐实时推荐架构分析一、协同过滤算法概
996440550·2015-06-15 21:57

eclipse中运行spark机器学习代码

{SparkConf, SparkContext} import org.apache.spark.mllib.classification.LogisticRegressionWithSGD import
幻想vs理想·2015-06-11 12:00

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.1

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体SparkMLlibDeepLearning(深度学习)目录结构：第一章NeuralNet(NN
javastart·2015-06-06 15:00

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.3

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.3http://blog.csdn.net/sunbow0第二章DeepBeliefNetwork(深度信念网络)3实例3.1测试数据按照上例数据，或者新建图片识别数据。3.2DBN实例//****************例2（读取固定样本:来源于经典优化算法测试函数SphereModel）
sunbow0·2015-06-05 16:00

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.2

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.2http://blog.csdn.net/sunbow0第二章DeepBeliefNetwork(深度信念网络)2基础及源码解析2.1DeepBeliefNetwork深度信念网络基础知识1）综合基础知识参照：http://tieba.baidu.com/p/2895759455 http
sunbow0·2015-06-05 15:00

Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.1

SparkMLlibDeepLearningDeepBeliefNetwork(深度学习-深度信念网络)2.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体SparkMLlibDeepLearning(深度学习)目录结构：第一章NeuralNet(NN
sunbow0·2015-06-05 15:00

spark MLlib之零 构建通用的解析矩阵程序

在使用sparkMLlib时，有时候需要使用到一些基础的矩阵（向量），例如：全零矩阵，全一矩阵；以及矩阵之间的运算操作。这里整理了一些常用的矩阵操作方法：矩阵：packageutilsimportjava.util.Random/***密集矩阵，用于封装模型参数*/classDenseMatrix(rowNum:Int,columnNum:Int)extendsSerializable{varma
996440550·2015-05-31 12:52

spark MLlib之零 构建通用的解析矩阵程序

在使用sparkMLlib时，有时候需要使用到一些基础的矩阵（向量），例如：全零矩阵，全一矩阵；以及矩阵之间的运算操作。这里整理了一些常用的矩阵操作方法：矩阵：packageutilsimportjava.util.Random/** *密集矩阵，用于封装模型参数 */classDenseMatrix(rowNum:Int,columnNum:Int)extendsSerializable{ va
996440550·2015-05-31 12:52

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.2

[原]SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.22015-5-28阅读62 评论0SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.2http://blog.csdn.net/sunbow0第一章NeuralNet(神经网络)2基础及源码解析2.1NeuralNet神经网络基础知识2.1.1神经网络基础知识参照：
javastart·2015-05-30 10:00

[原]Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.3

[原]SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.32015-5-28阅读69 评论0SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.3http://blog.csdn.net/sunbow0第一章NeuralNet(神经网络)3 实例3.1测试数据3.1.1测试函数采用智能优化算法的经典测试函数，如下：（1）Sp
javastart·2015-05-30 10:00

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体SparkMLlibDeepLearning(深度学习)目录结构：第一章NeuralNet(NN)1、源码2、源码解
javastart·2015-05-30 10:00

Spark MLlib Vector

首先不能忘记：importorg.apache.spark.mllib.linalg.
Mr_Cheng·2015-05-28 22:00

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.3

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.3http://blog.csdn.net/sunbow0第一章NeuralNet(神经网络)3 实例3.1测试数据3.1.1测试函数采用智能优化算法的经典测试函数，如下：（1）SphereModel函数表达式搜索范围             全局最优值        函数简介：此函数为非线性的对称单峰函数，不
sunbow0·2015-05-28 18:00

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.2

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.2http://blog.csdn.net/sunbow0第一章NeuralNet(神经网络)2基础及源码解析2.1NeuralNet神经网络基础知识2.1.1神经网络基础知识参照：http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8
sunbow0·2015-05-28 18:00

Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1

SparkMLlibDeepLearningNeuralNet(深度学习-神经网络)1.1http://blog.csdn.net/sunbow0SparkMLlibDeepLearning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体SparkMLlibDeepLearning(深度学习)目录结构：第一章NeuralNet(NN)1、源码2、源码解
sunbow0·2015-05-28 18:00

基于Spark Mllib，SparkSQL的电影推荐系统

本文测试的Spark版本是1.3.1本文将在Spark集群上搭建一个简单的小型的电影推荐系统，以为之后的完整项目做铺垫和知识积累整个系统的工作流程描述如下：1.某电影网站拥有可观的电影资源和用户数，通过各个用户对各个电影的评分，汇总得到了海量的用户-电影-评分数据2.我在一个电影网站上看了几部电影，并都为其做了评分操作（0-5分）3.该电影网站的推荐系统根据我对那几部电影的评分，要预测出在该网站的
qq1010885678·2015-05-27 20:00

Spark（十一） -- Mllib API编程 线性回归、KMeans、协同过滤演示

本文测试的Spark版本是1.3.1在使用Spark的机器学习算法库之前，需要先了解Mllib中几个基础的概念和专门用于机器学习的数据类型特征向量Vector：Vector的概念是和数学中的向量是一样的
qq1010885678·2015-05-27 19:00

Spark MLlib KMeans聚类算法

1.1KMeans聚类算法1.1.1基础理论KMeans算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。然后按平均法重新计算各个簇的质心，从而确定新的簇心。一直迭代，直到簇心的移动距离小于某个给定的值。K-Means聚类算法主要分为三个步骤：(1)第一步是为待聚类的点寻找聚类中心；(2)第二步是计算每个点到聚类中心的距离，将每个点聚类到离该点最近的聚类中去；(3)第
sunbow0·2015-05-12 19:05

Spark MLlib KMeans聚类算法

1.1KMeans聚类算法1.1.1基础理论KMeans算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。然后按平均法重新计算各个簇的质心，从而确定新的簇心。一直迭代，直到簇心的移动距离小于某个给定的值。K-Means聚类算法主要分为三个步骤：(1)第一步是为待聚类的点寻找聚类中心；(2)第二步是计算每个点到聚类中心的距离，将每个点聚类到离该点最近的聚类中去；(3)第
sunbow0·2015-05-12 19:00

Spark MLlib Statistics统计

1、SparkMLlibStatistics统计SparkMllib统计模块代码结构如下：1.1列统计汇总计算每列最大值、最小值、平均值、方差值、L1范数、L2范数。   //读取数据，转换成RDD[Vector]类型   valdata_path="/home/jb-huangmeiling/sample_stat.txt"   valdata=sc.textFile(data_path).ma
sunbow0·2015-05-11 15:00

Spark MLlib FPGrowth算法

1.1FPGrowth算法1.1.1基本概念关联规则挖掘的一个典型例子是购物篮分析。关联规则研究有助于发现交易数据库中不同商品（项）之间的联系，找出顾客购买行为模式，如购买了某一商品对购买其他商品的影响，分析结果可以应用于商品货架布局、货存安排以及根据购买模式对用户进行分类。关联规则的相关术语如下：（1）项与项集这是一个集合的概念，在一篮子商品中的一件消费品即为一项（Item），则若干项的集合为项
sunbow0·2015-05-09 16:00

Spark MLlib SVM算法

1.1SVM支持向量机算法支持向量机理论知识参照以下文档：支持向量机SVM（一）http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html支持向量机SVM（二）http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982684.html支持向量机（三）核函数http://www
sunbow0·2015-05-08 17:00

Spark MLlib Logistic Regression逻辑回归算法

1.1逻辑回归算法1.1.1基础理论logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。它与线性回归的不同点在于：为了将线性回归输出的很大范围的数，例如从负无穷到正无穷，压缩到0和1之间，这样的输出值表达为“可能性”才能说服广大民众。当然了，把大值压缩到这个范围还有个很好
sunbow0·2015-05-07 17:00

xgboost的使用简析

前言——记得在阿里实习的时候，大家都是用mllib下的GBDT来trainmodel的。但由于mllib不是开源的，所以在公司外是不能够使用。
john159151·2015-05-07 02:24

Spark MLlib Linear Regression线性回归算法

1、SparkMLlibLinearRegression线性回归算法1.1线性回归算法1.1.1基础理论在统计学中，线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为
sunbow0·2015-05-06 18:02

Spark MLlib Linear Regression线性回归算法

1、SparkMLlibLinearRegression线性回归算法1.1线性回归算法1.1.1基础理论在统计学中，线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为
sunbow0·2015-05-06 18:00
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他