spark机器学习第6页

Spark机器学习之协同过滤

dingcheng998·2017-04-12 15:15

Spark之训练分类模型练习（1）

_飞奔的蜗牛_·2017-03-25 16:25

Spark机器学习之特征提取、选择、转换

本节介绍了处理特征的算法，大致分为以下几组：1、提取：从“原始”数据提取特征2、转换：缩放，转换或修改要素3、选择：从一组较大的要素中选择一个子集4、局部敏感哈希（LSH）：这类算法将特征变换的方面与其他算法相结合。1、特征提取1.1TF-IDF（termfrequency–inversedocumentfrequency/词频-逆文本/文档频率）词频-逆文本频率（TF-IDF）是在文本挖掘中广泛

dingcheng998·2017-03-18 21:49

Spark机器学习

Spark机器学习Pipelines中的主要概念MLlib提供的API可以通过Pipelines将多个复杂的机器学习算法结合成单个pipeline或者单个工作流。

Spark贵1·2017-03-07 19:44

Spark下的K-Means算法

Spark下的K-Means算法引言1.1背景由于本人刚刚开始学习Spark平台，希望通过学习基础的Spark机器学习算法的使用来对Spark平台以及Scala语言进行一个简单的了解和使用。

clam1234·2017-02-13 18:48

[Spark机器学习]基于Spark 2.0 机器学习之推荐系统实现

1什么是ALS ALS是交替最小二乘（alternatingleastsquares）的简称。在机器学习中，ALS特指使用交替最小二乘求解的一个协同推荐算法。它通过观察到的所有用户给商品的打分，来推断每个用户的喜好并向用户推荐适合的商品。举个例子，我们看下面一个8*8的用户打分矩阵。这个矩阵的每一行代表一个用户（u1,u2,…,u8）、每一列代表一个商品（v1,v2,…,v8）、用户的打分

刘玉刚·2017-01-18 16:05

基于Spark机器学习和实时流计算的智能推荐系统

原文链接：http://blog.csdn.net/qq1010885678/article/details/46675501概要：随着电子商务的高速发展和普及应用，个性化推荐的推荐系统已成为一个重要研究领域。个性化推荐算法是推荐系统中最核心的技术，在很大程度上决定了电子商务推荐系统性能的优劣，决定着是否能够推荐用户真正感兴趣的信息，而面对用户的不断提升的需求，推荐系统不仅需要正确的推荐，还要实时

u013063153·2016-12-20 10:17

如何在Spark2.0.2中启动Ipython Notebook

最近因为学习《Spark机器学习》，里面的第三章涉及到了ipythonnotebook，老版本的spark直接在Spark根目录下输入一下就可IPYTHON=1IPYTHON_OPTS='--pylab

明日韭菜·2016-12-13 22:04

整理系列-20161111-Spark学习周记_4

Spark机器学习2016.02.29NeuralNetworksandDeepLearning.MichaelNielsen.2016.02.29尹绪森.Spark与MLlib:当机器学习遇见分布式系统

u012251305·2016-11-12 00:00

spark机器学习-聚类

聚类算法是一种无监督学习任务，用于将对象分到具有高度相似性的聚类中，聚类算法的思想简单的说就是物以类聚的思想，相同性质的点在空间中表现的较为紧密和接近，主要用于数据探索与异常检测，最常用的一种聚类算法是K均值(K-means)聚类算法算法原理kmeans的计算方法如下：1选取k个中心点2遍历所有数据，将每个数据划分到最近的中心点中3计算每个聚类的平均值，并作为新的中心点4重复2-3，直到这k个中线

cm_chenmin·2016-11-09 21:46

支持向量机学习之3-SVR（回归）

支持向量机系列学习笔记包括以下几篇：Spark机器学习系列之13：支持向量机SVM：http://blog.csdn.net/qq_34531825/article/details/52881804支持向量机学习之

千寻千梦·2016-10-22 13:45

Spark MLLib简介

SparkMLLibMLMachineLearningDataScienceStepsinaMachineLearningProgramRecommandationEngineFraudDetectionSparkMLlibSparkMLDataPipelinesMLPipelineComponentsSparkMLLib&MLSpark

HoiDev·2016-10-16 21:13

Spark机器学习的一些概念整理

(文章主要来自于学习整理，好记心不如烂笔头，先记上后面再完善，欢迎大家指正交流)监督式学习：使用有标签的训练数据(也就是已知结果的数据点)进行学习，对训练样本集外的数据进行标记(分类)预测,训练样本的标记(分类)是已知的，因此岐义性低。无监督式学习：使用没有标签的训练数据(也就是已知结果的数据点)进行学习对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。训练标记（分类）是未

cm_chenmin·2016-10-08 11:00

大数据架构师之路-大数据框架大全

ClouderaImpala4.kylin介绍:http://www.csdn.net/article/2014-10-25/2822286数据分析/建模工具系列:�1.sas2.spss3.r/ronhadoop/ronspark

葡萄喃喃呓语·2016-09-25 19:11

Spark机器学习2：K-Means聚类算法

本文原始地址今天是七夕，看到一则关于“京东”名字来源的八卦，什么东哥的前女友、奶茶妹妹一个排的前男友balabala的，忽然想到能不能用算法对那一个排的前男友聚聚类，看看奶茶妹妹的喜好啊品味啊什么的，然后再看看东哥属于哪一类，一定很有（e）趣（su）。可惜手头没有那一排人的资料，只好作罢。由此看来聚类算法还挺有价值的，比如研究下非诚勿扰、世纪佳缘之类的……聚类问题言归正传，所谓聚类问题，就是给定一

qinm08·2016-08-10 15:38

Spark机器学习第4课：深度解析Structured Streaming

原文链接：https://my.oschina.net/u/1449867/blog/724428StructedStreaming在2.0推出的时候，其实并不是很成熟，包括一些功能的不完善和会有bug但是它给我们带来了全新的视野，导致我们可以更容易去使用流处理，和更高效使用流去处理数据现实中的目标是end-to-endcontinuousapp它已经不是一个流式处理的概念，就是一个应用程序的概念

chuanshu8252·2016-07-31 13:00

第七课：Spark 机器学习内幕剖析

1.Spark机器学习的本质是什么？

mumianhuakapok·2016-07-28 20:10

spark机器学习笔记：（七）用Spark Python构建聚类模型

u013719780·2016-07-05 17:00

spark机器学习笔记：（六）用Spark Python构建回归模型

u013719780·2016-07-04 17:00

spark机器学习笔记：（五）用Spark Python构建分类模型（下）

u013719780·2016-06-30 17:00

spark机器学习笔记：（四）用Spark Python构建分类模型（上）

u013719780·2016-06-29 18:00

spark机器学习笔记：（三）用Spark Python构建推荐系统

u013719780·2016-06-28 18:00

spark机器学习笔记：（二）用Spark Python进行数据处理和特征提取

u013719780·2016-06-27 17:00

spark机器学习笔记：（一）Spark Python初探

u013719780·2016-06-27 14:00

spark机器学习库指南[Spark 1.3.1版]

本文翻译自Spark官方文档：MachineLearningLibrary(MLlib)Guide ，代码示例以Python版为主，部分Python不支持的功能保留原理说明，代码示例略去，另外翻译的时候对部分概念做注解。[注：翻译是为了帮助自己更好地理解相关概念，英语OK的同学建议直接阅读英文原版]MLlib是Spark中可扩展的机器学习库，它由一系列机器学习算法和实用程序组成，包括分类、回归、聚

lihaitao000·2016-05-13 10:00

技多才能防身啊

大数据方向：hadoop，spark机器学习：scikit-learn深度学习：tensorflow，参考googlediscussiongroup资料，参考官方文档自然语言处理：nltk软件工程：软件工程公开课

u013158492·2016-05-11 00:00

jblas-1.2.4.jar : spark第三方依赖打包

简介依赖设置应用部署简介在实现基于sparkmllib的ALS协同滤波例子：Spark机器学习_(南非)彭特里思(nickpentreath)(著)蔡立宇;黄章帅;周济民(译)人民邮电出版社2015-09

zhzhji440·2016-05-06 18:00

Spark机器学习（四） Local matrix -- Data Types

LocalmatrixAlocalmatrixhasinteger-typedrowandcolumnindicesanddouble-typedvalues,storedonasinglemachine.MLlibsupportsdensematrices,whoseentryvaluesarestoredinasingledoublearrayincolumn-majororder,andsp

snug·2016-04-23 22:00

Spark机器学习（三） Labeled point-- Data Types

LabeledpointAlabeledpointisalocalvector,eitherdenseorsparse,associatedwithalabel/response.InMLlib,labeledpointsareusedinsupervisedlearningalgorithms.Weuseadoubletostorealabel,sowecanuselabeledpointsin

snug·2016-04-23 16:00

Spark机器学习（二）局部向量 Local-- Data Types - MLlib

LocalvectorLabeledpointLocalmatrixDistributedmatrixRowMatrixIndexedRowMatrixCoordinateMatrixBlockMatrixMLlibsupportslocalvectorsandmatricesstoredonasinglemachine,aswellasdistributedmatricesbackedbyone

snug·2016-04-23 10:00

Spark机器学习（一） -- Machine Learning Library (MLlib)

MLlibisSpark’smachinelearning(ML)library.Itsgoalistomakepracticalmachinelearningscalableandeasy.Itconsistsofcommonlearningalgorithmsandutilities,includingclassification,regression,clustering,collabora

snug·2016-04-23 08:00

Spark Python 快速体验

Spark技术栈如上图所示，Spark的技术栈包括了这些模块：核心模块：SparkCore集群管理 StandaloneSchedulerYARNMesosSparkSQLSpark流StreamingSpark

naughty·2016-04-04 14:00

Spark机器学习：spark基本使用及命令

http://blog.csdn.net/pipisorry/article/details/50931274Spark编程模型SparkContext类和SparkConf类记着，，，下次写吧。。。。。。。皮皮blogSpark编程实例回归模型[极简Spark入门笔记—第一个回归程序]from: http://blog.csdn.net/pipisorry/article/details/509

pipisorry·2016-03-19 15:00

Spark机器学习：概念和安装

http://blog.csdn.net/pipisorry/article/details/50924395spark基本概念Spark一种与Hadoop相似的通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，在性能和迭代计算上很有看点，提供高效内存计算，现在是Apache孵化的顶级项目。Spark由加州大学伯克利分校AMP实验室 (Algorithms,Machines,andP

pipisorry·2016-03-18 16:00

Spark机器学习读书笔记-CH05

5.2.从数据中提取合适的特征[root@demo1ch05]#sed1dtrain.tsv>train_noheader.tsv[root@demo1ch05]#lltotal42920-rw-r--r--1rootroot21972457Jan3115:03train_noheader.tsv-rw-r--r--1rootroot21972916Jan3115:00train.tsv[root

littlesuccess·2016-01-31 17:00

Spark机器学习读书笔记-CH04

[root@demo1ch04]#spark-shell--masteryarn--jars/root/studio/jblas-1.2.3.jar scala>valrawData=sc.textFile("hdfs://192.168.0.85:8020/user/root/studio/MachineLearningWithSpark/ch04/ml-100k/u.data")rawData

littlesuccess·2016-01-31 15:00

Spark机器学习读书笔记-CH03

3.1.获取数据:wgethttp://files.grouplens.org/datasets/movielens/ml-100k.zip 3.2.探索与可视化数据:In[3]: user_data=sc.textFile("file:///root/studio/MachineLearningWithSpark/ch03/ml-100k/u.user")In[4]: user_data.fir

littlesuccess·2016-01-24 17:00

spark构建回归模型

Spark机器学习第六章实现加载数据集数据集为Bike-Sharing-Datasetpath="hdfs:///user/yy/Bike-Sharing-Dataset/hour_noheader.csv"raw_data

YiyangJump·2016-01-19 15:18

spark机器学习源代码 Machine Learning With Spark source code

spark机器学习源代码MachineLearningWithSparksourcecodehttps://www.packtpub.com/books/content/support/17400

程序描绘人生·2016-01-13 11:00

2016.1.7-机器学习

今天搜了下spark,突然就看到了spark机器学习，然后搜了一下机器学习的相关信息，果然是高逼格的东西。机器学习就是可以让你的程序具有学习的能力。

石头hah·2016-01-07 13:00

2016.1.7-机器学习

今天搜了下spark,突然就看到了spark机器学习，然后搜了一下机器学习的相关信息，果然是高逼格的东西。机器学习就是可以让你的程序具有学习的能力。

石头hah·2016-01-07 13:00

【Spark 机器学习】K-means聚类算法（理论篇）

【Spark机器学习】K-means聚类算法（理论篇）本博客是【Spark-Python-机器学习】系列的文章。

仙道菜·2015-12-31 23:54

【Spark 机器学习】K-means聚类算法（理论篇）

【Spark机器学习】K-means聚类算法（理论篇）本博客是【Spark-Python-机器学习】系列的文章。

cyh24·2015-12-31 23:00

turingbooks·2015-12-24 09:00

spark大数据入门（一）如何在windows下部署spark开发环境

spark机器学习： spark现如今在大数据领域有着很重的地位，lz最喜欢的是基于spark之上的机器学习，也就是MlIB，这是基于分布式环境下的机器学习的开发库，简单的来说就是开发及机器学习的

liyaohhh·2015-12-07 14:00

Spark机器学习3

3.Spark上数据的获取、处理与准备3.1获取公开数据集MovieLens数据集：包含表示多个用户对多部电影的10万次评级数据，也包含电影元数据和用户属性信息。下载数据集，解压unzipml-100k.zip会创建一个名为ml-100k的文件夹，进入文件夹cdml-100k其中重要的文件有u.user（用户属性文件）、u.item（电影元数据）和u.data（用户对电影的评级）u.user文件包

jjfnjit·2015-11-18 17:00

Spark机器学习2

2.设计机器学习系统现代的大数据场景包含如下需求：必须能与系统的其他组件整和易于扩展且与其他组件相对独立支持高效完成所需类型的计算最好能同时支持批处理和实时处理机器学习系统商业用例个性化，是根据各种因素来改变用户体验和呈现给用户内容。推荐从根本上说是个性化的一种，指向用户呈现一个他们可能感兴趣的物品列表。目标营销和客户细分预测建模与分析2.1数据清理与转换大部分机器学习模型所处理的都是特征。特征通

jjfnjit·2015-11-18 17:00

Spark机器学习5

5.Spark构建分类模型分类是监督学习的一种形式，我们用带有类标记或者类输出的训练样本训练模型。5.1分类模型的种类Spark中常见的三种分类模型：线性模型、决策树和朴素贝叶斯模型。线性模型：简单而且相对容易扩展到非常大的数据集决策树：一个强大的非线性技术，训练过程计算量大而且较难扩展，但是在很多情况下性能很好。朴素贝叶斯模型：简单，易训练，并且具有高效和并行的优点。Spark的MLlib库提供

jjfnjit·2015-11-02 12:00

Spark机器学习1

1.Spark的环境搭建与运行Spark的本地模式与集群模式完全兼容，本地编写和测试过的程序仅需增加少许设置便能在集群上运行。任何Spark程序的编写都是从SparkContext（或用Java编写时的JavaSparkContext）开始的。SparkConf对象包含了Spark集群配置的各种参数，SparkContext的初始化需要一个SparkConf对象。要想通过Scala来使用Spark

jjfnjit·2015-10-13 14:00

Spark机器学习库之数据类型——scala版本

1.本地向量本地向量的基类是 Vector,我们提供了两个实现 DenseVector 和 SparseVector。我们建议通过 Vectors中实现的工厂方法来创建本地向量:（注意:Scala语言默认引入的是 scala.collection.immutable.Vector,为了使用MLlib的Vector,你必须显示引入org.apache.spark.mllib.lina

hechenghai·2015-10-11 20:00

推荐频道

spark机器学习

Spark机器学习之协同过滤

Spark之训练分类模型练习（1）

Spark机器学习之特征提取、选择、转换

Spark机器学习

Spark下的K-Means算法

[Spark机器学习]基于Spark 2.0 机器学习之推荐系统实现

基于Spark机器学习和实时流计算的智能推荐系统

如何在Spark2.0.2中启动Ipython Notebook

整理系列-20161111-Spark学习周记_4

spark机器学习-聚类

支持向量机学习之3-SVR（回归）

Spark MLLib简介

Spark机器学习的一些概念整理

大数据架构师之路-大数据框架大全

Spark机器学习2：K-Means聚类算法

Spark机器学习第4课： 深度解析Structured Streaming

第七课：Spark 机器学习内幕剖析

spark机器学习笔记：（七）用Spark Python构建聚类模型

spark机器学习笔记：（六）用Spark Python构建回归模型

spark机器学习笔记：（五）用Spark Python构建分类模型（下）

spark机器学习笔记：（四）用Spark Python构建分类模型（上）

spark机器学习笔记：（三）用Spark Python构建推荐系统

spark机器学习笔记：（二）用Spark Python进行数据处理和特征提取

spark机器学习笔记：（一）Spark Python初探

spark机器学习库指南[Spark 1.3.1版]

技多才能防身啊

jblas-1.2.4.jar : spark第三方依赖打包

Spark机器学习（四） Local matrix -- Data Types

Spark机器学习（三） Labeled point-- Data Types

Spark机器学习（二） 局部向量 Local-- Data Types - MLlib

Spark机器学习（一） -- Machine Learning Library (MLlib)

Spark Python 快速体验

Spark机器学习：spark基本使用及命令

Spark机器学习：概念和安装

Spark机器学习读书笔记-CH05

Spark机器学习读书笔记-CH04

Spark机器学习读书笔记-CH03

spark构建回归模型

spark机器学习 源代码 Machine Learning With Spark source code

2016.1.7-机器学习

2016.1.7-机器学习

【Spark 机器学习】K-means聚类算法（理论篇）

【Spark 机器学习】K-means聚类算法（理论篇）

【好书推荐】机器学习书单

spark大数据入门（一）如何在windows下部署spark开发环境

Spark机器学习3

Spark机器学习2

Spark机器学习5

Spark机器学习1

Spark机器学习库之数据类型——scala版本

Spark机器学习第4课：深度解析Structured Streaming

Spark机器学习（二）局部向量 Local-- Data Types - MLlib

spark机器学习源代码 Machine Learning With Spark source code