Mlib

寒假记录1

这个寒假留的作业是学习spark生态体系，包括python语言，scala语言，Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算
西酞普兰·2020-02-01 10:00

基于Spark-ALS的协同过滤算法推荐系统

一、ALS算法主要是使用了org.spache.spark.mlib.recommendation包，包内提供了三个用于协同过滤推荐系统的数据类型：Rating、ALS、MatrixFactoriztionModel
蠟筆小噺没有烦恼·2019-12-15 15:44

Spark整合Mongodb的方法

通用性：我们可以使用SparkSQL来执行常规分析，SparkStreaming来流数据处理，以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。
·2019-09-24 15:46

集群开发相关知识点

1、HadoopHDFS;HIVE;MapReduce;YARN2、SparkSparkSQL;SparkStreaming;MLib;GraphXSpark和Hadoop的区别和比较https://blog.csdn.net
_ToDream·2019-07-09 15:04

【Rust日报】 2019-06-23：【系列】Rust 的 OOP 编程研究

借鉴于IMGUI,MLIB,Love2D。其基本理念是利用Widgettrait对象和Container，来看一下其设计理念图：Repo【系列】Rust的OOP编程研究这是
nickname_cpongo6·2019-06-23 21:19

spark core 系列一

spark为批处理(Sparkcore)，交互式(SparkSQL)，流式(SparkStreaming)，机器学习(MLib)，图处理(GraphX)提供一个统一的数据处理平台，这相对于使用Hado
scott_alpha·2019-03-15 21:43

人工智能初学--spark机器学习

Mlib基于Spark的一种机器学习库，目标是提供一个简单易用，扩展性强的机器学习库，主要包括常用的算法和工具类，包括分
linzihahaha·2018-11-13 21:33

spark mlib系列2

前言随着大数据时代的到来，数据当中挖取金子的工作越来越有吸引力。利用Spark在内存迭代运算、机器学习领域强悍性能的优势，使用spark处理数据挖掘问题就显得很有实际价值。这篇文章给大家分享一个sparkMLlib的推荐实战例子。我将会分享怎样用sparkMLlib做一个电影评分的推荐系统。使用到的算法是user-based协同过滤。如果对SparkMLlib不太了解的，请阅读我的上一篇博客。推荐
franklyna·2018-08-02 20:37

spark mlib 机器学习系列之二：spark mlib 基本数据类型的使用

sparkmlib基本数据类型LocalVector本地向量集，向spark提供一组可操作的数据集合Labeledpoint向量标签，让用户分类不同的数据集合。LocalMatrix本地矩阵，将数据集合以矩阵的形式存储在本地集合中。DistributedMatrix分布式矩阵，将数据以矩阵形式存储在分布式计算机中。（分布式行矩阵，带标签分布式行矩阵，分布式坐标矩阵）packagemlibimpor
南山黑·2018-05-23 10:33

spark mlib 机器学习系列之一：Spark rdd 常见操作

packagemlibimportorg.apache.spark.SparkContextimportorg.apache.spark.sql.SparkSessionobjectUsefulRddOpts{defmain(args:Array[String]):Unit={valspark=SparkSession.builder.master("local[*]").appName("Use
南山黑·2018-05-22 16:58

实现movielen电影推荐

本人原创转载请注明出处下面介绍MLib进行个性化的电影推荐应用。•通过Berkely的这个典型案例，用户可以更加深入地理解MLlib以及学会如何构建自己的MLlib应用。
aijava1·2018-01-06 11:43

Sprak Java 推荐算法的思路和实现

推荐算法在org.apache.spark.ml.recommendation或者org.apache.spark.mlib.recommendation下面相比于org.apache.spark.mlib.recommendation
Tardis1·2017-12-02 16:41

python -m的那些实用功能

python-mlib，一句简单的命令加一个模块，除了可以自己写，python自带的现成功能也很强大和实用，本文将不断整理一些常用功能。
泳猫·2017-11-27 11:52

记一次spark mllib stackoverflow踩坑

以前做als相关的东西的时候，都是用的公司的内部工具居多，今天第一次用了下spark的mlib，拿了个几M的小数据集试了个水。。结果一跑，我擦。。。居然stackoverflow了。。
东南枝DP·2017-11-24 17:32

spark mlib简介及相关概念

1、机器学习概念1.1机器学习的定义在维基百科上对机器学习提出以下几种定义：l“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。l“机器学习是对能通过经验自动改进的计算机算法的研究”。l“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”一种经常引用的英文定义是：Acomputerprogramissaidtolearnfrom
只此未央·2017-07-23 22:54

Spark Mlib-BP

SparkMlib-BPQ：什么是人工神经网络？A：人工神经网络是科学及模拟人类大脑的神经神经网络建立的数学模型。人工神经网络由一个个“人工神经元”组合而成。“人工神经元”也是一个数学模型，其本质是一个函数。所以人工神经网络的本质也是一个函数，而且是一个复杂的，包含很多变量和参数的函数。{failImgCache=[];}if(failImgCache.indexOf(src)==-1&&src.
raincoffee·2017-07-06 19:55

大数据：Spark mlib(一) KMeans聚类算法源码分析

1.聚类1.1什么是聚类？所谓聚类问题，就是给定一个元素集合D，其中每个元素具有n个可观察属性，使用算法将集合D划分成k个子集，要求每个子集内部的元素之间相异度尽可能低，而不同子集的元素相异度尽可能高，其中每个子集叫做一个簇。1.2KMeans聚类算法K-Means聚类算法主要分为如下几个步骤：从D中随机取k个元素，作为k个簇的各自的中心分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到
raintungli·2017-06-09 12:00

MongoDB + Spark: 完整的大数据解决方案

通用性：我们可以使用SparkSQL来执行常规分析，SparkStreaming来来做流数据处理，以及用Mlib来执行机器学习等。
zhangfeilo·2017-03-14 09:00

Centos Linux 怎么清理磁盘占用空间大：/dev/xvda1

目录占用了差不多10G，那目标就是找出占用最多的文件[root@iZ94l1188y5Z/]#du-sh*9.3Mbin24Mboot4.0Kcgroup160Kdev44Metc4.0Khome149Mlib22Mlib6416Klost
cen备忘录·2017-02-04 11:44

Spark各类算法的应用场景

ML和MLIB。本文对官方文档中描述的一些算法和工具进行了简单的介绍。ML主要针对DataFrame,MLIB则面向RDD，算法的种类基本一致，我个人比较偏向于ML，结构化的数据更易操作一些。
a95473004·2017-01-23 10:40

Spark 基础

Spark核心引擎的特点——速度快、通用大一统的软件栈，其组件——SparkCore、SparkSQL(结构化数据)、SparkStreaming（实时计算）、MLib（机器学习）、GraphX（图计算
九七学姐·2016-11-29 09:19

离线轻量级大数据平台Spark之MLib机器学习库Word2Vec实例

Word2Vecword2vec能将文本中出现的词向量化，可以在捕捉语境信息的同时压缩数据规模。Word2Vec实际上是两种不同的方法：ContinuousBagofWords(CBOW)和Skip-gram。CBOW的目标是根据上下文来预测当前词语的概率。Skip-gram刚好相反：根据当前词语来预测上下文的概率。这两种方法都利用人工神经网络作为它们的分类算法。起初，每个单词都是一个随机N维向量
fjssharpsword·2016-11-07 15:51

离线轻量级大数据平台Spark之MLib机器学习库Word2Vec实例

Word2Vecword2vec能将文本中出现的词向量化，可以在捕捉语境信息的同时压缩数据规模。Word2Vec实际上是两种不同的方法：ContinuousBagofWords(CBOW)和Skip-gram。CBOW的目标是根据上下文来预测当前词语的概率。Skip-gram刚好相反：根据当前词语来预测上下文的概率。这两种方法都利用人工神经网络作为它们的分类算法。起初，每个单词都是一个随机N维向量
fjssharpsword·2016-11-07 15:00

离线轻量级大数据平台Spark之MLib机器学习库SVM实例

支持向量机，因其英文名为supportvectormachine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。http://www.dataguru.cn/thread-371987-1-1.html参考该网站理解SVM基础数学原理。依据距离计算分类的思想，适用于各维。具体代码如
fjssharpsword·2016-11-07 14:00

离线轻量级大数据平台Spark之MLib机器学习库朴素贝叶斯实例

 1、朴素贝叶斯介绍表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率，公式为： 贝叶斯定理： 从已知P(A|B)获得P(B|A)值。假设A和B代表两类互相影响的事件，如B代表正常邮件和骚扰邮件事件、A代表邮件文本中出现特定词汇的事件。定义：Ai，其中i∈[1,m]，m是A事件总数；Bj，其中j∈[1,n]，n是B事件的总数。根据条件概率公式，先根样本数求得得P(Ai|
fjssharpsword·2016-11-03 15:00

离线轻量级大数据平台Spark之MLib机器学习协同过滤ALS实例

1、协同过滤协同过滤（CollaborativeFiltering，简称CF，WIKI上的定义是：简单来说是利用某个兴趣相投、拥有共同经验之群体的喜好来推荐感兴趣的资讯给使用者，个人透过合作的机制给予资讯相当程度的回应（如评分）并记录下来以达到过滤的目的，进而帮助别人筛选资讯，回应不一定局限于特别感兴趣的，特别不感兴趣资讯的纪录也相当重要。协同过滤常被应用于推荐系统。这些技术旨在补充用户—商品关联
fjssharpsword·2016-10-31 17:00

离线轻量级大数据平台Spark之MLib机器学习库线性回归实例

1、线性回归线性回归是利用称为线性回归方程的函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析方法，只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归，在实际情况中大多数都是多元回归。线性回归（LinearRegression）问题属于监督学习（SupervisedLearning）范畴，又称分类（Classification）或归纳学习（InductiveLearnin
fjssharpsword·2016-10-31 16:00

离线轻量级大数据平台Spark之MLib机器学习库聚类算法KMeans实例

1、KMeans算法所谓聚类问题，就是给定一个元素集合D，其中每个元素具有n个可观察属性，使用某种算法将D划分成k个子集，要求每个子集内部的元素之间相异度尽可能低，而不同子集的元素相异度尽可能高。其中每个子集叫做一个簇。与分类不同，分类是示例式学习，要求分类前明确各个类别，并断言每个元素映射到一个类别。而聚类是观察式学习，在聚类前可以不知道类别甚至不给定类别数量，是无监督学习的一种。聚类算法是机器
fjssharpsword·2016-10-31 14:00

离线轻量级大数据平台Spark之MLib机器学习库概念学习

Mlib机器学习库1.1机器学习概念机器学习有很多定义，倾向于下面这个定义。机器学习是对能通过经验自动改进的计算机算法的研究。机器学习依赖数据经验并评估和优化算法所运行出的模型。
fjssharpsword·2016-10-28 17:00

Spark的spark.sql.warehouse.dir问题

最近学习Spark的MLib，做到NaiveByesExample例子一直报一个错，说是Spark-warehouse路径有问题（都不知道Spark-warehouse这玩意儿是啥）一开始main下的代码是这样的
qq_14961401·2016-10-18 10:22

Windows下Spark-mlib保存模型到本地报空指针解决方案

一、问题描述在windows下用Sparkmlib跑机器学习模型时，保存模型到本地，出现空指针异常。代码如下：importorg.apache.spark.mllib.classification.{LogisticRegressionWithLBFGS,SVMWithSGD}importorg.apache.spark.mllib.evaluation.BinaryClassificationM
早上好小桑葚·2016-08-26 19:28

Spark Mlib TFIDF源码详读 笔记

在提取文本特征时，经常用到TF-IDF算法。SparkMlib实现了该算法。下面是SparkMlib中，TF_IDF算法调用的一个实例：def main(args:Array[String]){         val sc: SparkContext = null                                // Load documents (one per line).  
悠悠_·2016-05-05 18:00

spark大数据入门（一）如何在windows下部署spark开发环境

spark机器学习：    spark现如今在大数据领域有着很重的地位，lz最喜欢的是基于spark之上的机器学习，也就是MlIB，这是基于分布式环境下的机器学习的开发库，简单的来说就是开发及机器学习的
liyaohhh·2015-12-07 14:00

把传统的基于sql的企业信息中心迁移到spark 架构应该考虑的几点思考...[修改中]

而且spark提供了内置的mlib和graphX 一般的报表都
·2015-11-11 13:56

Spark1.5.1学习笔记（一）Standalone集群配置

好记性不如烂笔头ApacheSpark是一个通用的大规模数据快速处理引擎，基于Scala语言实现，但提供多语言（Java,Scala,PythonandR）API，以及丰富的工具集（如SparkSQL、MLib
luchunli1985·2015-10-23 10:01

Spark1.5.1学习笔记（一）Standalone集群配置

好记性不如烂笔头ApacheSpark是一个通用的大规模数据快速处理引擎，基于Scala语言实现，但提供多语言（Java,Scala,PythonandR）API，以及丰富的工具集（如SparkSQL、MLib
luchunli1985·2015-10-23 10:01

GO语言练习：第二个工程--模拟音乐播放器

1、代码 2、编译及运行   1、目录结构 　　1.1） 1 $ tree 2 . 3 ├── mplayer.go 4 └── src 5 ├── mlib
·2015-10-23 08:12

Spark Mlib BLAS线性代数运算库

1.4BLAS（BLASroutinesforMLlib'svectorsandmatrices.）BLAS（BasicLinearAlgebraSubprograms，基础线性代数程序集）是一个应用程序接口（API）标准，用以规范发布基础线性代数操作的数值库（如矢量或矩阵乘法）。BLAS按照功能被分为三个级别：Level1：矢量-矢量运算Level2：矩阵-矢量运算Level3：矩阵-矩阵运算在
sunbow0·2015-05-05 17:00

《Go语言编程》【3.6 完整示例】代码错误和文件目录结构

包名错误，不是library，而是mlib:3.manager.go代码Remove函数删除中间元素有错，index-1应当改成index：4.m0变量初始化错误，"CelionDion",为多余，MP3
dongsong1117·2015-04-30 10:00

决策树在MLib中的实现解析

决策树作为一种分类回归算法，在处理非线性、特征值缺少的数据方面有很多的优势，能够处理不相干的特征，并且对分类的结果通过树的方式有比较清晰的结构解释，但是容易过拟合，针对这个问题，可以采取对树进行剪枝的方式，还有一些融合集成的解决方案，比如随机森林RandomForest、GBDT(GradientBoostDecisionTree)等，对于随机森林、GBDT在后面的章节进行介绍模型的训练过程其实是
杨步涛的博客·2015-04-17 14:32

《Go语言编程》【3.6 完整示例】代码错误和文件目录结构

包名错误，不是library，而是mlib:3.manager.go代码Remove函数删除中间元素有错，index-1应当改成index：4.m0变量初始化错误，"CelionDion",为多余，MP3
董松·2014-12-21 03:00

《Go语言编程》【3.6 完整示例】代码错误和文件目录结构

包名错误，不是library，而是mlib:3.manager.go代码Remove函数删除中间元素有错，index-1应当改成index：4.m0变量初始化错误，"CelionDion",为多余，MP3
dongsong1117·2014-12-20 21:58

《Go语言编程》【3.6 完整示例】代码错误和文件目录结构

包名错误，不是library，而是mlib:3.manager.go代码Remove函数删除中间元素有错，index-1应当改成index：4.m0变量初始化错误，"CelionDion",为多余，MP3
dongsong1117·2014-12-20 21:58

Spark的机器学习算法mlib的例子运行

　　Spark自带了机器学习的算法mlib，页面网址 http://spark.incubator.apache.org/docs/latest/mllib-guide.html  　　但是运行的时候
·2014-02-04 23:00

Keyboard.cs

http://csharpmlib.googlecode.com/svn-history/r17/trunk/MLib/InputDevices/Keyboard.csusingSystem; usingSystem.Text
shuixin536·2012-09-14 14:00

java.lang.NoClassDefFoundError: com/sun/medialib/mlib/Image

Error:CouldnotfindmediaLibacceleratorwrapperclasses.ContinuinginpureJavamode.Occursin:com.sun.media.jai.mlib.MediaLibAccessorjava.lang.NoClassDefFoundError
lifesounds·2008-07-23 16:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他