本地模式

Spark程序进行单元测试-使用scala

上传到集群再运行测试，代价还是挺大;所以尽可能先本地进行单元测试，以减少在集群上运行时错误,特别是map等各种tranforms动作的逻辑错误；以下示例用于测试本地返回rdd相关的方法(利用spark本地模式进行
tuuuuski·2016-09-24 14:05

rsync+inotify配置

/configure#make && make installrsync有四种应用模式shell模式(本地模式)远程shell模式（利用ssh）查询模式（列表模式）服务器模式#rsyncSRCDST例：
繁华落尽cxj·2016-09-12 21:46

Storm基本知识总结

storm：实时计算系统低延迟，高性能，分布式，可扩展，容错特点：简单编程模型，热部署，各种编程语言，可扩展，容错，可靠消息处理，快速，本地模式storm基本概念：Nimbus:负责资源分配和任务调度Supervisor
飞鱼之恋·2016-09-07 10:21

spark本地模式

spark-shell还可带参数，设置开启几个线程spark-shell--masterlocal[3]设置开启3个线程去跑任务spark调度repartition(1)设置reduce的个数，这里设置为1spark读取hdfs上的文件：wuke01为namenode所在机器名。sc.textFile("hdfs://wuke01:9000/input/wuke.txt").flatMap(_.s
CottonDuke·2016-09-03 09:37

hive 开启本地模式

先讲一个hive使用的一个小技巧。对于使用惯了oracle数据库的人来说，hive中没有dual啊，想验证一些函数的执行结果很是麻烦。比如我们在oracle数据库里面可以写select(1+2)fromdual可以返回3。为了保证使用习惯，我们类似的在hive中也建一张dual表:createtabledual(dummystring)然后往这张表中导入一个只有一行数据的文件:loaddatalo
安静平和·2016-09-03 00:54

Storm实时大数据处理（二）

一、搭建开发环境在生产环境中，Storm集群运行在基于Linux操作系统的分布式集群中，可喜的是，Storm提供了本地模式（LocalMode）来方便开发者开发StormTopol
翱翔云端·2016-08-29 10:52

hadoop

1.本地模式与Yarn模式配置有什么区别？2.Yarn模式有哪两种方式执行任务？3.ubermode与mr小作业是什么关系？
安静平和·2016-08-22 21:48

Spark实践项目3:Spark运行模式及原理

：http://spark.apache.org/docs/latest/cluster-overview.html(一)Spark运行模式列表目前最为常用的Spark运行模式有：-local[N]：本地模式
DeryLiu·2016-08-07 16:33

Spark实践项目3:Spark运行模式及原理

：http://spark.apache.org/docs/latest/cluster-overview.html(一)Spark运行模式列表目前最为常用的Spark运行模式有：-local[N]：本地模式
DeryLiu·2016-08-07 16:33

单节点伪分布式Hadoop安装

问题导读从本文部署实际部署，总结本地模式、伪分布、分布式的区别是什么？单机是否是伪分布？本地模式是否可以运行mapreduce?
yuirel媛·2016-07-31 14:59

Hive本地模式安装配置

准备：hive安装包http://mirrors.hust.edu.cn/apache/下载apache-hive-2.1.0-bin.tar.gzmysqlRPM压缩包http://dev.mysql.com/downloads/mysql/5.5.html#downloads基本步骤：一.卸载mysql二.安装mysql三.安装hive一.卸载mysql#1.检查是否已经安装MySQL组件[r
EaShion1994·2016-07-28 17:00

storm概述

4.Storm本地模式的作用是什么？一、实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。
tanggao1314·2016-07-23 14:00

Maven hive-jdbc教程

，数据存在hdfs文件系统中，hive中执行的操作会装换成mapreduce作业进行执行，hive支持类似SQL的语言HQL，hive采用元数据对表进行管理，元数据有三种存放模式：嵌入模式，远程模式，本地模式
weixin_34104341·2016-07-19 22:00

利用rsync+inotify实现数据同步

二.rsync的模式：1.本地模式。2.远程shell模式3.查询模式4.C/S模式安装rsync:tarxvfrsync-3.0.9.tar.gzcdrsyn
不忘初心77·2016-07-08 18:46

nodejs npm常用命令

node的安装分为全局模式和本地模式。一般情况下会以本地模式运行，包会被安装到和你
silvercell·2016-07-07 21:00

Spark的运行架构分析（一）之架构概述

1：Spark的运行模式2：Spark中的一些名词解释3：Spark的运行基本流程4：RDD的运行基本流程一：Spark的运行模式Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行
Thinkgamer_·2016-07-05 19:33

Spark的运行架构分析（一）之架构概述

Spark的运行模式2：Spark中的一些名词解释3：Spark的运行基本流程4：RDD的运行基本流程一：Spark的运行模式       Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行
Gamer_gyt·2016-07-05 19:00

termios 详解

tcflag_tc_iflag;   /*输入模式*/   tcflag_tc_oflag;   /*输出模式*/   tcflag_tc_cflag;   /*控制模式*/   tcflag_tc_lflag;   /*本地模式
lizuobin2·2016-06-28 13:00

spark入门实战windows本地测试程序

在做Spark开发时，一般会在windows下进行Spark本地模式程序调试，在本地调试好了再打包运行在Spark集群上。因此需要在windows上进行Spark开发配置。
一问一答·2016-06-16 10:57

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

（一）Hadoop伪分布安装1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系.Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义伪分布:
a2011480169·2016-06-15 16:00

浅析Nodejs npm常用命令

node的安装分为全局模式和本地模式。一般情况下会以本地模式运行，包会被安装到和你
胡北·2016-06-14 17:16

npm

node的安装分为全局模式和本地模式。一般情况下会以本地
CareChere·2016-06-14 15:00

Spark的Standalone模式安装部署

原文链接：https://my.oschina.net/sniperLi/blog/687222Spark运行模式Spark有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中
cihongmo6452·2016-06-04 22:00

hive 设置参数列表

GateWay运行）truehive.exec.mode.local.auto.inputbytes.max如果hive.exec.mode.local.auto为true，当输入文件大小小于此阈值时可以自动在本地模式运行
djd已经存在·2016-06-03 19:48

Hadoop2.2.0伪分布式搭建简述

环境：Vmware10+RedHat6.3+hadoop2.2.0+JDK1.7Hadoop模式：本地模式：只能其一个reduce和一个map，用于调试伪分布式模式：通过一台机器模拟分布式，在学习时使用
u012802702·2016-05-25 19:00

Spark

spark.pngSpark运行模式Spark的运行模式多种多样、灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布式模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可以供选择，这取决于集群的实际情况
kimibob·2016-05-25 15:54

Spark笔记简单实例演示

spark-shell--masterlocal[1] #启动一个本地模式的spark应用 2代表的两个线程//parallelize演示valnum=sc.parallelize(1to10)valdoublenum
q383700092·2016-05-11 21:00

SparkR初体验

看这：Spark本地模式与SparkStandalone伪分布模式2.你肯定得会R吧。
光于前裕于后·2016-05-11 20:19

SparkR初体验

看这：Spark本地模式与SparkStandalone伪分布模式2.你肯定得会R吧。
光于前裕于后·2016-05-11 20:19

SparkR初体验

看这：Spark本地模式与SparkStandalone伪分布模式2.你肯定得会R吧。
Dr_Guo·2016-05-11 20:00

Storm入门 第二章准备开始

本地模式在本地模式下，Storm拓扑结构运行在本地计算机的单一JVM进程上。这个模式用于开发、测试以及调试，因为这是观察所有组件如何协同工作的最简单方法。
qq_26840065·2016-05-11 16:00

Hive本地模式安装及遇到的问题和解决方案

ApacheHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive有三种运行模式： 1.内嵌模式：将元数据保存在本地内嵌的Derby
qq_26840065·2016-05-09 18:00

spark1.4的本地模式编程练习(2)

spark编程练习申明：以下代码仅作学习参考使用，勿使用在商业用途。WordcountUserMiningTweetMiningHashtagMiningInvertedIndex代码以及测试数据下载数据以及测试代码的获取请点击——[这里]WordCount代码块 importjava.io.Serializable; importjava.util.Arrays; importjava.ut
u014028392·2016-05-07 21:00

Spark笔记一之启动、简单RDD、提交、测试

/spark-shell--masterlocal[2]  #启动一个本地模式的spark应用 2代表的两个线程启动Hadoop2.xstart-dfs.shstart-yarn.sh stop-dfs.sh
q383700092·2016-05-04 08:00

spark初步使用

/spark-shell--masterlocal[2]  #启动一个本地模式的spark应用 2代表的两个线程启动Hadoop2.xstart-dfs.shstart-yarn.sh stop-dfs.sh
q383700092·2016-04-27 08:00

Spark本地模式与Spark Standalone伪分布模式

红字部分来源于：董的博客目前ApacheSpark支持三种分布式部署方式，分别是standalone、sparkonmesos和sparkonYARN，其中，第一种类似于MapReduce1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduc
光于前裕于后·2016-04-23 21:53

Spark本地模式与Spark Standalone伪分布模式

红字部分来源于：董的博客目前ApacheSpark支持三种分布式部署方式，分别是standalone、sparkonmesos和sparkonYARN，其中，第一种类似于MapReduce1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapReduc
光于前裕于后·2016-04-23 21:53

Spark本地模式与Spark Standalone伪分布模式

红字部分来源于：董的博客目前ApacheSpark支持三种分布式部署方式，分别是standalone、sparkon mesos和sparkon YARN，其中，第一种类似于MapReduce1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如MapRed
Dr_Guo·2016-04-23 21:00

Hadoop最新版本2.7.0的部署-学习记录01

Hadoop最新版本2.7.0的部署-学习记录01Hadoop的部署方式有三种：本地模式、伪分布模式搭建、集群模式（现在一般使用HA的方式搭建，之后会将学习笔记上传到博客）本文主要是伪分布式的搭建1、Linux
yangqian201175·2016-04-22 01:00

hive性能调优

本地模式--hive尝试使用本地模式执行查询，要不然hive会使用
aibati2008·2016-04-20 11:00

Hive基础(1)

本地模式，元数据服务和Hive服务运行在同一个JVM中，采
dream_an·2016-04-17 18:00

Hadoop学习笔记（3）－搭建Hadoop伪分布式

0.前言搭建伪分布式要先搭建本地模式。
xummgg·2016-04-17 14:00

spark1.4的本地模式编程练习（1）

spark编程练习申明：以下代码仅作学习参考使用，勿使用在商业用途。WordcountUserMiningTweetMiningHashtagMiningInvertedIndexTest--------------------------------------------------------------------------------Test代码packagetutorial;
uxana·2016-04-16 20:00

spark1.4的本地模式编程练习（1）

spark编程练习申明：以下代码仅作学习参考使用，勿使用在商业用途。WordcountUserMiningTweetMiningHashtagMiningInvertedIndexTestTest代码package tutorial; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf;
FatherAbraham·2016-04-16 20:00

spark1.4的本地模式编程练习（1）

spark编程练习申明：以下代码仅作学习参考使用，勿使用在商业用途。WordcountUserMiningTweetMiningHashtagMiningInvertedIndexTestTest代码packagetutorial; importjava.util.Arrays; importjava.util.List; importorg.apache.spark.SparkConf; i
u014028392·2016-04-16 17:00

spark1.6.0+Hadoop2.6.0+Scala-2.11.7 搭建分布式集群

spark的运行模式有多种(见官网和Spark的Standalone模式安装部署):local(本地模式)：常用于本地开发测试，本地还分为local单线程和local-cluster多线程;standalone
free_lock·2016-04-09 14:08

struct termios结构体详解

tcflag_tc_iflag;     /*输入模式*/tcflag_tc_oflag;     /*输出模式*/tcflag_tc_cflag;     /*控制模式*/tcflag_tc_lflag;     /*本地模式
vevenlcf·2016-04-08 14:00

centos上storm 安装与部署

storm有两种操作模式:本地模式和远程模式本文描述如何快速搭建一个Storm，其中，在相应地方以“注意”的形式给出。
B_boyi·2016-04-06 11:39

linux串口操作

响终端的值按照不同的模式被分为如下几组：1.输入模式2.输出模式3.控制模式4.本地模式5.特殊控制模式s
benjamin721·2016-04-05 17:00

免安裝、免設定的 Hadoop 開發環境 - cloudera 的 QuickStart VM

下載後解壓縮，可直接以VirtualBox、VMWare、Docker、KVM任一虛擬機，開啟Hadoop2.x執行環境，並可用內建本地模式的Eclipse開發工具，開發、執行Hadoop程式碼。
WizardWu·2016-04-02 14:00
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他