Hadoop+Spark

基于大数据分布式流处理技术的实时反欺诈解决方案

大数据+AI的结合，大家可以学习一下最新的技术组合基于大数据分布式流处理技术的实时反欺诈解决方案1.方案引入先进的Hadoop+Spark技术，解决了互联网渠道海量并发行为数据的毫秒级实时响应分析难题，
今夜无风·2020-02-11 15:00

Hadoop+Spark + Hive高可用集群部署

Hadoop+Spark+Hive高可用分布式集群安装集群规划节点IP节点别名zookeeper节点JournalNode节点NodeManager节点DataNode节点zkfc节点NameNode节点ResourceManager节点192.168.99.61spark01zookeeperJournalNodeNodeManagerDataNodeDFSZKFailoverControlle
我突然释怀的笑·2019-12-30 11:14

hadoop+spark 伪分布式安装

基本环境及软件：软件版本软件包centos-6.xJDK-1.8jdk-8u112-linux-x64.tar.gzscala-2.11.8jdk-8u112-linux-x64.tar.gzhadoop-2.7hadoop-2.7.4.tar.gzspark-2.1.2spark-2.1.2-bin-hadoop2.7.tgz键入命令如下,安装hadoop所需的基础软件：yuminstall-y
cooze·2019-10-31 19:08

Hadoop+Spark分布式集群环境搭建

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，而Spark是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。下面使用在同一个局域网下的两台电脑搭建分布式计算的环境：其中JDK、Hadoop、Spark都已经在两台电脑上安装好。一台Ubuntu主机系统Master，IP地址假设为：192.168.1.101（ifconfig查看IP地址）一台Ubuntu主机系统Slave，IP地
Zcarpediem·2019-10-13 01:00

【Hadoop】hadoop+spark配置

不是教程，教程请看http://www.cnblogs.com/zyrblog/p/8510506.html只是个人笔记发现了一个尴尬事首先需要说明的是，spark+hdfs是标准的业界应用搭配，从hdfs里读文件，用spark处理但如果只是为了学spark，建议搭建单节点的伪分布式，文件读取全从本地读取，少个hdfs少点破事，因为如果用的是真的分布式，那么读取本地文件的时候，要求每个节点都有一个
dominic_z·2019-03-28 19:30

阿里腾讯云 hadoop+spark集群搭建（1）

阿里腾讯云hadoop+spark集群搭建（1）linux版本：centos7hadoop版本：3.1.1手上有三台学生机，完全没动过的：一台是阿里云服务器，两台是腾讯云。
karwik·2018-10-28 23:40

浅谈 大数据分析：市场分析、运营分析、用户行为分析

我们先不讨论人工智能，就大数据而言，我们都是在强调他的技术，例如网络热词：hadoop+spark，datamining。而我们在用大数据时候，经常用它的来神话它的影响。
若恒·2018-09-10 22:39

大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言在上一篇中大数据学习系列之五-----Hive整合HBase图文详解：http://www.panchengming.com/2017/12/18/pancm62/中使用Hive整合HBase，并且测试成功了。在之前的大数据学习系列之一-----Hadoop环境搭建(单机):http://www.panchengming.com/2017/11/26/pancm55/中成功的搭建了Hadoop
虚无境·2017-12-19 19:00

大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言在上一篇中大数据学习系列之五—–Hive整合HBase图文详解：http://www.panchengming.com/2017/12/18/pancm62/中使用Hive整合HBase，并且测试成功了。在之前的大数据学习系列之一—–Hadoop环境搭建(单机):http://www.panchengming.com/2017/11/26/pancm55/中成功的搭建了Hadoop的环境，本文
虚无境·2017-12-19 19:05

hadoop+hbase 伪分布式安装

linux-x64.tar.gzhadoop-2.7hadoop-2.7.4.tar.gzhbase-1.2.6hbase-1.2.6-bin.tar.gzjava基础环境和hadoop为分布式安装请点击，跳转至"hadoop
cooze·2017-10-17 17:43

《Hadoop + Spark生态系统 操作与实战指南》

《Hadoop+Spark生态系统操作与实战指南》内容简介本书用于Hadoop+Spark快速上手，本书全面解析Hadoop和Spark生态系统，通过原理解说和实例操作每一个组件，让读者能够轻松跨入大数据分析与开发的大门
brucexia·2017-09-11 11:56

我的新书《Hadoop+Spark生态系统操作与实战指南》已经上架

致青春赶在儿子1岁生日之际，赶在我30岁告别之际，我撰写《Hadoop+Spark生态系统操作与实战指南》一书，作为我儿子的生日礼物。
北京小辉·2017-08-07 20:59

hadoop+spark详细的部署过程

准备软件包1、hadoop-2.7.2.tar.gzhttp://mirror.bit.edu.cn/apache/hadoop/common/2、scala-2.10.4.tgzhttp://www.scala-lang.org/download/2.10.4.html3、spark-2.0.0-bin-hadoop2.7.tarhttp://spark.apache.org/downloads
知者不言·2017-07-18 15:17

单机伪分布下的hadoop+spark 环境配置

初学hadoop老师又给了spark的任务所以有了这次环境配置经过几天的努力总算搭建起来现在详细说下过程做下记录1我是在虚拟机上安装的ubuntu网络选择的是NAT模式安装好ubuntu就进入正题了ubuntu需要联网不过NAT模式下不用设置网络连接与主机共享IP初始有网络2开始shellCtrl+ALT+T因为在root用户下操作方便所以先执行sudopasswdroot创建root密码之后执行
cs724112663·2017-03-18 16:55

hadoop+spark集群自动化部署实现

1.环境与安装包CentOS6.7jdk-8u45-linux-x64.tar.gzzookeeper-3.4.5.tar.gzhadoop-2.7.2.tar.gzspark-2.0.0-bin-hadoop2.7.tgz2.部署前准备1.虚拟机安装CentOS系统安装完后配置：1.配置IP2.主机名以及主机与IP对应关系3.防火墙关闭4.配置ssh免秘钥登录5.重启2.fabric安装Cent
TurboBoost·2016-09-23 16:38

0基础到大数据架构师（Hadoop+Spark）学习路线图

大数据时代掌握大数据概念和核心应用场景，彻底认识到大数据的重要性，以及能够有效把握未来大数据的发展方向。能够掌握hadoop的技术架构和底层原理，对分布式架构能够做到更深入的认识和体会，尤其是yarn框架的底层事件分发机制、轮询机制、多线程以及nio的组合应用。还有更重要的基于google的IPC通信技术。能够独立搭建hadoop集群、配置以及管理。能够灵活应用hadoop生态系统的各种技术进行数
让往事随风·2016-03-29 16:00

spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)

这几天恰巧来了4台服务器，还没有正式使用，所以赶紧加班安装调试了hadoop+spark。
fengyun14·2015-12-11 23:49

hadoop+spark集群搭建

1.      安装JDK（1）下载Java7，本文使用jdk-7u67-linux-x64.tar.gz（若配置最新版本可使用java8）（2）在/opt下新建文件夹jdk，将上述压缩文件解压到该文件夹下可使用命令：tarvxfjdk-7u67-linux-x64.tar.gz（3）配置环境变量sudogedit/etc/profile在末尾添加：#javaexportJAVA_HOME=/op
lxy869735855·2015-08-25 10:00

hadoop+spark安装

 master: 192.168.56.102slave:[192.168.56.106,192.168.56.107,192.168.56.108] 下载和配置环境变量master节点 /etc/profile exportJAVA_HOME=/usr/local/java/jdk1.7.0_75 exportPATH=$JAVA_HOME/bin/:$PATH exportCLASSPAT
xiaofancn·2015-04-03 18:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他