大数据基础

大数据基础增强----【Zookeeper】

Zookeeper1.Zookeeper1.1Zookeeper概述Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。ZooKeeper本质上是一个分布式的小文件存储系统。诸如：统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能。1.2Zookeeper特性全局数据一致:集群中数据一致,
CoderBoom·2018-11-11 23:39

【原创】大数据基础之Oozie（1）简介、源代码解析

Oozie4.3一简介1官网http://oozie.apache.org/ApacheOozieWorkflowSchedulerforHadoopHadoop生态的工作流调度器OverviewOozieisaworkflowschedulersystemtomanageApacheHadoopjobs.OozieWorkflowjobsareDirectedAcyclicalGraphs(DA
匠人先生·2018-11-02 11:00

大数据基础环境之spark（3台虚拟机）

本博主之前的博客包含了详细的所有前置环境，出门左转谢谢。Spark集群的搭建：到官网上下载相应的压缩包如果网速不好，推荐到清华的镜像去下载：http://archive.apache.org/dist/进去找到你所需要的版本进行下载，速度会提升很多！将压缩包上传到虚拟机上，进行解压到相应的文件夹，然后配置环境变量：最好将bin和sbin都添加到环境变量中,我这里只添加了bin修改spark的配置文
Saltedfishwithdreams·2018-10-31 21:59

大数据基础环境之kafka（3台虚拟机）

Kafka集群：首先，下载解压压缩包kafka_2.11-2.0.0.tgz到/usr/kafka/配置/usr/kafka/kafka_2.11-2.0.0/config/server.properties文件：打开监听端口（打开这一行注释）：修改zookeeper.connect：配置broker的ID：修改log的目录：然后就配置完成了接着使用远程复制将/usr/下的kafka目录分发到其他
Saltedfishwithdreams·2018-10-31 21:44

大数据基础环境之hbase（3台虚拟机）

hbase安装注意开启hbase之前，需要将之前的hadoop集群开启start-all.sh（启动hadoop）zkServer.shstart（各个节点均执行）1.同样先建立工作路径/usr/hbase,将/opt/soft下的hbase加压到工作路径中。创建路径：mkdir-p/usr/hbase解压缩：tar-zxvf/opt/soft/hbase-1.2.4-bin.tar.gz-C/u
Saltedfishwithdreams·2018-10-28 20:29

大数据基础环境之hadoop（3台虚拟机）

hadoop集群搭建实验步骤安装hadoop使用Xshell连接虚拟机：修改/etc/hosts文件（三台机器都需要操作），操作过程如下图所示：注意：图中的ip地址为操作是使用的机器的ip地址，需要将hosts文件中的ip地址更换为我们将第一步所得到的ip地址！！！6.当所有机器上的hosts文件配置完成之后，我们可以在master节点上输入sshslave1或者sshslave2，测试一下hos
Saltedfishwithdreams·2018-10-20 21:44

大数据基础环境之zookeeper（3台虚拟机）

因为之后的大数据环境都要依赖jdk我的软件包都放在了/opt/soft下：安装JDK1.首先在根目录下建立工作路径/usr/javamkdir-p/usr/javatar-zxvf/opt/soft/jdk-8u171-linux-x64.tar.gz-C/usr/java/2.修改环境变量修改环境变量：vi/etc/profile添加内容如下：exportJAVA_HOME=/usr/java/
Saltedfishwithdreams·2018-10-19 22:43

大数据基础环境之同步基础环境（3台虚拟机）

大数据基础环境的同步配置实验步骤1.修改主机名本次集群搭建共有三个节点，包括一个主节点master，和两个从节点slave1和slave2。
Saltedfishwithdreams·2018-10-18 22:28

《大数据时代》书摘

大数据时代:生活，工作与思维的大变革维克托·迈尔·舍恩伯格硅谷臭名昭著的技术成熟度曲线大数据基础上的简单算法比小数据基础上的复杂算法更加有效。”他们就指出，混杂是关键。
愚坤·2018-10-18 22:47

大数据基础问答17

1.MySQL部署过程的配置文件默认在哪/etc/my.cnf2.赋予权限，%代表什么任意ip都能访问3.创建DB的SQL是什么?createdatabasexxx;4.想想，创建一个用户xxx，对xxxdb有所有权限访问且密码123456，这个SQL会不会写grantallprivilegesonxxxdb.*toxxx@’%’identifiedby‘123456’;5.赋予权限完，我们最后一
仙人掌仙人·2018-10-13 15:29

大数据分布式存储原理

大数据基础1.什么是大数据短时间内快速的产生海量的多种多样的有价值的数据2.大数据技术2.1分布式存储2.2分布式计算①分布式批处理（无法实现预测）存一段时间的数据，等到将来某一时刻时再进行处理②分布式流处理
dmbds20·2018-10-09 20:39

大数据基础问答04

1.如何判断一个Linux上的xxx服务是否存活?一、查看进程是否运行：ps-ef|grepxxx二、查看端口号：netstat-nlp|grepxxx（xxx是pid）第一步：pingxxx服务所在的机器的ip:网络环境能够ping通的，服务正常，不能ping通，需要排查。第二步：查看xxx服务的端口号和服务地址（监听地址）第三步telnetxxxxxxyy（xxxxxx是机器ip地址，yy是端
仙人掌仙人·2018-10-06 21:30

史上最新最全面的java大数据学习路线（新手小白必看版本）

第一阶段：大数据基础Java语言基础阶段1.1：Java开发介绍1.1.1Java的发展历史1.1.2Java的应用领域1.1.3Java语言的特性1.1.4Java面向对象1.1.5Java性能分类1.1.6
程序员日常·2018-09-20 09:41

大数据 Hadoop介绍、配置与使用

大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据MapReduce
Notzuonotdied·2018-09-15 17:09

大数据 Shell基础

前言大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据
Notzuonotdied·2018-09-13 09:28

学习大数据基础笔记02——新手必须掌握的Linux命令

最近在看一本暑假买过的书，但没怎么看过，名字叫《Linux就该这么学》,或许会有人好奇为什么不是《鸟哥的私房菜》？其实，我也有鸟哥的这本书，只是页数太多看起来还是会些许吃力不易懂。在这里记下这些常用的Linux命令，这些命令与实战相结合，应该在未来的某一天也会受用！后续相关命令操作会逐步带图更新..如需转载，请注明出处。(博主辛苦码的)一、常用系统工作命令1.echo命令echo命令用于在终端输出
liumce·2018-09-07 23:57

学习大数据基础笔记01——Linux入门与基础

终于等到大三开学了，新学期昨晚才得到朝思暮想的课表，课表里的有一门行业前沿技术（心想：前沿技术是个啥技术..）其实是大数据...好了，我要开始学东西了...（窘迫）备注：其实操作步骤是看老师来的，哈哈哈..大数据小白一、前言先装个系统(Linux吖...为啥又是它？无处不在)，再测试下(万一学校机房被我玩坏了怎么办)，最后普及下Linux操作知识，关机（瑟瑟发抖）...二、安装虚拟机1.安装VMw
liumce·2018-09-03 17:36

Spark SQL在100TB上的自适应执行实践

为了应对这些挑战，英特尔大数据技术团队和百度大数据基础架构部工程师在Spa
微步229·2018-09-03 11:56

大数据基础：必备Linux操作系统知识

Hadoop通常都是搭建在Linux操作系统之上，故在搭建Hadoop实验环境之前，首先需要创建Linux系统环境。由于我们只是搭建Hadoop实验环境，而不是生产环境，因此，为简单起见，就采用虚拟机VMware+Linux操作系统RedHat（小红帽）。本文先介绍Linux操作系统的安装过程，以及Linux操作系统的一些相关基础知识，后续文章再接着介绍Hadoop实验环境的搭建及Hadoop等一
penggougoude·2018-09-02 15:20

2018大数据培训学习路线图（详细完整版）

原文链接：http://www.cnblogs.com/Bigata/p/9566003.html2018大数据培训学习路线全课程目录+学习线路详解（详细完整版）第一阶段：大数据基础Java语言基础阶段
dolwn3560·2018-08-31 15:00

鲸腾网络总经理钱晓芳：助力大数据风控 赋能多场景生态

本次会议上，浙江鲸腾网络科技有限公司总经理钱晓芳发表了《GTN网络在风控中的应用》的主题演讲，聚焦在大数据、人工智能、云计算等新一代金融科技的高速发展背景下，GTN积极开放自有大数据基础能力以及联合第三方的大数据资源
恒生GTN·2018-08-28 16:23

学完大数据基础，可以按照我写的顺序学下去

首先给大家介绍什么叫大数据，大数据最早是在2006年谷歌提出来的，百度给他的定义为巨量数据集合，辅相成在今天大数据技术任然随着互联网的发展，更加迅速的成长，小到个人，企业，达到国家安全，大数据的作用可见一斑，也就是近几年大数据这个概念，随着云计算的出现才凸显出其价值，云计算与大数据的关系就像硬币的正反面一样，相密不可分。但是大数据的人才缺失少之又少，这就拖延了大数据的发展。所以人才培养真的很重要。
大数据群722680258·2018-08-04 10:43

成都0基础大数据培训学习：Linux&Maven基础知识

今天来说一下大数据开发培训的基础学习：Linux基础、Maven基础，以成都加米谷大数据培训机构的大数据开发课程：第四阶段-大数据基础为例。
iteye_18813·2018-07-31 16:12

大数据生态

大数据基础以史观今数据量是怎么变大的？单机是怎么扛不住的？集群为何难于管理？三大论文MapReduce/GFS/BigTable有何指导意义？Hadoop生态是怎么演进的？
王谙然·2018-07-21 15:48

大数据生态

大数据基础以史观今数据量是怎么变大的？单机是怎么扛不住的？集群为何难于管理？三大论文MapReduce/GFS/BigTable有何指导意义？Hadoop生态是怎么演进的？
王谙然·2018-07-21 15:48

大数据基础与应用课程总结

课程链接：大数据技术基础课程_厦门大学数据库实验室http://dblab.xmu.edu.cn/post/1089/课程里介绍了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、Spark以及大数据在互联网、生物医学和物流等各个领域的应用•在Hadoop、HDFS、HBase、MapRe
Hyo_yew·2018-06-17 10:25

一些简单的大数据基础知识

1,为什么不是直接将人脸识别数据直接放到hbase里,而是要通过Kafka?因为数据量大,发送速度快,hbase不能支撑.而kafka集群里有负载均衡,能将数据稳定高效的放到hbase里.2,hbase是什么?HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。与FUJITSUCl
weixin_40592935·2018-06-12 09:41

大数据基础知识学习-----Hive学习笔记（一）概述

Hive基本概念Hive概述Hive：由Facebook开源用于解决海量结构化日志的数据统计Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能本质是：将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在YARN上Hive的优缺点优点操作接口采用类SQL语法，提供快速开发
四川码匠·2018-06-08 17:54

大数据基础知识学习-----Storm学习笔记

Storm学习笔记总结Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Red
Waldeinsamkeit4·2018-06-08 13:38

中国信通院：2018年中国大数据发展调查报告（附下载）

国家政策不断发布，推动了政府和企业大数据发展；建设模式不断成熟，奠定了企业大数据基础；行业应用不断深入，提升了大数据价值显现。
199it·2018-06-06 00:00

大数据基础知识学习-----Storm学习笔记（二）基础理论

Storm基础理论Storm编程模型元组（Tuple）元组（Tuple），是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map，但是由于各个组件间传递的元组的字段名称已经事先定义好，所以只要按序把元
四川码匠·2018-06-05 15:35

大数据基础知识学习-----Storm学习笔记（一）概述

Storm学习笔记总结Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Red
四川码匠·2018-06-05 14:01

大数据基础知识全集，大数据爱好者收藏必备

原文链接：http://www.cnblogs.com/xuexiqun784789432/p/9133527.html目前，市场上的大数据产品太多，但远远低于IAAS的标准化水平，各产品之间的差异还不十分清楚。当许多公司正在制造大数据平台或大数据解决方案时，他们往往不知道选择哪些产品来满足他们的需求。一般的做法是做研究、学习、建造环境、测试和整合各种产品，但通常这个过程很长，而且成本很高。如果你
weixin_30564901·2018-06-04 15:00

TiDB 助力客如云餐饮 SaaS 服务

我们是客如云的大数据基础架构组，负责公司的大数据架构和建设工作，为公司提供大数据基础数据服务。业务发展遇到的痛点随
PingCAP·2018-06-03 00:00

大数据基础知识学习-----Linux学习笔记（一）CentOS常用命令

CentOS常用命令文件目录类建立目录：mkdir目录名删除空目录：rmdir目录名无条件删除子目录：rm-rf目录名改变当前目录：cd目录名(进入用户home目录：cd~;进入上一级目录：cd-)查看自己所在目录：pwd查看当前目录大小：du显示目录文件列表：ls-l(-a：增加显示隐含目录)其中：蓝：目录;绿：可执行文件;红：压缩文件;浅蓝：链接文件;灰：其他文件;红底白字：错误的链接文件浏览
四川码匠·2018-05-28 14:59

Hadoop（一）初识大数据和Hadoop

原文地址：http://www.cnblogs.com/zhangyinhua/p/7647334.html注：本系列为Hadoop学习笔记，非原创大数据基础一、什么是大数据？
currynie·2018-05-24 11:14

大数据基础知识(二)：Shell命令

Shell命令Shell是系统的用户界面，提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行[1]。实际上Shell是一个命令解释器，它解释由用户输入的命令并且把它们送到内核。不仅如此，Shell有自己的编程语言用于对命令的编辑，它允许用户编写由shell命令组成的程序。Shell编程语言具有普通编程语言的很多特点，比如它也有循环结构和分支控制结构等，用这种编程语言编
Oeljeklaus·2018-05-16 14:43

大数据基础知识(一)：玩转Linux(三)Linux命令

Linux命令大全上一个节大数据基础知识(一)：玩转Linux(二)免密码登录和基本命令简单的介绍了几个基本的LInux命令，我们知道仅仅掌握这些基本的命令是不够的，需要更加深入的了解Linux的命令。
Oeljeklaus·2018-05-16 10:09

大数据基础知识(一)：玩转Linux(二) 免密码登录和基本命令

简介在上一节大数据基础知识(一)：玩转Linux(一)中，我们安装了CentOS和Java环境，以及一些常用的软件，今天我们来配置Linux的面密码登录，以及分析其中的原理，还有介绍一些简单的Linux
Oeljeklaus·2018-05-15 22:27

大数据基础知识(一)：玩转Linux(二) 免密码登录和基本命令

简介在上一节大数据基础知识(一)：玩转Linux(一)中，我们安装了CentOS和Java环境，以及一些常用的软件，今天我们来配置Linux的面密码登录，以及分析其中的原理，还有介绍一些简单的Linux
Oeljeklaus·2018-05-15 22:27

大数据基础知识(一)：玩转Linux(一)

Linux1.Linux的简介Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。我们学习的大数据，都是在Linux环境下进行的，所以需要掌握Linux的
Oeljeklaus·2018-05-15 21:23

大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）

：http://www.xuetuwuyou.com/course/249课程出自学途无忧网：http://www.xuetuwuyou.com讲师：友凡课程介绍本套教程为真实的大数据实战案例，适合有大数据基础的学员学习
haoxuexi87·2018-05-09 10:00

spark-使用总结-大数据基础入门

1、partition数目spark的输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一
哈斗篷·2018-05-08 14:43

大数据基础学习教程之Hive的静态分区与动态分区（初学篇）

分区是hive存放数据的一种方式。将列值作为目录来存放数据，就是一个分区。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描其他不关心的分区，快速定位，提高查询效率。分动态和静态分区两种：1.静态分区：若分区的值是确定的，那么称为静态分区。新增分区或者是加载分区数据时，已经指定分区名。createtableifnotexistsday_part1(uidint,unames
programmer_feng·2018-05-03 11:06

大数据基础面试题整理

1.分布式的三种模式2.Hadoop集群的运行模式Hadoop的运行模式分为3种：本地运行模式（独立模式，单机模式），伪分布运行模式，集群运行模式（完全分布式模式）伪分布模式就是在一台服务器上面模拟集群环境,但仅仅是机器数量少,其通信机制与运行过程与真正的集群模式是一样的，hadoop的伪分布运行模式可以看做是集群运行模式的特殊情况。3.cloudera提供哪几种安装CDH方法·Clouderam
菜鸟级的IT之路·2018-04-29 20:44

大数据基础学习-7.Hive-1.1.0

一、Hive基础Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后在Hadoop平台上运行，达到快速开发的目的。在没有hive之前，对HDFS上的文件或HBase中的表进行查询时，要手工写一堆MapReduce代码，只能由懂MapReduce的程序员才能搞定，耗时耗力。为解决这个问题，FaceBook实现并开源Hive，解决海量结构化日志查询。Hive是数据仓库，和传统的数据库有一定
闲人勿-·2018-04-27 17:06

大数据基础学习-1.CentOS-7.0环境安装

一、CentOS7系统安装和基础配置1.安装CentOS71）在电脑上安装虚拟机软件VMworkstation12pro，并准备CentOS-7.0-1406-x86_64-DVD.iso镜像文件。2）打开VMware，新建虚拟机，选择自定义安装。接下来都选择默认选项，并点击下一步。完成后，出现masteractive虚拟机，这时候，点击CD/DVD，找到本地的CentOS-7.0-1406-x8
闲人勿-·2018-04-23 23:29

大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）

课程介绍本套教程为真实的大数据实战案例，适合有大数据基础的学员学习，熟练掌握本套大数据案例，完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。
小红牛·2018-04-23 12:11

day04.并发动态大数据基础知识【大数据教程】

一、Java多线程增强1.java多线程基本知识1.1.进程介绍不管是我们开发的应用程序，还是我们运行的其他的应用程序，都需要先把程序安装在本地的硬盘上。然后找到这个程序的启动文件，启动程序的时候，其实是电脑把当前的这个程序加载到内存中，在内存中需要给当前的程序分配一段独立的运行空间。这片空间就专门负责当前这个程序的运行。不同的应用程序运行的过程中都需要在内存中分配自己独立的运行空间，彼此之间不会
Java帮帮·2018-04-19 11:45

中国邮政大数据平台建设之总体架构与实现

但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值;同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸;此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切
假的鱼·2018-04-10 15:15
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他