大数据入门

大数据入门之Hadoop生态系统(5) -- YARN概念

1.YARN概述YARN是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。通俗来说：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度。2.YARN的架构以及执行流程(1)ResourceManager(简称RM)：整个集群同一时间提供服务的RM只有一个，负责集群资源
Kiku_xq·2018-08-20 00:00

大数据入门之Hadoop生态系统(4) -- HDFS shell命令以及Java API操作

1.前置要求大数据入门之Hadoop生态系统(3)--Hadoop和HDFS环境搭建前面已经搭建好了Hadoop和HDFS的环境，接下来我们用shell命令对文件系统进行操作。
Kiku_xq·2018-08-19 22:46

大数据入门之Hadoop生态系统(3) -- Hadoop和HDFS环境搭建

1.前置要求Windows用户：VMware虚拟机Centos6.4。(要求主机和虚拟机能够相互通信，具体请查看网上教程)Linux、Mac用户：可以直接在本地搭建环境。JDK1.8(具体的安装步骤，网上都有很多，注意我们所有的东西都是安装在虚拟机上的，注意配置到系统环境变量中)2.Hadoop环境(伪分布式环境搭建)、HDFS环境搭建下载我们Hadoop使用的版本是：hadoop-2.6.0-c
Kiku_xq·2018-08-19 21:03

大数据入门之Hadoop生态系统(2) -- HDFS概念

通过大数据入门之Hadoop生态系统(1)，我们大致地了解了HDFS的概念，这里我们具体地看一下HDFS的实现原理与架构分析。
Kiku_xq·2018-08-19 16:01

大数据入门之Hadoop生态系统(1) -- Hadoop概述

1.大数据概述近些年来，大数据这个词频繁出现在我们的生活中。那么大数据到底是什么呢，让我们一起来看一下。通俗来说。大数据是一个概念也是一门技术，是在以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。大数据包括了以Hadoop和Spark为代表的基础大数据框架。还包括了数据挖掘、数据分析、实时数据处理、离线数据处理、利用机器学习算法进行预测分析等技术。好了，大体了解了大数据的概念之后，我
Kiku_xq·2018-08-19 14:34

大数据入门，告诉你什么是大数据以及应用场景

什么是大数据？基本概念：《数据处理》在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！处理海量数据的核心技术：海量数据存储：分布式海量数据运算：分布式这些核心技术的实现是不需要用户从零开始造轮子的存储和运算，都已经有大量的成熟的框
ITgo·2018-08-14 23:42

大数据入门书籍推荐

大数据入门书籍推荐1.
我拿Buff，谢谢·2018-08-05 00:00

[DataAnalysis]数据分析和大数据入门推荐书单

应该是目前网上能搜到的最全和最靠谱的入门书单了，几乎零基础（懂一点高数就可以入门），而且基本上都是我看完的书，有一些我看过完全没用的比如headfirstSQL等就不列入在内了。算是了了一直想要汇总书单的一个念想。一、概率论和数理统计基础1、《茆诗松概率论和数理统计》前七章（大数据的基础：概率论和相关的数理统计）1.1、《商务经济统计学》茆诗松更偏向严谨的论断和课堂式的学习，比较适合正在学校的或者
TOMOCAT·2018-07-21 17:43

大数据入门（一）

大数据入门hadoopHDFSYARNSPARKhadoophadoop生态圈包括以下各个组成部分：HDFS：用于分布式文件存储,切分成块，多副本存于多台机器。
miner_zhu·2018-07-19 11:19

大数据入门级学习：SQL与NOSQL数据库

这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的，有报名培训班学习的。所有接触过hadoop的人都知道，单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多，似乎都没有来填这样的坑？不知道是没法解决，还是没有想到？安装运行环境这样的坑，那些做国产大数据底层开发的，如果不能解决
adnb34g·2018-07-14 14:02

大数据入门级学习：SQL与NOSQL数据库

这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的，有报名培训班学习的。所有接触过hadoop的人都知道，单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多，似乎都没有来填这样的坑？不知道是没法解决，还是没有想到？安装运行环境这样的坑，那些做国产大数据底层开发的，如果不能解决
weixin_34290000·2018-07-14 14:02

DKH大数据入门级学习笔记： SQL与NoSQL

这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的，有报名培训班学习的。所有接触过hadoop的人都知道，单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多，似乎都没有来填这样的坑？不知道是没法解决，还是没有想到？安装运行环境这样的坑，那些做国产大数据底层开发的，如果不能解决
adnb34g·2018-07-14 14:04

10小时大数据入门实战(九)- 前沿技术拓展Spark,Flink,Beam

sparkSpark开发语言及运行模式介绍Scala安装下载Scala配置到系统环境变量配置成功Spark环境搭建及wordCount案例实现下载spark解压编译spark-shell可执行程序如何提交应用程序开启2个即可./spark-shell--masterlocal[2]读取输出文件内容3行数据按空格拆分为每个单词赋1,表出现频率a.map(word=>(word,1))统计以上操作其实
weixin_33713350·2018-06-26 17:00

关于大数据入门的相关闲聊

（本文摘自网络，原文地址https://blog.csdn.net/limuzi13/article/details/50414835）这篇文章可以让想要了解大数据的同学对整个大数据目前的社会现状有所了解，对于同学们是否想要入坑会产生一定影响，可读下面是文章原文：============原文分割线=============00缘起之所以有这个话题，是因为周末加班中午吃饭与一个同行朋友聊起了这个话题
My*hj*world·2018-05-28 17:00

大数据入门之Linux基础（一）

Vmware、Linux基础1．VMware虚拟网络1.1．虚拟网卡、虚拟交换机当使用VMwareWorkstation安装一个虚拟机时就会自动安装一块虚拟网卡，此外还可手动给虚拟机添加多块虚拟网卡。交换机用于电（光）信号的转发。可以为接入交换机的任意两个网络节点提供独享的电信号通路。简单的理解可以把一些电脑连接在一起组成一个局域网。安装VMwareWorkstation12时就自动安装了20台虚
Heisenber1005·2018-04-17 20:02

为什么入门大数据选择Python而不是Java?

今天我们就来谈谈学习大数据入门语言的选择。当然并不只是我个人之见，此外我搜集了各路大神的见解综合起来跟大家做个讨论。java和python的区别到底在哪里？
小媛·2018-03-07 11:14

大数据入门第五天——离线计算之hadoop（上）概述与集群安装

一、概述根据之前的凡技术必登其官网的原则，我们当然先得找到它的官网：http://hadoop.apache.org/1.什么是hadoop先看官网介绍：TheApache™Hadoop®projectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibrary
叛逆的鲁鲁修love CC·2018-01-26 15:00

大数据入门基础课程

我们想要学习大数据首先我们需要对大数据有什么要的了解，从小白到高级工程师，我们都要需要具备哪些条件和因素，通过赵强老师的大数据入门基础课程让你对大数据有一个全方位的了解，在大数据这条路上不在迷茫。
ItStar_·2017-12-22 00:00

大数据入门 Linux基础 （ssh免密登录 JDK安装）

1.大数据简介1.1大数据理解误区：大数据≠Hadoop≠大量的数据≠社交媒体数据≠技术≠一种解决方案1.2解决方案包含：数据，人，场景，应用，系统1.3大数据的四个特点:Variety(多)、Volume(快)、Velocity(杂)、Veracity(垃圾)1.4数据资产评估维度：颗粒度、活性、规模、关联度、多维1.5大数据分布：商业数据：2%人为数据：8%机器数据：90%1.6过去与现在对比
_苏小白·2017-12-14 20:12

大数据入门之开发环境搭建之hadoop篇

这篇教程我将会教大家如何一步步从零开始搭建好我们的大数据完全分布式实验平台实验环境：1.由于实验环境是在linux系统中，所以我们需要用虚拟机摸拟linux操作系统，操作系统的版本我们选centOS7，需要建立的虚拟机的台数根据自己的电脑的配置来决定，一般为了较好的完成实验，我们需要3台或3台以上，一台master主机，其于为slave从机，虚拟机可以使用vmware或者oraclVirtualB
qq_19069319·2017-12-02 16:33

hadoop实现wordcount的三种方法

很多小伙伴在搭建完hadoop集群后，还不太会在上面跑测试程序，作为大数据入门学习的Helloworld程序，我总结了三种方法。
cai_4399·2017-11-03 09:38

Hive之——整合MySQL存储元数据信息及基本操作示例

78303290一、概述Hive在实际工作过程中，需要一个统一的存储媒介来存储元数据信息，这个存储媒介通常可以是MySQL数据，那么如何将Hive的元数据信息存储到MySQL中呢，今天，就带着大家一起学习大数据入门系列的
冰 河·2017-10-21 14:22

大数据入门的部分推荐书单

数据挖掘方面推荐的教材和专著[1]J.-W.Han著，《数据挖掘》，机械工业出版社，2006。[专业][2]M.Milton著，李芳译，《深入浅出数据分析》，电子工业出版社，2009。[非专业][3]P.-N.Tan等人著，《数据挖掘导论》，范明泽等人译，人民邮电出版社，2010。[专业][4]吴军，《数学之美》，人民邮电出版社，2012。[半专业]机器学习方面推荐的教材和专著[1]E.Alpay
happyorg·2017-08-27 15:52

大数据实验室：零基础学习大数据该看哪些书？

作为一个零基础大数据入门学习者该看哪些书？今天给大家推荐一位知乎网友挖矿老司机的指导贴，作为参考。就目前公司招聘和其他所了解到的大数据专业的工作内容，偏重方向和技术选型有所不同。
中科天玑大数据·2017-08-10 14:44

1.大数据入门

1.什么是大数据？4V？大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据=“海量数据”+“复杂类型的数据”。大数据的4V：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据（bigdata），或称巨量数据、海量数据；是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的集
Elrah·2017-08-08 19:41

大数据入门基础：Hadoop简介

1.1.什么是hadoop1.hadoop是apache旗下的一套开源软件平台，可以通过http://apache.org/--->project-->hadoop打开2.Hadoop是开源软件，可靠的、分布式、可伸缩的。3.Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理4.广义上来说，Hadoop通常是指一个更广泛的概念----hadoop生态圈1.2
乐搏学院Learnbo·2017-07-25 17:03

大数据入门基础：Hadoop简介

1.1.什么是hadoop1.hadoop是apache旗下的一套开源软件平台，可以通过http://apache.org/--->project-->hadoop打开2.Hadoop是开源软件，可靠的、分布式、可伸缩的。3.Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理4.广义上来说，Hadoop通常是指一个更广泛的概念----hadoop生态圈1.2
大数据部落·2017-07-25 16:54

大数据入门的四个必备常识

原文链接：https://yq.aliyun.com/articles/121602一、大数据分析的五个基本方面1，可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。2，数据挖掘算法大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的
weixin_34255055·2017-07-03 11:00

怎么进行大数据入门学习

学hadoop需要什么基础?没有基础怎么学习hadoop？怎么学习大数据？Hadoop作为大数据工业中的主引擎，Hadoop就像是大数据世的一把钥匙，想要进入数据世界，首先你得显得得到这把钥匙，才能打开大门。那么科多大数据带你来看看。学hadoop需要什么基础?Hadoop是一个分布式计算架构，更重要的是它是一个可扩展的生态系统，像IBM，EMC，Amazon，微软，甲骨文等大型IT公司都已经有了
简单想法bigdata·2017-06-08 15:59

1、20170426-[课堂笔记1]-解密大数据入门课

第一课解密大数据入门课课堂内容梳理一、数据科学定义：用科学的方法从各种结构化、非结构化的数据中提取有用信息、知识的一门交叉型学科。
吳倩華Jonathan·2017-04-26 23:14

滴滴背后的大数据应用

阅读更多2017-01-07朱洁大数据和云计算技术前言：这是一篇大数据应用文章，不涉及高深技术，适合大数据入门的同学了解大数据能干什么，所有数据/消息全部来源公开网络。
jiezhu2007·2017-01-08 15:00

Will是何人？（酷炫的数据分析--多图预警）

今天突然回想起来，自己半年前参加的一个大数据入门培训（作为运营部门的人，是一定要时不时充实自己的水平的！）。当时有一个小程序展示，真是让我鸡皮疙瘩掉一地，这里就来和大家分享一个下。
很咸的鱼·2016-11-13 10:27

大数据入门

一.典型高性能计算机软件栈 二.大数据处理平台与应用的特性MPI要求所有资源都可用才能正常运行，容错困难，MPI在系统同构时才能发挥效率。大数据平台需要支持廉价的硬件，软件需要支持自动容错和自动负载平衡—即支持扩展性。1.MapReduce编程模型a.借用了函数语言的概念b.用户只需要写串行的Map和Reduce函数map(inkey,in_value)-> (out_key,intermedi
bijian1013·2016-04-03 12:00

大数据入门

阅读更多一.典型高性能计算机软件栈二.大数据处理平台与应用的特性MPI要求所有资源都可用才能正常运行，容错困难，MPI在系统同构时才能发挥效率。大数据平台需要支持廉价的硬件，软件需要支持自动容错和自动负载平衡—即支持扩展性。1.MapReduce编程模型a.借用了函数语言的概念b.用户只需要写串行的Map和Reduce函数map(inkey,in_value)->(out_key,intermed
bijian1013·2016-03-26 23:00

spark大数据入门（三）--RDD的简单解析

什么是RDD   RDD是弹性分布式数据集的简称，她具有以下的优点：第一RDD具有并行化的操作特点，通俗的说，在RDD中存在一定数量的分片，每一个分片都会对应一个task，这些Task是可以并发烦人执行。第二，RDD具有很好的容错处理，这个特性是由RDD的血统依赖产生的，RDD1---->RDD2---->RDD3，这单个RDD一次又前面的那产生，同事RDD又具有不变的性质，当RDD3发生执行的错
liyaohhh·2015-12-11 12:00

spark大数据入门（一）如何在windows下部署spark开发环境

spark机器学习：    spark现如今在大数据领域有着很重的地位，lz最喜欢的是基于spark之上的机器学习，也就是MlIB，这是基于分布式环境下的机器学习的开发库，简单的来说就是开发及机器学习的API。稍微的提及一下，分布式环境下的机器学习算法的开发，算法核心原理并不会发生变化，但是由于是大量的数据，我们需要的是注意如何减小系统IO流的压力。举个例子来说，我们知道随机森林下面会涉及到每一个
liyaohhh·2015-12-07 14:00

云计算和大数据入门

云计算入门   了解什么是云计算，以及云计算如何帮助组织寻找规模效益，并让组织重新专注于组织的核心竞争力。如果您愿意的话，还可以使用云计算重塑旧的应用程序服务提供商 (ASP) 模式。然而，真正的云计算产品会在 ASP 模式方面有一些细微的差别，也就是说，在资源池、按需功能、多租户和快速弹性方面存在细微差别。这些特性意味着，在使用云计算的时候，您可以通过将固定的资本支出
·2015-10-31 11:18

外行人的大数据五问

而作为普通人来讲，可能对大数据行业并不清楚了解，那么普通人或者是大数据入门者更关注大数据哪些方面的问题呢?1.到底什么是大数据?到底什么是大数据?这恐怕被提及次数最多的问题了。
数据分析师·2015-09-19 12:00

大数据入门：各种大数据技术介绍

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么，都有什么产品，产品有什么
wbj0110·2014-06-08 23:00

大数据入门：各种大数据技术介绍

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么，都有什么产品，产品有什么
wbj0110·2014-06-08 23:00

定义大数据：浅显易懂的大数据入门

       当前，众多企业都面对从四面八方涌来的数据流的冲击。涓涓细流汇成大河，而科技企业、专家、分析师和技术顾问们纷纷将这条数据之河定义为大数据。但是，在这些众说纷纭的大数据定义中，不乏大量的常见误解。大量的企业都面临着挑战，需要辨别具有价值的数据流，挖掘这些价值，协助企业做出最佳决策以形成强大的竞争优势。“大数据”这一术语的内涵远远超越了“大”或是“数据”的含义。大数据的确体现为数量庞大，但
wangloveall·2012-09-16 13:00

定义大数据：浅显易懂的大数据入门

当前，众多企业都面对从四面八方涌来的数据流的冲击。涓涓细流汇成大河，而科技企业、专家、分析师和技术顾问们纷纷将这条数据之河定义为大数据。但是，在这些众说纷纭的大数据定义中，不乏大量的常见误解。大量的企业都面临着挑战，需要辨别具有价值的数据流，挖掘这些价值，协助企业做出最佳决策以形成强大的竞争优势。 “大数据”这一术语的内涵远远超越了“大”或是“数据”的含义。大数据的确体现为数量庞大，但它仍有
wsql·2012-09-16 13:00
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他