大数据入门

大数据入门教程

第1章Linux概述1.1Linux简介1.1.1Linux是什么Linux是一套免费使用操作系统，是一个基于多用户、多任务、支持多线程和多CPU的操作系统。它支持32位和64位硬件，是一个性能稳定的多用户网络操作系统。Linux操作系统诞生于1991年10月5日（这是第一次正式向外公布时间），是由芬兰人LinusBenedictTorvalds（李纳斯.托沃兹，如图1-1所示）创造的。Linux
时ˇ移·2022-05-19 13:01

图文详解 HDFS 的工作机制及其原理

今天开始给大家分享关于大数据入门技术栈——Hadoop的学习内容。
Data跳动·2022-05-19 11:00

Hadoop大数据入门(1)

Hadoop大数据入门1、大数据导论数据：数据是对客观事物的计量和记录产生数据。
Xiao艾扶·2022-04-04 07:54

大数据入门，大数据学习路线，从这一步开始

没有任何人任何事能够阻碍大数据、互联网。”马云爸爸在世界智能大会上如是说。IDC公司对大数据也进行了预测：大数据和业务分析市场将从2018年的1301亿美元增长到2020年的2030多亿美元。目前，大数据及分析市场正迅猛发展，与此相关的毕业生也成为炙手可热的专业人才。而随着新的大数据技术正在进入市场，未来大数据发展方向千变万化。时代瞬息万变，对于年轻人来说，该如何规划自己的未来？是否要抓住这个时代
金罗老师·2022-03-07 14:21

大数据入门--HBase（一）环境搭建&常见命令

环境搭建&常见命令概念架构角色集群环境搭建准备工作安装1.解压安装包2.修改配置文件停起服务常见命令相关概念DDLNamespaceTableDML概念架构角色角色作用Master是HBase集群中的主服务器，负责监控集群中的所有RegionServer，并且是所有元数据更改的接口。通过zookeeper实现高可用。Table:创建（create）、删除（delete）、更新（alter）Regi
许中宝·2022-02-28 10:44

大数据入门与实战-Hadoop核心HDFS

课程链接：https://www.imooc.com/video/16287Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。详情见：Hadoop基本介绍一、HDFS概念及优缺点应用场景与特点普通的成百上千的机器按TB甚至PB为单位的大量的数据简单便捷的文件获取HDFS概念
致Great·2021-06-26 14:23

Hadoop大数据入门到实战（第二节） - 环境安装（centOS）

本小节，我们来安装Hadoop环境。远程连接工具为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT，当然还有很多其他连接工具，不过我觉得这一款挺好用。官网下载地址（不免费）：https://www.vandyke.com/download/securecrt/download.html你也可以用我这个：链接：https://pan.
MasterXiao·2021-06-14 18:49

Hadoop大数据入门到实战（第二节） - 环境安装（ubuntu）

本小节，我们来安装Hadoop环境。远程连接工具为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT，当然还有很多其他连接工具，不过我觉得这一款挺好用。官网下载地址（不免费）：https://www.vandyke.com/download/securecrt/download.html你也可以用我这个：链接：https://pan.
MasterXiao·2021-05-15 20:54

大数据入门(三) - HDFS 伪分布式环境搭建

1HDFS概述及设计目标1.1什么是HDFS：Hadoop实现的一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS源自于Google的GFS论文论文发表于2003年，HDFS是GFS的克隆版1.2HDFS的设计目标：非常巨大的分布式文件系统运行在普通廉价的硬件上易扩展、为用户提供性能不错的文件存储服务HDFS官方文档地址2HDFS架构HDFS是主/从式的架构
JavaEdge·2021-04-22 02:23

大数据入门：大数据数据仓库主流选择

今天的大数据入门分享，我们就来讲讲，大数据环境下的数据仓库。
成都加米谷大数据·2021-04-13 21:49

大数据入门：Flink状态编程与容错机制

今天的大数据入门分享，我们主要来讲讲Flink框架的状态编程与容错机制。流式计算，通常分为有状态和无状态两种情况：无状态：无状态的计算观察每个独立事件，并根据最后一个事件输出结果。
成都加米谷大数据·2021-04-13 11:02

Hadoop大数据入门到实战（第一节）- Linux环境配置

Hadoop的学习我们先从Linux系统的安装与配置开始。1.下载Linux系统我们可以从官网（https://www.linux.org/）下载，当然在国内还是找国内的资源比较好。本文使用阿里云的镜像：https://mirrors.aliyun.com/centos/进入网站下载centos7.4的版本。image.pngimage.png2.安装Linux系统下载好了Linux的安装文件之后
MasterXiao·2021-03-11 16:50

大数据入门：Scala函数式编程

今天的大数据入门分享，我们就来讲讲Scala函数式编程。提到Scala，首先会提到的一个概念，就是函数式编程，这也是Scala语言区别与其他编程语言的典型特征。
加米谷大数据张老师·2020-12-10 17:00

大数据入门：Java和Scala编程对比

今天的大数据入门分享，我们就来对Java和Scala这两门语言的编程做个对比。
加米谷大数据张老师·2020-12-10 17:45

Unit2：大数据入门之Shell

Unit2：大数据入门之Shell学习目标：1、了解基础语法结构2、知道正则表达式的概念以及运用3、学习文本处理工具cut、sed、awk等4、能使用Shell完成一些复杂的命令前言:早出晚归的不一定是花心
爱笑的猿·2020-10-26 00:02

大数据入门级学习——Hadoop集群搭建总结（VM+centOS7）

步入大数据的第一步：必须学会搭建大数据集群的框架那么第一步必须要在linux系统上搭建Hadoop集群目录一、安装并配置虚拟机（centOS7）二、克隆出三台虚拟机三、安装及配置JDK四、安装Hadoop五、Hadoop的三种运行模式学习过程1.本地运行模式官方Grep案例过程记录官方WordCount案例过程记录2.伪分布式运行模式启动HDFS并运行MapReduce程序启动YARN并运行Map
不撸先疯。·2020-10-11 21:15

【ELK】（一）Elasticsearch (6.2.2) 分布式安装及集群部署

作为大数据入门的基本功，让我们在虚拟机上对以上三个软件进行安装，小伙伴们平时还需要多加练习。Elasticsearch：是个开
云 祁·2020-09-17 06:42

【ElasticSearch】分布式安装&集群部署（6.2.2）版本

作为大数据入门的基本功，让我们在虚拟机上对以上三个软件进行安装，小伙伴们平时还需要多加练习。Elasticsearch：是个开
始途行者·2020-09-17 06:45

Flink入门demo

WordCount-Java4、批处理实现WordCount-Scala5、Streaming和Batch的区别专栏的上一篇文章已经简单介绍了Flink的一些基础知识和概念，现在我们来使用Flink实现一个大数据入门普遍使用的案例
唉.·2020-09-15 21:39

Apache Spark处理大数据入门，看这一篇就够了

作者SriniPenchikala，译者丛一什么是SparkApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质
零如雨·2020-09-15 15:55

大数据入门：Spark+Kudu的广告业务项目实战笔记(六)

本章目标：将代码打包并运行在服务器上。1.将数据放在HDFS上先把Hadoop启动起来：[hadoop@hadoop000~]$cdapp/[hadoop@hadoop000app]$lsapache-maven-3.6.3hive-1.1.0-cdh5.15.1spark-2.4.5-bin-hadoop2.6hadoop-2.6.0-cdh5.15.1jdk1.8.0_91tmp[hadoop
Tai_Park·2020-09-15 14:05

大数据入门：Spark+Kudu的广告业务项目实战笔记(二)

第一章点这里传送1.功能二开发统计省份、城市数量分布情况，按照provincename与cityname分组统计packagecom.imooc.bigdata.cp08.businessimportcom.imooc.bigdata.cp08.utils.SQLUtilsimportorg.apache.spark.sql.SparkSessionobjectProvinceCityStatAp
Tai_Park·2020-09-15 14:05

大数据入门：Spark+Kudu的广告业务项目实战笔记(一)

1.简介本项目需要实现：将广告数据的json文件放置在HDFS上，并利用spark进行ETL操作、分析操作，之后存储在kudu上，最后设定每天凌晨三点自动执行广告数据的分析存储操作。2.项目需求数据ETL：原始文件为JSON格式数据，需原始文件与IP库中数据进行解析统计各省市的地域分布情况统计广告投放的地域分布情况统计广告投放APP分布情况3.项目架构4.日志字段{"sessionid":"qld
Tai_Park·2020-09-15 13:23

【大数据入门笔记系列】第三节 Hdfs读、写数据处理流程

【大数据入门笔记系列】第三节Hdfs读、写数据处理流程Hdfs简介写数据处理流程读数据处理流程后记跳转Hdfs简介一般而言，Hdfs是由一个NameNode节点和若干个DataNode节点组成（非高可用
Jack_Roy·2020-09-15 02:44

【大数据入门笔记系列】第四节 NameNode元数据缓存机制

【大数据入门笔记系列】第四节NameNode元数据缓存机制NameNode如何防止内存中的元数据无限膨胀？如何降低元数据丢失风险？
Jack_Roy·2020-09-15 02:44

【大数据入门笔记系列】第二节 Zookeeper简介

【大数据入门笔记系列】第二节Zookeeper简介前言Zookeeper简介应用场景实质作用选举方式方式一（初次启动）方式二（宕机选举）脑裂问题跳转前言上一节介绍了，Zookeeper是一种分布式的、开放源码的分布式应用程序协调服务
Jack_Roy·2020-09-15 02:43

【大数据入门笔记系列】写在前面

【大数据入门笔记系列】写在前面一本108G的经心愿新的开始跳转一本108G的经在我还没有意识主动认识这个世界的时候，我曾天真的以为自己所在的群体就是整个世界，来自这个群体的的声音就是真理的所在。
Jack_Roy·2020-09-15 02:12

大数据入门学习篇

大数据包含‘快速化’、‘多样化’、‘价值化’、‘大量化’多重属性。由结构化和非结构化的数组组成，90%为非结构化数据。1、大数据计算模式及其代表产品2、大数据与云计算和物联网的关系云计算处理的主要问题：解决海量数据分布式存储和分布式处理问题、虚拟化、多租户。物联网：各种信息传感器、控制器、机器、人员和物等通过各类可能的网络接入，实现物与物、物与人的泛在连接，形成人与物、物与物相连，实现信息化和远程
诚许愿·2020-09-15 02:23

大数据＋零基础＋大数据入门（一）

搜藏网站：1.阿帕奇官网：www.apache.org2.cdhhadoop:http://archive.cloudera.com/cdh5/cdh/5/CDH：每个组件都会对应一个用户组件用户hdfshdfsyarnyarnzookeeperzookeeperhbasehbase一.安装①创建hadoop用户：[root@hadoop002~]#useraddhadoop[root@hadoo
running_water·2020-09-15 02:53

【大数据入门笔记系列】第一节 大数据常用组件

【大数据入门笔记系列】第一节大数据常用组件大数据释义大数据组件跳转大数据释义近些年来，坊间一直流传着这样的言论：“大数据时代，人人都在裸奔”。
Jack_Roy·2020-09-15 02:08

大数据入门步骤-雪峰老师

大数据课程共有100课时，体系化的设置，覆盖了大家日后职业发展各阶段核心能力的培养：在“数据分析之禅”部分，从数据分析类型、互联网常见应用等多方面，帮大家夯实基础，能够快速搭建分析框架；**“数据分析之道”**部分，让大家能够灵活使用各种分析工具，剖析多行业经典案例，进一步进阶提升；“大数据分析之术”部分，通过学习数据分析方法论（理论模型）、数据挖掘高频算法，可帮助学员掌握向上管理的能力，以及业务
是否AI学习·2020-09-13 21:09

大数据入门，这10点你是必须要知道的

1、云计算与大数据是什么关系?云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。他俩
数控小J·2020-09-13 08:26

（五）win10 Eclipse配置Scala、Spark（详细步骤）

相关内容参考专栏：大数据入门【软件安装】（一）win10安装hadoop2.8.5（详细步骤）（二）win10Eclipse上配置Hadoop（详细步骤）（三）Hadoop简单应用单词统计（四）win10
AshleyScsy·2020-09-12 22:40

从另外一个角度来学习大数据入门教学

学习大数据，学什么？怎么学？1、原理和运行机制、体系结构（非常重要）2、动手：搭建环境、写程序目的：1、学习内容2、熟悉一些名词一、各章概述（Hadoop部分）(一)、Hadoop的起源与背景知识1、什么是大数据？两个例子、大数据的核心问题是什么？举例：（1）商品推荐：问题1：大量的订单如何存储？问题2：大量的订单如何计算？（2）天气预报：问题1：大量的天气数据如何存储？问题2：大量的天气数据如何
ItStar_·2020-09-12 19:21

Tushare金融大数据入门

Tushare金融大数据社区，是一个免费提供各类金融数据和区块链数据的平台,旨在助力智能投资与创新型投资。积分数据千万条，积分第一条目前，提供的数据包含股票、基金、期货、债券、外汇、行业大数据，以及数字货币行情等区块链数据的全数据品类的金融大数据平台，这些数据在用户积分满足的情况下，统统都免费。因为，积分极度容易获取的原因，所以基本上可以算作免费。不过，其中还是有部分数据会有些限制，好在大部分的数
dingjia5924·2020-09-12 12:17

大数据入门第七天——MapReduce详解（二）切片源码浅析与自定义patition

一、mapTask并行度的决定机制1.概述一个job的map阶段并行度由客户端在提交job时决定而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split，然后每一个split分配一个mapTask并行实例处理这段逻辑及形成的切片规划描述文件，由FileInputFormat实现类的getSplits()方法完成，其过程
weixin_30878501·2020-09-12 07:21

Window下Spark环境搭建（可跑代码调试）

本人使用的开发工具是IDEA，博客里面用的的所有依赖包会在博客后面分享给需要的朋友，希望能帮助你，跨好大数据入门的一步。
JSlow·2020-09-11 09:28

大数据入门-基础篇01-hadoop框架简介

声明：本文主要根据八斗学院孙国宇老师的Hadoop大数据实战手册进行的整理，仅限入门学习！第一章hadoop简介Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非结构化数据，包括
DataScientistGuo·2020-09-10 18:49

HDFS常用命令

HDFS命令和Linux系统操作命令有很多相似之处，对熟悉Linux系统操作的人来说学习很简单，所以大数据入门首先学习Linux系统。hadoopfs和hdfsdfs两种命令都可以操作执行。
水木山川·2020-08-23 15:42

程序员必备的「大数据入门」知识

前言只有光头才能变强。文本已收录至我的GitHub仓库，欢迎Star：https://github.com/ZhongFuCheng3y/3y这篇文章主要是入门大数据，不涉及到高深的知识点和理论，我相信每个人都看得懂。如果文章有错误的地方，不妨在评论区友善指出~一、什么是大数据？1.1前置知识我有的时候给外行人讲解什么是数据库，就常常用Excel来举例子(因为大多数人认识什么是Excel)。在知乎
Java3y·2020-08-23 09:20

大数据入门：Spark+Kudu的广告业务项目实战笔记(四)

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)1.统计需求完成统计地域分布情况，需要原始请求数、有效请求数、广告请求数、参与竞价数、竞价成功数、广告主展示数、广告主点击数、媒介展示数、媒介点击数、DSP广
大数据技术与架构·2020-08-23 03:05

大数据入门：Spark+Kudu的广告业务项目实战笔记(六)

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)本章目标：将代码打包并运行在服务器上。1.将数据放在HDFS上先把Hadoop启动起来：[hadoop@hadoop000~]$cdapp/[hadoop@h
大数据技术与架构·2020-08-23 03:05

大数据入门：Spark+Kudu的广告业务项目实战笔记(五)

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)1.统计需求本章主要实现需求四：APP统计。需求如下：2.代码编写入口搭好：AppStatProcessor.process(spark)先看一下第一步的运行
大数据技术与架构·2020-08-23 03:04

大数据入门：Spark+Kudu的广告业务项目实战笔记(三)

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)这章的主要目标是对前两个需求的代码进行重构。1.重构思路2.traitScalaTrait(特征)相当于Java的接口，实际上它比接口还功能强大。与接口不同的
大数据技术与架构·2020-08-23 03:04

大数据入门：Spark+Kudu的广告业务项目实战笔记(二)

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)1.功能二开发统计省份、城市数量分布情况，按照provincename与cityname分组统计packagecom.imooc.bigdata.cp08.b
大数据技术与架构·2020-08-23 03:04

大数据入门之zookeeper的功能及工作原理，完结版

本文接“上文”继续讲解zookeeper相关的技术点，所以序号接上文。想了解大数据其他知识点可以点击文章末尾“了解更多”查看11.分布式与数据复制Zookeeper作为一个集群提供一致的数据服务，自然，它要在所有机器间做数据复制。数据复制的好处：（1）、容错：一个节点出错，不致于让整个系统停止工作，别的节点可以接管它的工作；（2）、提高系统的扩展能力：把负载分布到多个节点上，或者增加节点来提高系统
袍子抱子·2020-08-21 23:19

大数据入门资料及需要的学习的时间分析！

在大数据领域里，主要的技术点是数据挖掘、大数据、OLAP、数据统计这几个方面，下面我们来具体看一看。大数据大数据是一个大概念，是指用单台计算机软硬件设施难以采集、存储、管理、分析和使用的超大规模的数据集。大数据具有规模大、种类杂、快速化、价值密度低等特点。大数据的“大”是一个相对概念，没有具体标准，如果一定要给一个标准，那么10-100TB通常称为大数据的门槛。大数据学习QQ群：716581014
大数据05·2020-08-21 17:25

大数据的“helloworld”，你还记得怎么写吗？

java入门helloworld大数据入门--wordcount因为工作的关系，频繁的重复被wordcount配置的恐惧，尤其是在scala横飞的今天，长久的不再使用有的时候真的记不住啊，从网上找各种相应的代码
马小邱·2020-08-21 00:20

大数据的“helloworld”，你还记得怎么写吗？

java入门helloworld大数据入门--wordcount因为工作的关系，频繁的重复被wordcount配置的恐惧，尤其是在scala横飞的今天，长久的不再使用有的时候真的记不住啊，从网上找各种相应的代码
马小邱·2020-08-20 16:42

大数据的“helloworld”，你还记得怎么写吗？

java入门helloworld大数据入门--wordcount因为工作的关系，频繁的重复被wordcount配置的恐惧，尤其是在scala横飞的今天，长久的不再使用有的时候真的记不住啊，从网上找各种相应的代码
马小邱·2020-08-20 16:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他