ML&DL-大数据学习

Spark大数据学习笔记_第2篇_CDH集群环境搭建

Spark大数据学习笔记_第2篇_CDH集群环境搭建Spark大数据学习笔记_第2篇_CDH集群环境搭建1.安装hadoop包2.修改core-site.xml3.修改hdfs-site.xml4.修改
superbeyone·2022-02-28 10:27

spark学习笔记【一】- 搭建spark开发环境【原创】

在去年写完[url="http://zhenggm.iteye.com/blog/2367614"]大数据学习笔记（七）-运行spark脚本【原创】[/url]之后，由于工作比较忙，且大数据在负责的项目中一时用不上
suifeng201·2022-02-28 10:26

大数据学习笔记（一）：Hadoop

1、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构，也是一个开源的大数据框架，通俗点说，是一个分布式计算的解决方案。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。可以这样
我是码代码·2022-02-27 09:41

hadoop生态_大数据学习笔记6——hadoop生态圈之初识flume

前期回顾：大数据学习笔记1——hdfs架构原理大数据学习笔记2——hdfs安装及相关配置文件的设置大数据学习笔记3——hdfs文件系统shell命令(1)大数据学习笔记4——hdfs文件系统shell命令
weixin_39687814·2022-02-27 09:41

大数据系列一：Hadoop安装&配置&基本测试

一.前言趁这几天放假，把以前大数据学习笔记梳理下，复习&整合下知识点，包含hadoop系列,流计算框架，ELKStack等；大数据的笔记相对完整些，开源词法&语法分析工具ANTLR4本来想分享一个系列，
henry.zhu·2022-02-27 09:09

大数据学习笔记：Hadoop生态系统

文章目录一、Hadoop是什么二、Hadoop生态系统图三、Hadoop生态圈常用组件（一）Hadoop（二）HDFS（三）MapReduce（四）Hive（五）Hbase（六）ZooKeeper（七）Sqoop（八）Pig（九）Mahout（十）Flume（十一）Oozie（十二）Hue（十三）Nutch（十四）Avro（十五）Phoenix（十六）Storm（十七）Flink（十八）Spark
howard2005·2022-02-27 09:39

大数据学习十三：MapReduce and Yarn架构

1、MapReduce1.x用于计算和调度资源，Client——>JobTracker——>JobTask（MapJoborReduceJob）——>JobScheduleJobSchedule用于给JobTask中的任务分配资源，JobTask通过心跳向JobTracker汇报资源和状态，task工作过程为map->shuffle->sort->secondarysort->reduce2、Ma
RacyFu·2022-02-20 18:35

大数据学习笔记500条【第一弹】，记得收藏！

笔记汇总1.Zookeeper用于集群主备切换。2.YARN让集群具备更好的扩展性。3.Spark没有存储能力。4.Spark的Master负责集群的资源管理，Slave用于执行计算任务。5.Hadoop从2.x开始，把存储和计算分离开来，形成两个相对独立的子集群：HDFS和YARN，MapReduce依附于YARN来运行。6.YARN可以为符合YARN编程接口需求的集群提供调度服务。【大数据开发
yoku酱·2022-02-16 17:18

小白学习大数据掌握这几个方法可轻松入门！

一、兴趣建立在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相
金光闪闪耶·2022-02-15 04:17

大数据学习方向，知道这些，你就知道你可以做什么工作了

企业需要什么样的人才企业需要两类大数据人才，一是数据平台建设人才；二是数据挖掘应用人才。大数据是因应结合应用来体现其价值……例如推动大数据技术在金融、气象、行政管理等领域的应用，推进基于大数据技术的个人信贷和医疗保健等。三种能力成就大数据人才一是技术相关人才，包括IT、系统、硬件和软件；二是数量相关人才，包括统计、数学、建模、算法;三是业务，就是要有一定的专业领域知识。建立大数据的数据存储本身需要
烽火程序猿·2022-02-14 23:06

大数据学习- Hadoop的快速入门

大数据不得不提到最有用的利器Hadoop，本文最快的方式让你上手Hadoop，hadoop快速入门，并且有一个感性的认识，也可以当做步骤的快速索引，本文解决以下问题：理解Hadoop是什么Hadoop用于做什么以及怎么用Hadoop使用整体的一个基本流程和结构理解Hadoop是什么HADOOP是apache旗下的一套开源软件平台HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海
慕久久·2022-02-14 01:54

Spark大数据学习笔记

运行：运行spark版的python：pysparkScala版：spark-shellRDD：数据集会被自动整理成RDD在集群上并行进行RDD可以有执行一系列的动作（actions），这些动作可以返回值（values），转换（transformations），或者指向新的RDD的指针。常见行动操作：（会引起实际的计算）.count（）//相当于RDD的len().take（n）//取RDD中n个
黄中一·2022-02-14 00:20

大数据学习路线

本文的目的是希望给所有大数据初学者规划一条比较清晰的学习路线，帮助它们开启大数据学习之旅。鉴于大数据领域内的技术绚丽繁复，每位大数据初学者都应该根据自己的实际情况制定专属的学习路径。要说当下I
17aa7dcf7b8c·2022-02-12 16:46

大数据学习笔记之爬虫系列（1）----爬虫简介

什么是爬虫？顾名思义，爬虫，可以将互联网理解成一张巨大的网，我们编写出一个爬虫程序，是创造出一只有明确需求的蜘蛛，从而在这张大网上爬行，抓取到我们所需要的网络资源。请求网站并提取数据的自动化程序爬虫爬的是什么？网页的源代码。获取网页的源代码最直接的途径：打开浏览器（本文以谷歌浏览器为例）鼠标右键，“检查”，或者是快捷键组合“Ctrl+Shift+I”检查元素.png上图即为百度首页的例子，我们单击
SofiyaJ·2022-02-09 13:33

干货：大数据学习路线，如何学好大数据？（精华）

1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要具备的Linux服务器运维能力。1.内容介绍：在大数据
Java架构领域·2022-02-06 13:47

大数据学习-hadoop

第一阶段hadoop,参考《hadoop权威指南》（第3版本中文翻译）hadoop是什么？面对数据爆炸性增长，传统的技术架构越来越不适应当前海量数据的处理要求，Hadoop就是为应对这方面问题而产生的适合大数据的分布式存储和计算平台，并已经成为海量数据处理的事实标准。hadoop基于google的googlefilesystem和Map-Reduce两篇论文设计，hadoop核心内容包括两部分：分
笑谈1995·2022-02-05 22:49

大数据零基础学习全套教程（同样适合有一定基础想进阶的）

这里还是要推荐下小编的大数据学习群:532218147，不管你是小白还是大牛，小编我都欢迎，不定期分享干货，包括小编自己整理的一份2017最新的大数据资料和0基础入门教程，欢迎初学和进阶中的小伙伴。
大数据学习02·2022-02-05 20:08

适合低学历的大数据学习方法：大数据采集，大数据分析，大数据存储就该这样学！

大数据采集01—概览02—相关延展系统日志数据的采集Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它够从各种日志源上收集日志，存储到一个中央存储系统上，以便于进行集中的统计分析处理。Scribe为日志的“分布式收集，统一处理”提供了一个可扩展的、高容错的方案。（老师收学生信息表，需要班长代理收集的例子）。Chukwa提供了一个对大数据量日志类数据采集、
yoku酱·2022-02-05 09:53

大数据学习选线上好还是线下好？

小伙伴们是不是有过这样的烦恼：对大数据行业感兴趣，也愿意花时间精力去学习，但是自学担心无法坚持。针对大多数没有技术却渴望高薪就业进入大数据行业的人来说，培训学习无疑是最好的选择。但是培训学习同样也存在着不少的问题。线上学习？质量难以保障。线下学习？又涉及诸多现实问题。因此一直犹犹豫豫，摇摆不定，到底要学还是不学，怎么学？针对这个问题，我们在这里做一个简单的讨论。线上学习场景：线上学习资源众多，而且
科多剑小纯·2022-02-05 06:43

073-20180314-【大数据学习】大数据的价值

O今天在知乎上阅读了大牛刘飞写的关于“大数据的价值”的文章，作者通过例子深入浅出地介绍了不同层面的大数据应用及其带来的价值。通过阅读这篇文章，让我对大数据的认知有了稍微深一点的理解。R读书的时候就了解了一些大数据的基本概念，但从作者的文章中看到这么多互联网公司利用大数据创造价值，着实感到了科技的魅力。I作者将大数据的应用分为以下三种阶段，每个阶段的侧重点也有所不同，从中我也得到了一些感想。第一阶段
DearLynne·2022-02-04 17:47

大数据学习路线

本文首发于我的个人博客：大数据学习路线前言要从事计算机行业的工作，不管是什么工作，开发、测试、还是算法等，都是要有一门自己比较熟练的编程语言，编程语言可以是C语言、Java、C++等，只要是和你后续工作所相关的就可以
大数据技术派·2021-11-25 22:00

Hadoop的安装部署(学习使用)

大数据学习的基础生态圈核心组件。本身的框架分为三个组件，HDFS、MapReduce和Yarn。对应着存储，计算和调度功能。
龟速扣代码·2021-11-24 00:07

用VM虚拟机搭建大数据学习集群(3节点)

前提：下载安装VMware，安装centos系统1-登录虚拟机查看IP地址ifconfig若没有这个命令，安装yuminstall-ynet-tools.x86_64执行ifconfig找到ip地址。使用xshell等工具连接上，主要是方便拷贝等操作。2-设置静态IP网络必须是桥接NAT模式(默认的网络设置)，找到网卡并编辑，设置模式为static，网关等。2.1-在虚拟机的右上角，'编辑'->虚
龟速扣代码·2021-11-17 23:56

写给初学者，长文阐述大数据学习与面试

最近有读者私聊我时发现有不少应届生和初学者，他们在大数据怎么学，以及大数据怎么面试，简历怎么写等方面有很大的困扰，今天我们就来谈谈关于大数据的一些事。写在前面：每个人的学习方法可能不一样，只有找到适合自己的才是最好的，以下这些只是我在学习大数据时的一些总结及经验，有不全面的地方还请各位大佬多包涵，互相学习，共同进步，非常感谢！我之前在知乎回答过类似的问题，有人问大数据工程师的日常工作内容是干嘛？，
create17·2021-10-21 07:00

文章硬不硬核，你说了算，土哥怒肝大数据学习路线一条龙！

前言大家好，我是土哥。随着读者数量的不断增加，从8月底到10月中旬，3分钟秒懂大数据公众号粉丝数已经突破7200+。短短几个月，看着越来越多的读者通过我写的文章而关注到该公众号，我好开心，同时也诚惶诚恐，害怕无法持续输出高质量文章，让读者失望。但我知道，只有写出让读者心动的文章，才能得其心，土哥会好好加油，为大家持续输出精品文章的。有读者问我，对于大数据小白或者跨行业者，应该如何学习大数据呢？或者
在IT中穿梭旅行·2021-10-19 14:13

写给初学者，一文搞懂大数据学习、岗位、面试及简历

最近有读者私聊我时发现有不少应届生和初学者，他们在大数据怎么学，以及大数据怎么面试，简历怎么写等方面有很大的困扰，今天我们就来谈谈关于大数据的一些事。写在前面：每个人的学习方法可能不一样，只有找到适合自己的才是最好的，以下这些只是我在学习大数据时的一些总结及经验，有不全面的地方还请各位大佬多包涵，互相学习，共同进步，非常感谢！我之前在知乎回答过类似的问题，有人问大数据工程师的日常工作内容是干嘛？，
·2021-10-14 11:59

大数据学习之Kafka

一、单节点1个broker启动kafka：首先启动zookeeper：systemctlstartzookeeper、kafka-server-start.sh$KAFKA_HOME/config/server.properties创建topic：kafka-topics.sh--create--topicquickstart-events--bootstrap-serverlocalhost:9
我问你瓜保熟吗·2021-07-21 15:51

大数据学习之：Flume

flume作用从磁盘采集文件发送到HDFS数据采集来源：系统日志文件、Python爬虫数据、端口数据数据发送目标：HDFS、Kafkaflume组成agent是一个独立的Flume进程，包含组件Source、Channel、Sink。(Agent使用JVM运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。)sourceSource捕获事件后会
我问你瓜保熟吗·2021-07-21 15:17

大数据Flink电商数仓实战项目流程全解（一）

实时数仓项目完成，最近又重新跑了一遍，项目整体我会在后续上传到码云中，也会逐步同步更新到博客中来，里面不仅包含了整体代码和整个集群搭建过程，也包含了一些我自己的理解和测试过程希望大家能喜欢，以后我也会把我整个的大数据学习过程和笔记做一个分享
大数据YYDS·2021-07-21 00:21

大数据学习之Hadoop+Zookeeper

安装环境共五个节点namenodenamenode2datanode1datanode2datanode3关闭防火墙，selinux，增加hadoop账户，免密登录，一、Zookeeperzookeeper最少需要3个节点，一个leader，两个follower，zookeeper安装安装包解压到：/usr/local/zookeeper环境变量：vim/etc/profileexportJAVA
我问你瓜保熟吗·2021-07-20 16:08

大数据应该怎样入门？应该学习哪些技术？学习路线又是什么？

大数据学习的几个阶段阶段一、Java语言基础Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O
大数据资料分享·2021-06-26 03:02

云计算大数据学习教程资源（适合有java基础）

本人毕业后从事Java软件开发工作已经三年，买次回想起大学期间通过黑马程序员的免费教程自学Java的那段日子还是觉得感谢那个时候的自己。大三之前从来没有接触过编程，大学也是非编程的文科专业，是什么吸引我去学习Java呢？很直观的说就是行业刚需和高薪资对于我这双非二本的学生的最好的出路。我为什么学Java,首要的原因当然是为了生活，找份好工作，现在放眼望去，知名公司只会要求两种语言—C/C++，当然
再让你三行代码·2021-06-23 05:43

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要由云厂商
·2021-06-22 11:36

大数据学习方向知多少

大数据学习方向很多想学习大数据的同学，在学习之初都会有这种困惑。我想学习大数据，但是大数据应该从哪个方向入手呢？大数据的学习方向是怎么样的呢？
kuntoria·2021-06-21 22:00

大数据学习笔记2：现代数据湖之Iceberg

数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要由云厂商
·2021-06-21 00:57

如何快速成为数据分析师（个人角度）

分享之前我还是要推荐下我自己创建的大数据学习资料分享群710219868备注风火这是全
风火数据·2021-06-20 14:24

大数据学习笔记500条【第二弹】，记得收藏！

501.MapReduce计算框架中的输入和输出的基本数据结构是键-值对。502.Hadoop神奇的一部分在于sort和shuffle过程。503.Hive驱动计算的“语言”是一XML形式编码的。504.Hive通过和Jobtracker通信来初始化MapReduce任务（Job）。505.Metastore（元数据存储）是一个独立的关系型数据库。506.Pig常用于ETL（数据抽取、数据转换、数
yoku酱·2021-06-18 22:05

2021年 全网最细大数据学习笔记（六）：Hadoop 之 HDFS 进程详解

写数据流程7.2HDFS读数据流程八、HDFS的回收站九、NameNode、HDFS的元数据辅助管理详解十、HDFS的高可用和高扩展机制10.1高可用10.2高扩展机制一、学前必备知识2021年全网最细大数据学习笔记
Amo Xiang·2021-06-18 20:10

2021年 全网最细大数据学习笔记（五）：Zookeeper 集群

文章目录一、学前必备知识二、Zookeeper简介三、Zookeeper安装及配置、启动Zookeeper集群四、Zookeeper数据模型以及节点类型五、ZooKeeper的shell操作六、ZooKeeperWatcher(监听机制)七、ZooKeeper选举机制7.1全新集群选举7.2非全新集群选举八、ZooKeeper是如何实现数据一致性的呢？九、ZooKeeperJavaAPI操作一、学
Amo Xiang·2021-06-17 21:02

大数据零基础学习路线,新人记得保存收藏哦

有很多人对这个东西感兴趣，但是对编程语言也不太了解不过大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。
烽火程序猿·2021-06-14 22:32

大数据学习笔记：历史了解

大数据的现在的平台整合技术框架大数据时代的发展大数据应用的搜索引擎时代：将数千台服务器上的磁盘统一管理起来，当做一个文件系统，统一存储这些网页文件。数据仓库时代：进行数据统计与分析利用hive这些工具，低廉的价格机器获得更多的额数据存储与计算能力。数据应用的数据挖掘时代：通过数据发掘出更多的数据价值，不止数据统计。构建用户画像，做个性化推荐等理论信息。进行各种的数据分析与挖掘。大数据应用的机器学习
胖琪的升级之路·2021-06-14 01:16

大数据学习笔记0：大数据基本框架

本文首发于泊浮目的:https://www.jianshu.com/u/204b8aaab8ba版本日期备注1.02021.5.9文章首发这是我的学习笔记，大量摘抄网上、书本里的内容，将我自己认为关联度较高的内容呈现上来。大数据从数据源开始，经过分析、挖掘到最终获得价值一般需要经过6个主要环节，包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化，技术体系如图所示。每个环节都
泊浮目·2021-06-12 22:41

大数据学习路线

大数据学习路线-An342647823的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/an342647823/article/details/40185181
葡萄喃喃呓语·2021-06-10 22:33

【大数据学习】第十篇-DataNode工作机制

DataNode工作机制DataNode启动后，首先向NameNode节点注册信息成功后，开始定时执行数据校验和同步，将自身的数据块列表信息同步到nameNode的映射表上。同时开启心跳，namenode超时不能收到心跳，datanode将会被移除集群。一些namenode对datanode的操作，也会伴随心跳的返回进行传输。具体如下图DataNode工作机制数据完整性检查Datanode读取数据
irving_yuan·2021-06-09 19:23

静态（固定）IP设置 - VMware

所以，现在希望将192.168.88.xxx网段下的IP用于大数据学习。再此之前，需要对网络进行配置。
helloMiao·2021-06-08 00:30

大数据学习笔记第一课-Windows下hadoop环境搭建（2019-01-09）

作为一个有6年工作经验的蜘蛛人，已经记不清爬了多少网站的多少数据了，见识到各种各样的数据，在此期间听到看到不少大数据相关的知识点，却又对它们一知半解，故此决定把这些相关技术系统学习一遍并留下学习脚印。一、下载相关文件1.JDK下载2.Hadoop-2.7.6下载（更多版本下载地址）3.Windows下安装Hadoop工具下载，提取码：84wg二、JDK安装1.JDK安装方法注：JDK安装路径不能包
滴答日记·2021-06-07 01:47

Java程序员转行大数据的优势

分享之前我还是要推荐下我自己创建的大数据学习交流Qun5316
风火数据·2021-06-06 06:56

如何系统规划大数据学习之路？

:需要这方面的视频资料和公开课程，可以加入我们，一个良好的学习范围很重要大数据学习群：199427210大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。
大数据05·2021-06-05 21:58

大数据学习（基础配置）

任务1：安装虚拟机，配置大数据平台宿主操作系统（CentOS或者Ubuntu），Linux文件操作命令使用一．安装虚拟机，配置大数据平台宿主操作系统按照网上教程安装VM，然后按软件向导快速配置了Ubuntu17.04。同时也安装了CentOS，但还是觉得Ubuntu更好上手（桌面系统体验更好...）。所以学习阶段打算以Ubuntu为主。（操作之后也才知道不同的发行版本某些命令并不同，比如chkco
严武小虎·2021-06-04 22:25

订单系统订单表设计方案

大数据学习交流微信群一年前，在上一家公司接手了一个含有订单系统的项目，业务并不复杂，但是当时令我比较困惑的是订单表的设计。
憨人Zoe·2021-06-04 05:26
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他