大数据入门

大数据入门--Flume（一）安装教程与案例

Flume（一）安装教程与案例安装教程案例监控端口数据官方案例(netcat-logger)实时监控单个追加文件(exec-hdfs)进阶版存在的问题实时监控目录下多个新文件(taildir)实时监控目录下多个新文件（spooldir-hdfs）安装教程下载安装apache-flume-1.9.0-bin.tar.gz解压配置JAVA_HOMEviconf/flume-env.sh.templat
许中宝·2024-02-11 09:34

No.2大数据入门 | 环境搭建：jdk1.8安装及环境配置

上一篇文章我们安装了虚拟机以及linux操作系统，接下来就要安装在操作系统上运作的大数据核心hadoop分布式系统基础架构！Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS，Hadoop的框架最核心的设计就是:HDFS和MapReduce：HDFS为海量的数据提供了存储，而MapReduce为海量的数据提供了计算，因此安装完hadoop以
滚滚红尘_8133·2024-02-08 11:43

大数据入门-大数据技术概述(二)

目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务：Zookeeper2.分布式资源管理器：Yarn3.计算引擎：Spark4.
水坚石青·2024-02-04 11:11

大数据入门--zookeeper（一）--集群搭建与常用指令

Zookeeper单机搭建下载官方安装包#解压tar-zxvfzookeeper-3.4.5.tar.gz-C/opt/module/#配置zoo.conf，只需要将conf/zoo_sample.conf重命名为zoo.conf即可mvconf/zoo_sample.cfgconf/zoo.cfg#启动bin/zkServer.shstart#查询状态bin/zkServer.shstatus#
许中宝·2024-02-04 11:40

【大数据入门核心技术-Tez】（三）Tez与Hive整合

一、准备工作1、Hadoop和Hive安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【
forest_long·2024-01-31 08:06

大数据就业方向-（工作）ETL开发

上一篇文章：大数据-大数据入门第一篇|关于大数据你了解多少？-CSDN博客目录1.ETL概念2.ETL的用处3.ETL实现方式4.ETL体系结构5.什么是ETL技术？
王哪跑nn·2024-01-29 23:31

「干货」2018你最应该学习的硬技能（零基础大数据入门）

2017可谓是人工智能元年，在各类人工智能公司如雨后春笋般成立的今天，我们来聊一聊什么是人工智能？大数据与人工智能究竟有何关联？什么是大数据？如何赶上这个新风口？如何入门大数据呢？1.什么是人工智能？大数据与人工智能究竟有何关联？人工智能是它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学(定义来源：百度百科）归根到底人工智能是让机器去学习人类的思维方式，机器
data_ting·2024-01-17 18:57

大数据入门

好记星不如烂笔头，这里记录平时工作中用到的东西，不喜可以留言。大数据大数据最早我是16年左右听到的被吹嘘的很火，但具体是什么自己很模糊。目前自己的理解是，大数据是在传统的IT项目中增加了一个部门（大数据部门），主要是处理海量的一些非结构形数据，进行分析提取有用的一点数据放回到结构性数据库中，供决策者进行决策。大数据80%的使用场景都是让没有完成交易，促使客户完成，完成变现。大数据最早是谷歌Goog
Dazer007·2024-01-09 07:21

大数据 - 大数据入门第一篇 | 关于大数据你了解多少？

1.1概述大数据（BigData):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决、海量数据的采集、存储和分析计算问题。按顺序给出数据存储单位：bit,Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit1K=1024By
王哪跑nn·2023-12-31 22:48

【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建

目录一、Hadoop部署的三种方式1、Standalonemode（独立模式）2、Pseudo-Distributedmode（伪分布式模式）3、Clustermode（集群模式）二、准备工作1、先完成zk高可用搭建2、/etc/hosts增加内容3、各台服务器分别创建目录4、关闭防火墙和禁用swap交换分区5、三台机器间免密6、安装jdk7、下载好hadoop安装包三、高可用配置1、配置core
forest_long·2023-12-30 18:49

大数据入门二（YARN部署）

1.入门HDFS存储MapReduce计算SparkFlinkYarn资源作业调度伪分布式部署要求环境配置文件参数文件ssh无密码启动jps命令[hadoop@hadoop002~]$jps28288NameNodeNN27120Jps28410DataNodeDN28575SecondaryNameNodeSNN1.MapReducejobonYarn[hadoop@hadoop002hadoo
倾白首·2023-12-19 10:04

【大数据入门二——yarn和mapreduce】

连续几天夜里加餐，让我想起了新兵连的夜训，在你成为合格战士之前，你必须经历新兵连的过程，，，，其实每个行业都有一个属于它自己的新兵连，不经历此处的磨练，你难以在这个行业立足，我承认先天的资本，但我更相信后天的努力，也许有的人奋斗一生都没有达到他人的起点，我为他人荒废人生而感到可耻，为此人奋斗一生而感到幸福，我们即使渺小，我也要努力绽放，苔花如米小，也学牡丹开！————————————————前言：
墨卿风竹·2023-12-19 10:04

Window10下安装ClickHouse详解

随着互联网技术的发展，海量数据已经成为公司决策分析的重要来源，ClickHouse有着大数据入门和低学习成本(支持SQL)的优势，但基本上都是在Linux环境下安装.如果想在Windows下安装一个来学习和测试该如何操作
爱游泳的老白·2023-11-30 21:31

大数据入门学习必读好书推荐，请收藏！

身处于一个大数据时代，大数据无疑是近期最时髦的词汇了。不管是云计算、社交网络，还是物联网、移动互联网和智慧城市，都要与大数据搭上联系。随着云计算、移动互联网和物联网等新一代信息技术的创新和应用普及。学习大数据，除了网课，一些经典的技术书籍是非常实用且有帮助的。为了跟上技术更迭的节奏，不落人后，最好的方式是继续刷新自己的知识，同时保持上手的经验。在这行业中要取得成功，需要完美的项目经验和技能组合。尽
腾讯云开发者·2023-11-27 18:39

大数据流处理框架：Spark Streaming与Storm

今天的大数据入门分享，我们就主要来讲讲，流处理框架SparkStreaming与Storm。
成都加米谷大数据·2023-11-20 12:20

大数据入门---1.大数据介绍

大数据的介绍无处不在的大数据大数据的爆炸式增长大数据的特征大数据与我们的生活息息相关思考：那么我们如何对这些数据进项存储与分析呢？我们的hadoop就是在这样的场景下应运而生的1.HADOOP背景介绍1.1什么是HADOOP(1)HADOOP是apache旗下的一套开源软件平台(2)HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理1.HADOOP的核心组件
学无止境的大象·2023-11-17 03:57

【大数据入门核心技术-Doris】（三）Doris基础使用

一、安装部署参考：【大数据入门核心技术-Doris】（二）Doris安装部署二、用户相关使用1、用户登录启动完Doris程序之后，可以通过root或admin用户连接到Doris集群。
forest_long·2023-11-07 16:02

大数据入门：Hadoop HDFS存储原理

今天的大数据入门分享，我们就来讲讲HadoopHDFS存储原理。1、什么是HDFS？
成都加米谷大数据·2023-11-05 16:35

大数据入门之hadoop集群搭建（CentOS 7）

hadoop集群搭建安装系统在VMware下创建新的虚拟机这里需要和自己电脑匹配可以从资源监视器中看到自己的cpu数量，由于需要4台虚拟机，所以这里用4个处理器内核用于一台虚拟机中这里的内存也与自己电脑的实际情况匹配由于桥接网络麻烦，因此这里用网络地址转换这里的磁盘大小是在使用时具体用多少是多少，并不是从自己电脑的实际磁盘大小取出2.运行此虚拟机3.进行配置这里涉及的linux磁盘分区的知识，想要
Charon.（卡隆）·2023-11-03 15:39

25款大数据入门与实战电子书+视频教程（全程干货）

本资源由菜鸟窝大数据教研团队整理的，共有1.3GB学习资源（电子书）含Hadoop大数据与挖掘实战、Hbase实战、Spark大数据处理技术、Spark高级数据分析、大数据存储MongoDB实战、大数据架构师指南、数据算法、大数据挖掘等25本必读电子书~以及10个入门到实战的视频教程，勾搭助教weixin:BT474849免费领取哦~image.png
菜鸟窝·2023-10-26 07:50

-大数据入门-2-Hadoo-MapReduce详解

mapreduce是hadoop的计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。计算模型的运行规则。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每个阶段都是用键值对（key/value）作为输
吾..二..二·2023-10-22 00:55

不会真的有人看不懂 Linux 小白都能看懂的大数据入门（一） 图文

一、概述1.1Linux的历史操作系统，英语OperatingSystem简称为OS。说道操作系统就需要先讲一讲Unix，UNIX操作系统，是一个强大的多用户、多任务操作系统，支持多种处理器架构，按照操作系统的分类，属于分时操作系统，最早由KenThompson、DennisRitchie和DouglasMcIlroy于1969年在AT&T的贝尔实验室开发。而linux就是一款类Unix系统。通常
热忱 ㅤ ㅤ·2023-10-21 13:48

大数据Hadoop环境安装

对于我这个初学者，大数据入门就是首先得学会Hadoop环境的安装，按照步骤如遇相关问题，请指正。
不倒翁_z·2023-10-21 00:22

大数据入门：Hadoop Yarn组件基础解析

今天的大数据入门分享，我们就来对HadoopYarn组件做个简单的基础解析。
成都加米谷大数据·2023-10-16 19:10

大数据入门之zookeeper的功能及工作原理，未完待续……

如果大家对大数据开发感兴趣，可以点击文章“了解更多”，了解和报名大数据免费学习交流课程！！！1.Zookeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。2.Zookeeper提
尚学先生·2023-10-15 07:57

大数据入门：Hadoop Yarn组件基础解析

今天的大数据入门分享，我们就来对HadoopYarn组件做个简单的基础解析。
加米谷大数据张老师·2023-10-14 16:26

【免费分享淘宝视频教程】pyhton大数据人工智能神经网络爬虫零基础视频教程从入门到精通-百度云

00、Python安装包开发工具、注册01、Python入门到项目实战篇02、Python大数据入门到实战篇03、Python数据分析与数据挖掘篇04、Python高等数学与程序算法篇05、Python
weixin_41341299·2023-10-13 08:59

大数据入门：各种大数据技术介绍

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么，都有什么产品，产品有什么
编程小世界·2023-10-07 06:15

python 大数据入门教程

Python在大数据行业非常火爆近两年，asapythonic，所以也得涉足下大数据分析，下面就聊聊它们。Python数据分析与挖掘技术概述所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的潜在需求信息，从而
RedPintings·2023-09-30 23:55

python 大数据入门之pandas

作为一名全栈程序员，广种薄收，我也很苦恼，但是又没有办法，自己是块砖，哪里需要哪里搬。常用的pandas命令和技巧：1、读取CSV文件：data=pd.read_csv("{路径.csv}")2、读取部分CSV文件：data=pd.read_csv("E:/豪总导出数据/hw_register_user_20220317.csv",nrows=500)3、查看某一列数据：data['首次充值时间'
kfyzjd2008·2023-09-30 23:25

-大数据入门-1-Hadoop-hdfs伪分布式部署

Hadoop大象广义:以apachehadoop软件为主的生态圈(hivesqoopsparkflink…)狭义:apachehadoop软件官网APAche:www.apache.orgCDH:http://archive.cloudera.com/cdh5/cdh/5/Hadoop1.x企业不用2.x主流3.x很少敢用坑只能自己踩但是CDH(www.cloudera.com)版本兼容统一的部署
吾..二..二·2023-09-28 02:19

《2023新版前端Web开发HTML5+CSS3+移动web视频教程，前端web入门首选黑马程序员》学习笔记总目录

本文是对《黑马程序员新版大数据入门到实战教程》所有知识点的笔记进行总结分类。学习视频：黑马程序员新版前端视频学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。
放下华子我只抽RuiKe5·2023-09-28 00:41

python大数据书籍推荐-大数据入门书籍推荐《Python 大数据基础》

本书系统地讲解了大数据处理相关的过程，并通过Python程序的例子讲解了如何使用Python语言对数据进行采集、存储、分析及可视化。本书的章节设计以目标为导向，首先介绍大数据处理各个环节要做什么事情，然后讲解如何使用Python达到对应的目标。本书有配套的课件、代码和课后练习题答案，有需要的读者可登录出版社网站，免费下载。书中给出的例子和数据文件都保存在source目录下对应章节的子目录下。目录第
weixin_39527078·2023-09-25 21:53

大数据薪资这么高，那大数据入门难吗？

大数据入门难吗？我相信很多想要进入大数据行业的伙伴都会存在的一个顾虑。
kuntoria·2023-09-22 06:34

大数据入门--hadoop（一）--分布式集群搭建

大数据入门--hadoop（一）--分布式集群搭建准备工作ntp时间同步hadoop101配置修改/etc/ntp.conf修改/etc/sysconfig/ntpd文件重新启动ntpd服务其他服务器配置
许中宝·2023-09-22 02:45

大数据入门

大数据是指那些无法用传统方式进行存储、处理和分析的海量数据。大数据具有四个特征：容量（Volume）、速度（Velocity）、多样性（Variety）和价值（Value）。容量指的是数据的规模，速度指的是数据的生成和处理速度，多样性指的是数据的类型和来源，价值指的是数据所蕴含的潜在价值。为什么要学习大数据呢？因为大数据可以帮助我们更好地了解世界，发现规律，提高效率，创造价值。例如，通过分析社交媒
数据码农师·2023-09-10 03:28

大数据入门之基础知识

大数据入门总结一下近期学习的大数据知识，学习之前没搞清楚的知识传统的web应用（LAMP、JavaEE、NODE系等）与大数据什么关系？
qq_44682761·2023-09-09 21:15

大数据学习 第一篇--基础知识入门篇

大数据入门总结一下近期学习的大数据知识学习之前没搞清楚的知识传统的web应用(LAMP、JavaEE、NODE系等)与大数据什么关系?
juan777·2023-09-09 21:14

《黑马程序员python教程，8天python从入门到精通，学python看这套就够了》学习笔记总目录

本文是对《黑马程序员新版大数据入门到实战教程》所有知识点的笔记进行总结分类。学习视频：黑马程序员新版python视频学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。
放下华子我只抽RuiKe5·2023-09-02 21:48

大数据入门与实战-PySpark的使用教程

1PySpark简介ApacheSpark是用Scala编程语言编写的。为了用Spark支持Python，ApacheSpark社区发布了一个工具PySpark。使用PySpark，您也可以使用Python编程语言处理RDD。正是由于一个名为Py4j的库，他们才能实现这一目标。这里不介绍PySpark的环境设置，主要介绍一些实例，以便快速上手。2PySpark-SparkContextSparkC
致Great·2023-08-28 15:31

编程资料汇总

一、大数据大数据入门资料介绍：Hadoop、Hive、Spark、Storm、Flink、Hbase、Kafka、Zookeeper、Flume、Sqoop、Azkaban的简介、使用、基本结构组成。
v2hoping·2023-08-10 13:28

大数据入门之Presto/Trino

文章目录WhatisPresto?Presto和Trino的关系Presto架构PrestoVSSparkpyhive访问prestoWhatisPresto?Presto是由Facebook开发的分布式sql查询引擎，用来进行高速、实时的数据查询Presto的产生是为了解决Hive的MapReduce模型太慢且不能通过BI等工具展现HDFS的问题Presto是一个计算引擎，它不存储数据，通过丰富
Frank范·2023-08-09 19:39

《黑马程序员2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目》学习笔记总目录

本文是对《黑马程序员新版大数据入门到实战教程》所有知识点的笔记进行总结分类。学习视频：黑马程序员新版大数据学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。
放下华子我只抽RuiKe5·2023-07-30 11:47

Hadoop大数据入门练习题

1.下面哪个程序负责HDFS数据存储。a)NameNodeb)Jobtrackerc)Datanode√（完成数据存储）d)secondaryNameNodee)tasktracker2.HDfS中的block默认保存几份？a)3份√（hdfs-site.xml设置dfs.replication）b)2份c)1份d)不确定3.下列哪个程序通常与NameNode在一个节点启动？a)Secondary
weixin_30532759·2023-07-20 00:22

大数据入门到精通课程学习

多想在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。如果你想学习，那么首先你需要学会编程，其次你需要掌握数学，统计学的知识，最后融合应用，就可以想在数据方向发展，笼统来说，就是这样的。但是仅
kuntoria·2023-07-14 12:02

大数据入门初学者需要学习的内容及学习路线详解

很多人都知道大数据很火，就业很好，薪资很高，想往大数据方向发展。但该学哪些技术，学习路线是什么样的呢?大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。先说一下大数据的4V特征：数据量大，TB->PB数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等;商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来;处理时效性
大数据开发交流·2023-06-20 20:58

大数据入门-大数据技术概述(一)

大数据入门系列文章大数据入门-大数据是什么一、概念大数据技术是指在构架大数据平台的时候需要的技术。包含存储系统，数据库，数据仓库，资源调度，查询引擎，实时框架等。
猫腻余腥·2023-06-18 21:41

大数据入门

大数据的本质还是为了用机器处理海量的数据在大数据的生态中有各种工具来方便对数据的操作其中hadoop算是一个核心spark可以运行在hadoop中的yarn上，就是集群，也可以单机运行，还可以运行在mos上hive我的理解就是一个客户端工具，写好sql来对数据查询分析如果你学过py的pandas，那么其中datafrmae你应该已经理解了，可以把spark读出来的数据类比于此本质就是对这个data
你好世界12345·2023-06-14 08:25

区块链世界的大数据入门之zkMapReduce简介

1.引言跨链互操作性的未来将围绕多链dapp之间的动态和数据丰富的关系构建。LagrangeLabs正在构建粘合剂，以帮助安全地扩展基于零知识证明的互操作性。2.ZK大数据栈LagrangeLabs的ZK大数据栈为一种专有的证明结构，用于在任意动态分布式计算的同时生成大规模batchstorageproof。ZK大数据堆栈可扩展到任何分布式计算框架，从MapReduce到RDD再到分布式SQL。使
mutourend·2023-06-12 01:18

大数据入门：Flink状态编程与容错机制

今天的大数据入门分享，我们主要来讲讲Flink框架的状态编程与容错机制。流式计算，通常分为有状态和无状态两种情况：无状态：无状态的计算观察每个独立事件，并根据最后一个事件输出结果。
加米谷大数据张老师·2023-06-09 14:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他