ML&DL-大数据学习第5页

大数据学习之Hadoop

一、基础概念Hadoop包含HDFS和MapReduce，HDFS实现分布式存储，MapReduce实现数据分布式计算。HDFS：HDFS是由Namenode和Datanode组成。Namenode负责管理文件系统的namespace和客户端对文件的访问。Datanode负责管理节点上的存储。在内部，一个文件其实分成一个或多个block，这些block存储在Datanode集合里。Namenode

我问你瓜保熟吗·2023-09-21 04:40

大数据学习1.4-xShell配置Hadoop

1.创建hadoop目录mkdir/usr/local/hadoop2.切换到hadoop中cd/usr/local/hadoop/3.将hadoop直接拖到xShell中4.解压hadooptar-zxvfhadoop-2.7.1.tar.gz5.配置环境变量vi/etc/profileexportPATH=$PATH:/usr/local/hadoop/hadoop-2.7.1/bin6.加载

汉卿HanQ·2023-09-19 09:09

大数据学习1.0-目录

学习内容持续更新ing1.大数据学习1.1-Centos8虚拟机安装大数据学习1.0-Centos8虚拟机安装_汉卿HanQ的博客-CSDN博客2.大数据学习1.2-yum配置大数据学习1.2-yum配置

汉卿HanQ·2023-09-19 09:39

大数据学习1.3-xShell配置jdk

1.创建java文件mkdir/usr/local/java2.切换到java中cd/user/local/java/3.将jdk直接拖到xShell中4.解压jdktar-zxvfjdk-8u221-linux-x64.tar.gz5.配置环境变量-进入环境变量文件vi/etc/profile6.添加如下内容JAVA_HOME=/usr/local/java/jdk1.8.0_221CLASSP

汉卿HanQ·2023-09-19 09:06

大数据学习1.5-单机Hadoop

1.修改主机信息vi/etc/hosts2.修改信息如下(这里第三位一定是自己的IP每个人都不一样)192.168.216.140hadoop01192.168.216.141hadoop02192.168.216.142hadoop033.修改Hadoop配置信息-1进入配置信息文件cd/usr/local/hadoop/hadoop-2.7.1/etc/hadoop/4.修改Hadoop配置信

汉卿HanQ·2023-09-19 07:28

大数据开发工程师应该掌握哪些技术？

1.Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应

会飞的鱼go·2023-09-18 04:59

如何成为大数据全栈人才相关学习路线是什么

具体大数据学习路线安排如下：阶段一是Java语言基础，此阶段是大数据刚入门阶段

web前端入门·2023-09-16 19:25

大厂招人五要素

全网最全大数据学习面试社区等你来！很多同学都想进入大厂或者大的甲方公司，尤其是大数据开发这个方向，岗位也集中在头部的这一批公司。这两年进入大厂的门槛也越来越高，那么进入这些公司有哪些条件？

王知无(import_bigdata)·2023-09-15 16:43

来了来了，2023年某中大厂真实面经！

全网最全大数据学习面试社区等你来！本篇文章的面经是我辅导的一个同学的真实面试经历！2023年校招的宝子们拿走快看！第一个面经来自某头部大厂：1.

王知无(import_bigdata)·2023-09-15 16:40

大数据学习笔记

sort_index函数的排序原理sort_index函数我们都知道，它能对DataFrame数据针对索引进行排列（不管是行还是列）。那在对索引进行排序的过程中，它的原理是怎样的？我们通过下面的几组测试来总结一下：importpandasaspdobj=pd.Series(range(4),index=['ddddd','eaaaa','ff','ccccccccc'])>>>objddddd0e

Come_Back_Cai·2023-09-15 03:12

【2020版冲刺年薪30W】超全大数据学习路线+思维导图

大数据学习路线下面和大家讲一下大数据学习的路线，帮助大家快速进入大数据行业。我会结合自己的实际经历还说明学习路线。

focusbigdata·2023-09-12 19:51

大数据学习第一篇--基础知识入门篇

大数据入门总结一下近期学习的大数据知识学习之前没搞清楚的知识传统的web应用(LAMP、JavaEE、NODE系等)与大数据什么关系?之前一直以为大数据的东西就是来取代传统的Web应用的，其实并不是这样;即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储(结构化数据依然会保存在传统的关系型数据库--如MySql，日志等非结构数据会保存在分布式文件系统--如Hadoop

juan777·2023-09-09 21:14

【大数据学习-hadoop1】大数据如何处理

文章目录1.大数据启蒙1.1意义1.1.1查找元素1.1.2单机处理大数据问题1.2历史1.3hadoop1.大数据启蒙学习视频大数据多，复杂度很重要，内存不够，分治处理IO仍成为瓶颈，多机器并行多机器间通信也可以并行，但仍是个问题分发上传，累计计算的话，多台同时跑+通信也比一台快总结（大数据的重点）分而治之并行计算计算向数据移动：数据移动化成本高数据本地化读取1.1意义1.1.1查找元素1w个元

叶落叶子·2023-09-08 13:49

0301yarn&mapredude入门-hadoop-大数据学习

文章目录1MapReduce概述2YARN2.1yarn概述2.2yarn与MapReduce关系2.3yarn架构2.4辅助角色3MapReduce&YARN部署3.1集群规划3.2配置文件3.3分发配置文件4体验4.1集群启动命令介绍4.2提交MapReduce任务到YARN执行结语1MapReduce概述分布式计算是一种计算模型，它涉及将计算任务分解成多个子任务，并将这些子任务分配给多台计算

gaog2zh·2023-09-08 12:16

大数据学习笔记-HDFS（三）——集群管理运维

1、HDFS数据迁移解决方案1.1迁移方案——数据迁移的使用场景和考量因素场景冷热集群数据同步、分类存储使用频率较高的数据随着时间发展频率变低而迁移集群数据整体搬迁：原A机房搬迁到B机房数据的准实时同步：数据双备份使用考量因素带宽：带宽使用多了影像正常业务，带宽低了迁移慢性能：采用单机程序，还是多线程的分布式程序增量同步：TB\PB级别的数据如何只迁移增量数据数据迁移的同步性：数据迁移的过程需要保

天码村·2023-09-07 00:53

0401hive入门-hadoop-大数据学习.md

文章目录1Hive概述2Hive部署2.1规划2.2安装软件3Hive体验4Hive客户端4.1HiveServer2服务4.2DataGrip5问题集5.1CouldnotopenclienttransportwithJDBCUri结语1Hive概述ApacheHive是一个开源的数据仓库查询和分析工具，最初由Facebook开发，并后来捐赠给Apache软件基金会。Hive允许用户使用SQL语

gaog2zh·2023-09-06 17:43

大数据概念解析：分布式计算与服务器集群

成都加米谷大数据·2023-09-06 14:25

2018年最受大家欢迎的五大机器学习工具和五大数据学习数据

2018年将会是人工智能和机器学习快速发展的一年，有专家表示：相较之下Python比Java更加接地气，也自然而然地成为机器学习的首选语言在数据科学方面，Python的语法与数学语法最为接近，因此是数学家或经济学家等专业人士最容易理解和学习的语言。本文将罗列机器学习和数据科学应用程序中最有用的十大Python工具五大机器学习工具1、ShogunSHOGUN是一个机器学习工具箱，专注于支持向量机（S

栀子花_ef39·2023-09-06 09:13

大数据组件-Flink环境搭建

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Flink组件介绍2.环境准备3.Flink搭建1

beixi@·2023-09-05 07:56

Flink基础实操-计算单词出现次数

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~上一篇文章写到了Flink环境搭建，这篇文章接着上篇文章延伸Flink

beixi@·2023-09-05 07:23

大数据组件-Flume集群环境的启动与验证

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~上一篇文章写到了Flume集群环境的安装，这篇文章接着上篇文章延伸

beixi@·2023-09-03 20:28

大数据学习一：环境准备 VMWare12、centos7、mysql安装

请参考我在博客园的博客，http://www.cnblogs.com/QTSS/p/8904072.html，以后都会在记录大数据学习记录，在博客园记录J2EE学习记录。若有问题，请留言。

RacyFu·2023-09-03 11:51

大数据学习：kafka-producer源码分析

kafka-producer源码分析kafka-1.0.1源码下载地址一.kafka发送示例/***CreatedbyXiChuanon2021/6/7.*/publicclassProducerTest{publicstaticvoidmain(String[]args)throwsException{KafkaProducerproducer=createProducer();JSONObje

zui初的梦想·2023-09-03 06:38

大数据组件Sqoop-安装与验证

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Sqoop组件介绍2.环境介绍3.搭建步骤1.Sqoop

beixi@·2023-09-02 12:24

大数据组件-Flume集群环境搭建

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Flume集群环境介绍2.搭建环境介绍3.启动HDFS

beixi@·2023-09-02 12:24

Sqoop实操案例-互联网招聘数据迁移

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~上一篇文章写到了Sqoop的安装与验证，这篇文章接着上篇文章延伸

beixi@·2023-09-02 12:22

大数据HBase学习圣经：一本书实现HBase学习自由

《尼恩大数据面试宝典》面试题集合，将变成大数据学习和面试的必读书籍。于是，尼恩架构团队趁热打铁，推出《大数据Flink学习圣经》，《大数据HBASE学习圣经》（本文）《大数据HBase

40岁资深老架构师尼恩·2023-09-02 05:50

10年大牛总结零基础学习大数据——四部曲

有很多人对大数据东西感兴趣，但是对编程语言也不太了解不过大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。

Python大数据工程师·2023-09-02 05:44

强！大数据之Hadoop伪分布式这样搭建，一次就成功了！

大数据学习05·2023-09-01 13:41

大数据学习：kafkaManager功能详解

kafkaManager功能详解一.添加集群1.1常用参数说明下面已常用的选项作说明1）EnableJMXPolling是否开启JMX轮训，该部分直接影响部分kafkabroker和topic监控指标指标的获取（生效的前提是kafka启动时开启了JMX_PORT。主要影响如下之指标的查看：2)Pollconsumerinformation是否开启获取消费信息，直接影响能够在消费者页面和topic页

zui初的梦想·2023-09-01 12:03

大数据学习：Hive常用函数

Hive常用函数1.Hive的参数传递1.1Hive命令行查看hive命令的参数[hadoop@node03~]$hive-help语法结构:hive[-hiveconfx=y]*[]*[|][-S]说明：-i从文件初始化HQL。-e从命令行执行指定的HQL-f执行HQL脚本-v输出执行的HQL语句到控制台-pconnecttoHiveServeronportnumber-hiveconfx=yU

zui初的梦想·2023-09-01 12:31

0102阿里云配置3台ECS服务器-大数据学习

文章目录1前言1配置VPC和子网2创建安全组3创建云服务器ECS3.1规划配置3.2配置4xshell连接服务器5配置基础环境5.1主机名映射5.2ssh免密登录5.3jdk6问题集6.1Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic).6.2用tar解压文件出现错误Notfoundinarchive结语1前言公司电脑配置想要运行虚拟

gaog2zh·2023-09-01 06:13

0202hdfs的shell操作-hadoop-大数据学习

文章目录1进程启停管理2文件系统操作命令2.1HDFS文件系统基本信息2.2介绍2.3创建文件夹2.4查看指定文件夹下的内容2.5上传文件到HDFS2.6查看HDFS文件内容2.7下载HDFS文件2.8HDFS数据删除操作3HDFS客户端-jetbrians产品插件3.1BigDataTools安装3.2配置windows3.3配置BigDataTools结语以下命令执行默认配置了hadoop的环

gaog2zh·2023-09-01 06:08

大数据学习06-SpringBoot应用部署

环境准备已经安装了Java开发环境和Maven构建工具。创建项目使用Maven创建一个新的SpringBoot项目，你可以使用SpringInitializr（https://start.spring.io/）网站或者使用命令行。选择依赖在SpringInitializr中选择你需要的依赖，如SpringWeb、SpringDataJPA等。这些依赖将会在项目中自动导入。下载项目点击"Genera

小火柴012·2023-09-01 06:56

大数据学习06-Spark分布式集群部署

Spark完全分布式部署前期准备，每台服务器都需要配置安装Scala下载Scala安装包配置环境变量安装spark解压配置环境修改配置前期准备，每台服务器都需要配置配置好IPvim/etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static

小火柴012·2023-09-01 06:22

完整大数据学习路线，看了就会有所收获

大数据大数据学习路线1.Java基础——主要部分是JavaSE1.1Java初级1.2Java高级1.3其余常见基础......2.Linux基础——主要指的是Linux基本命令操作3.Hadoop生态学习

白振峰·2023-09-01 04:07

大数据学习：impala基础

impala基础1.impala介绍1.1impala概述Impala是Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sq工具。impala是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel

zui初的梦想·2023-09-01 04:05

大数据学习：Hive企业级调优

Hive企业级调优1.Hive表的数据压缩1.1数据的压缩说明压缩模式评价可使用以下三种标准对压缩方式进行评价1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好2、压缩时间：越快越好3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化常见压缩格式压缩方式压缩比压缩速度解压缩速度是否可分割gzip13.4%21MB/s118MB/s否b

zui初的梦想·2023-09-01 04:05

大数据学习：Hive主流文件存储格式对比

Hive主流文件存储格式对比1.hive的SerDe1.1hive的SerDe是什么Serde是Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化。最后实现把文件内容映射到hive表中的字段数据类型。为了更好的阐述使用SerDe的场景，我们需要了解一下Hive是如何读数据的(类似于HDFS中数据的读写操作)：HDFSfiles–>InputFil

zui初的梦想·2023-09-01 04:34

大数据学习：haproxy实现impala的负载均衡

HAProxy实现Impala的负载均衡1.HAProxy安装及启停1.1在集群中选择一个节点，使用yum方式安装HAProxy服务[root@data01-dev~]#yum-yinstallhaproxy1.2启动与停止HAProxy服务，并将服务添加到自启动列表[root@data01-dev~]#servicehaproxystart[root@data01-dev~]#serviceha

zui初的梦想·2023-09-01 04:33

大数据学习之路之HBASE

Hadoop之HBASE一、HBASE简介HBase是一个开源的、分布式的，多版本的，面向列的，半结构化的NoSql数据库，提供高性能的随机读写结构化数据的能力。它可以直接使用本地文件系统，也可以使用Hadoop的HDFS文件存储系统。不过，为了提高数据的可靠性和系统的健壮性，并且发挥HBase处理大数据的能力，使用HDFS作为文件存储系统才更为稳妥。HBase存储的数据从逻辑上来看就像一张很大的

王小冬·2023-09-01 00:27

大数据学习：Hive安装部署

Hive的安装部署注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。此处以安装到node03为例；请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群；node03上先安装好MySQL服务；1.2准备安装包下载hive的安装包http://archive.cloudera.com/cdh5/cdh/5/hive-1.

zui初的梦想·2023-08-31 20:34

Hive-安装与配置（1）

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Hive环境介绍2.搭建环境准备3.建立Hive元数据库

beixi@·2023-08-31 09:01

Hive-启动与操作（2）

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~上一篇文章写到了Hive的安装与配置，这篇文章接着上篇文章延伸

beixi@·2023-08-31 09:58

大数据学习教程SD版第七篇【Hive】

1.Hive简介数据仓库工具，将结构化数据映射成二维表，并提供类SQL查询，底层把HQL转换成MR程序Hive自带的客户端hiveclientbeelineclient特点HQL用于数据分析，但处理处理粒度粗处理大数据，但延迟高支持自定义函数架构原理Metastore元数据存储Client客户端MapReduce计算引擎HDFS数据源解析器解析HQL映射关系，元数据编译器把HQL转化成MR优化器优

道-闇影·2023-08-30 08:32

大数据学习步骤

我就大致列一下，各种框架的一个学习步骤吧：注意：下面列出来的顺序只是个人建议，可以根据个人实际情况来调整顺序linux基础和javase基础【包含mysql】这些是基本功，刚开始也不可能学的很精通，最起码要对linux中的一些基本的命令混个脸熟，后面学习各种框架的时候都会用到，用多了就熟悉了。javase的话建议主要看面向对象，集合，io，多线程，以及jdbc操作即可。zookeeperzooke

摩羯青春我掌握·2023-08-29 18:27

HBase集群环境搭建与测试

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.HBase集群环境介绍2.搭建环境准备3.搭建步骤

beixi@·2023-08-28 21:22

ZooKeeper集群环境搭建

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.ZooKeeper集群环境介绍2.搭建环境准备3.