ML&DL-大数据学习第7页

大数据学习03-Hive分布式集群部部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5、hive1.1.0一、下载安装下载hive安装包，上传到linux服务器上，解压安装包tar-zxvfapache-hive-1.1.0-bin.tar.gz-C/home/local/重命名文件mvapache-hive-1.1.0-bin/hive二、Hive部署配置Hive环境vi/etc/

小火柴012·2023-07-19 10:03

大数据学习-外部表&内部表详解

外部表和内部表区别和实际运用：前提知识储备：1、hive存储的数据在hdfs上，建表的时候实际上是在hdfs上创建目录而已。2、hive的元数据信息实际上是存在于mysql中（通常的做法）3、访问hive的数据是先访问元数据再根据元数据的地址信息来获取数据外部表和内部表在建表上的区别就是external（代表的外部表），外部表存储的方式是固定的hdfs路径，表是通过映射的方式访问（load数据到表

ZhuangYQ丶·2023-07-18 22:06

Flink从入门到放弃(入门篇1)-Flink是什么

/God-Of-BigData/blob/master/Flink插个广告全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~公众号大数据技术与架构或者搜索import_bigdata关注，大数据学习路线最新更新

王知无(import_bigdata)·2023-07-18 20:17

大数据学习02-Hadoop分布式集群部署

操作系统：centos7软件环境：jdk8、hadoop-2.8.5一、创建虚拟机1.下载VMware,建议支持正版2.安装到Widows目录下任意位置即可，安装目录自定义。打开VMware，界面如下：3.创建虚拟机创建虚拟机—>选择自定义这一步按照默认的配置就好选择系统，安装程序光盘映像文件iso，这里需要下载cenos镜像文件给虚拟机命名，选择虚拟机安装位置处理器配置内存配置配置虚拟机网络连接

小火柴012·2023-07-18 14:19

全栈之路-前端篇 | 第三讲.基础前置知识【前端标准与研发工具】学习笔记

涉及企业运维、网络安全、应用开发、物联网、人工智能、大数据学习知识“花开堪折直须折，莫待无花空折枝。”

全栈工程师修炼指南·2023-07-18 13:10

大数据学习01-Zookeeper分布式集群部署

二、下载zookeeper官网，本文使用的是zookeeper3.4.8版本三、安装部署将下载好的安装包上传至linux服务器上解压安装包tar-zxvfzookeeper-3.4.8.tar.gz-C/home/localzookeeper目录重命名mvzookeeper-3.4.8zookeeper配置环境vim/etc/profile添加如下配置#zookeeperexportZOOKEEP

小火柴012·2023-07-18 12:01

黑马大数据学习笔记2-HDFS基本操作

目录进程启停管理一键启停脚本单进程启停文件系统操作命令HDFS文件系统基本信息介绍创建文件夹查看指定目录下内容上传文件到HDFS指定目录查看HDFS文件内容下载HDFS文件拷贝HDFS文件追加数据到HDFS文件HDFS数据移动HDFS数据删除其他命令HDFSWEB浏览HDFS权限修改权限https://www.bilibili.com/video/BV1WY4y197g7?p=26切换到hadoo

蓝净云·2023-07-18 09:31

全栈之路-前端篇 | 第二讲.基础前置知识【应用服务端与编程语言】学习笔记

涉及企业运维、网络安全、应用开发、物联网、人工智能、大数据学习知识“花开堪折直须折，莫待无花空折枝。”

全栈工程师修炼指南·2023-07-17 01:51

视频教程-Kafka原理、集群、监控企业实战-大数据

¥158.00立即订阅扫码下载「CSDN程序员学院APP」，1000+技术好课免费看APP订阅课程，领取优惠，最少立减5元↓↓↓订阅后：请点击此处观看视频课程视频教程-Kafka原理、集群、监控企业实战-大数据学习有效期

weixin_34609496·2023-07-16 02:21

大数据学习-hive（三：时间戳转换）

一：俩种时间戳1.十位时间戳十位时间戳代表的是到秒级别。例如：16442067091582.十三位时间戳十三位时间戳代表的是到毫秒级别。例如：1644206709二：时间戳相互转化1.十三位转为十位###selectcast(1644206709158/1000asbigint)froma2.时间戳格式转换2.1十三位转换为日期from_unixtime(cast(1644206709158/10

宇智波云·2023-07-15 16:19

黑马大数据学习笔记0-环境配置

目录设置VMware网络CentOS操作系统三台虚拟机系统配置：主机名、固定IP、SSH免密登录配置主机名映射配置SSH免密登录创建hadoop用户并配置免密登录JDK1.8环境部署防火墙、SELinux、时间同步设置快照视频p3-p5https://www.bilibili.com/video/BV1WY4y197g7?p=3设置VMware网络网段设置为192.168.88.0网关设置为192

蓝净云·2023-07-15 11:09

黑马大数据学习笔记2-HDFS环境部署

目录环境部署hadoop-3.3.4.tar.gz构建软链接配置workers文件夹配置hadoop-env.sh文件配置core-site.xml文件配置hdfs-site.xml文件准备数据目录分发Hadoop文件夹将Hadoop的一些脚本、程序配置到PATH中授权为hadoop用户格式化整个文件系统查看HDFSWEBUI保存快照https://www.bilibili.com/video/B

蓝净云·2023-07-15 11:59

大数据专业学习起来难么

学习难度要因人而异，不能一概而论，如果不确定自己能不能学会，可以找一些视频资源自己先学习下试试Python+大数据学习路线图详细介绍第一阶段大数据开发入门学前导读：从传统关系型数据库入手，掌握数据迁移工具

我想去吃ya·2023-07-14 07:34

1.5.5 HDFS读写解析-hadoop-最全最完整的保姆级的java大数据学习资料

文章目录1.5.5HDFS读写解析1.5.5.1HDFS读数据流程1.5.5.2HDFS写数据流程1.5.5HDFS读写解析1.5.5.1HDFS读数据流程客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。DataNode开始传

假装文艺范儿·2023-06-22 16:33

1.5.6 NN与2NN-hadoop-最全最完整的保姆级的java大数据学习资料

文章目录1.5.6NN与2NN1.5.6.1HDFS元数据管理机制1.5.6.2Fsimage与Edits文件解析1.5.6.2.1Fsimage文件内容1.5.6.2.2Edits文件内容1.5.6.3checkpoint周期1.5.6NN与2NN1.5.6.1HDFS元数据管理机制问题1：NameNode如何管理和存储元数据？计算机中存储数据两种：内存或者是磁盘元数据存储磁盘：存储磁盘无法面对

假装文艺范儿·2023-06-22 16:33

大数据学习笔记之爬虫系列（3）----selenium库的用法

selenium的安装win+R输入cmd打开命令行：pipinstallseleniumselenium的简介申明浏览器的对象fromseleniumimportwebdriverbrowser=webdriver.Chrome()browser=webdriver.firefox()browser=webdriver.Android()browser=webdriver.Edge()对应的浏览

SofiyaJ·2023-06-18 04:40

大数据学习之Hadoop——07MapReduce相关练习01(wordCount + topN)

欢迎关注我的CSDN:https://blog.csdn.net/bingque65351.编写WordCountDriver端packagecom.hjf.mr.wordcount;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.

Jiang锋时刻·2023-06-17 04:30

大数据学习记录（hadoop hive flume azkaban sqoop）

大数据学习记录（hadoophiveflumeazkabansqoop）1.hadoop对海量数据进行分布式处理2.核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE

左上晨·2023-06-16 10:58

真正的人工智能远非大数据学习

图片发自App由于所从事行业的原因，几年来一直关注AI项目的落地和发展。这两年AI项目可谓热到烫手，可是到行业应用中就会发现离理想还太远。除了较为成熟的人脸识别、语音交互外几乎都无法实用。从去年开始就听到许多业内人士在喊AI寒冬即将来临，这或许并非杞人忧天。这是方向问题？技术问题？还是什么更深层的本质问题呢？一、ＡＩ的三次浪潮这一次的ＡＩ浪潮可以说是历史上的第三次。第一次是在五六十年代的时候随着人

道中奶爸·2023-06-15 05:10

大数据学习归纳

本文初衷是为了学习归纳，若有错误，请指出。修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作，干不同的事情。Hadoop：Hadoop是一个分布式存储和计算框架，具有高可靠,高扩展,高容错的特点（数据副本和集群）；由底层HDFS分布式文件系

猫腻余腥·2023-06-14 18:52

尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】

目录00【前言】01【大数据学习路线（快速版）】02【视频地址&资料下载】03【课程笔记】001-Linux002-Hadoop003-Zookeeper004【Scala】005【Spark】006【

upward337·2023-06-14 14:40

大数据学习经典线路图，大数据培训课程设置

大数据发展如火如荼，近年来，许多小伙伴都加入了大数据学习的大军，是自学还是参加专业的大数据培训，成了大家谈论的话题，但重点是，不管是自学大数据技术还是参加大数据培训，都要有一个好的学习方法和科学的大数据学习课程

彧11·2023-06-14 04:20

尚硅谷大数据项目【电商数仓5.0】学习笔记

尚硅谷大数据项目【电商数仓5.0】学习笔记大数据学习基础基础shell编程：大数据之基础shell集群快速安装教程：大数据集群快速安装教程注：如果您已经有大数据学习基础，可以通过上面教程快速搭建学习环境

yiluohan0307·2023-06-13 16:40

菜鸟窝大数据课程（免费试听）：Linux基础课程

大数据.png以下是大数据学习的基础入门内容：linux操作系统，免费试听可以联系助教Andy的微信：Ciaoniao168，免费领取本课程视频。

竞速的蜗牛·2023-06-13 16:51

大数据学习之双11来了，你的订单可能是机器人在处理

本文转载自科多大数据随着网络平台的普及，越来越多人选择网购，如今双十一，俨然成为“购物节”的代名词。目前距离双十一已不到一周的时间从统计数据来看，2009年是淘宝首届双十一，短短一天创造了5000万元的销售额；2010年的双十一销售额达到9.36亿元，同比增长1772%；2016年和2017年的双十一支付宝的成交额均在1000亿元以上，同比增速均超过30%，平均每秒的成交超过115万元。如果继续保

彧11·2023-06-12 08:07

【大数据学习番外篇之爬虫1】爬虫的介绍与基本使用

目录1.爬虫的介绍2.爬虫基本使用2.1爬取搜狗首页的页面数据2.2网页采集器1.爬虫的介绍前戏：1.你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源...2.你是否在节假日出行高峰的时候，想快速抢购火车票成功...3.你是否在网上购物的时候，想快速且精准的定位到口碑质量最好的商品...什么是爬虫：-通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的价值：-实

小杰911·2023-06-10 20:58

【大数据学习篇8】热门品类Top10分析

在HBase命令行工具中执行“list”命令，查看HBase数据库中的所有数据表。学习目标/Target掌握热门品类Top10分析实现思路掌握如何创建Spark连接并读取数据集掌握利用Spark获取业务数据掌握利用Spark统计品类的行为类型掌握利用Spark过滤品类的行为类型掌握利用Spark合并相同品类的行为类型掌握利用Spark根据品类的行为类型进行排序掌握将数据持久化到HBase数据库熟悉

小杰911·2023-06-09 20:27

什么是Hive？为什么要用Hive？

对于有一定基础的大数据学习者来讲，Hive是必须掌握的核心技术。本文主要带大家来认识一下Hive，了解什么是Hive？为什么要用Hive？

我想去吃ya·2023-06-09 19:04

【大数据学习篇14】centos6安装Mysql

目录1.centos6.5安装mysql5版本1.1以su超级用户，安装Mysql数据库1.2启动Mysql数据库1.3、安装Mysql客户端1.4进入Mysql1.5设置密码123456，展示所有数据库1.6进入数据库test1.7创建数据库表1.8重新输入密码123456，进入数据库2.数据的基本操作2.1查看数据库2.2创建数据库2.3进入数据库2.4创建表2.5写入表数据3.安装MYSQL

小杰911·2023-06-09 14:46

iOS面试题汇总(待整理)

学习网站：https://www.runoob.comiOS：www.cocoachina.com安卓是Activity苹果是Controller大数据学习，大数据的分析以及处理我们实例化的对象存储在堆区

志在交流·2023-06-07 20:42

【大数据学习篇6】 Spark操作统计分析数据操作

通过前面的文章安装好环境下面我们就可以开始来操作1.Spark操作[hd@master~]$spark-shellSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).2022-09-1423:13:12,403WARNuti

小杰911·2023-06-07 08:12

【大数据学习篇11】广告点击流实时统计

学习目标/Target掌握广告点击流实时统计实现思路掌握利用Kafka生产用户广告点击流数据了解数据库设计掌握如何创建SparkStreaming连接掌握利用SparkStreaming读取业务数据掌握利用Spark读取黑名单用户掌握利用SparkStreaming过滤黑名单用户掌握利用SparkStreaming统计每个城市不同广告的点击次数掌握利用SparkStreaming添加黑名单用户掌握

小杰911·2023-06-06 21:38

大数据技术之CM安装------2（含大数据学习教程）

大数据学习资料领取地址（免费）无套路第2章环境要求1.1内存分配将3台虚拟机分配好内存建议8G、4G、4G1.2本次安装需要的jar包#注意：必须是OracleJDK、不要使用OpenJDK1.jdk-

ItStar·2023-04-21 21:56

（2018干货系列七）最新大数据学习路线整合

怎么学大数据大数据指不用随机分析法这样捷径，而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发。Linux&&Hadoop生态体系Linux大纲1)Linux的介绍，Linux的安装：VMwareWorkstation虚拟软件安装过程、CentOS虚拟机安装过程2)了解机架服务器，采用真实机架服务器部署li

weixin_30457881·2023-04-21 10:04

大数据学习的各个阶段（详细篇）

摘要：第一阶段:Linux课程讲解Linux基础操作,讲的是在命令行下进行文件系统的操作,这是Hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容,保证零linux基础入门。如果你从没有使用过linux,别担心,本节内容可以让你入门。Linux认识linux如何使用vmware安装linux镜像认识linux的桌面环境、shell环境在she

大数据开发交流·2023-04-21 10:55

大数据学习之Hadoop环境搭建

一、Hadoop的优势1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。二、Hadoop组成1）H

栀子花_ef39·2023-04-19 20:28

大数据学习之Hbase shell的基本操作

HBase的命令行工具，最简单的接口，适合HBase管理使用，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，启动hadoop集群(利用hdfs存储)，启动zookeeper，使用start-hbase.sh命令开启hbase服务，最后在shell中执行hbaseshell就可以进入命令行界面Habseshell的help对语法的介绍很全,hbaseshell的操作分

·2023-04-18 22:51

(十五)大数据学习之Spark

Spark一.Spark生态圈：(1)SparkCore：RDD（弹性分布式数据集）(2)SparkSQL(3)SparkStreaming(4)SparkMLLib：协同过滤，ALS，逻辑回归等等-->机器学习(5)SparkGraphx：图计算二.什么是Spark1.Spark是什么：Spark是一个针对大规模数据处理的快速通用引擎。Spark是一种快速、通用、可扩展的大数据分析引擎，2009

Movle·2023-04-16 11:10

大数据学习路线图（2023完整版）适合收藏

大数据开发的前景还是有很多优势的，就业范围广、薪资待遇高、公司私立待遇好等等方面，现在有很多的小伙伴也想加入大数据开发的圈，但是苦于不知道怎么学习，也不知道用什么方法学习，针对这个问题，今天给各位小伙伴分享大数据学习路线图

千锋IT教育·2023-04-14 23:40

大数据学习笔记1.3 Linux用户操作

Linux用户操作一、用户账号管理1、用户与用户组文件2、用户账号管理工作二、用户操作1、切换用户（1）语法格式（2）切换到普通用户（3）切换到root用户（4）查看环境变量2、查看用户（1）查看全部用户（2）系统内置用户与新增用户（4）查看指定某个用户信息3、添加用户（1）语法格式（2）选项说明（3）注意事项（4）案例演示4、修改用户（1）语法格式（2）选项说明（3）案例演示5、删除用户（1）语

zl202111·2023-04-12 20:37

大数据需要哪些技术？

想要学好大数据需掌握以下技术：1.Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编

大数据学习01·2023-04-12 09:00

大数据学习完可以做什么

我想去吃ya·2023-04-12 01:55

python爬虫代码-python网络爬虫源代码（可直接抓取图片）

我们应该做好前期准备工作，找到要爬的网站，然后查看它的源代码我们这次爬豆瓣美女网站，网址为：用到的工具：pycharm,这是它的图标...博文来自：zhang740000的博客Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻

编程大乐趣·2023-04-11 20:27

大数据学习——Flume入门

文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）2.2.2、实时监控单个追加文件2.2.3、监控文件升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、Flume进阶3.1、Flume事务3.2、Agent内部原理3.3、拓扑结构3.3.1、

5akura·2023-04-11 19:21

10.大数据学习之旅——hive2

Hive解决数据倾斜问题概述什么是数据倾斜以及数据倾斜是怎么产生的？简单来说数据倾斜就是数据的key的分化严重不均，造成一部分数据很多，一部分数据很少的局面。举个wordcount的入门例子，它的map阶段就是形成（“aaa”,1）的形式，然后在reduce阶段进行value相加，得出“aaa”出现的次数。若进行wordcount的文本有100G，其中80G全部是“aaa”剩下20G是其余单词，那

零零天·2023-04-11 19:18

大数据：数字化转型利器

工欲善其事，必先利其器在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：95

数据工程师金牛·2023-04-08 18:47

[大数据学习之ClickHouse]04-ClickHouse表引擎之SummingMergeTree/ReplacingMergeTree

ReplacingMergeTreeReplacingMergeTree是MergeTree子集,是MergeTree的一个变种,与MergeTree几乎无差别,仅仅比MergeTree多了一个去重的功能需要注意的是:数据去重的时间是未知且无法把控的数据的去重是在合并过程中操作的数据的去重只能在分区内,无法跨分区ReplacingMergeTree无法保证数据完全没有重复举个例子:以创建时间为去重

阿月.·2023-04-08 17:04

大数据学习_交互式查询工具 Impala

目录1Impala概述(实时交互式查询工具)1.1Impala是什什么1.2Impala优势1.3Impala的缺点1.4适⽤用场景2Impala安装与入门案例2.1集群准备2.2安装Impala2.2.1集群规划2.2.2具体安装2.3Impala⼊⻔案例3Imapla的架构原理3.1Impala的组件3.2Impala的查询4Impala的使⽤4.1Impala-shell命令参数4.1.1i

Shawlizao·2023-04-08 07:22

大数据开发hive数据库常用命令汇总

在大数据学习当中，尤其是Hadoop生态的学习当中，Hive是必备的，也是相对门槛较低，比较好入手的一个组件。今天的大数据开发分享，和大家分享Hive的基础知识点。

爱开发V·2023-04-08 07:45

学大数据需要知道什么零基础能学大数据吗

Java是大数据学习需要的编程语言基础，因为大数据的开发基于常用的高级语

千锋郑州·2023-04-08 03:45

推荐频道

ML&DL-大数据学习