ML&DL-大数据学习第7页

【基于MapReduce实现用户基础数据统计】

CSDN话题挑战赛第2期参赛话题：大数据学习成长记录文章目录使用MapReduce实现用户基础数据统计基础数据业务分析点业务开发流程在Hive中创建hive表基于Java开发MR配置pom.xml文件开发

pblh123·2023-07-28 03:07

大数据学习之路-Hive

Hive1.Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据更新1.4.3执行延迟1.4.4数据规模2.Hive安装2.1Hive安装地址2.2MySql安装2.3Hive安装部署2.4Hive元数据配置到MySql2.4.1拷贝驱动2.4.2配置Metastore到MySql2.

Conviction of Star·2023-07-27 23:01

从安卓主管转型大数据开发，我经历了什么？

当然，我也不会让他们白忙活，我支付赞赏2的稿费(50起步)，所以欢迎大家多多赞赏~*人物介绍许则则(化名)，一位五年安卓经验的开发主管，从去年就在我大数据学习群里，看着我和其他群友慢慢转型大数据，所以于

程序员峰哥·2023-07-25 16:10

大数据学习04-Hbase分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5一、下载HBASE官网cd/home/toolswgethttps://archive.apache.org/dist/hbase/2.2.4/hbase-2.2.4-bin.tar.gz二、解压tar-zxvfhbase-2.2.4-bin.tar.gz-C/home/local/移动目录mvhb

小火柴012·2023-07-25 10:59

大数据学习路线

文章目录一，Hadoop二，MapReduce三，HDFS四，Hive一，Hadoop二，MapReduce三，HDFS四，HiveHive学习

Jucway·2023-07-25 09:47

2021-10-18大数据学习日志——数据埋点+网络爬虫——多任务和网络

课程介绍：数据埋点本质上就是进行数据采集。相对于爬虫的数据采集形式，数据埋点是对自身业务数据进行采集。要进行数据埋点就要了解我们的业务程序的开发流程，知道整个数据的传递过程，这样能更加明确数据分析的业务需求，有利于数据埋点的准确性。在这一阶段前半部部分，学习部分前端：HTML、CSS、JS、Jquery知识，后端：多任务、网络编程及Python高级语法。通过对前端和后端开发业务的了解，方便在数据埋

成长的小狮子·2023-07-25 04:46

大数据学习05-Kafka分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5本次实验使用版本kafka_2.12-3.0.0一、安装Kafka官网将安装包上传至linux服务器上解压tar-zxvfkafka_2.12-3.0.0.tgz-C/home/local/移动目录至kafkamvkafka_2.12-3.0.0/kafka二、部署配置Kafka环境vi/etc/p

小火柴012·2023-07-24 15:11

计算机小白大数据学习线路图

人们常说毕业三五年后就可以看出一个人的未来。工作三五年后有人月收入过万，开始在老家买房;有人零存款，继续每天租房的生活。不是后者不拼搏，只是入错了行而已。现在有一个行业“薪”机炸裂，可以迅速帮你“脱贫”，你会抓住这个机会吗?没错，我们说的就是大数据行业。首先，来看看大数据有多火吧。近几年，大数据不仅被纳入谷歌、阿里巴巴等互联网公司的战略规划中，同时也在我国和其他国家的政府报告中多次被提及，大数据无

千锋大数据·2023-07-19 10:54

大数据学习03-Hive分布式集群部部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5、hive1.1.0一、下载安装下载hive安装包，上传到linux服务器上，解压安装包tar-zxvfapache-hive-1.1.0-bin.tar.gz-C/home/local/重命名文件mvapache-hive-1.1.0-bin/hive二、Hive部署配置Hive环境vi/etc/

小火柴012·2023-07-19 10:03

大数据学习-外部表&内部表详解

外部表和内部表区别和实际运用：前提知识储备：1、hive存储的数据在hdfs上，建表的时候实际上是在hdfs上创建目录而已。2、hive的元数据信息实际上是存在于mysql中（通常的做法）3、访问hive的数据是先访问元数据再根据元数据的地址信息来获取数据外部表和内部表在建表上的区别就是external（代表的外部表），外部表存储的方式是固定的hdfs路径，表是通过映射的方式访问（load数据到表

ZhuangYQ丶·2023-07-18 22:06

Flink从入门到放弃(入门篇1)-Flink是什么

/God-Of-BigData/blob/master/Flink插个广告全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~公众号大数据技术与架构或者搜索import_bigdata关注，大数据学习路线最新更新

王知无(import_bigdata)·2023-07-18 20:17

大数据学习02-Hadoop分布式集群部署

操作系统：centos7软件环境：jdk8、hadoop-2.8.5一、创建虚拟机1.下载VMware,建议支持正版2.安装到Widows目录下任意位置即可，安装目录自定义。打开VMware，界面如下：3.创建虚拟机创建虚拟机—>选择自定义这一步按照默认的配置就好选择系统，安装程序光盘映像文件iso，这里需要下载cenos镜像文件给虚拟机命名，选择虚拟机安装位置处理器配置内存配置配置虚拟机网络连接

小火柴012·2023-07-18 14:19

全栈之路-前端篇 | 第三讲.基础前置知识【前端标准与研发工具】学习笔记

涉及企业运维、网络安全、应用开发、物联网、人工智能、大数据学习知识“花开堪折直须折，莫待无花空折枝。”

全栈工程师修炼指南·2023-07-18 13:10

大数据学习01-Zookeeper分布式集群部署

二、下载zookeeper官网，本文使用的是zookeeper3.4.8版本三、安装部署将下载好的安装包上传至linux服务器上解压安装包tar-zxvfzookeeper-3.4.8.tar.gz-C/home/localzookeeper目录重命名mvzookeeper-3.4.8zookeeper配置环境vim/etc/profile添加如下配置#zookeeperexportZOOKEEP

小火柴012·2023-07-18 12:01

黑马大数据学习笔记2-HDFS基本操作

目录进程启停管理一键启停脚本单进程启停文件系统操作命令HDFS文件系统基本信息介绍创建文件夹查看指定目录下内容上传文件到HDFS指定目录查看HDFS文件内容下载HDFS文件拷贝HDFS文件追加数据到HDFS文件HDFS数据移动HDFS数据删除其他命令HDFSWEB浏览HDFS权限修改权限https://www.bilibili.com/video/BV1WY4y197g7?p=26切换到hadoo

蓝净云·2023-07-18 09:31

全栈之路-前端篇 | 第二讲.基础前置知识【应用服务端与编程语言】学习笔记

涉及企业运维、网络安全、应用开发、物联网、人工智能、大数据学习知识“花开堪折直须折，莫待无花空折枝。”

全栈工程师修炼指南·2023-07-17 01:51

视频教程-Kafka原理、集群、监控企业实战-大数据

¥158.00立即订阅扫码下载「CSDN程序员学院APP」，1000+技术好课免费看APP订阅课程，领取优惠，最少立减5元↓↓↓订阅后：请点击此处观看视频课程视频教程-Kafka原理、集群、监控企业实战-大数据学习有效期

weixin_34609496·2023-07-16 02:21

大数据学习-hive（三：时间戳转换）

一：俩种时间戳1.十位时间戳十位时间戳代表的是到秒级别。例如：16442067091582.十三位时间戳十三位时间戳代表的是到毫秒级别。例如：1644206709二：时间戳相互转化1.十三位转为十位###selectcast(1644206709158/1000asbigint)froma2.时间戳格式转换2.1十三位转换为日期from_unixtime(cast(1644206709158/10

宇智波云·2023-07-15 16:19

黑马大数据学习笔记0-环境配置

目录设置VMware网络CentOS操作系统三台虚拟机系统配置：主机名、固定IP、SSH免密登录配置主机名映射配置SSH免密登录创建hadoop用户并配置免密登录JDK1.8环境部署防火墙、SELinux、时间同步设置快照视频p3-p5https://www.bilibili.com/video/BV1WY4y197g7?p=3设置VMware网络网段设置为192.168.88.0网关设置为192

蓝净云·2023-07-15 11:09

黑马大数据学习笔记2-HDFS环境部署

目录环境部署hadoop-3.3.4.tar.gz构建软链接配置workers文件夹配置hadoop-env.sh文件配置core-site.xml文件配置hdfs-site.xml文件准备数据目录分发Hadoop文件夹将Hadoop的一些脚本、程序配置到PATH中授权为hadoop用户格式化整个文件系统查看HDFSWEBUI保存快照https://www.bilibili.com/video/B

蓝净云·2023-07-15 11:59

大数据专业学习起来难么

学习难度要因人而异，不能一概而论，如果不确定自己能不能学会，可以找一些视频资源自己先学习下试试Python+大数据学习路线图详细介绍第一阶段大数据开发入门学前导读：从传统关系型数据库入手，掌握数据迁移工具

我想去吃ya·2023-07-14 07:34

1.5.5 HDFS读写解析-hadoop-最全最完整的保姆级的java大数据学习资料

文章目录1.5.5HDFS读写解析1.5.5.1HDFS读数据流程1.5.5.2HDFS写数据流程1.5.5HDFS读写解析1.5.5.1HDFS读数据流程客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。DataNode开始传

假装文艺范儿·2023-06-22 16:33

1.5.6 NN与2NN-hadoop-最全最完整的保姆级的java大数据学习资料

文章目录1.5.6NN与2NN1.5.6.1HDFS元数据管理机制1.5.6.2Fsimage与Edits文件解析1.5.6.2.1Fsimage文件内容1.5.6.2.2Edits文件内容1.5.6.3checkpoint周期1.5.6NN与2NN1.5.6.1HDFS元数据管理机制问题1：NameNode如何管理和存储元数据？计算机中存储数据两种：内存或者是磁盘元数据存储磁盘：存储磁盘无法面对

假装文艺范儿·2023-06-22 16:33

大数据学习笔记之爬虫系列（3）----selenium库的用法

selenium的安装win+R输入cmd打开命令行：pipinstallseleniumselenium的简介申明浏览器的对象fromseleniumimportwebdriverbrowser=webdriver.Chrome()browser=webdriver.firefox()browser=webdriver.Android()browser=webdriver.Edge()对应的浏览

SofiyaJ·2023-06-18 04:40

大数据学习之Hadoop——07MapReduce相关练习01(wordCount + topN)

欢迎关注我的CSDN:https://blog.csdn.net/bingque65351.编写WordCountDriver端packagecom.hjf.mr.wordcount;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.

Jiang锋时刻·2023-06-17 04:30

大数据学习记录（hadoop hive flume azkaban sqoop）

大数据学习记录（hadoophiveflumeazkabansqoop）1.hadoop对海量数据进行分布式处理2.核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE

左上晨·2023-06-16 10:58

真正的人工智能远非大数据学习

图片发自App由于所从事行业的原因，几年来一直关注AI项目的落地和发展。这两年AI项目可谓热到烫手，可是到行业应用中就会发现离理想还太远。除了较为成熟的人脸识别、语音交互外几乎都无法实用。从去年开始就听到许多业内人士在喊AI寒冬即将来临，这或许并非杞人忧天。这是方向问题？技术问题？还是什么更深层的本质问题呢？一、ＡＩ的三次浪潮这一次的ＡＩ浪潮可以说是历史上的第三次。第一次是在五六十年代的时候随着人

道中奶爸·2023-06-15 05:10

大数据学习归纳

本文初衷是为了学习归纳，若有错误，请指出。修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作，干不同的事情。Hadoop：Hadoop是一个分布式存储和计算框架，具有高可靠,高扩展,高容错的特点（数据副本和集群）；由底层HDFS分布式文件系

猫腻余腥·2023-06-14 18:52

尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】

目录00【前言】01【大数据学习路线（快速版）】02【视频地址&资料下载】03【课程笔记】001-Linux002-Hadoop003-Zookeeper004【Scala】005【Spark】006【

upward337·2023-06-14 14:40

大数据学习经典线路图，大数据培训课程设置

大数据发展如火如荼，近年来，许多小伙伴都加入了大数据学习的大军，是自学还是参加专业的大数据培训，成了大家谈论的话题，但重点是，不管是自学大数据技术还是参加大数据培训，都要有一个好的学习方法和科学的大数据学习课程

彧11·2023-06-14 04:20

尚硅谷大数据项目【电商数仓5.0】学习笔记

尚硅谷大数据项目【电商数仓5.0】学习笔记大数据学习基础基础shell编程：大数据之基础shell集群快速安装教程：大数据集群快速安装教程注：如果您已经有大数据学习基础，可以通过上面教程快速搭建学习环境

yiluohan0307·2023-06-13 16:40

菜鸟窝大数据课程（免费试听）：Linux基础课程

大数据.png以下是大数据学习的基础入门内容：linux操作系统，免费试听可以联系助教Andy的微信：Ciaoniao168，免费领取本课程视频。

竞速的蜗牛·2023-06-13 16:51

大数据学习之双11来了，你的订单可能是机器人在处理

本文转载自科多大数据随着网络平台的普及，越来越多人选择网购，如今双十一，俨然成为“购物节”的代名词。目前距离双十一已不到一周的时间从统计数据来看，2009年是淘宝首届双十一，短短一天创造了5000万元的销售额；2010年的双十一销售额达到9.36亿元，同比增长1772%；2016年和2017年的双十一支付宝的成交额均在1000亿元以上，同比增速均超过30%，平均每秒的成交超过115万元。如果继续保

彧11·2023-06-12 08:07

【大数据学习番外篇之爬虫1】爬虫的介绍与基本使用

目录1.爬虫的介绍2.爬虫基本使用2.1爬取搜狗首页的页面数据2.2网页采集器1.爬虫的介绍前戏：1.你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源...2.你是否在节假日出行高峰的时候，想快速抢购火车票成功...3.你是否在网上购物的时候，想快速且精准的定位到口碑质量最好的商品...什么是爬虫：-通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的价值：-实

小杰911·2023-06-10 20:58

【大数据学习篇8】热门品类Top10分析

在HBase命令行工具中执行“list”命令，查看HBase数据库中的所有数据表。学习目标/Target掌握热门品类Top10分析实现思路掌握如何创建Spark连接并读取数据集掌握利用Spark获取业务数据掌握利用Spark统计品类的行为类型掌握利用Spark过滤品类的行为类型掌握利用Spark合并相同品类的行为类型掌握利用Spark根据品类的行为类型进行排序掌握将数据持久化到HBase数据库熟悉

小杰911·2023-06-09 20:27

什么是Hive？为什么要用Hive？

对于有一定基础的大数据学习者来讲，Hive是必须掌握的核心技术。本文主要带大家来认识一下Hive，了解什么是Hive？为什么要用Hive？

我想去吃ya·2023-06-09 19:04

【大数据学习篇14】centos6安装Mysql

目录1.centos6.5安装mysql5版本1.1以su超级用户，安装Mysql数据库1.2启动Mysql数据库1.3、安装Mysql客户端1.4进入Mysql1.5设置密码123456，展示所有数据库1.6进入数据库test1.7创建数据库表1.8重新输入密码123456，进入数据库2.数据的基本操作2.1查看数据库2.2创建数据库2.3进入数据库2.4创建表2.5写入表数据3.安装MYSQL

小杰911·2023-06-09 14:46

iOS面试题汇总(待整理)

学习网站：https://www.runoob.comiOS：www.cocoachina.com安卓是Activity苹果是Controller大数据学习，大数据的分析以及处理我们实例化的对象存储在堆区

志在交流·2023-06-07 20:42

【大数据学习篇6】 Spark操作统计分析数据操作

通过前面的文章安装好环境下面我们就可以开始来操作1.Spark操作[hd@master~]$spark-shellSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).2022-09-1423:13:12,403WARNuti

小杰911·2023-06-07 08:12

【大数据学习篇11】广告点击流实时统计

学习目标/Target掌握广告点击流实时统计实现思路掌握利用Kafka生产用户广告点击流数据了解数据库设计掌握如何创建SparkStreaming连接掌握利用SparkStreaming读取业务数据掌握利用Spark读取黑名单用户掌握利用SparkStreaming过滤黑名单用户掌握利用SparkStreaming统计每个城市不同广告的点击次数掌握利用SparkStreaming添加黑名单用户掌握

小杰911·2023-06-06 21:38

大数据技术之CM安装------2（含大数据学习教程）

大数据学习资料领取地址（免费）无套路第2章环境要求1.1内存分配将3台虚拟机分配好内存建议8G、4G、4G1.2本次安装需要的jar包#注意：必须是OracleJDK、不要使用OpenJDK1.jdk-

ItStar·2023-04-21 21:56

（2018干货系列七）最新大数据学习路线整合

怎么学大数据大数据指不用随机分析法这样捷径，而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发。Linux&&Hadoop生态体系Linux大纲1)Linux的介绍，Linux的安装：VMwareWorkstation虚拟软件安装过程、CentOS虚拟机安装过程2)了解机架服务器，采用真实机架服务器部署li

weixin_30457881·2023-04-21 10:04

大数据学习的各个阶段（详细篇）

摘要：第一阶段:Linux课程讲解Linux基础操作,讲的是在命令行下进行文件系统的操作,这是Hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容,保证零linux基础入门。如果你从没有使用过linux,别担心,本节内容可以让你入门。Linux认识linux如何使用vmware安装linux镜像认识linux的桌面环境、shell环境在she

大数据开发交流·2023-04-21 10:55

大数据学习之Hadoop环境搭建

一、Hadoop的优势1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。二、Hadoop组成1）H

栀子花_ef39·2023-04-19 20:28

大数据学习之Hbase shell的基本操作

HBase的命令行工具，最简单的接口，适合HBase管理使用，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，启动hadoop集群(利用hdfs存储)，启动zookeeper，使用start-hbase.sh命令开启hbase服务，最后在shell中执行hbaseshell就可以进入命令行界面Habseshell的help对语法的介绍很全,hbaseshell的操作分

·2023-04-18 22:51

(十五)大数据学习之Spark

Spark一.Spark生态圈：(1)SparkCore：RDD（弹性分布式数据集）(2)SparkSQL(3)SparkStreaming(4)SparkMLLib：协同过滤，ALS，逻辑回归等等-->机器学习(5)SparkGraphx：图计算二.什么是Spark1.Spark是什么：Spark是一个针对大规模数据处理的快速通用引擎。Spark是一种快速、通用、可扩展的大数据分析引擎，2009

Movle·2023-04-16 11:10

大数据学习路线图（2023完整版）适合收藏

大数据开发的前景还是有很多优势的，就业范围广、薪资待遇高、公司私立待遇好等等方面，现在有很多的小伙伴也想加入大数据开发的圈，但是苦于不知道怎么学习，也不知道用什么方法学习，针对这个问题，今天给各位小伙伴分享大数据学习路线图

千锋IT教育·2023-04-14 23:40

大数据学习笔记1.3 Linux用户操作

Linux用户操作一、用户账号管理1、用户与用户组文件2、用户账号管理工作二、用户操作1、切换用户（1）语法格式（2）切换到普通用户（3）切换到root用户（4）查看环境变量2、查看用户（1）查看全部用户（2）系统内置用户与新增用户（4）查看指定某个用户信息3、添加用户（1）语法格式（2）选项说明（3）注意事项（4）案例演示4、修改用户（1）语法格式（2）选项说明（3）案例演示5、删除用户（1）语

zl202111·2023-04-12 20:37

大数据需要哪些技术？

想要学好大数据需掌握以下技术：1.Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编

大数据学习01·2023-04-12 09:00

大数据学习完可以做什么

我想去吃ya·2023-04-12 01:55

推荐频道

ML&DL-大数据学习