Hadoop大数据学习

大数据技术之Hive

文章目录大数据之Hive学习第1章Hive入门1.1什么是Hive1）Hive简介2）Hive本质1.2Hive架构原理1）用户接口：Client2）元数据：Metastore3）驱动器：Driver4）Hadoop
夜玫瑰·2023-11-13 21:05

07-hive--高级部分1

2、MapReduce：Hadoop抛弃了Java的序列化方式，自己创建了一套序列化，implementsWritable，原因：Java序列化出来的文件太大了，包含了太多信息。
YuPangZa·2023-11-13 21:35

Hive建表语法和参数记录

Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据映射到HDFS存储（建表对应在HDFS建了一个文件夹），并提供类SQL查询语言-HiveQL，Hive可以将HQL语句转换为MR任务执行。
Forge_ahead·2023-11-13 20:11

vmware 修改主机名称 hadoop 服务器环境配置(一)

追加映射关系：#关系ip地址名称192.168.164.20hadoop202.保存后，重启reboot即可
不努力就种地~·2023-11-13 16:45

hadoop 虚拟机配置大数据环境 hadoop（二）

1.安装epel-release注:ExtraPackagesforEnterpriseLinux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和ScientificLiux。相当于是一个软件仓库，大多数rpm包在官方repository中是找不到的)命令：yuminstall-yepel-release2.更新yum源yumupdate3.安装ifconfig命令：yum
不努力就种地~·2023-11-13 16:38

大数据开发学习脑图+学习路线清晰的告诉你！月薪30K很轻松

想学习好大数据可以加我vx号（VIP452141）有视频资源分享一起学习第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,sol
juan777·2023-11-13 15:28

windows下安装hadoop3.1.3(详细)

windows下安装hadoop3.1.3(详细)最近公司有个采集日志到oss的任务，需要用到hdfs的环境做个透传，因为我们的要采集的日志分布在好几十个单独的服务器其中有linux，又有windows
潘小磊·2023-11-13 14:01

hive里因为列名用了关键字导致建表失败

4cannotrecognizeinputnear'percent''String''COMMENT'incolumnnameorprimarykeyorforeignkey23/11/1311:52:57ERRORorg.apache.hadoop.hive.ql.Driver
五月天的小迷弟·2023-11-13 13:20

【大数据之Hive】

一、Hive基本概念Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
JMFFFFF·2023-11-13 12:37

大数据笔记29—Hadoop基础篇12(Hive特殊使用与函数)

Hive特殊使用与函数知识点01：Hive回顾知识点02：本篇目标知识点03：Hive表结构：普通表结构知识点04：Hive表结构：分区表设计知识点05：Hive表结构：分区表实现知识点06：Hive表结构：分桶表设计及实现知识点07：Hive中的Join：Join逻辑知识点08：Hive中的Join：Join实现知识点09：Select语法：orderby与sortby知识点10：Select语
了不起的我阿·2023-11-13 12:05

【数据仓库-Hive】笔记（未完）

文章目录PART1数据仓库-PART2Hive的基本概念一.Hive简介二.Hive架构三.Hive与Hadoop的关系四.Hive与传统数据库对比五.Hive的安装六.Hive的交互方式PART3Hive
Mercy92·2023-11-13 08:45

实验5 MapReduce初级编程实践（Python实现）

二、实验平台操作系统：Ubuntu18.04（或Ubuntu16.04）Hadoop版本：3.2.2三、实验内容和要求1.编程实现文件合并和去重操作问题如下：对于两个输入文件，即文件A和文件B，请编写MapReduce
Z.Q.Feng·2023-11-13 03:52

大数据实践（四）MapReduce编程实践（Ubuntu)

大数据实验（四）MapReduce编程实践（Ubuntu)前置工具及环境Ubuntu16.4VirtualBoxHadoop2.7.3jdk1.8一、MapReduce简介MapReduce是Hadoop
cgl_dong·2023-11-13 03:22

实验三：MapReduce初级编程实践

二、实验平台操作系统：KubuntuHadoop版本：3.2.2三、实验步骤(一)编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容
余诚诚诚诚·2023-11-13 03:51

《大数据系统与编程》MapReduce程序实现词频统计实验报告

MapReduce程序实现词频统计实验目的1）理解Hadoop中MapReduce模块的处理逻辑；2）熟悉MapReduce编程；实验平台操作系统：Linux工具：Eclipse或者IntellijIdea
学习使我哈皮！·2023-11-13 03:51

【大数据实验五】 MapReduce初级编程实践

2实验平台已经配置完成的Hadoop伪分布式环境。
almostspring·2023-11-13 03:50

实验5MapReduce初级编程实践

2.实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）（2）Hadoop版本：3.1.33.实验步骤（一）编程实现文件合并和去重操作对于两个输入文件，即文件A和文件
小李今天工地加班·2023-11-13 03:48

大数据技术与原理实验报告（MapReduce 初级编程实践）

MapReduce初级编程实践验环境：操作系统：Linux（建议Ubuntu16.04）；Hadoop版本：3.2.2；（一）编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce
麦与陌生人·2023-11-13 03:18

2023.11.13 hive数据仓库之分区表与分桶表操作,与复杂类型的运用

目录0.hadoophive的文档1.一级分区表2.一级分区表练习23.创建多级分区表4.分区表操作5.分桶表6.分桶表进行排序7.分桶的原理8.hive的复杂类型9.array类型:又叫数组类型,存储同类型的单数据的集合
白白的wj·2023-11-13 02:01

Flink部署--入门

Flink安装部署standalone模式在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压[root@node01Flink
hykDatabases·2023-11-12 22:32

Hadoop集群搭建（完全分布式版本）

一、准备工作三台虚拟机：master、node1、node2时间同步ntpdatentp.aliyun.com调整时区cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtimejdk1.8（三台都要配置）java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名关闭防火墙：systemctlstopfirewal
大数据CV工程师·2023-11-12 21:28

hive和spark-sql中 日期和时间相关函数 测试对比

测试版本：hive2.3.4spark3.1.1hadoop2.7.71、增加月份add_months(timestampdate,intmonths)add_months(timestampdate,
Data_IT_Farmer·2023-11-12 21:26

hadoop完全分布式集群搭建（超详细）-大数据集群搭建

hadoop完全分布式集群搭建本次搭建完全分布式集群用到的环境有：jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com
beixi@·2023-11-12 21:56

搭建完全分布式Hadoop

文章目录一、Hadoop集群规划二、在主节点上配置Hadoop（一）登录虚拟机（二）设置主机名（三）主机名与IP地址映射（四）关闭与禁用防火墙（五）配置免密登录（六）配置JDK（七）配置Hadoop1、
howard2005·2023-11-12 21:55

mysql8安装和驱动jar包下载

方式一：基于docker安装下拉镜像dockerpullmysql:8.0.21启动镜像dockerrun-p3307:3306--namemysql-eMYSQL_ROOT_PASSWORD=hadoop-dmysql
潇潇说测试·2023-11-12 20:30

Cannot initialize Cluster. Please check your configuration for mapreduce.framework .name and the cor

环境采用ambari2.7.1+spark2.3.1+hadoop3.1.1+hive3.1
汐朔·2023-11-12 16:47

hbase查询性对比 mysql_查询MYSQL和查询HBASE速度比较

我的实验效果，没有到1W，还在优化中…环境：有3台虚拟机，运行Hadoop集群；3台虚拟机也在跑HBase：mas
weixin_39761573·2023-11-12 14:20

资源list：Github上关于大数据的开源项目、论文等合集

AwesomeBigDataAcuratedlistofawesomebigdataframeworks,resourcesandotherawesomeness.Inspiredbyawesome-php,awesome-python,awesome-ruby,hadoopecosystemtable
weixin_33946020·2023-11-12 12:16

【大数据分布并行处理】单元测试（二）

A.MapReduceB.GraphXC.HiveD.Streams正确答案：B每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.MapReduceB.StormC.GraphXD.Dremel正确答案：D以下对Hadoop
Want595·2023-11-12 10:37

Spark 简介

Spark是基于内存计算的大数据并行计算框架1.1Spark的特点快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。
Six Gods·2023-11-12 10:47

redis6笔记

Tomcat、HTML、Linux、JDBC、SVN.2、解决扩展性的问题：struts、Spring、SpringMVC、Hibernate、Mybatis3、解决性能的问题：NoSQL、Java线程、Hadoop
HANG_WORLD·2023-11-12 07:18

从Hadoop到对象存储，抛弃Hadoop，数据湖才能重获新生？

Hadoop与数据湖的关系1、Hadoop时代的落幕2、Databricks和Snowflake做对了什么3、Hadoop与对象存储（OSD）4、Databricks与Snowflake为什么选择对象存储
对许·2023-11-12 05:15

Redis快速入门

，nosql中存储的数据都是KV形式NoSQL的世界中没有一种通用的语言，每种nosql数据库都有自己的api和语法，以及擅长的业务场景NoSQL中的产品种类相当多：MongodbRedisHbasehadoopCassandrahadoopn
weixin_33885676·2023-11-12 04:35

hadoop环境配置过程中可能遇到问题的解决方案

一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包，重新配置。
Hunter_first·2023-11-12 04:53

CDH6.3.1安装指南

CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。
H.20·2023-11-12 03:27

Java大数据学习第八天----继承 重写 final 静态static 多态

继承中变量的使用父类成员变量和子类成员变量重名时,使用super.变量名指定父类的成员变量继承中构造方法的使用创建子类对象时会先调用父类的无参构造因为子类的构造函数中默认存在一个super();如果父类没有无参构造的话,我们需要手动指定子类去调用父类的含参构造super(参数);构造方法不可以被继承,原因是构造方法必须是本类类名,不可能在子类中存在一个父类类名的构造方法方法的重写重写:子类对父类的
打字超慢·2023-11-12 03:47

hive insert overwrite directory 报错

报错：2017-06-07T16:56:11,766ERROR[main]:exec.Task(:())-FailedwithexceptionUnabletomovesourcehdfs://testhadoop
12345677654321000000·2023-11-12 03:09

wsl [Ubuntu20.04.6] 安装 Hadoop

文章目录1.安装WSL2.安装Java安装Hadoop3.3配置文件1.修改hadoop-env.sh2.修改core-site.xml3.修改hdfs-site.xmlssh启动1.安装WSL重启电脑管理员打开
言之。·2023-11-12 03:37

hive insert overwrite仅仅覆盖生成的文件，并不会覆盖目录

介绍hadoopfs-ls/mytest/warehouse/mytable/Found4items-rwxrwxrwx3myvmusers11632016-11-2403:11/mytest/warehouse
fengfengzai0101·2023-11-12 03:37

23年hadoop单机版+hive

文章目录说明分享环境信息安装jdkhadoop配置core-site.xmlmysqlhive安装配置hive-site.xml配置hive-env初始化mysql数据库启动验证hive命令hiveserver2
羽落风起·2023-11-12 01:36

hadoop集群优化(三)：开启日志汇聚服务

文章目录说明分享操作修改配置分发重启集群hadoop自身脚本自定义脚本总结说明hadoop平台有大量组件，上线后yarn执行全平台任务，各任务日志分散在集群各节点，为了高效追踪任务执行状态，确认异常时问题
羽落风起·2023-11-12 01:36

hadoop集群优化(四)：开启历史任务服务器

文章目录说明分享操作修改配置同步配置启动历史服务器查看jobHistory总结说明hadoop支持历史服务器功能，默认关闭，开启后，通过web可查看完成运行的MapReduce做的的信息记录，如Map和
羽落风起·2023-11-12 01:36

大数据博文列表

文章目录说明分享大数据简述搭建hadoop平台单机版集群版安装优化组件hadoophdfsyarnflinkHbaseElasticsearchkafkasparkhiveoozie其他vmwaredocker
羽落风起·2023-11-12 01:05

Hadoop架构、Hive相关知识点及Hive执行流程

Hadoop架构Hadoop由三大部分组成:HDFS、MapReduce、yarnHDFS：负责数据的存储其中包括：namenode：主节点，用来分配任务给从节点secondarynamenode：副节点
LKL1026·2023-11-12 00:09

Spark Streaming发布到Yarn

YARN的设计目标是解决HadoopMapReduce在处理大规模数据处理时面临的问题，例如扩展性、灵活性、容错性和性能优化。
cong_han·2023-11-11 23:50

【云栖2023】王峰：开源大数据平台3.0技术解读

早在2009年，我们就开始采用开源Hadoop技术体系来服务阿里内部快速发展的电商业务。在阿里巴巴内部这套Hadoop技术体系，当
阿里云大数据AI技术·2023-11-11 20:26

Hadoop入门——数据分析基本步骤

文章目录1.概述2.分析步骤2.1第一步明确分析目的和思路2.2第二步数据收集2.3第三步数据处理2.4第四步数据分析2.5第五步数据展现2.6第六步报告撰写3.总结1.概述2.分析步骤2.1第一步明确分析目的和思路2.2第二步数据收集2.3第三步数据处理2.4第四步数据分析2.5第五步数据展现2.6第六步报告撰写3.总结
包小志·2023-11-11 20:03

Hadoop入门——企业数据分析的方向

1.课程大纲2.什么是数据3.企业数据分析的方向3.1.离线分析3.2.现状分析3.3.机器学习
包小志·2023-11-11 20:33

spark python_python spark环境配置

放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。
weixin_39979948·2023-11-11 20:17

PySpark实战（二）——Spark环境配置

#下载spark安装包cd/export/softwarewgethttps://dlcdn.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
狻猊来当程序媛·2023-11-11 20:15
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他