hadoop学习积累

hbase查询性对比 mysql_查询MYSQL和查询HBASE速度比较

我的实验效果，没有到1W，还在优化中…环境：有3台虚拟机，运行Hadoop集群；3台虚拟机也在跑HBase：mas
weixin_39761573·2023-11-12 14:20

资源list：Github上关于大数据的开源项目、论文等合集

AwesomeBigDataAcuratedlistofawesomebigdataframeworks,resourcesandotherawesomeness.Inspiredbyawesome-php,awesome-python,awesome-ruby,hadoopecosystemtable
weixin_33946020·2023-11-12 12:16

【大数据分布并行处理】单元测试（二）

A.MapReduceB.GraphXC.HiveD.Streams正确答案：B每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.MapReduceB.StormC.GraphXD.Dremel正确答案：D以下对Hadoop
Want595·2023-11-12 10:37

Spark 简介

Spark是基于内存计算的大数据并行计算框架1.1Spark的特点快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。
Six Gods·2023-11-12 10:47

redis6笔记

Tomcat、HTML、Linux、JDBC、SVN.2、解决扩展性的问题：struts、Spring、SpringMVC、Hibernate、Mybatis3、解决性能的问题：NoSQL、Java线程、Hadoop
HANG_WORLD·2023-11-12 07:18

从Hadoop到对象存储，抛弃Hadoop，数据湖才能重获新生？

Hadoop与数据湖的关系1、Hadoop时代的落幕2、Databricks和Snowflake做对了什么3、Hadoop与对象存储（OSD）4、Databricks与Snowflake为什么选择对象存储
对许·2023-11-12 05:15

Redis快速入门

，nosql中存储的数据都是KV形式NoSQL的世界中没有一种通用的语言，每种nosql数据库都有自己的api和语法，以及擅长的业务场景NoSQL中的产品种类相当多：MongodbRedisHbasehadoopCassandrahadoopn
weixin_33885676·2023-11-12 04:35

hadoop环境配置过程中可能遇到问题的解决方案

一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包，重新配置。
Hunter_first·2023-11-12 04:53

CDH6.3.1安装指南

CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。
H.20·2023-11-12 03:27

hive insert overwrite directory 报错

报错：2017-06-07T16:56:11,766ERROR[main]:exec.Task(:())-FailedwithexceptionUnabletomovesourcehdfs://testhadoop
12345677654321000000·2023-11-12 03:09

wsl [Ubuntu20.04.6] 安装 Hadoop

文章目录1.安装WSL2.安装Java安装Hadoop3.3配置文件1.修改hadoop-env.sh2.修改core-site.xml3.修改hdfs-site.xmlssh启动1.安装WSL重启电脑管理员打开
言之。·2023-11-12 03:37

hive insert overwrite仅仅覆盖生成的文件，并不会覆盖目录

介绍hadoopfs-ls/mytest/warehouse/mytable/Found4items-rwxrwxrwx3myvmusers11632016-11-2403:11/mytest/warehouse
fengfengzai0101·2023-11-12 03:37

23年hadoop单机版+hive

文章目录说明分享环境信息安装jdkhadoop配置core-site.xmlmysqlhive安装配置hive-site.xml配置hive-env初始化mysql数据库启动验证hive命令hiveserver2
羽落风起·2023-11-12 01:36

hadoop集群优化(三)：开启日志汇聚服务

文章目录说明分享操作修改配置分发重启集群hadoop自身脚本自定义脚本总结说明hadoop平台有大量组件，上线后yarn执行全平台任务，各任务日志分散在集群各节点，为了高效追踪任务执行状态，确认异常时问题
羽落风起·2023-11-12 01:36

hadoop集群优化(四)：开启历史任务服务器

文章目录说明分享操作修改配置同步配置启动历史服务器查看jobHistory总结说明hadoop支持历史服务器功能，默认关闭，开启后，通过web可查看完成运行的MapReduce做的的信息记录，如Map和
羽落风起·2023-11-12 01:36

大数据博文列表

文章目录说明分享大数据简述搭建hadoop平台单机版集群版安装优化组件hadoophdfsyarnflinkHbaseElasticsearchkafkasparkhiveoozie其他vmwaredocker
羽落风起·2023-11-12 01:05

Hadoop架构、Hive相关知识点及Hive执行流程

Hadoop架构Hadoop由三大部分组成:HDFS、MapReduce、yarnHDFS：负责数据的存储其中包括：namenode：主节点，用来分配任务给从节点secondarynamenode：副节点
LKL1026·2023-11-12 00:09

Spark Streaming发布到Yarn

YARN的设计目标是解决HadoopMapReduce在处理大规模数据处理时面临的问题，例如扩展性、灵活性、容错性和性能优化。
cong_han·2023-11-11 23:50

【云栖2023】王峰：开源大数据平台3.0技术解读

早在2009年，我们就开始采用开源Hadoop技术体系来服务阿里内部快速发展的电商业务。在阿里巴巴内部这套Hadoop技术体系，当
阿里云大数据AI技术·2023-11-11 20:26

Hadoop入门——数据分析基本步骤

文章目录1.概述2.分析步骤2.1第一步明确分析目的和思路2.2第二步数据收集2.3第三步数据处理2.4第四步数据分析2.5第五步数据展现2.6第六步报告撰写3.总结1.概述2.分析步骤2.1第一步明确分析目的和思路2.2第二步数据收集2.3第三步数据处理2.4第四步数据分析2.5第五步数据展现2.6第六步报告撰写3.总结
包小志·2023-11-11 20:03

Hadoop入门——企业数据分析的方向

1.课程大纲2.什么是数据3.企业数据分析的方向3.1.离线分析3.2.现状分析3.3.机器学习
包小志·2023-11-11 20:33

spark python_python spark环境配置

放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。
weixin_39979948·2023-11-11 20:17

PySpark实战（二）——Spark环境配置

#下载spark安装包cd/export/softwarewgethttps://dlcdn.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
狻猊来当程序媛·2023-11-11 20:15

Pyspark,Python下安装Spark，无需安装Hadoop

又是装环境斗志斗勇的一天，苦笑之前一直不想搭虚拟机/Hadoop/spark这些环境，后来python三千万行数据实在跑不动了，知道有pyspark这等好东西，以为condainstallpyspark
Lemon_ZL·2023-11-11 20:40

PySpark环境配置

（1）linux下载spark的命令：wgethttps://dlcdn.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz（2
Maxi_0902·2023-11-11 20:40

如何在虚拟机上安装和配置Spark开发环境

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduc
Deng872347348·2023-11-11 19:39

python—spark本地安装及环境变量配置

Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架
Sun_shine99·2023-11-11 19:38

阿里云大数据利器Maxcompute学习之-假如你使用过hive

如果您是一个大数据开发工程师并且使用过hadoop的hive框架，那么恭喜您，阿里云的大数据计算服务-Maxcompute，您已经会了90%。
weixin_34221276·2023-11-11 19:28

大数据毕业设计选题推荐-生产大数据平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着工业化进程的加
IT毕设梦工厂·2023-11-11 18:15

vulhub之 Hadoop-yarn-未授权访问漏洞复现

0x01漏洞简述Hadoop是一个由Apache基金会所开发的分布式系统基础架构，由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据
冰羽呐·2023-11-11 17:28

hadoop、jboss未授权访问漏洞复现与未授权访问漏洞学习（内含服务器与中间件的区别）

hadoop:Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop默认开放了很多端口来提供WebUI服务，由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口
不想当脚本小子的脚本小子·2023-11-11 17:28

数据库漏洞(未授权访问+RCE)-Mysql+Hadoop

什么是服务？在服务器操作系统安装的时候，会装了比较多的服务。如我们在安装使用mysq数据库时，默认情况下就会开启mysql服务和服务默认端口3306。这些服务就可能产生漏洞。服务漏洞测试流程：案例演示：Mysql-未授权访问-CVE-2012-2122利用受影响版本：MariaDBversionsfrom5.1.62,5.2.12,5.3.6,5.5.23arenot.MySQLversionsf
xiaoheizi安全·2023-11-11 17:23

Hadoop 漏洞复现

一、漏洞描述Hadoop作为一个分布式计算应用程序框架，种类功能繁多，各种组件安全问题会带来很大的攻击面。
MrHatSec·2023-11-11 17:21

数据库安全：Hadoop 未授权访问-命令执行漏洞.

数据库安全：Hadoop未授权访问-命令执行漏洞.Hadoop未授权访问主要是因为HadoopYARN资源管理系统配置不当，导致可以未经授权进行访问，从而被攻击者恶意利用。
半个西瓜.·2023-11-11 17:20

core-site.xml,yarn-site.xml,hdfs-site.xml,mapred-site.xml配置

core-site.xmlfs.defaultFShdfs://node02:9820hadoop.tmp.dir/opt/module/hadoop-3.3.3/datayarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnamenode03yarn.nodemanager.env
芝士小熊饼干·2023-11-11 15:47

如何使用docker搭建Hadoop集群

一.环境：1.Ubuntu202.Hadoop3.1.43.Jdk1.8_301二.具体步骤拉取最新版本ubuntu镜像利用挂载将jdk,hadoop等安装包通过xftp或者使用命令行scp命令传到挂载目录
码猿小菜鸡·2023-11-11 13:20

超详细的基于docker搭建hadoop集群

环境：Ubuntu20Hadoop3.1.4Jdk1.8_301搭建主要步骤拉取最新版本ubuntu镜像利用挂载将jdk,hadoop等安装包通过xftp或者使用命令行scp命令传到挂载目录。
孤独之风。·2023-11-11 13:19

大数据1.9使用Java API操作HDFS

了解HDFSJavaAPIHadoop文件系统API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/
YYl543·2023-11-11 11:23

【Hadoop---06】Java操作HDFS的API

文件移动和重命名(6）类似ls命令获取目录信息(7）只获取目录中的文件3.修改配置项3.1方式一：使用配置文件配置3.2方式二：使用java代码配置3.3关于配置的优先级说明1.编写Demo客户端安装hadoop
ElegantCodingWH·2023-11-11 11:51

使用Hadoop 的 Java API 操纵 HDFS 文件系统

0x00:说明使用Java操作HDFS文件系统可以使用其对应的JavaAPI，即对应三个jar依赖包：hadoop-common.jar(该文件在hadoop-2.10.1.tar.gz压缩包中的\share
天析·2023-11-11 11:20

利用Hadoop API使用Java开发程序学习-HDFS上传下载文件

CSDN话题挑战赛第2期参赛话题：大数据学习成长记录参考：利用HadoopAPI使用Java开发程序学习-文件夹操作前言/背景提示：Hadoop学习时，通常大家使用的都是shell命令操作hdfs系统，
pblh123·2023-11-11 11:49

大数据-使用Java API操作HDFS

一、编写Java程序访问HDFS1、创建Maven项目创建Maven项目-HDFSDemo2、添加相关依赖在pom.xml文件里添加hadoop和junit依赖org.apache.hadoophadoop-client3.3.4junitjunit4.13.23
没123456·2023-11-11 11:48

大数据学习：使用Java API操作HDFS

将数据直接写入HDFS文件2、将本地文件写入HDFS文件六、读取HDFS文件1、读取HDFS文件直接在控制台显示2、读取HDFS文件，保存为本地文件一、创建Maven项目二、添加依赖在pom.xml文件里添加hadoop
X_Serendipity·2023-11-11 11:15

使用java API 操作HDFS

由于Hadoop是使用Java语言编写的，因此可以使用JavaAPI操作Hadoop文件系统。
慕雪、·2023-11-11 11:14

Hadoop学习总结（使用Java API操作HDFS）

由于Hadoop是使用Java语言编写的，因此可以使用JavaAPI操作Hadoop文件系统。
Qinqin.J·2023-11-11 11:11

CSDN超级实习生 | 寒假之前，收藏好这份大厂2022年实习生招聘计划

对技术有热情，对于大数据处理，并发系统，性能优化等有强烈的兴趣；4、熟悉软件工程领域相关知识；5、熟悉大数据领域相关知识，Hadoop、Spark、Kafka等。后
实训001·2023-11-11 10:16

简易搜索引擎原理与基于Hadoop MapReduce的搜索引擎实现

摘要本文介绍简单搜索引擎的原理，并基于Hadoop完成针对同济新闻网的搜索引擎构建。本文所述搜索引擎较为简单，无法达到商用级别，但仍可管中窥豹，学习其基本原理，并锻炼编写MapReduce程序的能力。
枫铃树·2023-11-11 08:11

hadoop

hadoop主要解决：海量数据的存储和海量数据的分析计算hadoop发展历史Google是hadoop的思想之源（Google在大数据方面的三篇论文）2006年3月，Map-reduce和NutchDistributedFileSystem
yuanjianqiang_0925·2023-11-11 08:01

hadoop生态圈-- 个人笔记学习05 HDFS优化

DFSClient和DN在一个节点——localreads，远程阅读Remotereads。处理方式是一样的DN读数据通过RPC(TCP协议）把数据给DFSClient。DN在中间会做中转，处理简单但是性能收影响（Localread的情况下，会希望绕过DN直接读取Data，这就是短路短路本地读取DFSClient自行打开文件读取数据，需要配置白名单定义可读取数据的User——安全漏洞，不建议使用两
JamSlade·2023-11-11 06:40

Hive 常用存储、压缩格式

行存储磁盘开销大数据解析开销大压缩的text文件hive无法进行合拆分SEQUENCEFILEsequencefile二进制文件，以的形式序列到文件中存储方式：行存储可以分割、压缩一般选择block压缩优势是和Hadoopapi
文文鑫·2023-11-11 06:38
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他