Hadoop离线基础总结

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

pnpm + vite 从外网迁移到内网环境开发

离线安装pnpm在有外网的机器上执行以下命令，下载pnpm的tgz压缩包至桌面，注意下载版本和当前使用版本保持一致[email protected]~/Desktop
jiangbinwangyi·2024-02-05 14:05

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

转载：Html学习总结

2.经历过得版本:HTML2.0、HTML3.2、HTML4.0、HTML4.0.1、HTML53.H5新特性:•用于绘画的canvas元素•用于媒介回放的video和audio元素•对本地离线存储的更好的支持
kmoon_b426·2024-02-05 10:38

ubuntu离线安装nginx

场景：在ubuntu22版本上安装nginx安装包：nginx-1.18.0.tar.gzhttp://nginx.org/en/download.htmlzlib-1.2.11.tar.gzhttp://zlib.net/zlib-1.2.11.tar.gzopenssl-1.0.2n.tar.gzhttps://www.openssl.org/source/openssl-1.0.2n.tar
冰帝海岸·2024-02-05 09:22

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

Hadoop执行WorldCount出现的问题和解决

failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/hadoop
SZHjy·2024-02-05 08:38

centos 7.7 离线安装docker

centos7.7离线安装dockerIndexoflinux/static/stable/x86_64/https://download.docker.com/linux/static/stable/
会飞的大鱼吃小鱼·2024-02-05 08:25

2.0 Hadoop 运行环境

由于Hadoop是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置Hadoop的情况，这对于学习者来说会制造诸多障碍，主要有两个：昂贵的计算机集群。
二当家的素材网·2024-02-05 07:01

impala与kudu进行集成

文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了Hadoop使用了Kerberos认证，可使用如下方式进行连接
shandongwill·2024-02-05 07:44

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

本章着重介绍Hadoop中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。
二当家的素材网·2024-02-05 06:38

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36

海康IPC摄像机接入国标平台，发现一直不在线(离线)的处理方式

目录一、问题二、问题分析（一）常见设备离线问题的原因（二）原因分析三、问题查处（一）设备端排查故障（设备端自查）1、检查GB28181参数配置是否有误2、排查网络问题3、排查防火墙问题（二）平台端排查故障
威迪斯特·2024-02-05 06:13

Windows 11 配置安卓子系统（WSA)

原来的旧笔记本电脑上我就是把国家改为了美国，然后启用预览计划升级预览版（会顺便体验到一些微软的“创新”设计和修改，至于顺不顺意就难说了）刚买的这台电脑就采用的离线包安装，这样不需要改动当前系统。
astuv·2024-02-05 06:58

logcat工具 可离线，logcat日志只更新最新4份(可设置)， 一份日志保存大小为20M(可设置) 总日志大小是4*20=80M

@echooffsetNOW_TIME=%date:~0,4%-%date:~5,2%-%date:~8,2%-%time:~0,2%-%time:~3,2%chcp65001remecho正在等待设备连接...remecho请多次点击软件版本号打开设备调试---usb调试功能，输入密码20210518，点击勾选信任该电脑remadbwait-for-deviceecho设备连接成功，正在获取设备
qq_42539005·2024-02-05 04:06

android 离线抓日志,android抓日志

1.adblogcat-c清楚以前的日志adblogcat-s过滤adblogcat-s*:Eadblogcat-v指定输出的格式adblogcat-vbrief====brief—Displaypriority/tagandPIDoforiginatingprocess(thedefaultformat).process—DisplayPIDonly.tag—Displaythepriority
书果·2024-02-05 04:06

android开发 获取logcat日志并记录(方便离线调试)

2019独角兽企业重金招聘Python工程师标准>>>转自：http://blog.csdn.net/jzh2012/article/details/7462506感谢分享！案例：当我们的软件安装在手机上的时候，或许还需要知道整个软件运行的情况，那么我们就需要一种把软件运行的状况记录下来，保存在某个地方(本地文件，以下就是解决方法直接上代码：packagecom.ifeng.fhdt.servic
sas???·2024-02-05 04:06

Android之如何进行日志分析

对于一些离线设备，如果要通过连接Logcat去作日志分析，这往往会非常不现实。以Android系统的车载主机为例，面对市场用户对软件问题投诉，我们需要对离线日志进行分析，通常做法是主
LVXIANGAN·2024-02-05 04:35

如何过滤离线logcat日志文件?

1.需求：HowdidAndroidStudioLogcattoreadthefileswhichhavesaveinlogcat?IsavedsomelogsandwouldliketoopenthemwithAndroidStudio-Logcatinterfaceandbeabletoseethecoloursandapplysomefiltersjustasifthephonewascon
helloworld1238888·2024-02-05 04:35

离线下载安装postgresql12/13/14/15.

前言参考此链接，但是有问题1.下载离线rpm包下载安装postgresql-devel12以上版本，去postgresql下载官网，然后自己选择是pg12还是13、14、15等。（我选的12）。
喔就是哦噢喔·2024-02-05 04:19

K8S部署Harbor镜像仓库（含离线安装包harbor-offline-installer国内下载链接）

天行健，君子以自强不息；地势坤，君子以厚德载物。每个人都有惰性，但不断学习是好好生活的根本，共勉！文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。文章目录一、环境要求1.硬件要求2.软件要求3.网络端口二、安装包下载1.官网下载地址（外网github）2.国内下载地址（更快）三、软件安装1.安装Docker2.安装DockerCompose2.1yum命令安装dockercomp
寒山李白·2024-02-05 01:00

linux常见问题

一、依赖包安装1.1离线安装在无网环境部署服务器时，需要离线安装很多软件，如gcc,cmake,tmux等，这时就要提前在有网环境下下载离线安装包。
Graceful_scenery·2024-02-05 01:47

linux中如何输入控制字符

看以下实例：以下文本中的字段用^A分隔，[leo@hadooporgplan]$sed"s/^A//g"orgplan一定要注意^并不是数字键6上的
发狂的蜗牛·2024-02-05 01:47

【Linux C】进程、线程和进程间通信

文章目录创建子进程进程结束进程回收练习进程执行守护进程相关概念创建守护进程的步骤GDB调试多进程程序线程的创建和回收Linux线程库线程创建线程结束线程回收线程分离线程取消(杀死线程)线程的清理线程的同步和互斥互斥锁初始化锁的申请与释放锁的销毁互斥锁应用参考代码读写锁死锁条件变量线程池进程间通信无名管道有名管道共享内存共享内存的释放共享内存参考代码信号机制信号相关命令程序中信号的发送程序定时器信号
Kurorotasu·2024-02-05 00:12

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager
china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件
china-zhz·2024-02-04 21:33

pandas+numpy的一些基础总结

都是我白嫖来的知识，当记笔记了pandas8个常用的set_option设置方法-知乎(zhihu.com)np.set_printoptions()用法总结-CSDN博客特别有用
conch0329·2024-02-04 20:26

C# 股票 蜡烛图 显示

切能离线所有股票信息！！！
barton-lee·2024-02-04 20:17

企业级大数据安全架构（九）FreeIPA管理员密码忘记后如何修改

作者：楼高1重置DirectoryServer管理员密码1.1停止directoryserver服务[root@ipaschema]#start-dirsrvHDP-HADOOP如果你不知道你的实例名，
云掣YUNCHE·2024-02-04 20:36

Hadoop集群搭建

搭建Hadoop集群涉及多个步骤，包括准备硬件环境、安装和配置Hadoop以及验证集群的安装。
终将老去的穷苦程序员·2024-02-04 19:53

6款超好用的IDEA插件，开发必备！

为什么不安装JSON解析器并在IDE中使用离线支持呢?JSON解析器是一个用于验证和格式化JSON字符串的轻量级插件Apipost-Helper2.0Apipos
Xayh55·2024-02-04 19:22

HDFS常用命令

hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce程序bin/hadoopjarshar
须臾之北·2024-02-04 18:41

Fink CDC数据同步（六）数据入湖Hudi

数据入湖HudiApacheHudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。
大数据_苡~·2024-02-04 16:21

java总结

1.基础总结1.1变量的命名必须以字母,下划线或$字符开头,不能以数字开头英文字母大小写敏感,长度不限不能含有java的关键字不能含有空格类名字母第一个大写用做变量的标识符第二个单词的首个字母大写常量的标识符全大写
听风347·2024-02-04 15:17
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他