Hadoop伪分布式环境搭建

HDFS入门基础

HDFS命令基础语法：【hadoopfs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty·2024-02-06 05:33

电商推荐系统

一、获取用户对商品的偏好值代码实现packagezb.grms;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.conf.Configured
nucty·2024-02-06 05:31

Apache Hadoop

ApacheHadoop_狭义上说，Hadoop指Apache一款java语言开发的开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度
VincentLeon·2024-02-06 05:28

【如何学习CAN总线测试】——UDS诊断自动化测试（含CAPL源码）

系列文章目录【如何学习CAN总线测试】系列文章目录汇总文章目录系列文章目录前言一、环境搭建二、测试用例1.用例目录2.测试报告三、代码展示1.10服务2.11服务3.14服务4.19服务5.28服务6.85
疯狂的机器人·2024-02-06 04:56

初中生学python教材推荐,初中生学python有多难

今天博主给大家带来了一份大礼，Python环境搭建和安装包都已经打包好上传到百度云了，链接在文章结尾处！
Bxwfjdjdbdgj·2024-02-06 04:19

基于xml的SpringAOP配置

ApplicationContext的区别及ApplicationContext接口的实现类4、bean标签及其实例化的3种方式5、bean的作用范围和生命周期6、Spring的依赖注入7、基于注解的IOC环境搭建
JoeyChanYC·2024-02-06 04:17

Appium元素定位之应用登录

继上一篇文章Windows下Appium环境搭建之后，这次先从页面元素查找，再到应用登录。
Dotry·2024-02-06 04:26

IBM RPA学习笔记-(二)客户端环境搭建

前言在前一篇笔记中记录了如何搭建服务器端的环境，现在我们要做的是搭建客户端环境，客户端环境相对于服务器端来说要简单的多环境.net框架支持需要安装.netframework4.8，因为rpa自动化机器人中的消息提醒框需要使用这部分支持能够访问到服务器的网络也就是http://服务器ip:81浏览器要求因为客户端使用的时候需要使用到一个google插件，所以建议使用chrome浏览器安装步骤通过浏览
sssdal19995·2024-02-06 03:51

vue.js开发环境搭建

vue.js开发环境搭建一、Node.js环境搭建1.下载访问node.js官网下载长期支持版本2.安装打开下载好的安装包，按提示步骤进行安装即可安装完毕之后打开cmd窗口测试是否安装成功如图显示对应版本即为安装成功注意
李不困·2024-02-06 03:08

Vue3开发环境搭建和工程结构(一)

一、NVM和Node.js安装NVM是NodeVersionManager（Node版本管理工具）的缩写，是一个命令行工具，用于管理和切换到不同版本的Node.js。1、前往nvm-windows仓库，然后单击立即下载2、下载最新版本3、按照安装向导进行安装4、打开PowerShell或命令提示符并运行nvm-v以确认安装5、以管理员身份打开并运行PowerShell6、安装Node.js安装No
maplea2012·2024-02-06 03:38

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装1简介Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。
WaiSaa·2024-02-06 02:53

关于Spark/Hadoop中Master/Slave IP不正确的问题

在配置SparkStandAloneMode的时候，我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置./conf/spark_env.sh文件，只要在这个文件里定义好了SPARK_LOCAL_IP和SPARK_MASTER_HOST，就可以解决这个问题。而我设置了configure文件之后问题依然存在。原因在于MasterNode上有多个网卡，每个网卡
ecce·2024-02-06 02:37

hbase基本命令

1、进入hbase的shellhbase提供了一个shell的终端给用户交互[root@hadoop3conf]#hbaseshell退出使用quit或者ctrl+c需要关闭hadoop的安全模式不然进行一些操作
小月半会飞·2024-02-06 01:52

k8s学习（RKE+k8s+rancher2.x）成长系列之简配版环境搭建（二）

三、简配版集群，适用于demo环境1.集群架构设计主机名角色配置(核数，内存，磁盘)MasterRKE,controlplane,etcd,worker,rancher-master2C8G40GSlaver1controlplane,worker,rancher-master2C8G40GSlaver2controlplane,worker,rancher-master2C8G40G2.预期目标
日复一日伐树的熊哥·2024-02-06 00:29

python3+selenium学习mac环境搭建遇到的坑及解决方法

因笔者使用的是mac，系统有自带的python版本，就不赘述python的安装以及配置。若python是2的版本需要升级到python3，直接命令brewinstallpython3即可。下面说下执行下面代码遇到的坑：1、pycharm上执行以上代码报错:ImportError:Nomodulenamedselenium原因：pycharm没有加载到selenium的包解决方法：setting中添
Mayxz·2024-02-06 00:41

shell中正则表达式

[atguigu@hadoop101shells]$cat/etc/passwd|grepatguigu1.常用特殊字符^$.*[]\^：匹配一行的开头$：匹配一行的结束.
看山不是山a·2024-02-05 23:07

【PostgresSQL系列】 ltree简介及基于SpringBoot实现 ltree数据增删改查

作者：后端小肥肠目录1.前言2.基础概念2.1.ltree2.2.lquery2.3.ltxtquery2.4.ltree函数及操作符2.4.1.ltree函数2.4.2.ltree操作符3.开发环境搭建
后端小肥肠·2024-02-05 22:44

vulnhub靶场之Thales

一.环境搭建1.靶场描述Description:Openyoureyesandchangeyourperspectiveincludes2flags:user.txtandroot.txt.Telegram
MS02423·2024-02-05 20:41

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

链接：https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit·2024-02-05 20:29

双硬盘、单硬盘搭建Win10/Win7+Ubuntu18.0.4+kali linux 三系统环境搭建以及安装ubuntu18.0.4中的grub2的引导存在问题解决方案

1.双硬盘搭建环境首先介绍一下我的实验环境一个128G固态硬盘，320G机械硬盘，ThinkpadE550128G固态硬盘上安装Windows10操作系统计划在机械硬盘上安装两个系统分别是kalilinux系统和最新的ubuntu18.0.4（都为目前的最新版本）然后介绍一下我的安装方法1.首先我安装的是kalilinux系统，安装kalilinux系统时要注意以下几点。（正常的安装步骤我就不说了
weixin_40264215·2024-02-05 18:08

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

【Java知识手册】一.Java开发工具和前言

文章目录1Java前言1.1简介1.2Java环境搭建1.3程序的开发步骤1.4idea开发工具1.5用idea开发一个helloworld前言：以初学着的身份，准备在该平台整理点最近学习的知识，方便后续查看相关的技术点
Fred3D·2024-02-05 17:28

CVE-2024-23897：Jenkins文件读取漏洞复现分析 [附POC]

文章目录CVE-2024-23897Jenkins文件读取漏洞复现分析[附POC]0x01前言0x02漏洞描述0x03影响版本0x04漏洞环境搭建0x05漏洞复现1.访问漏洞环境2.执行POC3.复现0x06
gaynell·2024-02-05 17:55

1、Vue-组合式-第一个项目

点击前往官网点击进行环境搭建一、创建项目使用下述命令创建项目npmcreatevue@latestps:为了方便学习，上述在创建项目时需要用到的插件全部选择不创建二、运行项目按照上述操作最后结果上显示的命令来启动项目即可
许忠慧·2024-02-05 17:22

Appium详解(超详细)

一、Appium环境搭建：1、安装AppiumPythonClient包：pipinstallAppium-Python-Client-ihttps://pypi.douban.com/simplepipinstallselenium-U
十一的测试日记·2024-02-05 17:04

信创ARM架构QT应用开发环境搭建

信创ARM架构QT应用开发环境搭建前言交叉工具链Ubuntu上安装32位ARM交叉工具链Ubuntu上安装64位ARM交叉工具链交叉编译QT库下载QT源码交叉编译QT源码QtCreator交叉编译配置配置
云水木石·2024-02-05 16:14

IDEA创建maven工程

一.Maven环境搭建（一）maven的官网下载apache-maven-3.3.9-bin.zip我们将下载的压缩包解压到D盘根目录（二）本地仓库配置1.拷贝本地仓库将资料中的repository_ssh.zip
jimmy_hu888·2024-02-05 16:50

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

Python新春烟花盛宴

PyCharmCommunityEdition2023.2.5pyinstaller6.2.0（可选，这个库用于打包，使程序没有python环境也可以运行，如果想发给好朋友的话需要这个库哦~）【注】python环境搭建请见
Want595·2024-02-05 14:40

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

ZYNQ7020开发(一)：开发环境搭建

文章目录一、配置Ubuntu编译环境二、安装Petalinux三、安装JTAG驱动四、安装Vitis一、配置Ubuntu编译环境虚拟机环境：VMware®Workstation16Pro16.1.0build-17198959Ubuntu版本：NoLSBmodulesareavailable.DistributorID:UbuntuDescription:Ubuntu20.04.6LTSRelea
EEer！·2024-02-05 13:57

Qt环境搭建+简单程序实现

Qt是什么Qt是一个跨平台的C++图形用户界面应用程序框架。框架的本质就是一群大佬发明的让菜鸡写出来的代码也也比较规范也就是限制程序员的自由，让程序员写出来的代码规范。库和框架有相似性。库是被程序员调用的，（程序员是主体）框架是占主体的，由程序员填充一些框架。Qt是跨平台的，支持Linux，windwos，Mac，嵌入式系统Linux中主要是KDE桌面是Qt构建的。Qt版本现在主要使用的Qt5版本
乔 巴·2024-02-05 12:40

机器学习环境搭建（vscode+anaconda的安装+conda虚拟环境的激活）

目录步骤一：安装VSCode步骤二：安装Anaconda步骤三：创建Conda虚拟环境步骤四：在VSCode中激活Conda虚拟环境步骤一：安装VSCode首先，我们需要安装VSCode。这是一个跨平台的轻量级代码编辑器，支持多种编程语言和丰富的扩展。打开浏览器，访问VisualStudioCode-CodeEditing.Redefinedhttps://code.visualstudio.co
yt_0618·2024-02-05 12:09

python接口自动化之接口测试用例（详解）

接口测试环境搭建在进行接口测试前，需要先
.咖啡加剁椒.·2024-02-05 11:23

暗图像修复处理CVPR2021

声明：本博文做了该代码的测试分享，敬请查阅；墨理学AI.png本文、节选自图像修复专栏专栏：图像修复-代码环境搭建-知识总结图像修复新的创作思路：CVPR2021、代码测评基本信息RestoringExtremelyDarkImagesinRealTime
墨理学AI·2024-02-05 11:43

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

JAVAEE的核心-Servlet

文章目录前言一、web开发概述二、web开发环境搭建三、创建发布web项目四、Servlet概述五、Servlet创建和使用六、Servlet生命周期七、http7.1http协议7.2http请求7.2.1http
JinziH Never Give Up·2024-02-05 10:52
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他