研磨hadoop 第101页

5.k8s jenkins集成k8s一键发布案例

maven1.3jenkins配置java二、jenkins流水线配置2.1.新增项目2.2springboot项目配置git仓库2.3springboot项目配置maven打包2.4系统配置ssh到hadoop1

落叶的悲哀·2023-09-17 10:10

（二十九）大数据实战——kafka集群节点服役与退役案例实战

正文从hadoop103克隆一台空闲服务器hadoop104-克隆服务器hadoop104-修改服务器IP地址-修改服务器主机名称-重启

北溟溟·2023-09-17 10:12

Apache Spark---学习总结一

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm

wyc_595998412·2023-09-17 10:40

Spark基本概念

Spark概述Spark简介ApacheSpark的特性Spark适用场景Spark与HadoopMapReduce比较Spark基本概念Spark简介ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎

coppher·2023-09-17 10:40

Spark基本概念以及环境搭建

二、Spark和HadoopSpark和Hadoop有什么关系？从功能上来说：HadoopHadoop是由java语言编写的，在分布式集群当中存储海量数据，并运行分布式应用的开源框架作为Hadoo

努力生活的黄先生·2023-09-17 10:39

（三十）大数据实战——HBase集成部署安装Phoenix

它提供了在Hadoop生态系统中使用SQL查询和事务处理的能力。

北溟溟·2023-09-17 10:09

Apache Spark 的基本概念

与传统的HadoopMapReduce相比，Spark具有更高的性能和更广泛的应用场景。

IKUN家族·2023-09-17 10:08

HDFS的Shell操作

1、进程启停管理1.1、一键启停脚本HadoopHDFS组件内置了HDFS集群的一键启停脚本。

新征程，再出发·2023-09-17 09:23

Hive【Hive（一）DDL】

前置准备需要启动Hadoop集群，因为我们Hive是在Hadoop集群之上运行的。从DataGrip或者其他外部终端连接Hive需要先打开Hive的metastore进程和hiveserver2进程。

让线程再跑一会·2023-09-17 09:11

spark 精华总结

面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？

添柴少年yyds·2023-09-17 09:04

舞文弄墨为何文人都喜亲手研墨

古人云“人磨墨，墨磨人”，“不研磨，不成书”，研墨的过程亦是修心养性的过程。一块好墨与文人的关系，犹如名将之于宝马，美人之于胭脂。

自适居·2023-09-17 08:14

六、HADOOP-HA(zookeeper之后)

一、HDFS的HAHSFS传统集群只有一个NameNode，当此Manager宕机后，整个集群就宕机了，只有等管理员手动重启修复了NameNode之后，才会恢复。ha使整个集群拥有两个或两个以上的NameNode，其中一个为Active状态，其他的为Standby状态，当Active状态的NameNode宕机后，Standby状态中的一台NameNode会立即切换为Active状态，保证整个集群正

一种依耐丶从未离开·2023-09-17 08:17

Redis教程

Tomcat、HTML、Linux、JDBC、SVN2、解决扩展性的问题：Struts、Spring、SpringMVC、Hibernate、Mybatis3、解决性能的问题：NoSQL、Java线程、Hadoop

兴乐安宁·2023-09-17 07:08

数据库安全(Mysql,Hadoop,Redis)

MySQLMysql身份认证绕过漏洞（CVE-2012-2122）当连接MariaDB/MySQL时，输入的密码会与期望的正确密码比较，由于不正确的处理，会导致即便是memcmp()返回一个非零值，也会使MySQL认为两个密码是相同的。也就是说只要知道用户名，不断尝试就能够直接登入SQL数据库。受影响版本：-MariaDBversionsfrom5.1.62,5.2.12,5.3.6,5.5.23

blackK_YC·2023-09-17 07:39

【异常】Win10配置Hadoop环境cmd中输入hadoop -version提示 JAVA_HOME is incorrectly set.

一、报错内容cmd:输入hadoop-version提示如下的异常Error:JAVA_HOMEisincorrectlyset.PleaseupdatePleaseupdateE:\Hadoop\hadoop

本本本添哥·2023-09-17 06:35

Hadoop报错Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd

https://blog.csdn.net/sinat_26811377/article/details/100002619因为这里有空格，所以失败，报错误，安装到没有空格的目录就可以了配置Hadoop

疯子@123·2023-09-17 06:03

java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are un

java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset.

木生火18624·2023-09-17 06:02

win10下执行Hadoop命令报错：系统找不到指定的路径。Error: JAVA_HOME is incorrectly set. Please update D:\

当我们在Win10操作系统下安装hadoop时，输入hadoopversion，我们可能会遇到以下这种问题：我们输入java-version，发现没有问题。查看hadoop的环境变量也没有问题。

小周爱学大数据·2023-09-17 06:32

Hadoop MapReduce与Apache Spark谁赢得了胜利？

文章来源：加米谷大数据Hadoop和Spark是大数据生态系统中流行的apache项目。ApacheSpark是对hadoop大数据生态系统的原始HadoopMapReduce组件的改进。

会飞的鱼go·2023-09-17 06:50

Apache Kylin-java.lang.OutOfMemory: Java heap space

2019-12-1111:18:16:,914FATAL[main]org.apache.hadoop.mapreduce.v2.app.MRAppMaster:ErrorstartingMRAppMasterjava.lang.OutOfMemory

步闲·2023-09-17 06:21

数据分析系统的设计与实现

数据分析系统的设计与实现大数据demo，参考自淘宝双11数据分析与预测课程案例厦大数据库实验室博客(xmu.edu.cn)实验环境操作系统Linux（实验室版本为Ubuntu18.04，集群环境为centos6.5Hadoop

Tcoder-l3est·2023-09-17 04:56

北方的河-写于1990

《北方的河》你曾经拥有过惊涛骇浪你曾经熔铸了水天一色你曾经拥有过母亲的骄傲你也曾经把握着生命的脉搏我习惯这样地称呼你北方的河尽管岁月总是一再地上演着阴阳蹉跎尽管记忆已经多少次被往事无情的研磨可我却总是在心底把你深深地眷恋着我曾经执着地爱过你是你孕育出土地的肥沃赐予我诞生的快乐我曾经热烈地拥抱过你是你飞旋起清纯的浪波洗去我心灵的猥琐我曾经幸运地陪伴过你是你呐喊着古老的传说驱散了死亡对我的恐吓

纸谈风月·2023-09-17 04:07

Smart Community(1)之设计规范

小唐同学爱学习·2023-09-17 02:53

2018-09-12 spark提交任务

/app/software_n/spark-2.2.1-bin-hadoop2.6/bin/spark-submit--masterspark://xm-dsj-test01.ms.imxiaomai.com

basicGeek·2023-09-16 23:58

四.IK分词器

针对词条查询（TermQuery）,查看默认中文分词器的效果:[itstar@hadoop105elasticsearch]$curl-XGET'http://hadoop105:9200/_analyze

临时_01e2·2023-09-16 23:20

计算机毕业设计之Python+Spark+LSTM电商爬虫商品推荐系统商品评论情感分析电商大数据电商推荐系统大数据毕业设计

开发技术Hadoop、Spark、SparkSQL、Python、MySQL、协同过滤算法(基于用户+基于物品)、LSTM情感分析、Python爬虫、echarts、阿里云短信接口、支付宝沙箱支付、百度

计算机毕业设计大神·2023-09-16 22:57

系统架构常用的工具

就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。

星火撩猿·2023-09-16 21:25

Hive

Hive产生背景MapReduce编程的不便性HDFS上的文件缺少SchemaHive是什么1）由Facebook开元，最初用于解决海量结构化的日志数据统计问题2）构建在Hadoop之上的数据仓库3）Hive

捕猎者·2023-09-16 16:51

hdfs 清理空间

Youcanalsoflushyourcurrenttrashfoldersasfollows,thoughbelowI'vedetailedtherelatedcommandstoseewhatisgoingon:$hadoopfs-df-hFilesystemSizeUsedAvailableUse

A文艺钦年·2023-09-16 15:41

Zookeeper 启动失败【Cannot open channel to 3 at election address...】

文章目录完整报错信息解决方法1.检查文件夹权限2.未监听所有IP3.IP映射名称与ID不对应完整报错信息Cannotopenchannelto3atelectionaddresshadoop121/192.168.10.121

月亮给我抄代码·2023-09-16 13:00

什么是存储计算分离架构？

1.背景首先我们谈谈Hadoop的背景，说到Hadoop起源，就离不开Google的三辆马车：GoogleFileSystem、MapReduce和BigTable，分别说了分布式文件系统、分布式计算MR

中关村_周某·2023-09-16 12:12

flink on yarn 报错解决

将commons-cli-1.5.0.jar和flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar拷贝到flink目录编辑flink-conf.yaml

ciqingloveless·2023-09-16 11:31

1.spark读取数据与scala编程

以下是idea中用到的maven仓库版本说明：spark2.3.1scala2.11hadoop3.1.14.0.0com.attest.bigdataspark-2003291.0org.apache.sparkspark-core

一杭oneline·2023-09-16 10:59

启动hadoop服务报错

集群部署完hadoop和spark后，启动hadoop集群报如下错误：上一次登录：五9月1515:32:56CST2023pts/0上[root@managerconf]#whichstart-all.sh

泊涯·2023-09-16 10:04

大数据之Hive

Hive入门Hive是FaceBook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类SQL查询功能。

十七✧ᐦ̤·2023-09-16 08:18

Spark

与HadoopMapReduce相比，Spark具有更高的性能和更丰富的功能，可以处理更复杂的数据处理任务。

山塘小鱼儿·2023-09-16 08:20

【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode

引言最近在尝试在搭建Hadoop集群并测试集群是否搭建成功，但是第一次格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了，二者没有同时存在，

wydxry·2023-09-16 07:27

hive操作

connectjdbc:hive2://hadoop102:10000metastroe服务bin/hive--servicemetastorehive启动元数据服务（metastore和hiveserver2

球场程序员·2023-09-16 06:04

Hadoop：YARN、MapReduce、Hive操作

->步骤执行模式：（大数据体系的Spark、Flink等是这种模式）1.由一个节点作为中心调度管理者2.将任务划分为几个具体步骤3.管理者安排每个机器执行任务4.最终得到结果数据YARN概述YARN即Hadoop

独憩·2023-09-16 06:29

Hadoop生态圈中的数据同步工具SQOOP

Hadoop生态圈中的数据同步工具SQOOP一、sqoop的概念二、sqoop的核心功能1、数据导入import2、数据导出export三、sqoop的底层实现四、sqoop的安装和部署五、sqoop的基本操作

Augenstern K·2023-09-16 05:04

系统服务管理

种运行级别−0：关机−1：单用户模式−2：字符界面的多用户模式（不支持网络）−3：字符界面的完整多用户模式−4：未分配使用−5：图形界面的多用户模式−6：重启3.切换运行级别设置默认运行级别[root@hadoop

lambda-小张·2023-09-16 05:51

学习大数据必须了解的大数据开发课程大纲

大数据开发最核心的课程就是Hadoop框架，几乎可以说Hadoop就是大数据开发。

大数据在说话·2023-09-16 04:55

hadoop启动报错：Attempting to operate on hdfs namenode as root

在hadoop安装路径的/hadoop/sbin路径下：将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数#!

Agatha方艺璇·2023-09-16 02:44

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

说明:本篇将详细介绍用二进制安装包部署hadoop等组件，注意事项，各组件的使用，常用的一些命令，以及在部署中遇到的问题解决思路等等，都将详细介绍。

Mr.L-OAM·2023-09-16 02:02

Spark 框架概述

二、Spark风雨十年三、SparkVSHadoop(MapReduce)3.1面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？

Stars.Sky·2023-09-16 02:31

Centos7.6安装hadoop3.1.2、hive3.1.2、zookeeper3.6.2、hbase2.2.6

安装JDK1、安装JDKvi/etc/profile#解压后添加如下内容，然后关闭shell，重新打开一个新shellexportJAVA_HOME=/usr/java/jdk1.8.0_261exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar配置SSH免密登

LOYURU·2023-09-16 02:01

ubuntu系统安装hadoop

Hadoop分布式计算平台，核心是分布式文件系统HDFSubantu下安装jdkwgethttps://repo.huaweicloud.com/openjdk/18.0.1.1/openjdk-18.0.1.1

shigen01·2023-09-16 02:30

Caused by: org.apache.hadoop.hbase.MasterNotRunningException: java.net.UnknownHostException: can not

1.问题描述使用Javaapi连接hbase发生报错,但是可以测试连接可以连上，并且能打印出连接报错信息如下org.apache.hadoop.hbase.client.RetriesExhaustedException

超爱慢·2023-09-15 15:20

跟女儿一起度过的狂风暴雨的周末

我们没有用榨汁机，而是用最原始的研磨

罗丽芸·2023-09-15 14:57

研磨时光的文房四宝之砚台鉴赏：混沌初开砚，匠心所在

研磨时光的文房四宝之砚台鉴赏：混沌初开砚，匠心所在墨石又称砚，是文房四宝之一，在文房四宝中排名最后，但砚是流传时间最长的，因为砚大多由石头制成，可以传至千代相传，在古代，名人文豪文人都有收藏墨石的习惯，

qq_31007191·2023-09-15 14:14

推荐频道

研磨hadoop