研磨hadoop

每个睡不着的深夜，我在怕死吗？

需要把我的怕死摆在所有人的面前，然后细细研磨直至摆脱。我人生中最无法入眠的时候，大概就是当我一关了灯，静静地躺在床上时，我就会陷入某种意义上的恶性循环。怕死就会想，越想心里越怕死。
柒忆·2023-08-26 13:39

Hadoop2.4.1伪分布式搭建

一、准备Linux环境我这边是用腾讯云服务器，进行远程登录，也可以用VMwareWorkstationPro虚拟机，安装Linux系统进行操作！二、安装JDK，设置环境变量2.1下载linux-JDK,传到Linux系统中，我存在/home/ubuntu路径下2.2进行解压操作，我是放在app文件里，方便管理tar-zxvfjdk-8u511-linux-x64.tar.gz-Capp/2.3设置
有一束阳光叫温暖·2023-08-26 13:31

大数据开发要学习什么？学完又能做什么

数据的操作语言是SQL，因此很多工具的开发目标就是能够在Hadoop上使用SQL。3、Linux系统大数据的框架都是安装在Linux操作系统上，因此熟练掌握Linux相
我想去吃ya·2023-08-26 12:07

大数据领域都有什么发展方向

大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、
我想去吃ya·2023-08-26 12:36

janusgraph 默认server使用手记

启动server（withCassandra/ES）janusgraph-0.3.0-hadoop2bin/janusgraph.shstartForkingCassandra...Running`nodetoolstatusthrift
水他·2023-08-26 12:13

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

1.Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。
庭前云落·2023-08-26 11:08

1 Hadoop入门

1.Hadoop是什么？(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。(2)主要解决，海量数据的存储和海量数据的分析计算问题。
水无痕simon·2023-08-26 11:08

Hadoop集群搭建(hadoop-3.3.5)

一、修改服务器配置文件1、配置环境变量vim/etc/profile#java环境变量exportJAVA_HOME=/usr/local/jdk/jdk8exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bi
如我般骄傲·2023-08-26 11:37

Hadoop streaming 问题记录

其他用户没有读权限其他用户访问我的数据，发现出现Permissiondenied:user=,access=READ_EXECUTE,inode=，drwxr-x--x，该问题发现其他用户读我的hdfs目录没有读权限解决方案权限说明在Hadoopstreaming
sf705·2023-08-26 10:11

从零开始的Hadoop学习（二）| Hadoop介绍、优势、组成、HDFS架构

1.Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。
庭前云落·2023-08-26 10:26

hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细

hive3.1.2和spark3.0.0配置hiveonspark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop
薛定谔的猫不吃猫粮·2023-08-26 09:49

spark连接mysql创建hive表_Apache Spark整合Hive

安装hive前提是要先安装hadoop集群，并且hive只需要在NameNode节点集群中安装即可，可以不在DataNode节点的机器上安装。
weixin_39899226·2023-08-26 09:48

离线数仓搭建流程以及遇到的问题Hadoop3.3.1-hive3.1.2-spark 3.3.1

目录简言数仓选型前期准备更改三个节点主机名:新增用户组以及用户：配置互信JDK安装mysql安装Zookeeper3.8安装Hadoop3.3.1搭建Hive3.1.3搭建Spark3.3.1安装想在idea
有风入弦·2023-08-26 09:16

Hadoop+HBase+Spark+Hive环境搭建

链接：系统镜像和各种大数据软件密码：n2cn1.Windows下安装Ubuntu双系统Hadoop等大数据开源框架是不支持Windows系统的，所以需要先安装一个Linux双系统。当然，如果你
lhdz_bj·2023-08-26 09:15

Spark 启动时，报JAVA_HOME is not set

文章目录1、报错内容2、解决方式3、再次启动Spark集群1、报错内容Spark启动时报错：hadoop104:JAVA_HOMEisnotset2、解决方式解决方式：打开启动配置文件cd/opt/module
ha_lydms·2023-08-26 09:14

基于流计算 Oceanus（Flink） CDC 做好数据集成场景

由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件一、踩坑记录1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错
每天都要加加油王得坤·2023-08-26 09:13

相信琐碎

敲打着键盘，加着班，研磨生活的碎末，一点点塞进嘴。想相信琐碎，有一天会像吹鼓手一样，带来一个终结的消息，空出时间来游玩。
方复·2023-08-26 09:03

【PySpark】RDD的map操作小例子

#################test.py#######################cat/Users/mparsian/spark-1.6.1-bin-hadoop2.6/test.py#!
chongjiapi1753·2023-08-26 08:54

yarn 资源调度

1.什么是yarnyarn是hadoop集群当中的资源管理系统模块,从hadoop2.0开始引入yarn模块,yarn可为各类计算框架(mrsparkflink)提供资源的管理和调度,主要用于管理集群当中的资源
我是玄离大人·2023-08-26 08:08

研磨设计模式day12命令模式

目录定义几个参数场景描述代码示例参数化设置命令模式的优点本质何时选用定义几个参数Command：定义命令的接口。ConcreteCommand:命令接口的实现对象。但不是真正实现，是通过接收者的功能来完成命令要执行的操作Receiver：接收者。真正执行命令的对象。任何类都可能成为一个接收者，只要它能够实现命令要求实现的相应功能Invoker：要求命令对象执行请求，通常持有命令对象。Client：
可是我还饿啊·2023-08-26 07:51

研磨设计模式day11观察者模式

目录场景代码示例定义观察者模式的优缺点本质何时选用简单变型-区别对待观察者场景我是一家报社，每当我发布一个新的报纸时，所有订阅我家报社的读者都可以接收到代码示例报纸对象packageday11观察者模式;importjava.util.Observable;/***报纸对象*/publicclassNewsPaperextendsObservable{/***报纸的内容*/privateStrin
可是我还饿啊·2023-08-26 07:51

研磨设计模式day11代理模式

目录场景代码实现编辑解析定义代理模式调用示意图代理模式的特点本质编辑何时选用场景我有一个订单类，包含订单数、用户名和商品名，有一个订单接口包含了对订单类的getter和setter现在有一个需求，a创建的订单只能a修改，其他人无权修改代码实现定义OrderApi接口packageday10代理模式;publicinterfaceOrderApi{publicStringgetProductName
可是我还饿啊·2023-08-26 07:21

研磨设计模式day12迭代器模式

目录场景解决方案解决思路代码示例代码改造Java实现迭代器迭代器模式的优点思考何时选用场景大公司收购了一个小公司，大公司的工资系统采用List来记录工资列表，而小公司是采用数组，老板希望通过决策辅助系统来统一查看工资数据不想看到两份不同的工资表。解析：如何能够以一个统一的方式来访问内部实现不同的聚合对象解决方案迭代器模式定义：所谓聚合就是指一组对象的组合结构：比如Java中的集合、数组等解决思路要
可是我还饿啊·2023-08-26 07:49

Hbase文档--架构体系

架构体系关键组件介绍：HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
一单成·2023-08-26 07:49

hadoop原理和细节

一、Hadoop概述Hadoop是Google的集群系统开源实现Google的集群系统：GFS、MapReduce、BigTableHadoop的集群系统：HDFS、MapReduce、HBaseHadoop
truezqx·2023-08-26 05:18

Hive面试自学版

Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
叫我莫言鸭·2023-08-26 04:30

hadoop和spark读取GBK编码乱码

转自https://www.cnblogs.com/teagnes/p/6112019.html其实在很久之前洒家刚刚搞hadoop的时候就遇到了这个问题，只是那个时候只知道读取hdfs上的文本文件的时候一定要是
MacDonald·2023-08-26 02:54

Hadoop Yarn 配置多队列的容量调度器

文章目录配置多队列的容量调度器多队列查看配置多队列的容量调度器首先，我们进入Hadoop的配置文件目录中（$HADOOP_HOME/etc/hadoop）；然后通过编辑容量调度器配置文件capacity-scheduler.xml
月亮给我抄代码·2023-08-25 22:46

NameNode 处理线程配置（心跳并发）

在Hadoop配置文件hdfs-site.xml中添加如下配置项：默认为10线程dfs.namenode.handler.co
月亮给我抄代码·2023-08-25 22:46

Hadoop Yarn 核心调优参数

文章目录测试集群环境说明Yarn核心配置参数1.调度器选择2.ResourceManager调度器处理线程数量设置3.是否启用节点功能的自动检测设置4.是否将逻辑处理器当作物理核心处理器5.设置物理核心到虚拟核心的转换乘数6.设置NodeManager使用的内存量7.设置NodeManager节点虚拟核心数量8.设置每个容器的最小与最大内存9.设置每个容器的最小与最大虚拟CPU核心10.是否开启虚
月亮给我抄代码·2023-08-25 22:12

黑猴子的家：kafka-topic-create.sh

[alex@hadoop102~]$cd/usr/local/bin/[alex@hadoop102bin]$sudotouchkafka-topic-create.sh[alex@hadoop102bin
黑猴子的家·2023-08-25 20:05

大数据——spark一文全知道

1、spark概述spark是专为大规模数据处理而设计的快速通用计算引擎，与Hadoop的MapReduce功能类似，但它是基于内存的分布式计算框架，存储还是采用HDFS。
AIGC人工智残·2023-08-25 16:20

大数据-Hive

第1章Hive入门1.1什么是Hive1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
ONLYYD·2023-08-25 13:27

‘protoc --version‘ did not return a version or Hadoop2.x maven编译MojoExecutionException异常

解决下载https://repo1.maven.org/maven2/com/google/protobuf/protoc/2.5.0/放到path目录重命名为protoc.exe原因缺少protoc工具
别摸我的键盘·2023-08-25 11:16

Hadoop入门机安装hadoop

0目录1.Hadoop入门2.linux安装hadoop1.Hadoop入门定义Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
请给我一串代码好吗·2023-08-25 10:55

linux安装JDK及hadoop运行环境搭建

1.linux中安装jdk（1）下载JDK至opt/install目录下，opt下创建目录soft，并解压至当前目录tarxvf./jdk-8u321-linux-x64.tar.gz-C/opt/soft/（2）改名（3）配置环境变量：vim/etc/profile#JAVA_HOMEexportJAVA_HOME=/opt/soft/jdk180exportCLASSPATH=.:$JAVA_
不吃香菜lw·2023-08-25 10:25

spark加载数据到ES

maven配置如下org.apache.sparkspark-core_2.123.0.0org.elasticsearchelasticsearch-hadoop7.0.0使用
若与·2023-08-25 10:33

大数据课程K6——Spark的Shuffle详解

文章作者邮箱：[email protected]地址：广东惠州▲本章节目的⚪了解Spark的定义&&特点&&目的&&优缺点；⚪掌握Spark的相关参数配置；⚪掌握Hadoop的插件配置；一、SparkShuffle
伟雄·2023-08-25 10:37

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
wangruoze·2023-08-25 10:37

Kafka优化

Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
·2023-08-25 10:28

大数据项目实战之国内大数据职位分析准备工作

bin.tar.gzapache-maven-3.3.9-bin.zipapache-tomcat-8.5.73-windows-x64.zipeclipse-jee-2021-06-R-win32-x86_64.ziphadoop.dll-and-winutils.exe-for-hadoop2.7.3
一个猪肘·2023-08-25 09:14

大数据项目实战-招聘网站职位分析

目录第一章：项目概述1.1项目需求和目标1.2预备知识1.3项目架构设计及技术选取1.4开发环境和开发工具1.5项目开发流程第二章：搭建大数据集群环境2.1安装准备2.2Hadoop集群搭建2.3Hive
L卡夫卡·2023-08-25 09:43

大数据项目实战（安装准备）

一，搭建大数据集群环境1.1安装准备1.1.1虚拟机安装与克隆1.虚拟机的安装和设置以及启动虚拟机并安装操作系统（以下仅供参考）安装一台虚拟机主机名为：hadoop01的虚拟机备用VMware虚拟机安装
瑾寰·2023-08-25 08:12

让大数据平台数据安全可见-行云管家

行云管家大数据平台数据操作安全管理解决方案主要特性1、支持主流大数据平台：支持业界主流大数据平台，HadoopHive\Vertica\SA
行云管家·2023-08-25 08:28

hadoop yarn 报错 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL

运行简单的样例程序报错bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jargrepinputoutput'dfs
gs80140·2023-08-25 07:21

报错 The number of live datanodes 1 has reached the minimum number 0

报错2023-08-2409:24:59,227ERRORorg.apache.hadoop.hdfs.server.namenode.SecondaryNameNode:ExceptionindoCheckpointorg.apache.hadoop.ipc.RemoteException
gs80140·2023-08-25 07:51

hadoop报错could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s)

执行命令hdfsdfs-putetc/hadoop/*input报错hdfs.DFSClient:DataStreamerExceptionorg.apache.hadoop.ipc.RemoteException
gs80140·2023-08-25 07:51

hadoop 报错 java.io.IOException: Inconsistent checkpoint fields

背景:使用了格式化,导致首重了新的集群IDorg.apache.hadoop.hdfs.server.common.InconsistentFSStateException:Directory/work1
gs80140·2023-08-25 07:18

HBase--技术文档--基本概念--《快速扫盲》

它基于Hadoop，采用列式存储方式，可以提供实时计算和分布式访问。HBase的数据模型是稀疏排序映射表，其中键由行关键字、列关键字和时间戳构成。HBase的
一单成·2023-08-25 04:00

栩旗感恩日记244

2.我十分感谢研磨杯，今天跟弟弟打了芝麻核桃粉，味道很不错，弟弟也很爱吃。谢谢！谢谢！谢谢！3.我十分感谢荣姐做的公开个案，今天学习看到个案中金钱关系的卡点都和小时候的经历，和原生家庭有关系。
育儿育己刘栩旗·2023-08-25 01:01
上一页 111 112 113 114 115 116 117 118 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他