hadoop单机

通过养猪给女朋友讲解Hadoop(一)

六、规章整治奈何桥程序员老王，阎王爷，黑白无常，牛头马面，孟婆。“铃铃铃~”刚躺下的老王又被电话吵醒了，老王接起电话，习惯性地说：“老板，又是哪个系统挂了啊。”“我不是你老板，我是阎王爷”电话那头传来沧桑的声音。“阎王爷，我上有老，下有小，我知道我这么加班不对，但我都是为了生计啊，恳请阎王爷再宽限我几年吧，我把房贷还完就下去报道。”老王哽咽地说着。“这次找你不是想结束你在人间的进程，只是想让你来地
程序员峰哥·2024-01-26 05:55

Flink1.13集成Hadoop3.x以上版本

文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建Flink的HA高可用集群后，打不开webUI界面出现问题打开log日志查看org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs'.Theschemeisn
未来影子·2024-01-26 04:22

flink1.13.0 环境搭建

#flink部署1.standalone模式2.yarn模式session-cluster模式job-cluster模式3.k8s模式注：yarn模式需要依赖hadoop环境，搭建请参考：https:/
AinUser·2024-01-26 04:50

橘子皮的实习周记——第一周总结

一周小总结：目前入职上班时间一周，主要内容是对一个项目进行一些基础的添加操作(用领导A的话来说，就是熟悉一下业务)，我最头疼的就是使用kafkahbasehadoop这些技术，对MySQL内的数据进行一个同步
程序员橘子皮·2024-01-26 03:35

Flink1.13.x+iceberg环境搭建

1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java
姚贤贤·2024-01-26 02:22

Flink 1.13部署指南：深入解析单机与集群模式

目录运行模式1.会话模式（SessionMode）2.单作业模式（Per-JobMode）3.应用模式（App
数据与后端架构提升之路·2024-01-26 02:21

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

【渗透测试】借助PDF进行XSS漏洞攻击

简介在平时工作渗透测试一个系统时，常常会遇到文件上传功能点，其中大部分会有白名单或者黑名单机制，很难一句话木马上传成功，而PDF则是被忽略的一个点，可以让测试报告更丰富一些。
Hello_Brian·2024-01-26 01:02

Spring Cloud Alibaba 整合 Nacos 实现服务配置中心

在之前的文章《Nacos本地单机版部署步骤和使用》中，大家应该了解了Nacos是什么？其中Nacos提供了动态配置服务功能一、Nacos动态配置服务是什么？
程序员泥瓦匠·2024-01-26 01:15

docker-compose配置mongodb复制集

本文使用单机配置mongodb复制集，也即是一个docker-compose文件中运行三个mongod服务。
辣椒炒肉真好吃·2024-01-26 00:51

如何快速搭建springboot+前后端分离（vue），多商户客户端实现微信小程序+ios+app使用uniapp（一处编写，处处编译）

同时支持单机部署、集群部署，用户与店铺范围动态定位，中小商户企业可根据业务动态扩容。
you来有去·2024-01-26 00:13

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

CentOs服务器上安装单机redis和设置开机自启动

CentOs服务器上安装单机redis和设置开机自启动1.安装C语言需要的GCC环境yuminstall-ygcc-c++yuminstall-ywget2、官网下载Rediswgethttp://download.redis.io
Rabi'·2024-01-26 00:49

Golang分布式应用之定时任务

在单机中，定时任务通常需要实现一个类似crontab的系统，一般有两种方式：最小堆，按照任务执行时间建堆，每次取最近的任务执行时间轮，将任务放到时间轮列表中，每次转动取对应的任务列表执行最小堆最小堆是一种特殊的完全二叉树
qingwave·2024-01-25 21:42

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58

03-TiDB-单机上模拟部署生产环境集群

1、安装集群cluster组件tiupcluster#已安装的可以更新#tiupupdate--self&&tiupupdatecluster2、修改主机sshd服务的连接数限制vim/etc/ssh/sshd_config#MaxSessions20#重启sshd服务：servicesshdrestart3、设置集群配置文件topo.yml##Globalvariablesareappliedt
xcg340123·2024-01-25 20:28

mac快速操作文件夹

或者需要在指定文件夹下起终端总不能先打开终端再到指定文件夹下吧快速打开终端聚焦搜索【就是右上角那个】输terminal【一般输ter就出来了】就可打开终端image.png在指定文件夹下快速打开终端在指定文件夹上右单机
果子木爱梨·2024-01-25 20:12

2019-11-04学习笔记

1、word公式编辑器插入--文本--对象--对象类型（选择Microsoft公式3.0--确定，此时就会弹出一个公式编辑器，包含众多常用公式和数学符号，当编辑插入公式后，单机文档窗口空白处，即可回到文本状态
Almira_SY·2024-01-25 20:12

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

【新课上架】安装部署系列Ⅲ—Oracle 19c Data Guard部署之两节点RAC部署实战

本课程基于当前主流版本Oracle19c+OEL7.9解析如何搭建2节点RAC对1节点单机的DATAGUARD搭建，让学员快速掌握安装流程。
YUNBEE_chen·2024-01-25 17:18

数据库分库分表，何时分？怎样分？

一.数据切分关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。
烟雨木子·2024-01-25 15:28

架构师之路（十二）计算机网络（链路层）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:48

架构师之路（十三）计算机网络（链路层安全）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:48

架构师之路（十四）计算机网络（网络层）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:48

架构师之路（十五）计算机网络（网络层协议）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:48

架构师之路（十六）计算机网络（传输层）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:47

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

【Kafka技术专题】核心技术原理分析和介绍

高吞吐率：使在非常廉价的商用机器上能做到单机支持每秒100K条消息的传输支持KafkaServ
洛神灬殇·2024-01-25 13:10

linux centos oracle11g 单机完整部署参照模板20190607

linuxcentosoracle11g单机完整部署分享Oracle11g包：linux.x64_11gR2_database_1of2.ziplinux.x64_11gR2_database_2of2
大叶梧桐·2024-01-25 12:54

Centos6.5下安装oracle11g过程图文详解

linuxcentosoracle11g单机完整部署分享Oracle11g包：linux.x64_11gR2_database_1of2.ziplinux.x64_11gR2_database_2of2
大叶梧桐·2024-01-25 12:24

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

3D美术 18——max中运用运动捕捉，解决导入BIP时所有骨骼变成塌陷针（黑帧）的问题

这个时候，我们单机我们需要的骨骼。比如你需要一个头，那么你就选中头部骨骼。1选中后点击IP中的保存bip动画（如下图）导出头部bip动
小马技美交流·2024-01-25 11:29

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce使用说明

下面让我们跟着官网来学习下吧ApacheHadoop3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星·2024-01-25 09:52

Hadoop-YARN概览

一、什么是YARNYetAnotherResourceNegotiator，另一种资源协调者，简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。我们先不看源码，先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件，首先需要知道它在哪台节点上，HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce-源码跟读-客户端篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星·2024-01-25 09:52

hadoop 三种运行方式

一、本地运行方式1创建在hadoop-3.3.5文件下面创建一个wcinput文件夹[antares@hadoop1hadoop-3.3.5]$mkdirwcinput[antares@hadoop1hadoop
Snower_2022·2024-01-25 09:51

Hadoop-MapReduce-跟着日志理解整体流程

一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星·2024-01-25 09:49
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他