hadoop单机

03-TiDB-单机上模拟部署生产环境集群

1、安装集群cluster组件tiupcluster#已安装的可以更新#tiupupdate--self&&tiupupdatecluster2、修改主机sshd服务的连接数限制vim/etc/ssh/sshd_config#MaxSessions20#重启sshd服务：servicesshdrestart3、设置集群配置文件topo.yml##Globalvariablesareappliedt
xcg340123·2024-01-25 20:28

mac快速操作文件夹

或者需要在指定文件夹下起终端总不能先打开终端再到指定文件夹下吧快速打开终端聚焦搜索【就是右上角那个】输terminal【一般输ter就出来了】就可打开终端image.png在指定文件夹下快速打开终端在指定文件夹上右单机
果子木爱梨·2024-01-25 20:12

2019-11-04学习笔记

1、word公式编辑器插入--文本--对象--对象类型（选择Microsoft公式3.0--确定，此时就会弹出一个公式编辑器，包含众多常用公式和数学符号，当编辑插入公式后，单机文档窗口空白处，即可回到文本状态
Almira_SY·2024-01-25 20:12

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

【新课上架】安装部署系列Ⅲ—Oracle 19c Data Guard部署之两节点RAC部署实战

本课程基于当前主流版本Oracle19c+OEL7.9解析如何搭建2节点RAC对1节点单机的DATAGUARD搭建，让学员快速掌握安装流程。
YUNBEE_chen·2024-01-25 17:18

数据库分库分表，何时分？怎样分？

一.数据切分关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。
烟雨木子·2024-01-25 15:28

架构师之路（十二）计算机网络（链路层）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:48

架构师之路（十三）计算机网络（链路层安全）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:48

架构师之路（十四）计算机网络（网络层）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:48

架构师之路（十五）计算机网络（网络层协议）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:48

架构师之路（十六）计算机网络（传输层）

作为架构师，我们所设计的系统很少为单机系统，因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。
架构师虎哥·2024-01-25 15:47

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

【Kafka技术专题】核心技术原理分析和介绍

高吞吐率：使在非常廉价的商用机器上能做到单机支持每秒100K条消息的传输支持KafkaServ
洛神灬殇·2024-01-25 13:10

linux centos oracle11g 单机完整部署参照模板20190607

linuxcentosoracle11g单机完整部署分享Oracle11g包：linux.x64_11gR2_database_1of2.ziplinux.x64_11gR2_database_2of2
大叶梧桐·2024-01-25 12:54

Centos6.5下安装oracle11g过程图文详解

linuxcentosoracle11g单机完整部署分享Oracle11g包：linux.x64_11gR2_database_1of2.ziplinux.x64_11gR2_database_2of2
大叶梧桐·2024-01-25 12:24

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

3D美术 18——max中运用运动捕捉，解决导入BIP时所有骨骼变成塌陷针（黑帧）的问题

这个时候，我们单机我们需要的骨骼。比如你需要一个头，那么你就选中头部骨骼。1选中后点击IP中的保存bip动画（如下图）导出头部bip动
小马技美交流·2024-01-25 11:29

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce使用说明

下面让我们跟着官网来学习下吧ApacheHadoop3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星·2024-01-25 09:52

Hadoop-YARN概览

一、什么是YARNYetAnotherResourceNegotiator，另一种资源协调者，简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。我们先不看源码，先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件，首先需要知道它在哪台节点上，HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce-源码跟读-客户端篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星·2024-01-25 09:52

hadoop 三种运行方式

一、本地运行方式1创建在hadoop-3.3.5文件下面创建一个wcinput文件夹[antares@hadoop1hadoop-3.3.5]$mkdirwcinput[antares@hadoop1hadoop
Snower_2022·2024-01-25 09:51

Hadoop-MapReduce-跟着日志理解整体流程

一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星·2024-01-25 09:49

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

Alibaba（实习准备）—SOFARPC学习总结

目录SOFARPC框架SOFARPC链路追踪SOFARPC连接管理与心跳SOFARPC同步异步实现SOFARPC线程模型SOFARPC单机故障剔除SOFARPC泛化调用实现SOFARPC数据透传SOFARPC
K. Bob·2024-01-25 09:14

【Docker】Docker学习⑧ - Docker仓库之分布式Harbor

-Docker仓库之分布式Harbor一、Docker简介二、Docker安装及基础命令介绍三、Docker镜像管理四、Docker镜像与制作五、Docker数据管理六、网络部分七、Docker仓库之单机
洁癖丶·2024-01-25 08:26

2023-2024年重庆职业院校技能大赛“信息安全管理与评估”比赛样题

网络平台搭建（50分）任务2网络安全设备配置与防护（250分）第二阶段：第一部分网络安全事件响应任务1应急响应（70分）第二部分数字取证调查任务2操作系统取证（40分）任务3网络数据包分析（50分）任务4计算机单机取证
落寞的魚丶·2024-01-25 08:20

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

Elasticsearch7.17.5 Linux安装部署

Elasticsearch安装部署下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch单机&集群单台Elasticsearch
四维大脑·2024-01-25 07:03

Elasticsearch 7.17.12 单机安装

下载适配JDK​https://www.oracle.com/java/technologies/downloads/archive/​https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html#配置环境变量cat/etc/profile#exportJAVA_HOME=/home/elk/jdk1.8.
深度学习V666·2024-01-25 07:28

基于CentOS7 Hadoop-2.7.2伪分布式部署

1、基本环境Linux版本：CentOS7.0JDK版本：jdk-7u79-linux-x64.tar.gzHadoop版本：hadoop-2.7.2.tar.gzjdk以及Hadoop安装在/usr目录下
程序员小H·2024-01-25 07:23

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

【渗透测试】nmap基本使用方法整理

单机快速端口扫描我们默认扫描直接nmap加IP就可以了。nmap的默认扫描是扫描1000个最常用的服务端口，扫描速度快。多目标扫描扫描多个目标我们可以直接IP之间空格实现扫描多个目标。扫描整个
残月只会敲键盘·2024-01-25 06:04

mycat mysql程序_MyCat + MySQL 主从部署流程（上）

背景本周研究了一下数据库中间件MyCat，并验证了MyCat单机+MySQL主从复制的部署方案，本文将整理MyCat单机的Schema的几种部署方案，并以MyCat单机+MySQL主从复制的部署流程为主
weixin_39724009·2024-01-25 06:31

Linux环境tar.gz安装部署MySQL及主从复制搭建

Linux环境tar.gz安装部署MySQL及主从复制搭建Linux环境tar.gz安装部署MySQL及主从复制搭建单机部署1.创建用户和组2.解压安装包3.创建数据目录和日志目录4.配置参数5.添加系统服务
杯子K·2024-01-25 06:01

linux mysql 单机主从_centos7 单机部署mysql 主从

安装：1下载mysql5.7二进制压缩包wgethttps://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz2解压tarzxvfmysql-5.7.24-linux-glibc2.12-x86_64.tar.gz-C/usr/local/mvmysql-5.7.24-linux-glibc
公子京·2024-01-25 06:30

linux系统mysql8单机多实例+主从复制部署

一、解压mysql压缩包参考我的另一篇博文，tag.gz解压完并且配置完环境变量即可，暂时不要初始化linux单机部署mysql(离线环境解压即可)-CSDN博客二、修改配置文件可能因为版本不同，我的这个配置可能不是通用的
88再见孙悟空·2024-01-25 05:55

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
小猪Harry·2024-01-25 05:09

Spark基本架构及原理

Hadoop和Spark的关系Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
李飞_fd28·2024-01-24 20:50

网络文件共享服务

这种存储方式简单、成本较低，适用于小型网络环境或单机系统，但是不便于多台服务器共享数据，并且扩展性有限。存储区域网络：StorageAreaNetwork，简称SAN（可以使用空间，管理也是你来管理）
yunjisuanxuetu·2024-01-24 19:34
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他