hadoop单机

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。1.1集群安全模块1、安全模式：文件系统只接收读数据请求，而不接收删除、修改等变更请求2、进入安全模式场景1）NameNode在加载镜像文件和编辑日志期间处于安全模式2）NameNode再接收DataNode注册时，处于安全模式3）退出安全模式条件dfs.namenode.safemode.min.datanode
Key-Key·2024-01-19 10:50

最简单的6种防止数据重复提交的方法！(干货)

是单机环境还是分布式环境？得到的反馈是单机环境，那就简单了话不多说，我们先来复现这个问题。
程序员xysam·2024-01-19 09:55

locust快速入门--使用分布式提高测试压力

如果你是通过命令行启动的或者参考之前文章的启动方式：命令行：locust库方法：`因为create_local_runner会创建一个LocalRunner，这个runner只有一个WorkerNode解决方式：单机
Qredsun·2024-01-19 09:18

caused by: java.lang.outofmemory_hadoop运行java.lang.OutOfMemoryError:java heap space错误。

99M的文件，运行时出现下面的问题：java.lang.RuntimeException:java.lang.reflect.InvocationTargetExceptionatorg.apache.hadoop.util.ReflectionUtils.newInstance
weixin_39662834·2024-01-19 08:16

Rancher 2.1.7单机版 ETCD报证书过期错误

变更https证书时，重启后打不开网页，通过dockerlogs命令查看容器日志，发现一直报[info]Waitingonetcdstartup:Gethttps://127.0.0.1:2379/health:x509:certificatehasexpiredorisnotyetvalid的错误启动命令：dockerrun-d--restart=unless-stopped--nameranc
InGramViking·2024-01-19 07:56

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。在接下来的一段时间，笔者将陆续编写一些关于大数据平台实现相关的技术文档，有兴趣的从事大数据相关的同学，可以关注收藏一下，交流一下开发技术。如果对我们的大数据平台XSailboat感兴趣的同学比较多，希望将其应用于学习或商业项目中，我们可以在条
OkGogooXSailboat·2024-01-19 06:26

大数据开发之Hadoop（MapReduce）

第1章：MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
Key-Key·2024-01-19 06:40

大数据开发之Hadoop（Yarn）

第1章：Yarn资源调度器思考：1、如何管理集群资源？2、如何给任务合理分配资源？Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
Key-Key·2024-01-19 06:09

linux安装hadoop详细步骤

以下是在Linux系统上安装Hadoop的详细步骤：下载Hadoop文件在Hadoop官方网站上下载最新的稳定版本的Hadoop文件。
酷爱码·2024-01-19 06:08

【Docker】安装 Nacos容器并根据Nginx实现负载均衡

目录前言一、Nacos单机模式1、MySQL容器安装1.1.创建mysql需要的挂载目录1.2.创建并运行mysql容器1.3.创建远程连接用户并执行sql脚本2
Java方文山·2024-01-19 06:33

hadoop下载，安装

下载：https://mirrors.tuna.tsinghua.edu.cn/从清华源下载找到apache找到hadoop找到对应的版本使用64位版本上传到linux的/usr/local目录下使用tar-zxvf
三木一立·2024-01-19 06:33

Spring的统一事务模型

Spring事务的知识体系进入主题之前，先来了解一下Spring事务，都有哪些内容：imageSpring事务包含对分布式事务和单机事务的支持，我们用的比较多的是单机事务，也就是只操作一个数据库的事务。
向梦而来·2024-01-19 06:56

spark读取hive的数据

/dev/make-distribution.sh--tgz--namewith-hive-Pyarn-Phadoop-2.7-Dhadoop.version=2.7.7-Phive-Phive
IT烧麦·2024-01-19 04:17

存储系统——Ceph

目录存储基础单机存储设备单机存储的问题分布式存储（软件定义的存储SDS）分布式存储的类型Ceph概述Ceph优势Ceph架构RADOS基础存储系统LIBRADOS基础库高层应用接口应用层Ceph核心组件
袁慕求玲·2024-01-19 04:17

MongoDB认证考试小题库

FreeMongoDBC100DBAExamActualQuestions关于MongoDBC100DBA考试真题知识点零散整理分片架构应用程序-->mongos-->多个mongod对于应用来说，连接分片集群跟连接一台单机
Moshow郑锴·2024-01-19 01:12

OceanBase开发者大会议后impressions

2023年3月25日OceanBase开发者大会于北京正式举办，在此次大会上有许多前辈与开发者共同探讨分布式—>单机分布式、云原生、HTAPBenchamark等数据库前沿的发展趋势，分享了在前沿的最佳实践和场景探索的交流
David凉宸·2024-01-19 01:41

HBase第一章：集群搭建

：集群搭建文章目录系列文章目录前言一、环境准备二、上传HBase三、上传HBase四、配置参数五、分发测试六、高可用总结前言Hive的内容基本算是学完了，太深入的东西，现在没有必要死磕，接下来我们学习hadoop
超哥--·2024-01-19 00:57

HBase学习总结(1)：HBase的下载与安装

(HBase是一种数据库：Hadoop数据库，它是一种NoSQL存储系统，专门设计用来快速随机读写大规模数据。本文介绍HBase的下载与安装的整个过程。)
蝶Wu天涯·2024-01-19 00:25

hbase学习笔记-hbase集群安装部署

上传安装包到服务器4、解压安装包到指定的规划目录tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把hadoop
陈同学：·2024-01-19 00:22

HBase集群部署

前提条件安装hbse的前提条件是jdk已经搭建完成，虚拟机具有Hadoop伪分布式或完全分布式的集群搭建，以及zookeeper环境搭建完成。
Golden life·2024-01-19 00:21

【大数据】HBase集群安装部署

一、前提条件服务器配置好，搭建大数据集群服务器看这篇：搭建学习使用的大数据集群环境：windows使用vmware安装三台虚拟机，配置好网络环境安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper
橙子园·2024-01-19 00:51

Hbase高可用集群部署

Zookeeper集群的正常部署并启动Hadoop集群的正常部署并启动配置环境变量vi/etc/profile#Hbase-HAexportHBASE_HOME=/home/xyp9x/hbase-2.0.5
衡超越爱学习~·2024-01-19 00:21

HBase学习三：集群部署

集群启停顺序：启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2
Studying！！！·2024-01-19 00:50

redis批处理优化

为什么需要批处理一个命令在网络传输的时间往往是远大于在redis中执行命令的时间的，如果每条命令都要逐条经历网络传输，耗时将会大大增加，我们不妨将命令多量少次的传输给redis，这样就大大减少了因为网络传输时间，大大提高的效率2.如何进行批处理2.1.单机模式下的批处理
不会仅此而已·2024-01-18 23:48

(单机，非分布式调度，无需quartz)

本文的讨论，仅限于单机下的调度，不是分布式调度的管理。分布式请参考xxl-job，redission分布式锁等框架主要解决3个问题：1)@Scheduled(cron="0/5****?")
w1047667241·2024-01-18 23:12

Hadoop的心脏：中央异步调度器AsyncDispatcher代码和设计解析

以Yarn、HDFS和MapReduce为主要组成的Hadoop，涉及到大量复杂的、交互的事件处理、状态转换，同时，这些事件调度和状态转换又对实时性和效率提出了极高的要求。
麦兜和小可的舅舅·2024-01-18 22:56

Hadoop RPC Server基于Reactor模式和Java NIO 的架构和原理

文章目录前言JavaNIO简介Reactor设计模式详解1.Reactor设计模式概览2.RPC总服务启动3.Listener4.Reader5.Handler6.Responder结束前言HadoopRPC
麦兜和小可的舅舅·2024-01-18 22:26

HDFS WebHDFS 读写文件分析及HTTP Chunk Transfer Encoding相关问题探究

文章目录前言需要回答的首要问题DataNode端基于Netty的WebHDFSService的实现基于重定向的文件写入流程写入一个大文件时WebHDFS和HadoopNative的块分布差异基于重定向的数据读取流程尝试读取一个小文件尝试读取一个大文件读写过程中的
麦兜和小可的舅舅·2024-01-18 22:52

2023敬老院养老院管理系统的设计和实现(论文+开题报告+运行)

对于大众而言,单机应用早已成为过去，传统模式早已满足不了当下办公生活等多种领域的需求,在一台电脑上不联网的软件少之又少，取而代之的是相互连通的软件系统,构成信息大数据社会。
云码毕设(商务合作)·2024-01-18 22:04

微服务_Nacos01_启动与注册服务

/startup.sh-mstandalone#单机运行（非集群）Nacos默认端口8848Nacos默认登录用户名密码都是nacos二、Nacos注册服务分为三步：在
伍六七_ba5e·2024-01-18 22:23

PHP项目添加分布式锁，这里是ThinkPHP8框架实现分布式锁

背景：公司旧项目，最初访问量不多，单机部署的。后来，访问量上来了，有阵子很卡，公司决定横向扩展，后端代码部署了三台服务器。部署调整后，有用户反馈，一个订单支付了三次。
程序员buddha·2024-01-18 21:36

Hive入门

介绍Hive是一个基于Hadoop的数据仓库工具，它可以将结构化数据文件映射成一张表，然后通过类似SQL的查询语句来执行查询。
kongxx·2024-01-18 17:11

MacBook Linux安装zookeeper

MacBookLinux安装zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
beyond阿亮·2024-01-18 17:12

Clickhouse: One table to rule them all!

它们之所以被称之为个人方案，并不是因为性能弱，而是指在这些方案中，数据都存储在本地，也只适合单机查询。数据源很贵–在这个冬天，我们已经听说，某些上了规模的机构，也在让员工共享万得账号了。
量化风云·2024-01-18 16:39

快手营销活动面试

集群：高峰期8万，平峰期5万单机最大多少？性能瓶颈？
error0318·2024-01-18 15:06

虚拟机中配置hadoop

一、可以先在windows系统下下载好需要安装的hadoop版本比如：hadoop-3.1.3.tar.gz。
※海绵※的笑~·2024-01-18 14:40

vsftpd并发参数调优

压力测试1.压力测试工具2.java代码压测三、结论1.max_per_ip默认值是502.vsftpd并发数可达理论值（TPS低）一、前言vsftpd官方文档写到standalone(常用)模式下，单机性能可达
搬山境KL攻城狮·2024-01-18 14:52

Linux常用命令大全

1.查看端口号占用lsof-i:端口号lsof-i:8060sudonetstat-nlp|grep80602.查看CPU、核数、磁盘信息[hadoop@master1~]$cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009
tuoluzhe8521·2024-01-18 13:52

02-项目性能优化-课程笔记

及服务容器更换目标03-理解为什么进行数据库调优，以及数据库调优的调什么目标04-掌握OpenResty调优目标05-理解缓存调优和JVM调优必要性和价值点2.6分布式压测使用JMeter做大并发压力测试的场景下，单机受限与内存
程序媛9688·2024-01-18 11:30

在Linux上安装redis-6.2.5(单机版)

记录：399场景：在Linux上安装redis-6.2.5。官网地址：https://redis.io/源码地址：https://github.com/redis/redis下载地址：http://download.redis.io/releases/版本：redis-6.2.5，CentOS7.9。说明：使用编译源码的方式安装redis-6.2.5。1.下载redis-6.2.5下载命令：wge
zhangbeizhen18·2024-01-18 10:59

MySQL 主从复制原理

分担压力同时保证数据一致，降低单机I/O频率，提高单机I/O性能数据热备，主机挂了，还有从机可用用于读写分离，降低锁对性能的影响，即使主库锁表，从库依然可以顺畅访问1.主从复制原理浅析原理：（1）master
bit_拳倾天下·2024-01-18 09:21

书签留存文档

用plsql连接oracle-郑文亮-博客园IDEA中创建mavenweb项目的详细部署kettle连接hbase-CSDN博客PI服务器及各客户端安装配置-豆丁网Oracle客户端使用-CSDN博客hadoop
Liang.Wang·2024-01-18 09:13

作为刚入职的小白，怎么才能学好大数据 ？

大数据学习方向一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
铁拳虎·2024-01-18 09:40

HBASE学习一：原理架构详解

HBase的存储是基于HDFS的，HDFS有着高容错性的特点，被设计用来部署在低廉的硬件上，基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐量。HBase采用的时ke
Studying！！！·2024-01-18 08:34

架构篇04-复杂度来源：高性能

文章目录单机复杂度集群的复杂度小结从本篇开始，我们一起深入分析架构设计复杂度的6个来源，先来聊聊复杂度的来源之一高性能。对性能孜孜不倦的追求是整个人类技术不断发展的根本驱动力。
星猿杂谈·2024-01-18 08:32

ClickHouse vs StarRocks 全场景MPP数据库选型对比

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
涛子丶白了你一眼·2024-01-18 08:12

ClickHouse vs StarRocks 选型对比

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
dan20211·2024-01-18 08:40

Clickhouse VS StarRocks

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
chixushuchu·2024-01-18 08:10

【技术选型】clickhouse vs starRocks

比对结论如果只能单机部署的话，clickhouse基本无敌。
偏振万花筒·2024-01-18 08:08

springcloud Eureka服务注册与发现

文章目录代码地址Eureka基础知识什么是服务治理什么是服务注册与发现单机版eurekaServerIDEA生成eurekaServer端服务注册中心类似物业公司EurekaClient端cloud-provider-payment8001
我是小水水啊·2024-01-18 08:36
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他