hadoop单机

docker-compose部署单机ES+Kibana

记录部署的操作步骤准备工作编写docker-compose.yml启动服务验证部署结果本次elasticsearch和kibana版本为8.2.2使用环境：centos7.9本次记录还包括：安装elasticsearch中文分词插件和拼音分词插件准备工作1、创建目录和填写配置mkdir/home/es/singleecho"http.host:0.0.0.0">>./config/elastics
sissie喵~·2024-01-27 05:49

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyuyo·2024-01-27 05:53

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5·2024-01-27 03:24

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
云台095·2024-01-27 03:40

第17章 集群

突破单机数据库性能瓶颈。提高可用性。通过主从复制提供故障转移，进一步提高整个系统的稳定性。
weixin_30649859·2024-01-27 02:26

[AIGC 大数据基础] 浅谈hdfs

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

idea上搭建pyspark开发环境

1环境版本说明python版本：Anaconda3.6.5spark版本：spark-2.4.8-bin-hadoop2.7idea版本：2019.32环境变量配置2.1python环境变量配置将python.exe
jackyan163·2024-01-27 00:06

八.压缩和存储

8.1Hadoop源码编译支持Snappy压缩(了解)8.1.1资源准备1）CentOS联网配置CentOS能连接外网。
临时_01e2·2024-01-26 21:13

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6·2024-01-26 21:03

MongoDB单机部署

Windows系统安装启动下载安装包附件中已准备好win32位、win64位安装包MongoDB提供了可用于32位和64位系统的预编译二进制包，你可以从MongoDB官网下载安装，MongoDB预编译二进制包下载地址：https://www.mongodb.com/download-center#community提示：版本的选择：MongoDB的版本命名规范如：x.y.z；y为奇数时表示当前版本
理智很乏味清醒最孤独·2024-01-26 20:48

hadoop-MR

1.MR执行原理1.MAP阶段在这里插入图片描述2.Reducer在这里插入图片描述3.shuffle阶段在这里插入图片描述2.实操1.导入maven配置org.apache.hadoophadoop-mapreduce-client-common2.7.1org.apache.hadoophadoop-mapreduce-client-core2.7.12
炽热_3a57·2024-01-26 19:06

Opentracing 链路追踪实战

链路追踪的作用当系统架构从单机转变为微服务后，我们的一次后端请求，可能历经了多个服务才最终响应到客户端。如果请求按照预期正确响应还好，万一在调用链的某一环节出现了问题，排查起来是很麻烦的。
殷天文·2024-01-26 19:54

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

hadoop安装遇到的一些障碍

一.start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea·2024-01-26 18:30

Redisson实现 redis 集群分布式锁

前言上文我们介绍的Redis实现分布式锁的正确方式是redis单机的方式，所以本篇要基于redis集群做分布式锁，我们使用Redisson来做。
雨不在·2024-01-26 18:38

Pytorch分布式训练：DDP

pytorch是支持单机多卡甚至是多机多卡训练的，目前大部分的模型朝着6G甚至好几十G上涨，单凭一张显卡有点难以招架了。
Silver__Wolf·2024-01-26 18:04

指导手册05：MapReduce编程入门

指导手册05：MapReduce编程入门Part1:使用Eclipse创建MapReduce工程操作系统：Centos6.8,hadoop2.6.4情景描述：因为Hadoop本身就是由Java开发的，所以通常也选用
weixin_30655219·2024-01-26 17:56

Spark3学习笔记

文章目录一、Spark基础1、Spark概述1.1Spark简介1.2SparkVSHadoop1.3Spark特点1.4Spark入门Demo2、Spark运行模式2.1概述2.2Local模式2.3Standalone
魅Lemon·2024-01-26 15:38

docker-compose搭建redis集群

单机存在的问题：机器故障，导致redis失效；容量瓶颈，容量不能水平扩展；OPS（operationpersecond每秒处理指令数），一台机器的网络带宽是有限的，如果有多台机器，这个处理能力就
程序员buddha·2024-01-26 14:39

水平分库分表的关键问题及解决思路

01分片技术的由来关系型数据库本身比较容易成为系统性能瓶颈，单机存储容量、连接数、处理能力等都很有限，数据库本身的“有状态性”导致了它并不像Web和应用服务器那么容易扩展。
程序员BUG·2024-01-26 11:08

Apache 辅助系统工具

一丶ApacheSqoop1.Sqoop的介绍：Sqoop的工作机制是将导入或者导出的命令翻译成MapReduce实现，Sqoop可以理解为：SQL到Hadoop或者Hadoop到SQL2.Sqoop的安装配置文件修改
月初，·2024-01-26 11:16

centos同步服务器时间

不同步互联网查看所有节点ntpd服务状态sudosystemctlstatusntpdsudosystemctlstartntpdsudosystemctlis-enabledntpd查询自己的网段ipaddr修改hadoop102
热爱技术的小陈·2024-01-26 10:39

nacos下载压缩包以及源码打包，以及打包失败的情况

GitHubhttps://github.com/alibaba/nacos/releases这里可以下载安装包和源码，安装包就是源码已经打包好了的注意：直接运行startup.sh是集群在cmd下运行下面的命令才是单机
LDG1998·2024-01-26 09:50

CentOS 7 部署 Redis

文章目录1、前言2、安装部署2.1、单机模式2.1.1、通过yum安装（不推荐，版本老旧）2.1.1、通过源码编译安装（推荐）2.2、主从模式2.3、哨兵模式2.4、集群模式2.5、其他命令2.6、其他操作系统
achi010·2024-01-26 09:13

Hadoop3.x源码解析

文章目录一、RPC通信原理解析1、概要2、代码demo二、NameNode启动源码解析1、概述2、启动9870端口服务3、加载镜像文件和编辑日志4、初始化NN的RPC服务端5、NN启动资源检查6、NN对心跳超时判断7、安全模式三、DataNode启动源码解析1、概述2、初始化DataXceiverServer3、初始化HTTP服务4、初始化DN的RPC服务端5、DN向NN注册6、向NN发送心跳四、
魅Lemon·2024-01-26 09:54

Hadoop3.x学习笔记

文章目录一、Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount
魅Lemon·2024-01-26 09:24

林浩然与Hadoop的奇幻数据之旅

林浩然与Hadoop的奇幻数据之旅LinHaoranandtheEnchantingDataJourneywithHadoop在一个名为“比特村”的地方，住着一位名叫林浩然的程序员大侠。
howard2005·2024-01-26 09:20

进销存通用版软件系统(适合各行业)

软件速度非常快;软件覆盖了所有部门的管理(采购、销售、仓库、财务、OA);财务账和业务账完美结合;自由设定审批流程，结合微信、手机APP，支持全方面的OA办公;可自定义的界面、布局管理;灵活的打印样式设计;单机版永久免费使用
软希源码·2024-01-26 09:20

Hadoop YARN 在快手的应用实践与技术演进之路

yarn的背景yarn大家都比较熟悉了，是从Hadoop1.0分离到2.0的比较重要的特性，把原来的jobtracker集中式调度变成yarn的二级调度，解决集群扩展性的问题。
yoku酱·2024-01-26 08:32

童年如果不是用来回味，那它就毫无用处！—匿名用户

小时候家用台式电脑刚刚兴起不久，网络游戏基本只能在网吧玩，还需要钱，我年龄不大，家里管的又严，顶多在家里玩玩电脑单机。
老爷爷玩葫芦·2024-01-26 07:11

技术解读 | KunDB助力头部金融机构关键系统的Oracle国产替代

通过可视化迁移工具完成了对象与数据的平滑迁移，将原先两套Oracle系统（一套Oracle单机系统，一套OracleRAC系统）统一迁移到一套KunDB集群。
星环科技·2024-01-26 07:40

“研学测”好帮手，三步带你安装体验TDH社区开发版

星环科技TDH社区开发版，作为一款单机可部署、开箱即用的大数据基础平台产品，大幅降低了用户的资源成本和使用门槛。
星环科技·2024-01-26 07:10

centos7下mysql5.7.42的安装配置

环境准备：机器配置：mysql5.7.42单机安装1、二进制安装：2、编辑配置文件：3、初始化数据库：4、配置环境变量:5、制作启动文件：6、用初始密码进入mysql，修改初始密码：7、一些问题及解决办法环境准备
前浪浪奔浪流·2024-01-26 05:36

通过养猪给女朋友讲解Hadoop(一)

六、规章整治奈何桥程序员老王，阎王爷，黑白无常，牛头马面，孟婆。“铃铃铃~”刚躺下的老王又被电话吵醒了，老王接起电话，习惯性地说：“老板，又是哪个系统挂了啊。”“我不是你老板，我是阎王爷”电话那头传来沧桑的声音。“阎王爷，我上有老，下有小，我知道我这么加班不对，但我都是为了生计啊，恳请阎王爷再宽限我几年吧，我把房贷还完就下去报道。”老王哽咽地说着。“这次找你不是想结束你在人间的进程，只是想让你来地
程序员峰哥·2024-01-26 05:55

Flink1.13集成Hadoop3.x以上版本

文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建Flink的HA高可用集群后，打不开webUI界面出现问题打开log日志查看org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Couldnotfindafilesystemimplementationforscheme'hdfs'.Theschemeisn
未来影子·2024-01-26 04:22

flink1.13.0 环境搭建

#flink部署1.standalone模式2.yarn模式session-cluster模式job-cluster模式3.k8s模式注：yarn模式需要依赖hadoop环境，搭建请参考：https:/
AinUser·2024-01-26 04:50

橘子皮的实习周记——第一周总结

一周小总结：目前入职上班时间一周，主要内容是对一个项目进行一些基础的添加操作(用领导A的话来说，就是熟悉一下业务)，我最头疼的就是使用kafkahbasehadoop这些技术，对MySQL内的数据进行一个同步
程序员橘子皮·2024-01-26 03:35

Flink1.13.x+iceberg环境搭建

1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java
姚贤贤·2024-01-26 02:22

Flink 1.13部署指南：深入解析单机与集群模式

目录运行模式1.会话模式（SessionMode）2.单作业模式（Per-JobMode）3.应用模式（App
数据与后端架构提升之路·2024-01-26 02:21

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

【渗透测试】借助PDF进行XSS漏洞攻击

简介在平时工作渗透测试一个系统时，常常会遇到文件上传功能点，其中大部分会有白名单或者黑名单机制，很难一句话木马上传成功，而PDF则是被忽略的一个点，可以让测试报告更丰富一些。
Hello_Brian·2024-01-26 01:02

Spring Cloud Alibaba 整合 Nacos 实现服务配置中心

在之前的文章《Nacos本地单机版部署步骤和使用》中，大家应该了解了Nacos是什么？其中Nacos提供了动态配置服务功能一、Nacos动态配置服务是什么？
程序员泥瓦匠·2024-01-26 01:15

docker-compose配置mongodb复制集

本文使用单机配置mongodb复制集，也即是一个docker-compose文件中运行三个mongod服务。
辣椒炒肉真好吃·2024-01-26 00:51

如何快速搭建springboot+前后端分离（vue），多商户客户端实现微信小程序+ios+app使用uniapp（一处编写，处处编译）

同时支持单机部署、集群部署，用户与店铺范围动态定位，中小商户企业可根据业务动态扩容。
you来有去·2024-01-26 00:13

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

CentOs服务器上安装单机redis和设置开机自启动

CentOs服务器上安装单机redis和设置开机自启动1.安装C语言需要的GCC环境yuminstall-ygcc-c++yuminstall-ywget2、官网下载Rediswgethttp://download.redis.io
Rabi'·2024-01-26 00:49

Golang分布式应用之定时任务

在单机中，定时任务通常需要实现一个类似crontab的系统，一般有两种方式：最小堆，按照任务执行时间建堆，每次取最近的任务执行时间轮，将任务放到时间轮列表中，每次转动取对应的任务列表执行最小堆最小堆是一种特殊的完全二叉树
qingwave·2024-01-25 21:42

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他