Hadoop系统架构

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

简述Elasticsearch(ES)是什么 全文搜索概念 (倒排索引 管理文档)

今天我们来说说NoSql中的Elasticsearch大家基本都叫它ES官方介绍它是一个分布式全文搜索引擎分布式是一个系统架构的概念而全文搜索引擎全文搜索可以说基本大家天天都在接触就比如我们京东购物想买什么东西在全文输入框中搜索它就会在所有物品中帮你找出需要的它会将所有的数据进行一个分类然后在你输入时将与你输入内容想匹配的数据都推送出来但还有一个分类的概念比如我们只是靠
瑞晟技术服务中心-耿瑞·2024-01-25 07:33

基于CentOS7 Hadoop-2.7.2伪分布式部署

1、基本环境Linux版本：CentOS7.0JDK版本：jdk-7u79-linux-x64.tar.gzHadoop版本：hadoop-2.7.2.tar.gzjdk以及Hadoop安装在/usr目录下
程序员小H·2024-01-25 07:23

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

作为一名优秀的软件测试工程师，需要具备哪些能力？

3.分析被测系统架构用什么语言开发的？用的是什么服务器？要在哪种环境
北国的秋天·2024-01-25 07:25

单核QPS近6000S，陌陌基于OceanBase的持久化缓存探索与实践

在本文中，陌陌数据库负责人冀浩东将聚焦探讨陌陌的KV系统架构选择思路，并深入解析如何进行此类系统的甄选决策。他将进一步分享陌陌团
OceanBase数据库官方博客·2024-01-25 07:32

【读书笔记-010】持续交付2.0之软件系统架构

背景传统的巨石架构在每次部署时必须将整个系统都作为一个整体进行部署，即使只是其中的某个小模块的小规模代码变更，这种架构的系统的稳定性存在挑战，出现生产问题的概率大大增加。为了降低系统的耦合度和复杂性，应该将巨石架构全面改造成面向服务架构，并满足以下要求：所有团队都要以服务接口的方式提供各种功能；团队间必须通过接口方式通信；不允许任何其他形式的互操作：不允许直接读取其他团队的数据库，只能通过网络进行
爱倩子的李总·2024-01-25 06:04

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
小猪Harry·2024-01-25 05:09

系统架构设计师教程（十四）云原生架构设计理论与实践

云原生架构设计理论与实践14.1云原生架构产生背景14.2云原生架构内涵14.2.1云原生架构定义14.2.2云原生架构原则14.2.3主要架构模式14.2.4典型的云原生架构反模式14.3云原生架构相关技术14.3.1容器技术14.3.2云原生微服务14.3.3无服务器技术14.3.4服务网格14.4云原生架构案例分析14.4.1某旅行公司云原生改造14.4.2云原生技术助力某汽车公司数字化转型
赫凯·2024-01-25 03:13

【大数据】Flink 系统架构

Flink系统架构1.Flink组件1.1JobManager1.2ResourceManager1.3TaskManager1.4Dispatcher2.应用部署2.1框架模式2.2库模式3.任务执行
G皮T·2024-01-25 02:56

【开源毕设】基于SSM+微信小程序的英语学习交流平台

目录前言一、毕设目录二、系统介绍三、系统架构四、系统环境五、系统页面展示前言【开源毕设】基于SSM+微信小程序的英语学习交流平台个人主页：@MIKE笔记文章专栏：毕业设计源码合集⛄联系博主：wx：mikenote
MIKE笔记·2024-01-25 01:52

基于SpringBoot+Vue+uniapp的多商户微信小程序商城

目录前言一、毕设目录二、系统介绍三、系统架构四、系统环境五、系统页面展示微信小程序前台springboot后台结语前言个人主页：@MIKE笔记文章专栏：毕业设计源码合集⛄联系博主：wx：mikenote
MIKE笔记·2024-01-25 01:51

Hi Developer，你有来自华为云学院的微服务开发攻略请查收

微服务开发攻略微服务正成为最热门的系统架构之一。作为一名开发者，是否已经了解微服务？微服务系统？微服务应用模式？如何提升微服务开发能力。。。。。。本文带你一起学习微服务。
舒意从生·2024-01-25 01:04

储能双向变流器（PCS)设备中的电流检测方法

这是一个典型的分布式储能系统架构：在整个储能系统中，功率转换系统（PowerConversionSystem,PCS）是其中的核心部件。
dldzjsyyy·2024-01-24 21:59

Android 系统的架构

1、Android系统架构共分为五层应用层应用框架层系统运行库层硬件抽象层和Linux内核层图（1）一、应用层：系统内置的应用层序以及非系统的应用程序都是属于应用层的，负责与用户直接交互。
黑芝麻胡·2024-01-24 21:58

Spark基本架构及原理

Hadoop和Spark的关系Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
李飞_fd28·2024-01-24 20:50

【手把手带你玩转MyBatis】源码篇：核心类架构剖析与运作机制详解

通过详尽分析这些关键组件的设计思路和工作流程，你不仅能更加熟练地运用MyBatis进行开发实践，更能借此提升对复杂系统架构设计的理解力和洞察力。
陈大狗Ayer·2024-01-24 17:00

软件测试的调用接口怎么调用，逻辑是什么？

今天的系统架构很复杂，系统
咖啡加剁椒.·2024-01-24 16:21

2019-05-15

主流程1.关闭防火墙2.机器间实现免密3.zk部署4.hadoop部署实现流程2.免密登录ssh-keygen回车一直到最后（有3次）生成本机秘钥后，同步到自己机器和其他机器ssh-copy-idhostxshell
泡泡_bbb9·2024-01-24 15:54

通过hadoop jar命令运行提交MapReduce到YARN中

实现Wordcount大概流程：给定数据输入的路径，给定结果输出的路径；将输入路径内的数据中的单词进行计数，将结果写到输出路径如下：在hadoop下找hadoop-mapreduce-examples-
%HelloWorld%·2024-01-24 13:28

MapReduce配置 & YARN集群部署

1：编辑mapred-env.sh；添加如下配置#设置jdk路径exportJAVA_HOME=/opt/module/jdk#设置JobHistoryServer进程内存为1GexportHADOOP_JOB_HISTORYSERVER_HEAPSIZE
%HelloWorld%·2024-01-24 13:28

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hive在VMware中部署

会在日志文件中生成root用户的一个随机密码，使用下面命令查看密码：如果你想设置简单密码，需要设置mysql密码安全级别：(进入mysql中实行)然后就可以简单密码了：(进入mysql中实行)步骤二：配置hadoop
%HelloWorld%·2024-01-24 13:27

架构师的36项修炼-06高性能系统架构设计

本课时讲解大家常听到的高性能系统架构。高性能系统架构，主要包括两部分内容，性能测试与性能优化。性能优化又可以细分为硬件优化、中间件优化、架构优化及代码优化，知识架构图如下。性能测试先看系统的性能测试。
机智阳·2024-01-24 13:14

架构师的36项修炼-07高可用系统架构设计

本课时讲解高可用系统架构，如下图所示，本课时内容主要包括3个部分。&互联网系统可用性度量，即如何用指标来衡量系统的可用性，以及进行可用性管理时的一些手段。
机智阳·2024-01-24 13:42

Kafka集群的安装与配置（二）

2.2.2生产者命令行操作1）查看操作生产者命令参数[atguigu@hadoop102kafka]$bin/kafka-console-producer.sh2）发送消息[atguigu@hadoop102kafka
ole_triangle_java·2024-01-24 12:59

创新医疗服务：宠物在线问诊系统的搭建与应用

1.系统架构与技术选择在开始搭建之前，我们需要设计系统的架构并选择合适的技术栈。一个典型的宠物在线问诊系统可以分为前端、后端和数据库三个主要组成部分。我们选择采用现代化的技术来实现这个系统。
万岳科技系统开发·2024-01-24 10:46

Windows下hive中insert语句报错

报错信息我的hadoop和hive版本都是3.0版本(建议hadoop3.x版本、hive2.x版本，我在使用中发现有些问题)[08S01][2]Errorwhileprocessingstatement
林园857·2024-01-24 10:27

《互联网项目实战》课件

（1）讲师介绍知一老师主讲项目实战课高级架构师擅长微服务系统基础架构RPC注册中心MQ分布式文件存储分布式K-V存储擅长互联网业务系统架构电商系统IM系统直播答题（2）初识电商项目淘宝核心流程首页taobao.com
琛哥的程序·2024-01-24 09:08

技术驱动宠物健康：宠物在线问诊系统的高效搭建手册

1.架构设计与技术选型在搭建之前，首先进行系统架构设计和技术选型。以下是一套现代化的技术栈，旨在保证系统的高效性和灵活性。1.1前端技术栈选择React作为前端框架，搭配AntDesign组件库
万岳科技·2024-01-24 09:39

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

HBase介绍及简易安装（转）

HBase介绍及简易安装（转）HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
weixin_33711647·2024-01-24 08:23

Hadoop集群（第12期)_HBase简介及安装

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
weixin_30451709·2024-01-24 08:23

HBase学习

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
mm_bit·2024-01-24 08:20

HBase详细概述

本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据、HBase数据模型、HBase物理存储、HBase系统架构，HBase调优、HBaseShell访问等。
a867901084·2024-01-24 08:49

HBase简易安装和简介

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
滑过的板砖·2024-01-24 08:49

Hbase 基础理论

Hbase本身是属于NoSQL在hadoop的大数据集群框架中可以用来做数据的存储。Hbase本身是Google的Bigtable理论的开源实现。本篇文章
Allocator·2024-01-24 08:48

H. Linux查找文件 whereis locate which

[root@hadoop01~]#whereiscatcat:/bin/cat/usr/share/man/man1/cat.1.gz[root@hadoop01~]#yuminstallmlocate
小猪Harry·2024-01-24 08:06

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

1、常用Connector读写之前我们已经用过了一些简单的内置连接器，比如'datagen'、'print'，其它的可以查看官网：Overview|ApacheFlink环境准备：#1.先启动hadoopmyhadoopstart
让线程再跑一会·2024-01-24 07:17

系统架构演变

1.1系统架构的演变2008年以后，国内互联网行业飞速发展，我们对软件系统的需求已经不再是过去”能用就行”这种很low的档次了，像抢红包、双十一这样的活动不断逼迫我们去突破软件系统的性能上限，传统的IT
jyx_boy·2024-01-24 07:17

MySQL数据库在CentOS 6.8环境下的安装

二、步骤1、检查本地YUM源检查本地YUM中可用的与mysql相关的软件包[root@hadoop00~]#yumlist|grepmysql出现如图所示错误，需要重新挂载一下系统安装镜像[root@hadoop00
m0_69595107·2024-01-24 06:10

Hadoop安装配置HBase

2、安装切换目录[root@hadoop00~]#cd/usr/local新建文件夹[root@hadoop00local]#mkdirhbase解压文件[root@hadoop00local]#tarzxvf
m0_69595107·2024-01-24 06:10

Hadoop伪分布式安装配置

A、添加hadoop用户1、添加用户组[root@hadoop00~]#groupaddhadoop2、添加用户并分配用户组[root@hadoop00~]#useradd-ghadoophadoop3
m0_69595107·2024-01-24 06:09

虚拟机网络配置及Moba工具的使用

A、设置IP和网关1、设置IP[root@hadoop00~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0（修改如下标红内容，没有的就添加）DEVICE=eth0HWADDR
m0_69595107·2024-01-24 06:09

Hadoop中HBase命令行操作

HBase提供了Shell命令行，功能类似于Oracle、MySQL等关系库的SQLPlus窗口那样，用户可以通过命令行模式进行创建表、新增和更新数据，以及删除表的操作。采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。1.启动HDFS服务进程和hbase服务
m0_69595107·2024-01-24 06:05

大数据基础设施搭建 - Hbase

文章目录一、解压压缩包二、配置环境变量三、修改配置文件3.1修改hbase-env.sh3.2修改hbase-site.xml3.3修改regionservers四、解决HBase和Hadoop的log4j
m0_46218511·2024-01-24 06:04

有了金刚钻，不惧瓷器活 | 在数据文件上轻松使用SQL

当然，如果为了去英国美国，学个英语还算值，这就像学个Python、Hadoop，出去找工作也算是个技能。
小黄鸭呀·2024-01-24 04:41

Java缓存介绍

是高速缓冲存储器一种特殊的存储器子系统，其中复制了频繁使用的数据以利于快速访问2、凡是位于速度相差较大的两种硬件/软件之间的，用于协调两者数据传输速度差异的结构，均可称之为Cache二、缓存的分类1、基于web应用的系统架构图
xmh-sxh-1314·2024-01-24 04:04

高并发秒杀系统架构详解，不是所有的秒杀都是秒杀！

写在前面很多小伙伴反馈说，高并发专题学了那么久，但是，在真正做项目时，仍然不知道如何下手处理高并发业务场景！甚至很多小伙伴仍然停留在只是简单的提供接口（CRUD）阶段，不知道学习的并发知识如何运用到实际项目中，就更别提如何构建高并发系统了！究竟什么样的系统算是高并发系统？今天，我们就一起解密高并发业务场景下典型的秒杀系统的架构，结合高并发专题下的其他文章，学以致用。这边还有各个知识点模块整理文档和
Java柚子·2024-01-24 03:42
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他