Hadoop系统架构

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

Linux系统目录结构

文章目录前言一、Linux系统目录结构二、标准文件系统架构FHS1.可分享，不可分享2.主要的和最基本的目录总结前言简要的说明一下Linux系统的目录结构一、Linux系统目录结构根目录是整个系统最重要的目录
醉卧考场君莫笑·2024-01-07 00:24

2024.1.5 Hadoop各组件工作原理,面试题

目录1.简述下分布式和集群的区别2.Hadoop的三大组件是什么?3.请简述hive元数据服务配置的三种模式?4.数据库与数据仓库的区别?5.简述下数据仓库经典三层架构?
白白的wj·2024-01-06 23:34

软考最新改革版【系统架构设计师考试】如何高效备考？

一、背景本人于2023年下半年参加软考，并顺利通过(52/49/50)。由于是计算机相关专业，毕业后从事的是算法工程师工作，因此备考时间从9月中旬开始，中间有事耽误了几个周末没有看书，前前后后复习的时候加起来大概两周。虽说有计算机基础，但实际能用上的并不多，而且很多也忘了，加上白天上班时间很紧迫。然而，可喜的是，软考不需要你考很高的分数，每科能到45分即可。于是，针对每科我都总结出了一套高效的复习
屠变恶龙之人·2024-01-06 21:27

Flink常见核心概念

分布式缓存有时一些数据是通用的,就需要进行共享,可以放在文件、缓存、db中,可以放在文件中,先缓存到hadoop集群中,然后使用cachepublicclassCacheStream{publicstaticvoidmain
一生逍遥一生·2024-01-06 21:56

SpringCloud微服务详解：成功入职网易月薪35K

微服务是一种分布式系统架构，它建议我们将业务切分为更加细粒度的服务，并使每个服务的责任单一且可独立部署，服务内部高内聚，隐含内部细节，服务之间低耦合，彼此相互隔离。
程序员伏地魔·2024-01-06 19:06

Hive 源码解析一：Driver

这是hive的架构图从架构图来看，黄颜色属于Hive范畴，蓝颜色属于Hadoop范畴，其中MetaStore可以说是独立Hive核心
小王是个弟弟·2024-01-06 17:25

《Hive系列》Hive详细入门教程

目录1Hive基本概念1.1什么是HiveHive简介Hive：由FaceBook开源用于解决海量结构化日志的数据统计工具Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表
DATA数据猿·2024-01-06 17:55

Hive（一）概述

文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用一.简介1.概述什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具Hive是基于Hadoop
Jumanji_·2024-01-06 17:54

业务提出的需求研发无法实现，产品如何面对两难问题？

弄清他们的关键目标和期望，并明确告知他们当前系统架构的限制和技术挑战。这里分享几个工具，帮助你了解并梳理他们的需求：MoSCoW排序法。
打小又皮又闹·2024-01-06 17:52

《系统架构设计师教程（第2版）》第3章-信息系统基础知识-06-办公自动化系统 (OAS)

文章目录1.概述1.1办公活动1.2办公自动化的概念（了解即可）2.功能2.1事务处理1）单机系统2）多机系统具2.2信息管理2.3辅助决策3.OAS的组成3.1计算机设备3.2办公设备3.3数据通信及网络设备3.4软件系统1.概述</
玄德公笔记·2024-01-06 17:16

重塑财务管理未来：揭秘创新数电发票系统架构的设计奥秘与实践策略

提示：揭秘创新数电发票系统架构的设计奥秘与实践策略文章目录前言一、数电发票系统架构二、数电发票架构解析总结前言在日益数字化的时代，我们的日常生活和商业模式正在经历深刻的变革。
编程洞见者·2024-01-06 17:45

YARN（一）-- 产生原因及概述

本文内容如下：介绍为什么会产生YARN（同时介绍原MapReduce框架的不足）YARN的基本原理首先说一下YARN是什么吧：ApacheHadoopYARN(YetAnotherResourceNegotiator
小北觅·2024-01-06 17:54

Flume基础知识（九）：Flume 企业开发案例之复制和多路复用

2）需求分析：3）实现步骤：（1）准备工作在/opt/module/flume/job目录下创建group1文件夹[root@hadoop102job]$cdgroup1
依晴无旧·2024-01-06 17:58

教你如何将本地虚拟机变成服务器，供其它电脑访问

在虚拟机上安装hadoop和hive，然后同学机子上安装kettle进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器，供其它电脑访问。
吾浴西风·2024-01-06 16:01

高可用分布式部署Spark、完整详细部署教程

Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark
一座野山·2024-01-06 16:15

前端Web系统架构设计

文章目录1.目录结构定义2.路由封装2.1API路由定义2.2组件路由定义3.Axios请求开发4.环境变量封装5.storage模块封装(sessionStorage,localStorage)6.公共函数封装(日期,金额,权限..)7.通用交互定义(删除二次确认,类别,面包屑...)8.接口全貌概览1.目录结构定义2.路由封装react-router62.1API路由定义2.1API路由定义i
小李科技·2024-01-06 15:52

SuperMap分布式数据库实操

.配置开机自启动5.集群部署5.1主从复制集群5.2副本集集群安装部署配置开机自启动5.3分片集群二、DSF（HDFS）1.HDFS2.安装部署三、DSF(本地文件)四、HBASE1.数据模型2.安装Hadoop
会灭火的程序员·2024-01-06 15:42

《数据采集与预处理环境》实验环境安装

文章目录1.安装Python及第三方库2.jupyternotebook安装3.jdk安装4.MySQL安装1.在根目录下创建文件my.ini2.初始化3.安装服务4.启动服务5.登录6.配置环境变量5.hadoop
活下去.·2024-01-06 14:10

熟悉常用的Linux操作和Hadoop操作

1.安装虚拟机(1)VMwareworkstationpro安装包下载登录VMware官网：VMware中国-交付面向企业的数字化基础|CN，点击登录->云服务控制台，进入欢迎使用VMware页面，点击创建您的VMWARE账户，进入注册界面填写信息并注册。注册完成后，返回登录页面进行登录，进入VMwareworkstationpro下载地址（https://customerconnect.vmwa
cwn_·2024-01-06 11:47

HDFS的高可用性

Hadoop在2.x的版本引入了联邦HDFS（HDFSFederation），通过在集群中添加namenode实现。
zh_harry·2024-01-06 10:25

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:

FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
深度检测·2024-01-06 10:25

Spark概述

Spark概述Spark是什么ApacheSpark是一个快速的，多用途的集群计算系统，相对于HadoopMapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行运算
我像影子一样·2024-01-06 09:38

【十年磨一剑】我们能从阿里架构师的身上学到什么？

正文本文是看到阿里巴巴系统架构师黄勇的采访记录有感而发，如有侵权，请联系我。下面就一起来看看阿里架构师的十年架构路。
java成功之路·2024-01-06 09:40

Hbase进阶

yarn-daemon.shstartresourcemanageryarn-daemon.shstartnodemanager（2）在hive中建表时附加上：storedby'org.apache.hadoop.hive.hbase.HBaseStorageHandler'withserdeproperties
xinxinyydss·2024-01-06 08:36

java: 从HBase中读取数据

一、添加依赖：org.apache.hadoophadoop-client2.6.0org.apache.hbasehbase-client2.4.2二、使用Scanner读取数据示例：packagecn.edu.tju
amadeus_liu2·2024-01-06 08:01

Hadoop: HBase模糊查询

Tabletable=connection.getTable(TableName.valueOf("originalSignal"));Scanscan=newScan();RowFilterrowFilter=newRowFilter(CompareOp.EQUAL,newSubstringComparator(vin));scan.setFilter(rowFilter);ResultScan
amadeus_liu2·2024-01-06 08:31

Hadoop: User: hadoop is not allowed to impersonate anonymous

/etc/hadoop/core-site.xml增加（hadoop是你的用户名)hadoop.proxyuser.hadoop.hosts*hadoop.proxyuser.hadoop.groups
amadeus_liu2·2024-01-06 08:00

Hadoop: 访问hdfs报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferExceptio

可能是hdfs端口配置的不是默认的9000,hdfsgetconf-confkeyfs.default.name可以查看端口
amadeus_liu2·2024-01-06 08:00

Hadoop: JAVA连接单机版HBase报错：java.net.UnknownHostException: can not resolve master

windows:修改host文件，加上xxx.xxx.xxx.xxx(服务器ip)master.Linux:修改/etc/hosts
amadeus_liu2·2024-01-06 08:00

Hadoop： SpringBoot Hive项目报java.lang.AbstractMethodError: org.apache.jasper.servlet.TldScanner$Tl

修改hive-jdbc依赖org.apache.hivehive-jdbc3.1.2org.eclipse.jettyjetty-runner
amadeus_liu2·2024-01-06 08:30

Hadoop:jdbc连接hive maven 依赖

junitjunit3.8.1testorg.apache.hadoophadoop-common3.3.0org.apache.hivehive-jdbc3.1.2jdk.toolsjdk.tools1.8system
amadeus_liu2·2024-01-06 08:30

Hadoop: dfs常用命令

bin/hadoopdfs-mkdir/hilubin/hadoopdfs-touchz/hilu/niuyear.txtbin/hadoopdfs-touchz/hilu/niuyear2.txtbin
amadeus_liu2·2024-01-06 08:00

java: 写入数据到HBase

一、添加依赖org.apache.hadoophadoop-client2.6.0org.apache.hbasehbase-client2.4.2二、调用API写HBase示例packagecn.edu.tju
amadeus_liu2·2024-01-06 08:55

【性能测试入门必看】性能测试流程简介

性能测试流程介绍：一、性能测试流程（一）——问清性能测试需求1、新系统能力验证2、明确客户需求3、找出系统性能瓶颈4、稳定性验证（强度测试）二、性能测试流程（二）——了解系统结构系统架构对于测试新手来是最难的
测试界清流·2024-01-06 07:13

【大数据进阶第三阶段之Hive学习笔记】Hive安装

1、环境准备安装hadoop以及zookeeper、mysql【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客《zookeeper的安装与配置》自行百度《Linux环境配置
伊达·2024-01-06 07:07

MR实战：网址去重

实现步骤1、创建Maven项目2、添加相关依赖3、创建日志属性文件4、创建网址去重映射器类5、创建网址去重归并器类6、创建网址去重统计驱动器类7、启动应用，查看结果四、实战总结一、实战概述本实战项目主要利用HadoopMapReduce
howard2005·2024-01-06 06:09

StreamPark + PiflowX 打造新一代大数据计算处理平台

它具有如下特性：简单易用：可视化配置流水线，实时监控流水线运行状态，查看日志；功能强大：提供100+的数据处理组件，包括Hadoop、Spark、MLlib、Hive、Solr、Redis、MemCa
暗影八度·2024-01-06 05:47

新一代大数据管家 DataSophon 1.2 重磅发版

在大数据领域，现在普遍认为是后Hadoop时代，CDH的停更和闭源导致传统的Hadoop体系组件栈没有一个称手好用的管理工具，越来越多新一代的大数据项目也在层出不穷,同样也需要管理，并且需要适配云原生的能力
Datavane·2024-01-06 05:47

零距离接触阿里云时序时空数据库TSDB

阿里云TSDB是阿里巴巴集团数据库事业部研发的一款高性能分布式时序时空数据库，在即将过去的2018年，我们对TSDB进行了多次的系统架构改进，引入了倒排索引、无限时间线支持、时序数据高压缩比算法、内存缓存
阿里云技术·2024-01-06 04:42

灸哥问答：解决方案架构师有多神奇，和我们平时讲的架构师有什么区别

角色的发展在早期的计算机系统时代，当时的技术人员主要的精力聚焦在硬件系统的设计，随着在硬件之上的软件发展，开始出现了系统架构师的岗位，这
灸哥漫谈·2024-01-06 00:12

分布式系统架构设计之分布式缓存技术选型

一、概述随着互联网业务的快速发展，分布式系统已经成为了解决大规模并发请求、高可用性、可扩展性等问题的重要手段。在分布式系统中，缓存作为提高系统性能的关键技术，能够显著降低数据库负载、减少网络延迟、提高数据访问速度。当面对大量并发请求时，如果每次都直接从数据库读取数据，可能会导致数据库压力过大，甚至引发性能瓶颈。此时，引入缓存可以有效地缓解这一问题。因此，合理设计分布式缓存策略对于提升系统整体性能具
灸哥漫谈·2024-01-06 00:41

Android学习记录（一）

5.Android系统架构是怎样的？①Linux内核层
ilovepy_·2024-01-06 00:11

2.HDFS 架构

目录概述架构HDFS副本HDFS数据写入流程NN工作原理DN工作原理结束概述官方文档快递环境：hadoop版本3.3.6相关文章速递架构HDFSHDFS架构总结如下：amaster/slavearchitecture
流月up·2024-01-05 23:01

1.大数据概述

目录概述hadoophadoop模块hadoop发行版apache社区版本CDP(CDH+HDP)其它云产商框架选择hadoop安装结束概述先了解几个常用的网站apache官网hadoop官网hadoopgithubhttps
流月up·2024-01-05 23:00

Hadoop面试题与python基础

Hadoop面试题Hadoop的三种部署模式？Hadoop最初元数据放在哪里？要想多个客户端访问，元数据要放在哪里？分桶表和分区表的区别？项目中如何实现拉链表？
中长跑路上crush·2024-01-05 23:02

【无标题】

ETL项目–自学笔记（补充）1、服务启动cdh虚拟机中服务会自动启动手动启动启动hadoop服务/export/server/hadoop/sbin/start-all.sh启动hive服务metastore
中长跑路上crush·2024-01-05 23:02

非常完整的电商架构

电商架构一、系统架构1、系统架构1.1网关1.2注册中心1.3配置中心1.4RPC框架1.5负载均衡1.6限流、降级、缓存1.7Bus1.8链路监控2、项目架构3、业务架构二、系统设计原则1、技术设计原则
Ivyvivid·2024-01-05 22:28

Java实战项目五：文本冒险游戏

文章目录一、实战概述二、知识点概览（一）条件分支与循环结构（二）面向对象设计（三）用户交互与事件处理三、思路分析（一）系统架构设计（二）功能模块划分详解四、实现步骤（一）基础类与接口设计（二）游戏流程实现
howard2005·2024-01-05 22:26
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他