hadoop单机

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

CentOS安装k8s单机/集群及一些命令

目录前言1.安装docker2.安装要求3.准备网络（如果只装单机版可跳过此部）4.准备工作5.安装5.1.配置阿里云yumk8s源5.2安装kubeadm、kubectl和kubelet5.3初始化，
蚕豆的生活·2024-01-12 20:24

时来百件学习营第一天的收获和感悟

拥有的准客户名单越多，签单机率越大。感悟：1.现在的保险行业已进进入到客户有了保险意识，营销员保险意识更强，只是最终选择在谁那里购买。2.现在是互联网5G快速发展的时代，根据市场
27fab2c492a3·2024-01-12 18:56

ZooKeeper 安装与部署

1.1认识Zookeeper介绍Zookeeper前，看下面这个图：在这张图片里，我们可以看到Hadoop是一只大象，HIVE是一只蜜蜂，Bigtop是马戏团，Pig是一只猪，HAMA是一只河马…只有Zookeeper
Destiny_-Sky·2024-01-12 18:48

Linux学习笔记——ZooKeeper集群安装部署

5.8、ZooKeeper集群安装部署5.8.1、简介Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，是Hadoop和HBase的重要组件。
kxttmx·2024-01-12 18:16

Zookeeper安装与部署

由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如Hadoop、HBase、Kafka和Dubbo等大型分布式系统中。一个分布式系统最多只能同时满足一致性
HRX98·2024-01-12 18:12

zookeeper下载安装部署

zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目的一个子项目，并根据google发表的一篇论文来实现的。
倚-天-照-海·2024-01-12 18:38

用通俗易懂的方式讲解大模型分布式训练并行技术：序列并行

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。
Python算法实战·2024-01-12 17:25

Hadoop常用命令

启动Hadoop所有进程：start-all.sh关闭Hadoop所有进程：stop-all.sh单进程启动：start-dfs.sh和start-yarn.sh分别启动HDFS和YARNhdfsdfs-xxx
在努力的Jie·2024-01-12 16:16

Hadoop 的核心 —— HDFS（1）

首先来看看Hadoop是什么？
土冥王·2024-01-12 16:13

DolphinScheduler伪集群部署

单机版本稳定性较差，官方建议20个以下流程使用。
远方有海，小样不乖·2024-01-12 15:36

Redis info命令生产监控和config配置命令

info命令介绍：服务器的各种信息和统计数值#Server：有关Redis服务器的常规信息redis_version:6.2.14#Redis版本redis_mode:standalone#运行模式：单机或者集群
水宝的滚动歌词·2024-01-12 15:34

kafka下载安装部署

它现在是Apache旗下的一个开源系统，作为hadoop生态系统的一部分，被各种商业公司广泛应用。
倚-天-照-海·2024-01-12 15:25

Hbase2.1 集群搭建

Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了Hadoop3.2集群搭建了，本次我们将继续紧接着搭建Hbase集群。
kikiki2·2024-01-12 15:31

灵活使用Redis高可用

缺陷：复制恢复无法自动化，写操作无法负载均衡，存储能力受到单机限制。哨兵：在主从复制的基础上，哨兵实现了自动化的故障恢复。缺陷：写操作无法负载均衡，存储能力受到单机的限制，哨兵无法对节点进行
王德发666·2024-01-12 15:19

云原生组件笔记 -- ClickHouse

文章目录一、入门1.1简介1.2单机部署1.3高可用集群1.4分布式集群1.5数据类型二、表引擎2.1Log2.2Integration2.3Special2.4MergeTree2.4.1MergeTree2.4.2ReplacingMergeTree2.4.3SummingMergeTree
L小Ray想有腮·2024-01-12 15:46

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
数据萌新·2024-01-12 14:31

kylin3集群问题和思考（单机转集群）

目录单机改集群注意事项问题思考建议单机改集群注意事项之前是使用的单机版，但后面查询压力过大，一个方案是改成集群。
向他一样rap·2024-01-12 14:38

kylin集群使用nginx反向代理

kylin3集群问题和思考（单机转集群）-CSDN博客文章浏览阅读151次，点赞3次，收藏6次。由于是同一个集群的，元数据没有变化，所以，直接将原本的kylin使用scp的方式发送到其他节点即可。
向他一样rap·2024-01-12 14:38

解决java连接Hbase程序卡住执行也不报错的问题

程序运行不知多久，就报错了（截取一行有用的）：java.net.UnknownHostException:cannotresolvehadoop01,1
向他一样rap·2024-01-12 14:37

查询速度提升15倍！银联商务基于 Apache Doris 的数据平台升级实践

为更好提供数据服务，银联商务实现了从Hadoop到ApacheDoris的架构升级，使数据导入性能提升2-5倍、ETL场景性能提升3-12倍、查询分析响应速度提升10-15倍，满足大规模数据导入和实时极速查询的业务需求
SelectDB技术团队·2024-01-12 13:28

GBASE南大通用 GBase 8a 产品构建数仓系统架构

架构技术实现特点适用场景独立数据仓库（集市）系统架构一套GBase8a物理集群适用于数据规模较小的业务场景适用于各业务之间数据互访较频繁的业务场景适用于单一独立的业务场景企业级数仓系统架构多套GBase8a物理集群，根据需要搭配Hadoop
GBASE数据库·2024-01-12 12:04

libero开发教程——自带ip仿真

ip的配置根据需求填写（我全默认了）此时在testbench选择user，就会生成配套的ip仿真文件单机ok就ok！
小丘的皮卡智·2024-01-12 11:01

Hive安装与配置

注意：Hive的安装与配置建立在Hadoop已安装配置好的情况下。hadopp安装与配置Hive的基本安装从官网下载Hive二进制包，下载好放在/opt目录下。
qq_58647543·2024-01-12 11:50

【微服务技术专题】数据一致性的几种实现方式

传统单机应用使用一个RDBMS作为数据源。应用开启事务，进行CRUD，提交或回滚事务，统统发生在本地事务中，由资源管理器（RM）直接提供事务支持。数据的一致性在一个本地事务中得到保证。
洛神灬殇·2024-01-12 10:09

日记| 唤醒，情绪

那些游戏，单机版至今仍旧存在。存
OO后日记·2024-01-12 10:07

Windows server 2012 新建域时本地administrator账户密码不符合具体解决方案

A.按住Windows+R键，输入Control，打开控制面B.找到用户账户(小图标）C.配置高级用户配置文件属性D.打开用户账户E.点击用户，选中Administrators单机右键并设置密码F.设置完密码
爱上卿Ooo·2024-01-12 10:33

APM链路监控： Linux 部署 pinpoint

目录一、实验1.环境2.准备3.HBase单机部署4.pinpoint部署二、问题1.pinpoint有哪些功能2.pinpoint架构是如何组成的3.Linux中自带的jdk如何设置JAVA_HOME4
cronaldo91·2024-01-12 09:07

关于hive在运行insert时失败原因刨析

yarn容器最大内存、容器最小内存等Theclasstouseastheresourcescheduler.yarn.resourcemanager.scheduler.classorg.apache.hadoop.yarn.server.resourcemanager.scheduler
Alonzo de blog·2024-01-12 08:57

hadoop分布式文件系统

Hadoop分布式文件系统分布式文件系统：管理网络中跨多台计算机存储的文件系统称为分布式文件系统。
Alonzo de blog·2024-01-12 08:27

Redis基础命令

SQLNoSQL存储结构二维表格结构不固定的，通常存储在数据集中（比如键值对、文档、索引、图形结构、时间序列等）扩展方式纵向扩展（提升单机硬件性能）横向扩展（增加服务器节点数量）事务支持基于ACID原则
bob_gem·2024-01-12 08:02

【数据库学习】hive

1，HIVEHadoop的数据仓库处理工具，数据存储在Hadoop兼容的文件系统（例如，AmazonS3、HDFS）中。
兔兔西·2024-01-12 08:50

基于JavaWeb+BS架构+SpringBoot+Vue基于hive旅游数据的分析与应用系统的设计和实现

文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》源码获取文末获取源码Lun文目录1概述51.1研究背景51.2研究意义51.3研究内容52关键技术介绍72.1Java介绍72.2MySql数据库72.3Hadoop
FREE技术·2024-01-12 07:01

Spark基础

pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepandas更新最新版本pippython-mpipinstall--upgradepip1、启动服务Hadoop
中长跑路上crush·2024-01-12 07:33

【微服务】日志搜集es+kibana+filebeat+redis+logstash（单机）

日志搜集系统搭建基于7.17.16版本ps:项目是toB的，日志量不大前置准备软件下载7.17.16版本。8.x版本需要JDK11elastic.co/downloads/past-releasesJDKjava8Linuxelastic软件不能以root用户启动，需要创建用户sudouseraddelastic#给此用户设置密码sudopasswdelastic#授权chown-Relastic
KAI丶·2024-01-12 06:21

能够在Linux系统中运行的5款大型耐玩游戏

从独立单机到辉煌的RPG（角色扮演），2018年已经可以称得上是Linux游戏的丰收年，在这里，我们将列出迄今为止最喜欢的五款。
hangba843·2024-01-12 06:12

Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive

说明Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive完全分布式高可用集群搭建下载https://archive.apache.org/dist/我最终选择Zookeeper3.7.1
nsa65223·2024-01-12 06:08

黑科技全自动手机挂直播系统

互联网移动端时代，直播行业虚拟流量的大市场图片发自App网聚联盟带你开启流量帝国之旅图片发自App图片发自App图片发自App每天单机收益稳定在20图片发自App图片发自App图片发自App你还在等什么
ec0ca0f5b806·2024-01-12 03:08

黑猴子的家：Redis 客户端访问

1、一个端口[root@hadoop102redis-3.2.5]#redis-cli2、多个端口客户端访问有多个端口的情况下[root@hadoop102redis-3.2.5]#redis-cli-p63793
黑猴子的家·2024-01-12 03:21

ConsurrentHashMap InitTable 疑问与思考

ConsurrentHashMapInitTable疑问与思考ConsurrentHashMap作为单机下经常使用的一个线程安全Map值得我们学习一下，以下其初始化的过程的代码，以及学习过程中遇到的疑惑与自己的思考
花开不识君·2024-01-12 03:48

定时任务报警通知解决方案详解

随着微服务和云计算的兴起，定时任务技术也是发展迅速，不仅能做单机的定时任务，而且在分布式系统下应用也很广泛，成为了业务做兜底、数据处理的第一选择。
阿里云技术·2024-01-12 03:49

统一配置中心的设计方案

对于单机版，我们称之为配置（文件
宇哥聊AI·2024-01-12 03:48

定时任务 - 定时任务弊端与优化方案

使用定时任务关闭超期未支付订单，会存在的弊端：1.会有时间差，程序不严谨10:39下单，11:00检查不足1小时，12:00检查，超过1小时多余39分钟2.不支持集群单机没毛病，使用集群后，就会有多个定时任务解决方案
Leon_Jinhai_Sun·2024-01-12 02:46

Linux操作系统下，彻底删除MySQL

背景：部署Hive时，遇到了无法访问数据库的问题；此时Linux中的环境是，已安装MySQL-8.0.35的版本，JDK8和Hadoop-3.3.4版本；然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw·2024-01-12 02:59

Redis高并发高可用（集群）

当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构方案达到负载均衡的目的。
原来是好奇心·2024-01-12 01:05

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry·2024-01-12 00:41

Hadoop伪集群模式搭建MAC版[Linux依旧适用]

[TOC]Hadoop1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略，但是启动的时候，每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹，应该能发现.ssh，如果没有就安装
zZeroZz·2024-01-12 00:45

Nacos的Linux和Windows的安装

Nacos安装指南1.Windows安装开发阶段采用单机安装即可。
漠丶小翁·2024-01-12 00:43

向量数据库:Milvus

Milvus由Go(63.4%),Python(17.0%),C++(16.6%),Shell(1.3%)等语言开发开发，支持python，go，java接口(C++,Rust,c#等语言还在开发中)，支持单机
FakeOccupational·2024-01-12 00:56

UE4蓝图学习篇（十）-- 单机关卡切换处理

在单机游戏中，通常都有关卡的切换处理，使用一个加载界面，在切换的时候显示，加载完成之后再将加载页面隐藏。
卡西莫多说·2024-01-11 23:11
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他