hadoop海量数据

Hadoop命令

进程命令对hadoop集群的操作start-dfs.shstop-dfs.sh打开和关闭dfsstart-yarn.shstop-yarn.sh打开和关闭yarnhadoop单进程操作旧版本命令hadoop-daemon.shstart
CJ21·2024-01-14 14:25

2023年第十四届中国数据库技术大会（DTCC2023）：核心内容与学习收获（附大会核心PPT下载）

重点围绕HTAP与多模数据库应用、图数据技术、海量数据架构下的应用实践、云原生数据库、异构环境下的数据管理工具创新等内容展开分享和探讨。一、大会核心内容1、数据库技术的发展与趋势DTCC
百家峰会·2024-01-14 12:28

面试常见的场景设计题

介绍常见的场景设计题思路，答案不唯一，自由发挥文章目录什么是海量数据?1.海量日志数据，统计出某日访问[xx]次数最多的那个IP？
每天一个秃顶小技巧·2024-01-14 12:33

大数据Hadoop3.0更新，到底改进了哪些新的特性呢

截止到目前，大数据hadoop已经更新到了3.0版本，那么相比较之前的版本，3.0到底在哪些方面做出了新的改变呢？到底做了哪些重大的改进呢？
尚学先生·2024-01-14 11:21

统一OLAP查询平台之语义层

同时，面对海量数据分析如何提高查询性能？这些问题都可以通过统一OLAP查询平台来解决。一、数据从需求到加工过程中痛点从下图1-1看出数据开发的一般过程：由业务方提出各种指标的分析需求。
XianMing的博客·2024-01-14 11:27

Spark-累加器

内存地址无法改变.你传你的,我传我的,没有把值给返回去双端对列当发送错误的时候要放回到要来头部对列一般是先进先出,要是发送错误,放回到尾部顺序就错了所以叫累加器不是很准确,叫采集器importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase
疯子@123·2024-01-14 09:00

【金猿产品展】OceanBase 原生分布式数据库——从根本上解决海量数据管理的问题...

OceanBase产品本项目由OceanBase投递并参与“数据猿年度金猿策划活动——2021大数据产业创新服务产品榜单及奖项”评选。数据智能产业创新服务媒体——聚焦数智·改变商业一款完全自研的原生分布式关系数据库软件，在普通硬件上实现金融级高可用，首创“三地五中心”城市级故障自动无损容灾新标准，具备卓越的水平扩展能力，全球首家通过TPC-C标准测试的分布式数据库，单集群规模超过1500节点。产品
数据猿·2024-01-14 07:46

Sqoop与其他数据采集工具的比较分析

SqoopSqoop是一个Apache项目，专门设计用于在Hadoop生态系统和关系型数据库之间传输数据。它提供了方便的命令行界面，支持从关系型数据库导入数据到Hadoop集群，
晓之以理的喵~~·2024-01-14 06:00

Hadoop-HA高可用

一、集群规划二、HDFS高可用官方地址在opt目录下创建一个ha文件夹，将/opt/module/下的hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data和log目录）配置core-site.xmlhdfs-site.xmldfs.namenode.name.dirfile
DIY……·2024-01-14 06:28

分布式文件系统fastDFS-设计原理

fastDFS-设计原理FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（trackerserver）、存储服务器（storageserver）和客户端（client）三个部分组成，主要解决了海量数据存储问题
青哥DevOps·2024-01-14 06:10

hbase集群之间数据迁移_HBase集群数据迁移方案

2、采用Hadoopdistcp方式，将以上目录的内容，迁移到另一个集群。使用add_table.rb进行恢复。
无畏道人·2024-01-14 06:14

一种HBase数据备份及恢复方法

这里我们引入Hbase的一个API，hbaseorg.apache.hadoop.hbase.map
莫叫石榴姐·2024-01-14 06:42

mac 上 ssh: connect to host localhost port 22: Connection refused

问题在搭建hadoop环境的时候发现sshlocalhost在报错2.解决打开系统设置->共享->->在左边服务中选择远程登录注意红框这些选项慎重选择！！！
寂夜了无痕·2024-01-14 05:50

mac上部署单体hbase

它是GoogleBigTable的开源实现，并且是Apache基金会的Hadoop项目的一部分1。
寂夜了无痕·2024-01-14 05:15

图解智慧：数据可视化如何助你高效洞悉信息？

在信息爆炸的时代，数据扮演着越来越重要的角色，而数据可视化则成为解读和理解海量数据的得力工具。那么，数据可视化是如何帮助我们高效了解数据的呢？下面我就以可视化从业者的角度来简单聊聊这个话题。
希艾席蒂恩·2024-01-14 05:12

一：Hadoop初始化环境搭建-1

一：虚拟机和Linux的安装在搭建Hadoop集群环境之前，我们必须要进行如下的准备工作：01.安装虚拟机02.安装3台Linux03.修改主机名和IP地址对应关系04.SSH免密码登陆1.1：虚拟机的安装步骤
小葱_拌豆腐·2024-01-14 05:15

Kafka基本介绍

1-公共性:各个程序都可以与之对接2-FIFO特性:先进先出3-具备高效的并发能力:能够承载海量数据4-具备一定的容错能力:比如支持重新读取消息
小希 fighting·2024-01-14 04:01

java开发，年薪15W的和年薪50W的差距

在这个IT系统动辄就是上亿流量的时代，Java作为大数据时代应用最广泛的语言，诞生了一批又一批的新技术，包括HBase、Hadoop、MQ、Netty、SpringCloud等等。
墨雨轩夏·2024-01-14 02:57

大数据调度框架Oozie，这个学习网站让你事半功倍！

它主要用于管理和调度ApacheHadoop作业，支持的任务类型包括HadoopMapReduce、PigJobs等。Oozie的核心概念包括workflowjobs和coordinatorjobs。
知识分享小能手·2024-01-14 01:59

mysql模拟序列号生成_mysql 序列号生成办法

为什么要通过第三方生成主键：海量数据一般要应用分库，分表策略，如用户表分成32张，每张数据量就小了，查询速度就会加快。
weixin_39651735·2024-01-14 01:53

ElasticSearch简介

他可以快速的存储、搜索和分析海量数据。SpringBoot通过整合SpringDataElasticSearch为我们提供了非常便捷的检索功能支持。
勿念及时雨·2024-01-13 23:20

基于Spark2.x新闻网大数据实时分析可视化系统项目

全套课程内容概述2.案例需求分析3.系统架构设计4.系统数据流程设计5.集群资源规划设计第二章：linux环境准备与设置1.Linux系统常规设置2.克隆虚拟机并进行相关的配置3.对集群中的机器进行基本配置第三章：Hadoop2
飞雪雪团队·2024-01-13 23:30

如何解决海量数据的问题

近年来，高并发、分布式以及大数据成了后端开发者绕不开的话题，招聘软件上几呼都写着有高并发、大数据等项目经历优先时。很多人实际项目往往都是CRUD，也没机会接触到这些场景啊。但是，有位伟人曾经说过：没有条件，要创造条件。既然工作中接触不到高并发和大数据，我们可以弯道超车——平时在学习的时候多关注类似的场景。本文讲述了解决大数据问题的常用手段，以及一些经典的大数据场景和解决方式。看完以后，相信咱们下次
旷野历程·2024-01-13 22:50

分布式搜索引擎--认识

elasticsearch的作用elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容。
Winter.169·2024-01-13 20:24

大数据

image.pnghadoop主要解决海量数据的存储和海量数据的分析计算问题。
哈斯勒·2024-01-13 19:30

HBase 四种数据迁移方案

http://ballwql.cnblogs.com/一、前言HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类：图1.HBase数据迁移方案从上面图中可看出，目前的方案主要有四类，Hadoop
过往记忆·2024-01-13 18:21

数据洞察力，驱动企业财务变革

从海量数据中提取有意义的见解也并不是一件易事，尤其是当数据质量和来源并不理想的时候，反而会导致更糟糕的决策。因此，数据作为企业资产需要财务部门利用技术工具和资源积极管理、充分利用。
intcube·2024-01-13 18:11

3.hadoop HA-QJM 安装

目录概述实践一主两从解压配置文件hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers分发环境变量格式化启动
流月up·2024-01-13 16:32

开源大数据集群部署（四）Freeipa部署（kerberos+ldap）

将它与Hadoop服务进行集成便能够很好地解决安全性不足的问题。除了需要安装MITKerberos之外，我们还需要安装LDAP。
云掣YUNCHE·2024-01-13 14:15

Hive安装部署

安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务安装了MySQL服务，并启动MySQL的服务Hive的安装部署注意hive就是==一个构建数据仓库的工具==，只需要在==一台服务器上
我还不够强·2024-01-13 13:35

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。
思旭�·2024-01-13 13:02

Hive及各组件功能介绍

Hive是一个开源的数据仓库基础设施，是构建在Hadoop之上的。它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop中的大规模数据集。
思旭�·2024-01-13 12:32

HDFS及各组件功能介绍

Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式文件系统。
思旭�·2024-01-13 12:32

zookeeper未授权访问漏洞修复方式

:https://www.cnblogs.com/linuxbug/p/5023677.html图片中的解决方式都是通过设置认证用户,但是仅仅设置用户和密码的话集群(ApacheActivemq集群，Hadoop
xiexiaoming052·2024-01-13 12:39

Yarn的安装与使用详细介绍

什么是yarnApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度
知数SEO·2024-01-13 11:36

hadoop historyserver启动，无法访问，查看报错等问题

hadoophistoryserver启动，无法访问，查看报错等问题1、historyserver无法启动2、historyserver已启动，可以看到进程，web无法访问url3、historyserver
这都不是事er·2024-01-13 10:07

按照官网步骤sbin/start-yarn.sh失败

按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh启动失败sbin/stop-yarn.sh执行失败环境Centos7-1台虚拟机hadoop-3.2.1OpenJDK1.8.0
这都不是事er·2024-01-13 10:06

JUST技术：JUST高效时空索引揭秘及使用指南

传统的时空数据库管理海量数据时会出现性能严重下降的情况，如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。
JUST极客·2024-01-13 10:27

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

Flink CDC 实时抽取 Oracle 数据-排错&调优

使用环境Oracle：11.2.0.4.0（RAC部署）Flink：1.13.1Hadoop：3.2.1问题1、无法连接数据库根据官方文档说明，在FlinkS
Denny辉·2024-01-13 09:48

Spark原理——逻辑执行图

"local[6]").setAppName("wordCount_source")valsc=newSparkContext(conf)valtextRDD=sc.parallelize(Seq("HadoopSpa
我像影子一样·2024-01-13 09:17

Spark原理——运行过程

运行过程逻辑图是什么怎么生成具体怎么生成valtextRDD=sc.parallelize(Seq("HadoopSpark","HadoopFlume","SparkSqoop"))valsplitRDD
我像影子一样·2024-01-13 09:44

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。这么理解就凉凉4、
王络不稳定·2024-01-13 09:28

redis — redis cluster集群模式下如何实现批量可重入锁？

该集群主要支持搞并发和海量数据处理等优势，当Redis在集群模式下运行时,它处理数据存储的方式与作为单个实例运行时不同。这是因为它应该准备好跨多个节点分发数据,从而实现水平可扩展性。
RachelHwang·2024-01-13 09:46

还在为MySQL数据同步Elasticsearch发愁？快来试试Canal！

SpringBoot2.x实践案例（代码仓库）前言最近有一个新需求，需要实现附近或同城以及海量数据搜索功能，项目使用MySQL作为业务数据库，如果使用MySQL来实现上述需求，会发现存在效率低以及不支持按距离排序等问题
人人都在发奋·2024-01-13 08:28

4 种 MySQL 同步 ES 方案，yyds！

不BB，上文章目录：1.前言在实际项目开发中，我们经常将MySQL作为业务数据库，ES作为查询数据库，用来实现读写分离，缓解MySQL数据库的查询压力，应对海量数据的复杂查询。
架构师小秘圈·2024-01-13 08:26

Spark-RDD详解

弹性分布式数据集合是Spark中的一种数据类型，管理spark的内存数据[1,2,3,4]spark中还有dataframe，dataset类型拓展：开发中可以通过类的形式自定以数据类型同时还提供各种计算方法弹性可以对海量数据根据需求分成多份
中长跑路上crush·2024-01-13 07:09

使用Sqoop将数据导入Hadoop的详细教程

在大数据处理中，Sqoop是一个强大的工具，它可以将关系型数据库中的数据导入到Hadoop生态系统中，以便进行进一步的分析和处理。
晓之以理的喵~~·2024-01-13 07:43

Sqoop入门指南：安装和配置

Sqoop是一个强大的工具，用于在Hadoop和关系型数据库之间高效传输数据。在本篇文章中，将深入探讨如何安装和配置Sqoop，以及提供详细的示例代码。
晓之以理的喵~~·2024-01-13 07:13

Hadoop分布式集群安装

上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn伪分布式集群的安装方法，方便大家学习，真实环境不可能只有一台机器，肯定是多节点的集群，大单位还会建设很多Hadoop集群，比如各个大部门有自己的集群
鬓戈·2024-01-13 07:28
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他