hadoop数据管理

黑猴子的家：Redis 客户端访问

1、一个端口[root@hadoop102redis-3.2.5]#redis-cli2、多个端口客户端访问有多个端口的情况下[root@hadoop102redis-3.2.5]#redis-cli-p63793
黑猴子的家·2024-01-12 03:21

Linux操作系统下，彻底删除MySQL

背景：部署Hive时，遇到了无法访问数据库的问题；此时Linux中的环境是，已安装MySQL-8.0.35的版本，JDK8和Hadoop-3.3.4版本；然后开始上传Hive-3.1.3版本的的安装包和
zhiweizhang_zzw·2024-01-12 02:59

MYSQL分表容量预估：简明指南

分表可以帮助减少单个表的大小，优化查询效率，提高数据管理的灵活性。但同时带来了一个挑战：如何准确预估分表后的容量需求。方案概述数据行大小评估：考虑到各字段类型及长度，我们可以
暮冬十五·2024-01-12 01:38

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry·2024-01-12 00:41

Hadoop伪集群模式搭建MAC版[Linux依旧适用]

[TOC]Hadoop1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略，但是启动的时候，每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹，应该能发现.ssh，如果没有就安装
zZeroZz·2024-01-12 00:45

数据治理实践：元数据管理架构的演变

前言近几年来数据的量级在疯狂的增长，由此带来了系列的问题。作为对人工智能团队的数据支撑，我们听到的最多的质疑是“正确的数据集”，他们需要正确的数据用于他们的分析。我们开始意识到，虽然我们构建了高度可扩展的数据存储，实时计算等等能力，但是我们的团队仍然在浪费时间寻找合适的数据集来进行分析。也就是我们缺乏对数据资产的管理。事实上，有很多公司都提供了开源的解决方案来解决上述问题，这也就是数据发现与元数据
大数据流动·2024-01-11 21:11

元数据管理器

一什么是元数据二为何要引入元数据三实时处理平台任务调度四参考http://www.jikexueyuan.com/course/2150.html
chengqiuming·2024-01-11 21:09

数据治理实践：元数据管理架构的演变（从1.0-4.0)

前言近几年来数据的量级在疯狂的增长，由此带来了系列的问题。作为对人工智能团队的数据支撑，我们听到的最多的质疑是“正确的数据集”，他们需要正确的数据用于他们的分析。我们开始意识到，虽然我们构建了高度可扩展的数据存储，实时计算等等能力，但是我们的团队仍然在浪费时间寻找合适的数据集来进行分析。也就是我们缺乏对数据资产的管理。事实上，有很多公司都提供了开源的解决方案来解决上述问题，这也就是数据发现与元数据
智慧化智能化数字化方案·2024-01-11 21:39

【开源项目】轻量元数据管理解决方案——Marquez

最近推荐的元数据管理项目很多，但是很多元数据管理平台的功能复杂难用。那么有没有轻量一点的元数据管理项目呢？今天为大家推荐的开源项目，就是一个轻量级的元数据管理工具。
大数据流动·2024-01-11 21:08

【案例】HOOPS平台帮助Proplanner为客户解决数十年的数据管理难题

行业：制造业公司：Proplanner软件：AssemblyPlanner软件开发工具包：HOOPSNativePlatform挑战：为生产复杂组件的公司引入行业领先产品的新功能。帮助客户轻松导入可视化CAD模型，同时提取底层数据。在工艺模型和CAD模型之间建立联系，确保所有数据准确关联。结果：为客户创建一个简单的工作流，以导入三维CAD模型，而无需与其他系统进行复杂的集成。从CAD模型中提取深度
慧都科技3D·2024-01-11 20:34

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
ThoughtWorks·2024-01-11 17:47

如何创建自己的小程序？零编程一键创建实战指南

1、选择一个易用的小程序制作工具小程序制作工具通常支持一站式服务，包括模板库、功能模块、数据管理以及发布部署等核心功能。登录后首先简单熟悉一下工具的界面和操作流程，了解各种行业模板
凡小可yee·2024-01-11 16:00

《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-11 16:21

【2019-05-06】map reduce工作机制

mapreduce作业运行机制Hadoop运行mapreduce作业的工作原理（1）作业提交Job的submit()方法创建一个内部的JobSubmitter实例，并且调用其submitJobInternal
BigBigFlower·2024-01-11 15:31

TDengine 被 Frost & Sullivan 评为全球最佳工业数据管理解决方案

近日，TDengine被国际知名咨询公司沙利文（Frost&Sullivan）评为全球最佳工业数据管理解决方案，赢得了2023年客户价值领导力奖（Frost&Sullivanduoxie），该奖项重点关注引领行业创新和增长的企业
涛思数据（TDengine）·2024-01-11 15:47

分析型数据库产品的排头兵GBase 8a

南大通用大规模分布式并行数据库集群系统，简称：GBase8aMPPCluster，它是在GBase8a列存储数据库基础上开发的一款SharedNothing架构的分布式并行数据库集群，具备高性能、高可用、高扩展等特性，可以为各种规模数据管理提供高性价比的通用计算平台
any_2311·2024-01-11 14:53

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】文章目录1HA集群基础配置1.1创建系统为Centos7（Linux）的虚拟机1.2基本网络配置1.3连接FinalShell2NTP时间同步和免密登录
小伍_Five·2024-01-11 11:50

基于学生信息管理系统的程序设计基础课程设计（java+数据库)（上）

课程名称:程序设计基础课程设计题目:大学生信息数据管理系统的设计与实现1、引言1.1项目背景与意义项目背景：随着信息技术的发展和普及，信息化管理在各领域得到了广泛应用。
小伍_Five·2024-01-11 11:20

基于学生信息管理系统的程序设计基础课程设计（java+数据库)（下）

课程名称:程序设计基础课程设计题目:大学生信息数据管理系统的设计与实现4.3监听事件实现处理按钮事件其实现的主要方法代码如下：publicclass ButtonEventsimplementsActionListener
小伍_Five·2024-01-11 11:20

NameNode: Permission denied&无法启动Hadoop解决方法

NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys授权，解决方法如下：把产生的公钥文件放置到authorized_keys文件中，命令如下：[root@node1etc]#cat~/.ssh/id_rsa.pub>>~/.ssh
eyexin2018·2024-01-11 09:46

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop
Movle·2024-01-11 08:43

搭建时间服务器并配置集群自动时钟同步

搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器（一）为什么要搭建时间服务器因为Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。
Y先生的领地·2024-01-11 08:58

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Hadoop安装遇到的一些问题

image.pngimage.png解决选择CentOs.vmx无反应问题：image.png打开之后，选择Poweron之后，选择Imovedit：第一次点mved，以后点copiedroot登陆，密码：hadoop
博弈史密斯·2024-01-11 07:30

Docker（网络，网络通信，资源控制，数据管理，CPU优化，端口映射，容器互联）

docker网络网络实现原理Docker网络是指由Docker为应用程序创建的虚拟环境的一部分，它允许应用程序从宿主机操作系统的网络环境中独立出来，形成容器自有的网络设备、IP协议栈、端口套接字、IP路由表、防火墙等与网络相关的模块。Docker的网络功能提供了一种在容器之间进行通信和与外部网络交互的机制。Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Do
木合杉·2024-01-11 07:17

Hadoop之mapreduce参数大全-5

101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是HadoopMapReduce框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas·2024-01-11 07:45

hive sql 和 spark sql的区别

HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具，但它们有一些关键的区别：底层计算引擎：HiveSQL：Hive是建立在Hadoop生态系统之上的，使用MapReduce作为底层计算引擎
深度学习研究员·2024-01-11 07:08

HDFS相关API操作

文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档：https://hadoop.apache.org/docs
欲无缘·2024-01-11 06:56

Docker 的数据管理与容器互联

------------------Docker的数据管理---------------------管理Docker容器中数据主要有两种方式：数据卷（DataVolumes）和数据卷容器（DataVolumesContainers
陆墨宁·2024-01-11 06:55

Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述

SerializationSupportedDataTypes（支持的数据类型）TuplesandCaseClassesPOJOsPrimitiveTypes（基本数据类型）GeneralClassTypes（一般类型）ValuesHadoopWritablesSpecialTypes
ε(´ο｀*)))·2024-01-11 05:30

【大数据架构】日志采集方案对比

整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。
话数Science·2024-01-11 04:03

大数据独角兽 Cloudera 股价腰斩，Hadoop将何去何从？

围绕Hadoop进行商业化有著名的三巨头，分别是Cloudera、Hortonworks和MapR，如今都不约而同地陨落了。
烽火程序猿·2024-01-11 04:15

记一次Maxwell出现Communications link failure

原报错信息：connectingtojdbc:mysql://hadoop01:3306/maxwell?
玖玖1704·2024-01-11 03:34

10、采集通道启动、停止脚本

1）在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@hadoop102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞·2024-01-11 02:16

从零到一：Hadoop开发者的成长之路

从零到一：Hadoop开发者的成长之路随着大数据时代的来临，Hadoop作为处理大规模数据的开源框架，已成为企业和开发者关注的焦点。那么，如何从零开始，逐步成长为一名优秀的Hadoop开发者呢？
乌龙饼干·2024-01-11 01:45

Hadoop的未来发展趋势与挑战分析

Hadoop的未来发展趋势与挑战分析Hadoop，作为大数据领域的老牌开源框架，已经历了十多年的风风雨雨。
乌龙饼干·2024-01-11 01:45

Hadoop中的数据治理策略与实践

Hadoop中的数据治理策略与实践随着大数据技术的快速发展，Hadoop已成为企业存储和处理大规模数据集的首选平台。然而，随着数据量的不断增长，数据治理问题也日益凸显。
乌龙饼干·2024-01-11 01:15

Hadoop与Spark：大数据处理框架的比较与选择

Hadoop与Spark：大数据处理框架的比较与选择在大数据的时代背景下，数据处理和分析的需求日益增长。
乌龙饼干·2024-01-11 01:14

利用Hadoop进行数据湖构建与管理

利用Hadoop进行数据湖构建与管理一、引言在大数据的时代，数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题，数据湖的概念应运而生。
乌龙饼干·2024-01-11 01:14

Hadoop简介：开启大数据处理之门

在此背景下，Hadoop作为一种分布式系统基础架构，应运而生，为大数据处理打开了新的大门。
乌龙饼干·2024-01-11 01:44

Hadoop在大数据分析中的应用与挑战

Hadoop在大数据分析中的应用与挑战随着数字化时代的来临，数据呈现爆炸性增长，大数据处理和分析成为了企业和研究机构不可或缺的一部分。
乌龙饼干·2024-01-11 01:44

如何搭建一个高效的Hadoop集群环境？

如何搭建一个高效的Hadoop集群环境在大数据处理和分析的领域中，Hadoop已经成为了一个非常流行的工具。
乌龙饼干·2024-01-11 01:44

深入了解Hadoop：架构、组件与工作流程

深入了解Hadoop：架构、组件与工作流程随着大数据时代的来临，Hadoop已经成为了一个不可或缺的开源工具。
乌龙饼干·2024-01-11 01:42

CDH5x离线安装+解决报错教程

前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、·2024-01-11 01:09

Java建筑工程建设智慧工地源码

智慧工地管理平台依托物联网、互联网，建立云端大数据管理平台，形成“端+云+大数据”的业务体系和新的管理模式，从施工现场源头抓起，最大程度的收集人员、安全、环境、材料等关键业务数据，打通从一线操作与远程监管的数据链条
源码技术栈·2024-01-11 00:45

Python Web---admin站点

Django提供了一个可以运行后台数据管理的站点admin----Admin后台管理系统，该系统可以从模型中读取元数据，并提供以模型为中心的界面。admin站点可用于管理网站的用户、组、模型各种数据。
洛小yuan·2024-01-10 22:40

黑猴子的家：Hive 数据倾斜优化之 小文件合并

HiveInputFormat没有对小文件合并功能hive>sethive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
黑猴子的家·2024-01-10 20:26

Java项目：117SpringBoot动漫论坛网站

分享计算机知识、学习路线、系统源码及教程文末获取源码117SpringBoot动漫论坛网站一、项目介绍动漫论坛网站是由SpringBoot+Mybatis开发的，旅游网站分为前台和后台，前台为用户浏览，后台进行数据管理后台功能如下
Java旅途·2024-01-10 20:00

阿里云服务器得免费使用领取

系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器得免费使用领取Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置文章目录系列文章目录领取免费的云服务器页面对云服务器操作通过程序进行远程连接控制通过
柔雾·2024-01-10 20:22
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他