hadoop离线数仓

Spark完全分布式集群搭建

环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的
小猪Harry·2024-01-12 00:41

Hadoop伪集群模式搭建MAC版[Linux依旧适用]

[TOC]Hadoop1环境搭建1.1ssh免密登录需要生产sshkey[可以忽略，但是启动的时候，每次都需要输入密码]首先在用户根目录下ls-a查看包括隐藏的文件夹，应该能发现.ssh，如果没有就安装
zZeroZz·2024-01-12 00:45

QT

，最终生成文件唯一个比较小的EXE文件，需要拷贝相关DLL文件到EXE目录下，方可以执行，但是由于有些DLL文件非常大，反倒是最终比静态编译耗费空间环境安装：以QT4.8.4版本为例：注：不通过SDK离线包安装
小熊陛下·2024-01-11 21:35

Python 代码轻松实现 HTML 文件及HTML字符串到 PDF 文档的转换

无论是为了存档网页内容、离线共享网页或创建可打印的报告，经常会需要一种可靠的方法将HTML文件转换为稳定且普遍可访问的PDF格式。
Eiceblue·2024-01-11 19:20

uniapp原生插件之安卓虹软人脸识别增值版原生插件

插件介绍虹软人脸识别增值版支持在线激活，离线激活，支持图片人脸识别（可识别网络图片），活体检测，离线识别，相机预览旋转，相机人脸识别，批量注册（支持网络图片）等，支持保存用户的id和名称本插件是增值版插件
夜中雨滴·2024-01-11 18:09

约练收获

本来我们计划围绕白皮书中的box进行练习，但因为一位老师临时有事需要离开一会儿（但没离线），另一位老师提出一个话题，于是我就以咨询师的角色，做了一场咨询。
风雨彩虹1219·2024-01-11 18:08

pyspark config设置、增加配置、限制_success文件生成；spark-submit 集群提交参数

1、pyspark增加config设置javaheap错误增加内存spark=(SparkSession.builder.config("spark.hadoop.hive.exec.dynamic.partition
loong_XL·2024-01-11 18:00

docker、docker-compose 离线安装、shell脚本一键安装、卸载

注：二进制包，与脚本在同级目录docker离线安装：包下载：https://download.docker.com/linux/static/stable/x86_64/docker_install.sh
何xiao树·2024-01-11 18:57

离线安装telnet-server

telnet下载地址：https://vault.centos.org/需要下载telnet和telnet-server确认自己的服务器版本，我这里使用的是（RedHatEnterpriseLinuxServerrelease7.0(Maipo)）对应的是Centos7.0,所有到https://vault.centos.org/7.0.1406/os/x86_64/Packages/这里目录下找
有谁看见我的剑了？·2024-01-11 18:38

MPP架构与Hadoop架构是一回事吗？

它的“谬误”之处在于，明明叫做“MassivelyParallelProcessing（大规模并行处理）”，却让非常多的人拿它与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑
ThoughtWorks·2024-01-11 17:47

【Databend】数据类型

文章目录数据类型列表转换数据类型数据类型扩展整数类型布尔类型浮点数类型字符串类型日期时间类型其它数据类型总结数据类型列表Databend作为一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓
有请小发菜·2024-01-11 17:08

linux离线和在线安装docker

linux离线安装docker离线安装docker1.下载docker2.文件上传到centos服务器,并解压3.复制解压目录中的文件到/usr/bin下4.创建docker服务5.设置启动文件权限6.
脚大江山稳·2024-01-11 16:07

linux常用基础命令最新版

echo命令输出内容重定向符文件持续跟踪vi\vim编辑器的三种工作模式vi\vim删除当前行vi\vim撤销安装/卸载校准时间1.查看防火墙状态2.关闭防火墙3.永久关闭防火墙4.安装软件5.卸载软件6.离线安装
脚大江山稳·2024-01-11 16:03

《PySpark大数据分析实战》-27.数据可视化图表Pyecharts介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-11 16:21

【2019-05-06】map reduce工作机制

mapreduce作业运行机制Hadoop运行mapreduce作业的工作原理（1）作业提交Job的submit()方法创建一个内部的JobSubmitter实例，并且调用其submitJobInternal
BigBigFlower·2024-01-11 15:31

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景自如目前线上有基于Hive的离线数仓和基于Flink、Kafka的实时数仓，随着业务发展，我们也在探索引入湖仓一体的架构更好的支持业务，我们对比了Iceberg、Hudi、Paimon后，最终选择
Apache Flink·2024-01-11 13:09

亚信安慧AntDB团队引领数据库创新浪潮

该数据库经过多次迭代，形成了完整的“超融合流式实时数仓”体系，为通信运营商和各行业提供卓越的服务
亚信安慧AntDB数据库·2024-01-11 12:48

Buzz 离线音频转字幕工具（完全免费，无需登录）

Buzz语音转文字工具的特点高准确率：基于OpenAI开源的Whisper自动语音识别模型，这是一款非常强大的机器学习模型转换速度快：Buzz的模型都离线存在本地，转换过程无需
這花開嗎·2024-01-11 11:39

GNSS观测值线性组合

1在几何距离线性化中，不论变量x的估计值是多少，估值改正数的系数是不变的。
apple-mapping·2024-01-11 11:35

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】

Hadoop高可靠集群搭建步骤（手把手教学）【超级详细】文章目录1HA集群基础配置1.1创建系统为Centos7（Linux）的虚拟机1.2基本网络配置1.3连接FinalShell2NTP时间同步和免密登录
小伍_Five·2024-01-11 11:50

桌面云虚拟机Ubuntu离线安装open-vm-tools

桌面云虚拟机Ubuntu离线安装open-vm-tools背景解决思路安装步骤1.下载open-vm-tools及其依赖软件包2.软件包转ISO文件3.安装open-vm-tools背景公司办公在桌面云中进行开发
阁不鸽·2024-01-11 10:35

centos7.9编译安装python3.7.2

联网环境下编译安装python3.7.2，不联网则需要配置cnetos7.9离线源下载解压软件包[root@localhost~]#tar-xfPython-3.7.3.tar.gz[root@localhost
huhy~·2024-01-11 10:00

NameNode: Permission denied&无法启动Hadoop解决方法

NameNode:Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password).就是这个原因这个问题的出现主要是因为没有给authorized_keys授权，解决方法如下：把产生的公钥文件放置到authorized_keys文件中，命令如下：[root@node1etc]#cat~/.ssh/id_rsa.pub>>~/.ssh
eyexin2018·2024-01-11 09:46

基于Hologres+Flink的曹操出行实时数仓建设作者：林震｜曹操出行实时计算负责人

作者：林震｜曹操出行实时计算负责人曹操出行业务背景介绍曹操出行创立于2015年5月21日，是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务，以“科技重塑绿色共享出行”为使命，将全球领先的互联网、车联网、自动驾驶技术以及新能源科技，创新应用于共享出行领域，以“用心服务国民出行”为品牌主张，致力于打造服务口碑最好的出行品牌。作为一家互联网出行平台，主要提供了网约车、顺风车、专车等一些出行服务。
阿里云大数据AI技术·2024-01-11 09:40

DataX 学习笔记

一.DataX简介1.1DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
十二同学啊·2024-01-11 08:39

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop
Movle·2024-01-11 08:43

搭建时间服务器并配置集群自动时钟同步

搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器（一）为什么要搭建时间服务器因为Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。
Y先生的领地·2024-01-11 08:58

ESP32 ESP-IDF安装教程（windows 64位）

不过现在情况已经大大改善了，最新安装包是离线安装包，一键安装完成。感觉这应该是最简单的安装方式，不过我安装时在最后一步没有通过(由于官网内容更新很快，因此当你看
cqcyst·2024-01-11 08:13

spark基础--学习笔记

1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎，是开源的类HadoopMapReduce的通用分布式计算框架。
祈愿lucky·2024-01-11 07:58

Hadoop安装遇到的一些问题

image.pngimage.png解决选择CentOs.vmx无反应问题：image.png打开之后，选择Poweron之后，选择Imovedit：第一次点mved，以后点copiedroot登陆，密码：hadoop
博弈史密斯·2024-01-11 07:30

Hadoop之mapreduce参数大全-5

101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是HadoopMapReduce框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas·2024-01-11 07:45

hive sql 和 spark sql的区别

HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具，但它们有一些关键的区别：底层计算引擎：HiveSQL：Hive是建立在Hadoop生态系统之上的，使用MapReduce作为底层计算引擎
深度学习研究员·2024-01-11 07:08

HDFS相关API操作

文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档：https://hadoop.apache.org/docs
欲无缘·2024-01-11 06:56

Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述

SerializationSupportedDataTypes（支持的数据类型）TuplesandCaseClassesPOJOsPrimitiveTypes（基本数据类型）GeneralClassTypes（一般类型）ValuesHadoopWritablesSpecialTypes
ε(´ο｀*)))·2024-01-11 05:30

【大数据架构】日志采集方案对比

整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。
话数Science·2024-01-11 04:03

大数据独角兽 Cloudera 股价腰斩，Hadoop将何去何从？

围绕Hadoop进行商业化有著名的三巨头，分别是Cloudera、Hortonworks和MapR，如今都不约而同地陨落了。
烽火程序猿·2024-01-11 04:15

离线AI聊天清华大模型(ChatGLM3)本地搭建

在特定的情况下，要保证信息安全的同时还能享受到AIGC大模型带来的乐趣和功能，那么，离线部署就能帮助到你，最起码，它是一个真正可用的方案。
AI知识图谱大本营·2024-01-11 03:56

记一次Maxwell出现Communications link failure

原报错信息：connectingtojdbc:mysql://hadoop01:3306/maxwell?
玖玖1704·2024-01-11 03:34

10、采集通道启动、停止脚本

1）在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@hadoop102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞·2024-01-11 02:16

从零到一：Hadoop开发者的成长之路

从零到一：Hadoop开发者的成长之路随着大数据时代的来临，Hadoop作为处理大规模数据的开源框架，已成为企业和开发者关注的焦点。那么，如何从零开始，逐步成长为一名优秀的Hadoop开发者呢？
乌龙饼干·2024-01-11 01:45

Hadoop的未来发展趋势与挑战分析

Hadoop的未来发展趋势与挑战分析Hadoop，作为大数据领域的老牌开源框架，已经历了十多年的风风雨雨。
乌龙饼干·2024-01-11 01:45

Hadoop中的数据治理策略与实践

Hadoop中的数据治理策略与实践随着大数据技术的快速发展，Hadoop已成为企业存储和处理大规模数据集的首选平台。然而，随着数据量的不断增长，数据治理问题也日益凸显。
乌龙饼干·2024-01-11 01:15

Hadoop与Spark：大数据处理框架的比较与选择

Hadoop与Spark：大数据处理框架的比较与选择在大数据的时代背景下，数据处理和分析的需求日益增长。
乌龙饼干·2024-01-11 01:14

利用Hadoop进行数据湖构建与管理

利用Hadoop进行数据湖构建与管理一、引言在大数据的时代，数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题，数据湖的概念应运而生。
乌龙饼干·2024-01-11 01:14

Hadoop简介：开启大数据处理之门

在此背景下，Hadoop作为一种分布式系统基础架构，应运而生，为大数据处理打开了新的大门。
乌龙饼干·2024-01-11 01:44

Hadoop在大数据分析中的应用与挑战

Hadoop在大数据分析中的应用与挑战随着数字化时代的来临，数据呈现爆炸性增长，大数据处理和分析成为了企业和研究机构不可或缺的一部分。
乌龙饼干·2024-01-11 01:44

如何搭建一个高效的Hadoop集群环境？

如何搭建一个高效的Hadoop集群环境在大数据处理和分析的领域中，Hadoop已经成为了一个非常流行的工具。
乌龙饼干·2024-01-11 01:44

深入了解Hadoop：架构、组件与工作流程

深入了解Hadoop：架构、组件与工作流程随着大数据时代的来临，Hadoop已经成为了一个不可或缺的开源工具。
乌龙饼干·2024-01-11 01:42

CDH5x离线安装+解决报错教程

CDH5x离线安装+解决报错教程本章为云服务器CDH5.12.1基于HTTP离线源完全搭建。前言CDH集成了ApacheHadoop中各种相关组件，提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、·2024-01-11 01:09

我保持着自己的骄傲，做好了随时体面散场的准备

最近一直在和学姐给介绍的一个男生聊天，对方很礼貌，短暂的离线会提前告诉我，就
洗耳球·2024-01-11 01:37
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他