hadoop离线数仓

flink学习记录

flink-conf.yaml配置文件：jobmanager.rpc.address:hadoop1jobmanager.rpc.port:6123jobmanager.heap.size:512mtaskmanager.heap.size
戏 剧·2024-02-06 14:34

Linux离线安装jenkins

环境：一台完全离线的linux服务器，部署jenkins请自行安装jdk环境下载地址链接：https://pan.baidu.com/s/1iyG_rVVCdPBXo2E7RO_Jew提取码：ct4y参考链接
不加糖的沙·2024-02-06 14:02

Hadoop 命令手册

翻译：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/CommandsManual.html版本：2.9.0
金刚_30bf·2024-02-06 13:29

[经验] qq怎么发离线文件夹 #其他#学习方法

qq怎么发离线文件夹在日常工作和生活中，我们经常会使用QQ聊天工具进行交流沟通。有时候我们想要分享一些文件给好友却发现文件过大无法直接发送，这时我们可以选择通过QQ发送离线文件夹。
不晚归来·2024-02-06 12:27

制作离线版element ui文档

链接：https://pan.baidu.com/s/1k5bsCK9WUlZobhFBLItw1g?pwd=geyk提取码：geyk--来自百度网盘超级会员V4的分享https://github.com/ElemeFE/element克隆官方代码使用nvm切换node版本，推荐使用14.0.0http://doc.xutongbao.top/doc/#/zh-CN/component/butto
徐同保·2024-02-06 11:33

Hive分区表增加字段新增字段为NULL解决方案

背景：数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。
Lens5935·2024-02-06 10:11

电脑服务器离线安装.net framework 3.5解决方案(错误:0x8024402c )(如何确定当前系统是否安装NET Framework 3.5)

问题环境：日常服务的搭建或多或少都会有需要到NETFramework3.5的微软程序运行框架，本次介绍几种不同的安装方式主要解决运行在Windows2012以上的操作系统的服务。NETFramework3.5是什么？.NETFramework是微软公司推出的程序运行框架，主要包含运行库和公共语言集，3.5是版本号，目前最新的版本是4.0（不向下兼容）。.NETFramework设计初衷是，实现在不
Heart_to_Yang·2024-02-06 10:00

热数据存储在HDFS，冷备数据存储于对象存储中

改方案均采用同一套Hadoop架构，使用hive均可以读取到，在降低成本的同时提高数据的利用率。2.准备条件c
tuoluzhe8521·2024-02-06 10:11

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）...

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
weixin_30273931·2024-02-06 09:08

linux安装hadoop详细步骤（伪分布式）

今天重装了下hadoop，特在此记录下！
红烧柯基·2024-02-06 08:28

Hadoop-Yarn-启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、脚本部分1、start-yarn.sh如果我们想单独启动
隔着天花板看星星·2024-02-06 07:16

k8s的Deployment部署策略线上踩坑

线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过kafka监听增量数据,实时数据写入该csv文件,供下游数仓次日取数.每日产生数据50G(1.8亿条)左右
吴free·2024-02-06 07:41

想学大数据？先看完这几本书再说

除了这些技术领域，还有一些特定的技术和语言需要你继续研究：Hadoop，Spark，Python，和R等等，还有无数实现自动化的工具等等，这些工具几乎每天都会用到，这就需要你不断的学习。
yoku酱·2024-02-06 06:55

Flink 内容分享(十九)：理想汽车基于Flink on K8s的数据集成实践

形式的过滤条件数据集成云原生的落地实践1.方案选型2.状态判断及日志采集3.监控告警4.共享存储未来规划数据集成的发展与现状理想汽车数据集成的发展经历了四个阶段：第一阶段：在2020年7月基于DataX构建了离线数据交换能力
之乎者也··2024-02-06 06:30

理想汽车基于Flink on K8s的数据集成实践

数据集成的落地实践3.数据集成云原生的落地实践4.未来规划分享嘉宾｜王小静理想汽车高级大数据工程师01数据集成的发展与现状理想汽车数据集成的发展经历了四个阶段：第一阶段：在2020年7月基于DataX构建了离线数据交换能力
架构师小秘圈·2024-02-06 06:28

MongoDB的分片集群(二) ：mongodb4.x分片集群离线搭建&开启安全认证

相关文章：MongoDB的分片集群(一):基础知识在《MongoDB的分片集群(一):基础知识》中梳理了分片集群的基础知识，本文则记录分片集群的离线搭建，并开启集群的安全认证的过程。
SRE成长记·2024-02-06 06:45

【百度Apollo】自动驾驶的领航者

文章目录⛳️推荐引入一、云端体验登录云端仿真环境1.1登录百度Apollo1.2选择学堂二、打开DreamView三、播放离线数据包四、PNCMonitor内置的数据监视器五、cyber_monit
鸽芷咕·2024-02-06 05:12

CentOS 8 安装配置 Hadoop3.3.6 伪分布式安装方式（适用于开发和调试）

1.配置服务器ssh免密登录，否则后面启动会报错：尝试通过SSH连接到主机出现认证错误的提示配置服务器ssh免密登录：1.生成SSH密钥对（如果尚未生成）：执行下面的命令生成密钥对，一直回车即可ssh-keygen-trsa出现下面的提示说明生成成功了：2.第二步，将公钥添加到~/.ssh/authorized_keys文件：cat~/.ssh/id_rsa.pub>>~/.ssh/authori
鱼大虾·2024-02-06 05:39

HDFS入门基础

HDFS命令基础语法：【hadoopfs具体命令、hdfsdfs具体命令】两个是完全相同的。显示文件列表#hdfsdfs-lsURL创建目录#hdfsdfs-mkdir[-p]URL使用-p参数可以
nucty·2024-02-06 05:33

电商推荐系统

一、获取用户对商品的偏好值代码实现packagezb.grms;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.conf.Configured
nucty·2024-02-06 05:31

Apache Hadoop

ApacheHadoop_狭义上说，Hadoop指Apache一款java语言开发的开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度
VincentLeon·2024-02-06 05:28

用爬虫自建行业知识库

一几年前用Python写过一个程序，自动抓取各市文化局网站相关栏目文章，然后把抓到的文章，写成离线网页，发到指定邮箱。当时针对每个网页写一个爬虫，对每一个网页都进行分析。
铅笔楼·2024-02-06 04:01

使用IDEA的Maven Helper插件解决Maven依赖冲突

二：这里提供一个idea插件离线包下载：链接：https://pan.baidu.com/s/1NqGJNM9VpdXpgGUdrRgLL
冰阔落_68f3·2024-02-06 03:47

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装1简介Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。
WaiSaa·2024-02-06 02:53

关于Spark/Hadoop中Master/Slave IP不正确的问题

在配置SparkStandAloneMode的时候，我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置./conf/spark_env.sh文件，只要在这个文件里定义好了SPARK_LOCAL_IP和SPARK_MASTER_HOST，就可以解决这个问题。而我设置了configure文件之后问题依然存在。原因在于MasterNode上有多个网卡，每个网卡
ecce·2024-02-06 02:37

hbase基本命令

1、进入hbase的shellhbase提供了一个shell的终端给用户交互[root@hadoop3conf]#hbaseshell退出使用quit或者ctrl+c需要关闭hadoop的安全模式不然进行一些操作
小月半会飞·2024-02-06 01:52

【VPS折腾记】nextcloud——配置优化（二）

个人选择nextcloud的原因只有：因为oraclearm免费鸡的纸面实力不错，不想浪费配置cloudreve离线下载功能太局限，无法自定义header，而现在百度网
TwoSox·2024-02-06 00:11

shell中正则表达式

[atguigu@hadoop101shells]$cat/etc/passwd|grepatguigu1.常用特殊字符^$.*[]\^：匹配一行的开头$：匹配一行的结束.
看山不是山a·2024-02-05 23:07

kubeadm离线一键安装K8s集群

文章目录kubeadm离线一键安装K8s集群如何使用验证kubeadm离线一键安装K8s集群前言：安装的K8s版本为1.27.1容器运行时使用的containerd，不是使用docker。
银痕·2024-02-05 22:39

ubuntu离线安装k8s

目录一、前期准备二、安装前配置三、安装docker四、安装cri-dockerd五、部署k8smaster节点六、整合kubectl与cri-dockerd七、网络等插件安装八、常见问题及解决方法一、前期准备①ubuntu系统本地已安装ubuntu系统，lsb_release-a命令查看版本信息：②安装包相关资源也可以从这里下载：https://download.csdn.net/download
雨欲语·2024-02-05 21:39

蓝桥杯Web应用开发-HTML5新特性

•对本地离线存储的更好支持。•地理位置、拖曳、摄像头等API。知识点
AAA_建筑材料批发叶总·2024-02-05 21:32

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

链接：https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit·2024-02-05 20:29

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

360搜索：支撑百亿级网页搜索引擎的架构！

我们目前的在线、离线机群有
码农小光·2024-02-05 17:10

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

DolphinScheduler数仓任务管理规范

目录一、DolphinScheduler调度数仓任务现状分析2.1一个任务流构建数仓所有的逻辑节点2.2每个逻辑节点构建一个任务流二、数仓任务管理调度需求分析三、DolphinScheduler数仓开发任务管理规范四
i7杨·2024-02-05 16:09

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

pnpm + vite 从外网迁移到内网环境开发

离线安装pnpm在有外网的机器上执行以下命令，下载pnpm的tgz压缩包至桌面，注意下载版本和当前使用版本保持一致[email protected]~/Desktop
jiangbinwangyi·2024-02-05 14:05

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他