Hadoop环境配置

03hive数仓安装与基础使用

hiveHive概述Hive是基于Hadoop的一个数据仓库工具。
daydayup9527·2024-03-14 13:39

Python+Django毕业设计新生报到管理系统（程序+LW+部署）

项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。
Python、JAVA毕设程序源码·2024-03-14 11:36

水云模型去除植被覆盖影响反演土壤水

目录水云模型简介使用方法环境配置输入文件源代码输出文件反演方法构造土壤水分与散射系数拟合方程一、Matlab拟合线性曲线二、python多元线性回归波段计算讨论本文是在哨兵1号后向散射系数土壤水分反演文章上的拓展
海绵波波107·2024-03-14 07:30

linux下golang环境配置问题记录

vscode工具，golang-dlv调试，爆出：GOPATHsettoGOROOT(/usr/local/go)hasnoeffect解决方案：环境配置PATH，需要包含GOPATH和GOROOT/bin
runscript.sh·2024-03-13 08:00

HDFS

（一）HDFS简介及其基本概念  HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般
weixin_51987187·2024-03-12 14:32

大数据开发（Hadoop面试真题-卷二）

大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？
Key-Key·2024-03-12 02:15

zookeeper 使用

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法
SkTj·2024-03-10 02:15

Hive SQL 开发指南（三）优化及常见异常

在大数据领域，HiveSQL是一种常用的查询语言，用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能，制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~·2024-03-09 14:13

大数据开发（Hadoop面试真题-卷九）

大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？
Key-Key·2024-03-09 10:06

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

spring boot 之 spring.profiles

系统默认文件可以用默认的application.properties，但是推荐用application.yaml区分环境配置文件命名:application-{environment}.yaml如本地环境开发
ithankzc·2024-03-04 05:28

【Hadoop】在spark读取clickhouse中数据

读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233·2024-03-03 06:54

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233·2024-03-03 06:23

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
不想起的昵称·2024-03-02 15:03

hadoop里需要的libhadoop.so版本不一致导致问题及解决办法

$HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so
weixin_34304013·2024-03-02 09:23

hadoop启动报错处理

1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191·2024-03-02 08:51

Docker的简单介绍以及常用命令介绍

目录一、Docker的简介二、Docker安装环境配置阿里云镜像仓库配置三、Docker常用命令3.1基本命令3.2镜像命令3.3容器命令一、Docker的简介Docker是一个被广泛使用的开源容器引擎
不念那年晚春·2024-02-29 10:18

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

go环境配置

GO环境搭建:go的环境变量exportGO111MODULE=onexportGOSUMDB=sum.golang.orgexportGOPROXY=https://goproxy.cn,direct//代理exportGOROOT=/home/xx/go//go源码安装路径exportGOPATH=/home/xx/data/gopathgopath下有src,bin,pkgsrc存放go源码
心怀梦想·2024-02-28 08:48

Hadoop-Yarn-NodeManager是如何监控容器的

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星·2024-02-28 06:15

9-区分开发环境配置 merge plugin

在development和production环境下将配置文件进行分类：dev、pro、base（公共）merge.jpg步骤：-1安装:yarnaddwebpack-merge-D本地安装插件-2新建webpacl.base.js、webpack.dev.js、webpack.prod.js，用作不同阶段环境的区分-3分别配置三个文件：以webpack.prod.js为例let{smart}=r
崩鲨卡拉卡·2024-02-27 12:32

git的下载、安装和配置

://git-scm.com/2、选择系统3、选择电脑位数4、安装好后在桌面界面点击鼠标右键，会出现如下界面5、检查git是否安装OK打开本地cmd,输入git回车，输出如下页面，就代表安装成功了二、环境配置
南木是南木·2024-02-26 13:01

Python 爬虫从入门到精通

二、环境配置与基本工具1.Python环境配置安装Python3.x版本并配置好环境。
武帝为此·2024-02-26 05:16

Zookeeper实现分布式锁

首先需要确保有hadoop102，hadoop103，hadoop104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中·2024-02-25 23:35

eclipse配置C语言开发环境

mingw工具包下载地址：http://image.jthinking.com/software/mingw-w64.zipmingw环境配置：一定要在系统变量path后添加--MinGW的安装目录/binmingw
哈龙_99·2024-02-25 12:23

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512·2024-02-20 22:02

有一台阿里云轻量应用服务器可以用来做什么？

轻量服务器可用于网站搭建、个人博客、图床、云端学习环境、电商建设、论坛社区、开发环境配置等。可以在阿里云CLUB中心查看aliyun.club当前最新的优惠券和活动信息。轻量是不是性能差？
aliyunbaike·2024-02-20 20:22

hive 的map数和reduce如何确定

的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop
Super乐·2024-02-20 20:38

(17)Hive ——MR任务的map与reduce个数由什么决定？

MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop
爱吃辣条byte·2024-02-20 20:27

linux 系统运维日常巡检脚本参考

巡检结果出现异常也能及时发现,及时处理故障,避免导致业务服务中断,给公司带来不必要的损失.运维安全是第一原则.以下分享一个实用的巡检脚本,主要功能包括:机器的负载情况(cpu,磁盘,io,网络的使用率等),也包括软件环境配置
滨海新世界·2024-02-20 20:12

Hadoop生态圈

是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop
陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop
大勇任卷舒·2024-02-20 19:27

【YARN】【Apache Hadoop YARN】【架构】

ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库·2024-02-20 18:48

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

统信UOS_arm64开发环境配置

统信UOS开发机器配置一、配置ssh远程登陆并设置为开机自启动(1)sudovim/etc/ssh/sshd_config修改以下三行LoginGraceTime120PermitRootLoginyesStrictModesyes(2)systemctlenablesshupdate-rc.dsshenable2345servicesshdrestart二、安装开发环境所用的包安装PyQt4安装
Zerore·2024-02-20 17:32

Django计算机毕业设计实验室资产管理系统python(源码程序+lw+远程部署)

该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程项目运行环境配置：Pychram社区版+python3.7.7+Mysql5.7+HBuilderX+listpip+Navicat11+Django
Django毕设程序杰哥·2024-02-20 16:13

Python-Django毕业设计企业资产管理系统（程序+Lw)

项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。
罗曼计算机毕设程序·2024-02-20 16:11

VScode写LaTeX配置，实测有效

环境配置请看LaTeX环境配置-TexLive，实测有效http://t.csdnimg.cn/0txlLVScode写LaTeX配置0.smatrapdf下载如果使用外部pdf查看器，比如我用的sumatrapdf
BO_S__·2024-02-20 16:47

LaTeX环境配置-TexLive

文章标签不知道怎么选了，随便选的，CSDN没有LaTeX标签LaTeX环境配置-TexLive去TexLive官网下载，官网为https://tug.org/texlive/安装时基本上一直下一步下一步就好了
BO_S__·2024-02-20 16:17

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel·2024-02-20 15:05

如何系统地学习Python

安装Python：学习如何在不同操作系统上安装Python及环境配置。基础语法和概念：变量、数据类型、操作符。流程控制（if-elif-else,循环for和while）。函数定义和调用。基本的输入
superdont·2024-02-20 15:28

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

ESP32-CAM教程一：网页上显示摄像头数据

Arduino环境配置  首先需要下载ArduinoIDE，可以去官网下（下载慢容易失败，不推荐），也可以在Arduino中文社区进行下载（推荐）。  
【ql君】qlexcel·2024-02-20 14:37

【干货】解决CentOS 7.x上安装与部署SeaTunnel Web时遇到的问题

1.环境采用的是虚拟机上安装CentOs7.x，安装java15环境，安装mysql8.0.28，这两步骤省略，之前的文章里面有讲，属于基础环境配置，也比较简单，说明我用的是一台CentOs7.x的虚拟机实例
·2024-02-20 13:12

【踩坑系列记录 】Anaconda环境将torch由cpu换成gpu

这段时间开始做深度学习的项目，于是用Anaconda给项目创建了一个环境，其他的环境配置很顺利，就是到了安装pytorch时，我用pytorch官网的代码一直下载的是cpu版本。
RoyZz_·2024-02-20 13:37

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生·2024-02-20 12:59

服务器导出excel文档,服务器导出excel功能配置

具体操作请参考虚拟机环境配置。具体操作请参考虚拟机环境配置。
weixin_39732249·2024-02-20 12:50

Kafka核心逻辑介绍 | 京东云技术团队

分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
·2024-02-20 11:54

npm install 相关过程及分析

1、install完整流程1.1、根据.npmrc进行安装前环境配置注意：镜像源就是在这个文件中配置的优先级：每个项目的配置文件（/path/to/my/project/.npmrc）每个工作区的配置文件
林大大哟·2024-02-20 10:59
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他