hadoop运行环境

HiveSQL常见函数及使用方法（含代码示例）

HiveSQL（HiveSQL）是ApacheHive所使用的SQL方言，专门用于在Hadoop上进行大规模数据处理。以下是一些常见的HiveSQL函数及其使用方法：1.聚合函数COUNT统计记录数。
会飞的岛格酱·2024-08-21 21:31

Webpack构建优化——区分环境

为什么需要区分环境在开发网页的时候，一般都会有多套运行环境，例如：在开发过程中方便开发调试的环境。发布到线上给用户使用的运行环境。
oWSQo·2024-03-28 21:34

Azkaban各种类型的Job编写

一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java
__元昊__·2024-03-28 21:00

Linux（centos7）部署hive

前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠·2024-03-28 12:44

关于HDP的20道高级运维面试题

HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive
编织幻境的妖·2024-03-26 15:34

【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理

风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark是一个广泛使用的高性能、通用的计算框架，而ClickHouse作为一个高性能的列式数据库，特别适合在线分析处理（OLAP）。结合Scala语
音乐学家方大刚·2024-03-26 09:56

JAVA的学习Day1

JRE是java运行环境JVM、核心类库、运行工具3.JDK,JRE,JVM三者的包含关系JDK包含JREJRE包含JVM二：JAVA基础语法2.1注释2.
Miketutu·2024-03-26 04:48

今天简单聊聊容器化

什么是容器化容器化（Containerization）是一种软件开发和部署的方法，其核心思想是将应用程序及其所有依赖项打包到一个独立的运行环境中，这个环境被称为容器。
第十个灵魂·2024-03-25 19:07

hadoop配置免密登录

1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
我干开发那十年·2024-03-24 07:25

MATLAB 2023a：强化学习算法的实战演练与性能评估

在深度学习领域，MATLAB2023版深度学习工具箱以其完整的工具链和高效的运行环境，为研究人员和开发者提供了前所未有的便利。
zmjia111·2024-03-24 06:54

windows服务器上部署Java项目

1.首先把jdk数据库等项目运行环境在服务器上搭建起来2.部署项目需要4个文件如下图3.添加xxx.bat文件,这个文件用于在服务器服务中新增一个服务,文件内容下面代码中需要修改的内容:sccreate
new Project·2024-03-20 09:19

【笔记】HDFS基础笔记

启动hadoop命令（未配环境变量）：进入hadoop安装目录输入.
哇咔咔哇咔·2024-03-20 04:12

【笔记】Linux常用命令

命令含义cd/home/hadoop#把/home/hadoop设置为当前目录cd..#返回上一级目录cd~#进入到当前Linux系统登录用户的主目录（或主文件夹）。
哇咔咔哇咔·2024-03-20 03:11

【Flink SQL】Flink SQL 基础概念（五）：SQL 时区问题

《FlinkSQL基础概念》系列，共包含以下5篇文章：FlinkSQL基础概念（一）：SQL&Table运行环境、基本概念及常用APIFlinkSQL基础概念（二）：数据类型FlinkSQL基础概念（三
G皮T·2024-03-19 13:24

云原生部署手册01：构建k8s集群并配置持久化存储

写在前面：k8s弃用docker的影响其实没那么大k8s通过dockershim对docker的支持从1.20版本后就已经移除，仅支持符合ContainerRuntimeInterface(CRI)的容器运行环境
吴智深·2024-03-19 10:51

JVM，GC算法，垃圾回收器，类加载器，进行线上JVM性能调优。

JVM（JavaVirtualMachine，Java虚拟机）是Java程序的运行环境，它在操作系统上提供了一个抽象层，使得Java程序可以独立于硬件平台运行。
刘小董·2024-03-18 04:10

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄·2024-03-17 18:57

App自动化测试之Appium 环境搭建保姆级教程（全网最全）

前言APP自动化测试运行环境比较复杂，稍微不注意安装就会失败。我见过不少朋友，装了1个星期，Appium的运行环境还没有搭好的。
程序员勋勋·2024-03-16 13:19

Hadoop简介

简介大数据简介概述大数据的说法从出现到现在，也经历了十多年时间的发展。而在这十几年的发展过程中，非常多的机构、组织都试图对大数据做出过定义，例如：研究机构Gartner给出了这样的定义："大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
程序员小郭同学·2024-03-16 07:10

Hive中的NVL函数与COALESCE函数

ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.hadoop.hive.ql.udf.generic.GenericUDFNv
独影月下酌酒·2024-03-15 13:13

hive库表占用空间大小的命令

hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小（单位G)hadoopfs-ls
刀鋒偏冷·2024-03-15 13:13

03hive数仓安装与基础使用

hiveHive概述Hive是基于Hadoop的一个数据仓库工具。
daydayup9527·2024-03-14 13:39

Python+Django毕业设计新生报到管理系统（程序+LW+部署）

项目运行环境配置：Jdk1.8+Tomcat7.0+Mysql+HBuilderX（Webstorm也行）+Eclispe（IntelliJIDEA,Eclispe,MyEclispe,Sts都支持）。
Python、JAVA毕设程序源码·2024-03-14 11:36

轻量且强大的 uni-app http 网络库

基于uni.request，支持多种运行环境。支持请求／响应拦截器。自动转换JSON数据。支持批量生成API请求，简化代码量99%，一行代码搞定安装//安装npminstall@a
小铭、同学·2024-03-14 02:24

HDFS

（一）HDFS简介及其基本概念  HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般
weixin_51987187·2024-03-12 14:32

大数据开发（Hadoop面试真题-卷二）

大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？
Key-Key·2024-03-12 02:15

Node.js概述与安装运行浅记

Node.js概述Node.js是一个开源、跨平台的JavaScript运行环境，用于在服务器端执行JavaScript代码。
dami_king·2024-03-11 20:37

zookeeper 使用

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法
SkTj·2024-03-10 02:15

Hive SQL 开发指南（三）优化及常见异常

在大数据领域，HiveSQL是一种常用的查询语言，用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能，制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~·2024-03-09 14:13

【Node.js从基础到高级运用】一、了解Node.js基础概念

Node.js是一个开源、跨平台的JavaScript运行环境，它允许开发者使用JavaScript来编写服务器端代码。
Vip_wk·2024-03-09 12:39

大数据开发（Hadoop面试真题-卷九）

大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？
Key-Key·2024-03-09 10:06

大数据开源框架技术汇总

目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖·2024-03-08 20:48

快速搭建项目运行环境（JDK+Maven+Git+Docker+Mysql+Redis+Node.js+Nginx）+前后端项目分别部署

JDK①、从oracle官方网站上下载1.8版本中的最新版的JDKhttps://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html②、把文件通过WinSCP或者XFTP上传到服务器上③、解压和配置环境变量#进入安装包目录，解压cd/data/tmptar-zxvfjdk-8u261-linux-x64.tar.gz
A尘埃·2024-03-06 17:41

1、docker基础篇

2、更快速的启动时间---秒级、毫秒级启动3、一致的运行环境---从而不会再出现“这段代码在我机器上没问题”这类问题4、持续的交付和部署---5、更轻松的迁移---共有云、私有云上任意迁移6、更轻松的维护和扩展
天夭夭·2024-03-05 08:22

【Hadoop】在spark读取clickhouse中数据

读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233·2024-03-03 06:54

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233·2024-03-03 06:23

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
不想起的昵称·2024-03-02 15:03

hadoop里需要的libhadoop.so版本不一致导致问题及解决办法

$HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so
weixin_34304013·2024-03-02 09:23

hadoop启动报错处理

1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191·2024-03-02 08:51

【Java编程进阶之路 06】深入探索：JDK、JRE与JVM的关系与差异

JDK、JRE与JVM：揭开Java运行环境的神秘面纱在Java开发者的日常工作中，JDK、JRE和JVM这三个概念是不可或缺的。
浅夏的猫·2024-02-29 20:31

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

监控系统的评分标准

正确的监控应当与应用程序一同构建和部署，因为缺乏监控会导致对系统运行环境的不了解，阻碍故障诊断，以及无法及时获取关键的性能、成本和状态等信息。
aofathy·2024-02-28 20:04

Java210道常见的面试

JDK（JavaDevelopmentKit），Java开发工具包JRE（JavaRuntimeEnvironment），Java运行环境JDK中包含JRE，JDK中有一个名为jre的目录，里面包含两个文件夹
遗 憾♡ۣۖ·2024-02-28 20:03

Hadoop-Yarn-NodeManager是如何监控容器的

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星·2024-02-28 06:15

使用Node.js开发RESTful API

Node.js是基于ChromeV8引擎的JavaScript运行环境，它的出现使得JavaScript可以在服务器端运行，极大
JJCTO·2024-02-26 14:58

Zookeeper实现分布式锁

首先需要确保有hadoop102，hadoop103，hadoop104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中·2024-02-25 23:35

java毕业设计二手图书回收销售网站Mybatis+系统+数据库+调试部署

Mybatis+系统+数据库+调试部署本源码技术栈：项目架构：B/S架构开发语言：Java语言开发软件：ideaeclipse前端技术：Layui、HTML、CSS、JS、JQuery等技术后端技术：JAVA运行环境
沪港·2024-02-25 18:30

ERC721解读

1.接口1.ERC721定义接口参考：ERC721-OpenZeppelin文档下面是以太坊官方定义的标准,由于就是我写的代码运行环境不支持payable关键字，因
本郡主是喵·2024-02-25 15:26

java计算机毕业设计同学录网站源码+数据库+系统+lw文档+mybatis+运行部署

文档+mybatis+运行部署本源码技术栈：项目架构：B/S架构开发语言：Java语言开发软件：ideaeclipse前端技术：Layui、HTML、CSS、JS、JQuery等技术后端技术：JAVA运行环境
游游科技·2024-02-24 17:59

java毕业设计网络招聘系统源码+lw文档+mybatis+系统+mysql数据库+调试

+系统+mysql数据库+调试本源码技术栈：项目架构：B/S架构开发语言：Java语言开发软件：ideaeclipse前端技术：Layui、HTML、CSS、JS、JQuery等技术后端技术：JAVA运行环境
銮銮科技·2024-02-24 17:29
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他