E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop伪分布式环境搭建
Apache Tomcat
环境搭建
ApacheTomcat是一个开源的Servlet容器,用于运行JavaWeb应用程序。本文将详细介绍在Linux和Windows系统下如何搭建ApacheTomcat环境。一、Linux系统下搭建ApacheTomcat1.下载Tomcat首先,你需要从ApacheTomcat的官方网站下载适合Linux系统的Tomcat安装包。通常,你可以下载到.tar.gz格式的压缩包。2.解压Tomcat
R0ot
·
2024-03-19 03:42
apache
tomcat
java
Spring(概念)
企业级应用Spring之所以称为容器,就是由于BeanFactory的自动装配和注入Spring3开始把jar拆分成了多个:spring2及Spring2之前只有一个jar包2、SpringIOC简介和
环境搭建
责任链缺点
lvpflv
·
2024-03-18 15:25
spring源码
spring
python
java
linux安装单机版spark3.5.0
一、spark介绍是一种通用的大数据计算框架,正如传统大数据技术
Hadoop
的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
App自动化测试之Appium
环境搭建
保姆级教程(全网最全)
前言APP自动化测试运行环境比较复杂,稍微不注意安装就会失败。我见过不少朋友,装了1个星期,Appium的运行环境还没有搭好的。搭建环境本身不是一个有难度的工作,但是Appium安装过程中确实存在不少隐藏的比较深的坑,如果一不小心踩中了其中的一个,那可能会花费比较长的时间来解决。今天出一个Appium安装的详细教程,只要你照着这个做,并且注意我标出来的每一个注意事项,就可以轻松地装好Appium运
程序员勋勋
·
2024-03-16 13:19
软件测试
技术分享
appium
Hadoop
简介
简介大数据简介概述大数据的说法从出现到现在,也经历了十多年时间的发展。而在这十几年的发展过程中,非常多的机构、组织都试图对大数据做出过定义,例如:研究机构Gartner给出了这样的定义:"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
程序员小郭同学
·
2024-03-16 07:10
hadoop
Hive中的NVL函数与COALESCE函数
ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.
hadoop
.hive.ql.udf.generic.GenericUDFNv
独影月下酌酒
·
2024-03-15 13:13
Hadoop
大数据
hive
hadoop
数据仓库
hive库表占用空间大小的命令
hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小(单位G)
hadoop
fs-ls
刀鋒偏冷
·
2024-03-15 13:13
hive
hadoop
数据仓库
03hive数仓安装与基础使用
hiveHive概述Hive是基于
Hadoop
的一个数据仓库工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
TypeScript基本类型和语法
TypeScript安装
环境搭建
1.下载node.js(下载LTS稳定版、Current最近版不稳定)2.安装node.js3.使用npm全局安装TypeScript:npmi-gtypescript4
卷心菜007
·
2024-03-14 04:56
TypeScript
typescript
javascript
前端
linux测试
环境搭建
教程,linux下gtest测试
环境搭建
步骤
Step1:下载gtest1.解压后进入gtest目录,如下:继续make,又出错,原因同上。解决路径:googlemock/CMakeFiles/gmock_main.dir/flags.make继续make,又出错,原因同上。解决路径:googletest/gtest/CMakeFiles/gtest.dir/flags.make继续make,又出错,原因同上。解决路径:googletest/
魔屋
·
2024-03-12 15:04
linux测试环境搭建教程
HDFS
(一)HDFS简介及其基本概念 HDFS(
Hadoop
DistributedFileSystem)是
hadoop
生态系统的一个重要组成部分,是
hadoop
中的的存储组件,在整个
Hadoop
中的地位非同一般
weixin_51987187
·
2024-03-12 14:32
笔记
大数据
大数据开发(
Hadoop
面试真题-卷二)
大数据开发(
Hadoop
面试真题)1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点?如何解决这些问题?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
zookeeper 使用
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的
Hadoop
项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法
SkTj
·
2024-03-10 02:15
如何用Jekyll搭建属于自己的个人博客网站?
环境搭建
Linux环境:通过RVM安装Ruby环境1、安装gpg密钥$gpg2--recv-keys409B6B1796C275462A1703113804BB82D39D
十yiyi
·
2024-03-09 15:26
Hive SQL 开发指南(三)优化及常见异常
在大数据领域,HiveSQL是一种常用的查询语言,用于在
Hadoop
上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
大数据开发(
Hadoop
面试真题-卷九)
大数据开发(
Hadoop
面试真题)1、Hivecount(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
大数据开源框架技术汇总
目录系统平台(
Hadoop
、CDH、HDP)监控管理(CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
R语言简介,R语言开发
环境搭建
步骤,R基础语法以及注释详解
R语言是一种用于统计计算与绘图的编程语言,由新西兰奥克兰大学的统计学家罗斯·伊哈卡和罗伯特·杰特曼于1993年发明。R语言是一种自由、免费、源代码开放的软件,属于GNU系统的一个分支,如今被广泛地应用于统计分析、数据挖掘等领域。R语言的特点包括:是一套完整的数据处理、计算和制图软件系统,具有数据存储和处理、数组运算、数学建模、统计检验以及统计制图等功能。提供了丰富的数学计算、统计计算的函数,用户可
黑夜照亮前行的路
·
2024-03-08 20:47
r语言
java必知必会-java抽象类与接口
系列文章目录java必知必会-java
环境搭建
java必知必会-java开发工具安装与使用java必知必会-java关键字、变量和常量java必知必会-java数据类型和变量定义java必知必会-java
柠檬分解者
·
2024-03-08 17:41
java必知必会
java
开发语言
day1-python基础语法总结
1、未来五个月需要学习的东西(1)学会自己解决实际中遇到的问题(2)学会怎么更好的表达自己(3)学会怎么整理好文档资料2、学习python的
环境搭建
和辅助软件的学习(1)python安装(2)pycharm
未醒的梦_19b0
·
2024-03-07 23:53
sprintboot集成flink快速入门demo
二、
环境搭建
安装flinkhttps://nightlies.apache.org
AskHarries
·
2024-03-07 04:55
flink
大数据
QT MinGW64编译vlc源码
编译
环境搭建
参考文章《QTMingw32/64编译ffmpeg源码生成32/64bit库以及测试》,搭建msys64环境;运行msys.exe,运行:pacman-Sgitsubversioncvsautomakeautoconflibtoolm4makegettextpkg-configmingw-w64
小条小杂鱼
·
2024-03-03 19:11
QT学习实战
qt
开发语言
《探索数据结构之美:如何高效实现哈希表》
此外,我们还将介绍项目开发前的
环境搭建
和bash命令,帮助您轻松上手哈希表项目。一、分析1.哈希表简介哈希表是一种数据结构,它使用哈希函数将键映射到表中一个位置,以实现快速的插入、删除和查找操作。
GT开发算法工程师
·
2024-03-03 12:32
哈希
开发语言
算法
哈希算法
c++
【
Hadoop
】在spark读取clickhouse中数据
读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
【
Hadoop
】使用Metorikku框架读取hive数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
Spark-sql Adaptive Execution动态调整分区数量,调整输出文件数
看看这个参数如何运用:我们的spark-sql版本:[
hadoop
@666~]$spark-sql--versionWelcometo______/__
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
【超详细】Python入门到放弃指南
大家如果看了我写的这篇文章《盲目自学只会毁了你》就大概知道怎么自学了,那接下来就跟大家说下学习路线,不一定适合每一个人,可以作为参考Python
环境搭建
Python介绍编译器和解释器Python
环境搭建
居7然
·
2024-03-02 12:58
python
开发语言
hadoop
里需要的lib
hadoop
.so版本不一致导致问题及解决办法
$
HADOOP
_HOME/lib/native/Linux-amd64-64(64位操作系统)$
HADOOP
_HOME/lib/native/Linux-i386-32(32位操作系统)文件夹中的lib
hadoop
.so
weixin_34304013
·
2024-03-02 09:23
大数据
操作系统
嵌入式
hadoop
启动报错处理
1.
hadoop
启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-
hadoop
libraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191
·
2024-03-02 08:51
大数据
操作系统
自动化搭建---
环境搭建
与配置
1.确定所需环境与项目团队和开发人员详细沟通,了解项目的具体环境需求。这可能包括操作系统版本、数据库类型(如MySQL、PostgreSQL等)、Web服务器(如Apache、Nginx等)以及其他依赖软件。2.安装操作系统根据项目需求,选择合适的操作系统版本,并在测试机器上进行安装。可以通过官方提供的安装介质(如ISO镜像文件)或从云提供商处获取虚拟机镜像来安装操作系统。3.安装依赖库和软件3.
测试也是会开发的
·
2024-03-02 05:48
自动化项目搭建
自动化
自动化测试
eBPF实践篇之
环境搭建
文章目录前言实验环境前置知识配置开发环境最后前言你好,我是醉墨居士,本次我们学习一下eBPF,我们基于libbpf-bootstrap来进行我们的eBPF程序开发实验环境一台Debian12操作系统的计算机,我使用的是Debian12.2.0-amd64其它Linux发行版的环境也可以,Linux内核不低于5.4版本前置知识c语言,linux系统基本操作配置开发环境在Ubuntu/Debian系统
醉墨居士
·
2024-03-01 22:38
eBPF
linux
网络
c语言
Django学习笔记----数据库操作实例
上上篇>Django学习笔记----
环境搭建
基于Windows上一篇>Django学习笔记----快速入门修改settings.py配置在
环境搭建
篇,我们已经安装了mysql-client包安装好后,在
weixin_34315485
·
2024-03-01 07:45
数据库
python
shell
Mac上安装安卓环境步骤
MAC
环境搭建
javaJDK下载网址:[http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Queen_BJ
·
2024-03-01 04:37
Spark整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark,如果不会安装可以跳转到Spark安装与配置(单机版)3、需要安装配置好
Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
go环境配置
GO
环境搭建
:go的环境变量exportGO111MODULE=onexportGOSUMDB=sum.golang.orgexportGOPROXY=https://goproxy.cn,direct
心怀梦想
·
2024-02-28 08:48
Go
Hadoop
-Yarn-NodeManager是如何监控容器的
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星
·
2024-02-28 06:15
hadoop
大数据
yarn
Python+Selenium4
环境搭建
很久没有了解自动化了,最近发现项目中沉淀了很多东西,回归测试效率很低,所以必须要考虑构建自动化来提供各个环节的小效率。由于忙于需求以及产品的流程规范,现在对于测试技术方面的研究也相对少了很多。不过不管做什么,做好最重要!自动化几年前研究过一套框架,由于各方面原因一直没有推广起来,也导致我的自动化发展之路还没出生就胎死腹中。现在搞自动化主要是出于团队建设考虑,一方面为了提供测试部门的工作效率,保障产
软件测试媛
·
2024-02-26 22:05
软件测试
技术分享
自动化测试
python
开发语言
Zookeeper实现分布式锁
首先需要确保有
hadoop
102,
hadoop
103,
hadoop
104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中
·
2024-02-25 23:35
分布式
zookeeper
云原生
大数据计算技术秘史(上篇)
单机系统无法存储如此之多的数据,先是过渡到了分库分表这类
伪分布式
技
·
2024-02-22 20:33
人工智能
docker搭建
hadoop
hdfs完全分布式集群
1制作
hadoop
镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/
hadoop
:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
一些关于Java课程学习下来的心得
Python两种语言的我,对于Java的总结基本可以浓缩成:比C语言丰富,但是比Python格式要求高,但是多种语言容易混淆,这次总结作业我将大体按照书本,结合上课习题进行分别总结,课本上基本安装内容之类的
环境搭建
以及程序设计基础部就不多加赘述
lolo230
·
2024-02-20 21:11
java
学习
开发语言
Ubuntu22.04.1 C/C++
环境搭建
1、更新源updatesudoapt-getupdate2、C/C++开发
环境搭建
sudoaptinstallbuild-essentialgdb3、查看版本号,检验是否安装成功。
R·熊猫
·
2024-02-20 20:55
linux
c语言
c++
Ubuntu
环境搭建
TeslaMate,特斯拉车友必备,可视化数据仪表!使用极空间Z4虚拟机
能点进来的大概率都是特斯拉车友~~本篇记录一下使用极空间Z4家庭NAS搭建TeslaMate的全过程,使用极空间最近更新的虚拟机功能,在虚拟机中安装Ubuntu部署Docker。当然大家用PC虚拟机搭建也可以啦!至于为什么不用极空间自带的Docker功能,emmm并不好用。要是想要使用自带的docker来搭建,可以参照这个https://post.smzdm.com/p/az59px95/本人自学
喵不是白养的
·
2024-02-20 20:16
ubuntu
linux
hive 的map数和reduce如何确定
的文件大小,集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么
hadoop
Super乐
·
2024-02-20 20:38
hive
hive
第二篇:复习python
文章目录一、啥是python二、python的优点三、python的下载与
环境搭建
四、python基础弟中弟1.标识符2.Python注释3.编码4.输入/输出5.缩进6.多行语句7.Python引号8
张箫剑
·
2024-02-20 20:27
python
开发语言
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
Hadoop
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
Laravel01 课程介绍以及Laravel
环境搭建
Laravel01课程介绍1.Laravel2.mac开发
环境搭建
(通过Homebrew)3.创建一个项目1.Laravel公司中面临着PHP项目与Java项目并行,所以需要我写PHP的项目,公司用的框架就是
boy快快长大
·
2024-02-20 19:58
PHP
laravel
php
F5漏洞复现[CVE-2020-5902]与[CVE_2021_22986]
环境搭建
F5的
环境搭建
教程在网上可以查到很多,这里大概介绍以下流程与心得。首先搭建环境需要使用vmware软件运行F5的镜像来实现,需要下载并安装相关
Coder_preston
·
2024-02-20 19:51
计算机安全
pytorch
git
branch
Hadoop
生态圈
是数据分析数据引擎,也是MapReduce模型,支持SQL4.Pig也是一个数据分析引擎,不支持SQL,有自己的PigLatin数据5.Sqoop是数据采集工具,针对关系数据库6.Flume是针对文件等数据的采集7.
Hadoop
陈超Terry的技术屋
·
2024-02-20 19:47
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他