E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop安装部署
如何部署Python Flask并实现远程访问本地搭建web站点【内网穿透】
文章目录前言1.
安装部署
Flask并制作SayHello问答界面2.安装Cpolar内网穿透3.配置Flask的问答界面公网访问地址4.公网远程访问Flask的问答界面前言Flask是一个Python编写的
江城开朗的豌豆
·
2024-03-13 08:01
网络穿透
python
flask
前端
HDFS
(一)HDFS简介及其基本概念 HDFS(
Hadoop
DistributedFileSystem)是
hadoop
生态系统的一个重要组成部分,是
hadoop
中的的存储组件,在整个
Hadoop
中的地位非同一般
weixin_51987187
·
2024-03-12 14:32
笔记
大数据
大数据开发(
Hadoop
面试真题-卷二)
大数据开发(
Hadoop
面试真题)1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点?如何解决这些问题?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
zookeeper 使用
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的
Hadoop
项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法
SkTj
·
2024-03-10 02:15
Hive SQL 开发指南(三)优化及常见异常
在大数据领域,HiveSQL是一种常用的查询语言,用于在
Hadoop
上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
大数据开发(
Hadoop
面试真题-卷九)
大数据开发(
Hadoop
面试真题)1、Hivecount(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
大数据开源框架技术汇总
目录系统平台(
Hadoop
、CDH、HDP)监控管理(CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
centos6.4搭建apache+mysql+php环境
最近用php做的项目到了项目部署的时候,服务器为centos6.4系统,为了快捷部署,采用yum
安装部署
大部分内容参考博客http://blog.sina.com.cn/s/blog_c02ed6590101d2sl.html
子晓聊技术
·
2024-03-04 09:30
环境搭建
【
Hadoop
】在spark读取clickhouse中数据
读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
【
Hadoop
】使用Metorikku框架读取hive数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
Spark-sql Adaptive Execution动态调整分区数量,调整输出文件数
看看这个参数如何运用:我们的spark-sql版本:[
hadoop
@666~]$spark-sql--versionWelcometo______/__
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hadoop
里需要的lib
hadoop
.so版本不一致导致问题及解决办法
$
HADOOP
_HOME/lib/native/Linux-amd64-64(64位操作系统)$
HADOOP
_HOME/lib/native/Linux-i386-32(32位操作系统)文件夹中的lib
hadoop
.so
weixin_34304013
·
2024-03-02 09:23
大数据
操作系统
嵌入式
Filebeat将csv导入es尝试
一、安装在docker中
安装部署
ELK+filebeat二、主要配置-type:log#Changetotruetoenablethisinputconfiguration.enabled:true#Pathsthatshouldbecrawledandfetched.Globbasedpaths.paths
白毛大侠
·
2024-03-02 08:52
elasticsearch
大数据
搜索引擎
hadoop
启动报错处理
1.
hadoop
启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-
hadoop
libraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191
·
2024-03-02 08:51
大数据
操作系统
MySQLBackup备份数据库
环境:MySQL8.0.361、
安装部署
[root@node5~]#wget-chttps://edelivery.oracle.com/osdc/softwareDownload?
KXY冲冲冲
·
2024-03-02 00:41
数据库
MySQLBackup
备份
Spark整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark,如果不会安装可以跳转到Spark安装与配置(单机版)3、需要安装配置好
Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
Hadoop
-Yarn-NodeManager是如何监控容器的
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星
·
2024-02-28 06:15
hadoop
大数据
yarn
Zookeeper实现分布式锁
首先需要确保有
hadoop
102,
hadoop
103,
hadoop
104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中
·
2024-02-25 23:35
分布式
zookeeper
云原生
Docker之registry
安装部署
Docker之registry
安装部署
我说了您可能就不会继续看registry了,但是我还是要说,这个东东真不好用,不如harbor(强烈推荐)。
耕耘的牛
·
2024-02-24 08:54
docker
nginx
运维
docker搭建
hadoop
hdfs完全分布式集群
1制作
hadoop
镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/
hadoop
:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
MySQL 5.6 ,5.7 ,8.0在
安装部署
的异同
5.6.44二进制包
安装部署
解压到以下目录[root@oldboy~]#ll/usr/local/mysql56/drwxr-xr-x.2rootroot4096Jun311:20bin-rw-r--r
zwb_jianshu
·
2024-02-20 21:33
教你使用 CPU 本地
安装部署
运行 ChatGLM-6B实现
关键的是结合模型量化技术,ChatGLM-6B可以本地
安装部署
运行在消费级的显卡上做模型的推理和训练(全量仅需14GB显存,INT4量化级别下最低只需6GB显存)虽然智商比不过openAI的ChatGPT
恒TBOSH
·
2024-02-20 21:05
GPT-4
人工智能
使用Docker搭建YesPlayMusic并实现公网访问本地云音乐播放器
文章目录1.安装Docker2.本地
安装部署
YesPlayMusic3.安装cpolar内网穿透4.固定YesPlayMusic公网地址本篇文章讲解如何使用Docker搭建YesPlayMusic网易云音乐播放器
nagiY
·
2024-02-20 20:18
てんさい
docker
eureka
容器
内网穿透
如何使用Docker搭建YesPlayMusic网易云音乐播放器并发布至公网访问
文章目录1.安装Docker2.本地
安装部署
YesPlayMusic3.安装cpolar内网穿透4.固定YesPlayMusic公网地址本篇文章讲解如何使用Docker搭建YesPlayMusic网易云音乐播放器
江池俊
·
2024-02-20 20:12
cpolar
docker
eureka
容器
hive 的map数和reduce如何确定
的文件大小,集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么
hadoop
Super乐
·
2024-02-20 20:38
hive
hive
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
Hadoop
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
Hadoop
生态圈
是数据分析数据引擎,也是MapReduce模型,支持SQL4.Pig也是一个数据分析引擎,不支持SQL,有自己的PigLatin数据5.Sqoop是数据采集工具,针对关系数据库6.Flume是针对文件等数据的采集7.
Hadoop
陈超Terry的技术屋
·
2024-02-20 19:47
16.用
Hadoop
命令向CDH集群提交MR作业
Redhat7.2非Kerberos集群CDH5.13,OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的,因为使用
hadoop
大勇任卷舒
·
2024-02-20 19:27
【YARN】【Apache
Hadoop
YARN】【架构】
ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库
·
2024-02-20 18:48
apache
hadoop
大数据
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,
Hadoop
集群的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
Ansible 自动化运维工具的使用
目录Ansible的简介ansible环境
安装部署
ansible命令行模块command模块shell模块cron模块user模块group模块copy模块file模块hostname模块ping模块yum
GnaW1nT
·
2024-02-20 16:03
运维
ansible
自动化
安装部署
elasticsearch、kibana、IK分词器
1.部署单点es1.1.创建网络因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络:dockernetworkcreatees-net1.2.加载镜像这里我们采用elasticsearch的7.12.1版本的镜像,这个镜像体积非常大,接近1G。不建议大家自己pull,将其上传到虚拟机中。导入数据dockerload-ies.tardockerload-ik
爱笑的人、
·
2024-02-20 16:00
后端
大数据Map Reduce (
Hadoop
) 和 MPP数据库 的区别
原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel
·
2024-02-20 15:05
Hadoop
大数据的入门学习
由于所做的银行项目与大数据有关,所以个人学习下
hadoop
的知识,希望能对大数据有所了解,不喜勿喷,哪里有不对的希望大神指点
Hadoop
百度百科:
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang
·
2024-02-20 14:36
SSL证书怎么申请最合适
而网站
安装部署
SSL证书后会在浏览器页面显示安全锁标志,而后数据传输协议则从http升级为https。那么SSL证书的作用体现在哪儿呢?
·
2024-02-20 14:43
【干货】解决CentOS 7.x上安装与部署SeaTunnel Web时遇到的问题
2.SeaTunnel
安装部署
2.1下载安装包exportversion="2.3.3"wget"http
·
2024-02-20 13:12
数据库
《熬夜整理》保姆级系列教程-玩转Wireshark抓包神器教程(2)-Wireshark在Windows系统上
安装部署
2.
安装部署
环境2.1操作系统1.宏哥的环境是Windows10版本64位系统(32位的同学自己想办法哦),其实宏哥觉得无论在什么平台,多少位,其实安装都是类似的,非常easy的。
北京-宏哥
·
2024-02-20 13:00
Linux环境
安装部署
达梦数据库
达梦镜像文件下载地址https://eco.dameng.com/download/一、前期准备工作1设置防火墙白名单首先查看防火墙端口放行情况firewall-cmd--zone=public--list-ports添加达梦端口白名单,默认端口号为5236,可根据实际情况自行设置firewall-cmd--add-port=5236/tcp--permanent添加后需要重启防火墙firewal
连亚伟
·
2024-02-20 12:15
linux
服务器
运维
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如
Hadoop
YARN,但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
DevOps 组件部署 - Jenkins
文章目录一、概述二、
安装部署
1.安装环境2.环境准备3.安装Jenkins4.配置Jenkins5.启动Jenkins服务6.访问Jenkins7.修改Jenkins插件下载地址8.系统中文汉化9.安装
IoTHub - 物联网开源技术社区
·
2024-02-20 12:23
DevOps
云原生
devops
jenkins
云原生
ci/cd
Kafka核心逻辑介绍 | 京东云技术团队
分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
·
2024-02-20 11:54
kafkaredis消息队列
大数据 - Spark系列《六》- RDD详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 - Spark系列《七》- 分区器详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
Linux之Shell
第1章Shell概述1)Linux提供的Shell解析器有[zhao@
hadoop
101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy
·
2024-02-20 08:16
Linux
linux
测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,hive)
一:搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二:搭建
hadoop
,yarn,mapreduce。
宇智波云
·
2024-02-20 08:05
大数据项目
zookeeper
hdfs
mapreduce
hive
Hadoop
Streaming原理
Streaming简介•MapReduce和HDFS采用Java实现,默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在
Hadoop
MapReduce中使用•Streaming
可乐加冰丶丶
·
2024-02-20 07:18
8.2 新特性 - 透明的读写分离
文章目录前言1.
安装部署
1.1下载安装包1.2MySQLShell1.3配置MySQL实例1.4启动ReplicaSet1.5启动8.2Router2.测试路由总结前言MySQL8.0官方推出过一个高可用方案
Bing@DBA
·
2024-02-20 07:59
MySQL
mysql
大数据技术之 Kafka
大数据技术之Kafka文章目录大数据技术之Kafka第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka快速入门2.1
安装部署
efzy
·
2024-02-20 07:26
大数据
大数据
kafka
分布式
【Flink】ClassNotFoundException: org.apache.
hadoop
.conf.Configuration
问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误,版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖
·
2024-02-20 07:38
Flink实战
flink
hadoop
sql
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他