E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop离线数仓
hadoop
分布式集群搭建
虚拟机准备虚拟机单机配置:内存4G,硬盘50G安装好linux/boot200M/swap2g/剩余*安装VMTools关闭防火墙sudoserviceiptablesstopsudochkconfigiptablesoff设置静态IP,改主机名编辑vim/etc/sysconfig/network-scripts/ifcfg-eth0改成=============================
麦田里的稻草人19994
·
2024-01-09 08:24
linux
hadoop
hadoop
集群主从时间同步
1.时间服务器配置(必须root用户)(1)检查ntp是否安装[root@
hadoop
102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem
麦田里的稻草人19994
·
2024-01-09 08:24
linux
hadoop
linux
hadoop
集群分发脚本
分发脚本xsync#!/bin/bash#1获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称#basename是去除目录后剩下的名字p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径#dirname命令可以取给定路径的目录部分(一般指最后一个
麦田里的稻草人19994
·
2024-01-09 08:23
linux
linux
配置ssh免密登录
配置ssh免密登录ssh-keygen-trsassh-copy-iduser@servereg:ssh-copy-id
hadoop
102
麦田里的稻草人19994
·
2024-01-09 08:53
linux
Hive操作命令上手手册
内容来自于《大数据Hive
离线
计算开发实战》Hive原理Hive是一个基于
Hadoop
的数据仓库和分析系统,用于管理和查询大型数据集。
枫叶梨花
·
2024-01-09 08:50
Hive知识圈
hive
hadoop
数据仓库
面向应用的
离线
计算系统:周期任务&组合策略
1场景业务应用系统想大批量利用数据中心的计算能力跑数,回传结果。比如一个个地区的详情数据。而大数据平台通常是调度平台系统,和业务系统是两个独立的平台系统,如何建立交互方式。业务有个性化的实验策略,需要组合业务条件达到实验效果。比如捞取不同的数据实验算法策略。2问题2.1业务系统和大数据系统交互在大数据平台部署一个服务,接收业务系统的请求,转化为内部的一个调度任务。如果业务系统并发太多,不停提交到大
乘风踏羽
·
2024-01-09 08:17
大数据
大数据平台比较-CDH、HDP、CDP
Apache
Hadoop
与CDH、HDP的比较一、
Hadoop
版本综述不收费的
Hadoop
版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)Cloudera
Sql强
·
2024-01-09 07:24
头歌:旅游网站之数据分析
关统计每个城市的宾馆平均价格packagecom.processdata;importjava.io.IOException;importjava.util.Scanner;importorg.apache.
hadoop
.conf.Configuration
爱吃肉的白熊
·
2024-01-09 07:32
Educoder
java
旅游
hive的基本操作
最近新学了hive,想通过写文章的方式对所学知识进行巩固,同时希望可以帮助到大家Hive是基于
Hadoop
的一个数据仓库工具1.创建数据库(创建方法是和Mysql一样的)createdatabase数据库名字
暴打小赵
·
2024-01-09 06:49
hive
hive
数据库
mysql
实验6 熟悉Hive的基本操作
一、实验目的(1)理解Hive作为数据仓库在
Hadoop
体系结构中的角色。(2)熟练使用常用的HiveQL。
Z.Q.Feng
·
2024-01-09 06:47
实验报告
大数据技术与原理
实验报告
hive
大数据
1.2
Hadoop
概述
小肥柴的
Hadoop
之旅1.2
Hadoop
概述目录1.2
Hadoop
概述1.2.1回归问题1.2.2Google的三篇论文1.2.3
Hadoop
的诞生过程1.2.4
Hadoop
特点简介参考文献和资料)目录
卷毛迷你猪
·
2024-01-09 06:47
Hadoop
大数据
hadoop
分布式
hive基本操作与应用
1、通过
hadoop
上的hive完成WordCount启动
hadoop
2、Hdfs上创建文件夹/3、上传文件至hdfs4、启动Hive5、创建原始文档表6、导入文件内容到表docs并查看7、用HQL进行词频统计
weixin_34416649
·
2024-01-09 06:16
大数据
物理机搭建hive
一、修改
Hadoop
配置修改core-site.xml配置yarn-site.xml分发文件,然后重启集群二、Hive解压安装上传文件添加hive环境便量,source生效启动高可用集群,启动hive三
DIY……
·
2024-01-09 06:45
hive
hadoop
数据仓库
数仓
分层结构
--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax:TSV--增量--Maxwell:JSON--汇总数据--希望用最少的资源存储最多的数据--压缩:--gzip:
Hadoop
Young_IT
·
2024-01-09 06:40
大数据开发
大数据技术
大数据
数据仓库
某大厂大数据开发-外包面试
4.spark用过吗,用到的开发工具5.数据量多少,服务器台数6.
数仓
每层做了什么事,为什么这样做?
劝学-大数据
·
2024-01-09 06:42
面试
职场和发展
大数据
大数据开发-某外包公司
varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下
hadoop
劝学-大数据
·
2024-01-09 06:10
个人面试真题记录
大数据
hadoop
集群搭建、spark集群搭建、pyspark搭建(linux+window)
1、前言本文记录学习过程中
Hadoop
、zookeeper、spark集群搭建,主要为pyspark库服务(具体为window上pyspark环境和pyspark库,linux上spark框架、pyspark
Lfx_come on
·
2024-01-09 06:02
hadoop
linux
spark
python
『HDFS』伪分布式
Hadoop
集群
博客引流本文是『
Hadoop
』MapReduce处理日志log(单机版)的旭文,maybe还有后续在搭建环境的时候发现很难搜到合适的教程,所以这篇应该会有一定受众伪分布式就是假分布式,假在哪里,假就假在他只有一台机器而不是多台机器来完成一个任务
gunjianpan
·
2024-01-09 04:31
BZOJ-3290: Theresa与数据结构(CDQ分治+二维线段树)
id=3290首先这题不带修改很好做,按z离散化一下,然后扫一遍,弄个二维的动态线段树维护即可,然后因为有了修改操作,所以使用CDQ分治来转
离线
,多付出一个logn代价,所以总复杂度是O(nlog^3n
AmadeusChan
·
2024-01-09 03:21
源代码编译安装nginx,编译安装的好与坏
安装时不需要网络,可以进行
离线
安装源代码编译安装的坏处:1.编译和安装的过程相对复杂。
努力转型的IT小王
·
2024-01-09 03:17
服务器
网络
运维
nginx
使用RPM快速安装nginx,了解RPM安装nginx各个主要目录的位置
rpm安装的优点与缺点:优点:安装简单方便安装时不用指定安装位置方便升级、卸载支持
离线
安装rpm软件包由于已经编译完成并且打包,所以安装很方便缺点:大多数rpm安装需要解决复杂的依赖关系卸载时需要特别小心
努力转型的IT小王
·
2024-01-09 03:17
rpm安装
nginx
服务器
运维
离线
安装搭建LNMP+wordpress论坛
实验目标:准备一台服务器,搭建nginx,MySQL,PHP,实现
离线
安装,在LNMP的基础上面搭建wordpress论坛软件,配置nginx动静分离,实现通过LNMP访问wordpress的动态网页。
努力转型的IT小王
·
2024-01-09 03:46
LNMP
wordpress
博客
系统架构
linux
运维
服务器
各种浏览器下载tampermonkey网址
国内环境一般进不去):https://chrome.google.com/webstore/detail/tampermonkey/dhdgffkkebhmkfjojejmpbldmpobfkfo【这里提供插件
离线
包
宸子涵
·
2024-01-09 02:52
脚本
程序人生
【内网】WebStorm搭建Vue环境
6、配置内网
离线
库安装WebStorm并运行Vue项目1、安装WebStorm2、激活WebStorm3、下载破解包4、创建Vue新项目5、测试Vue项目6、汉化安装node.js和npm1、Node.js
Evil
·
2024-01-09 01:21
Vue
前端
vue
webstorm
Apache Seatunnel部署(apache-seatunnel-2.3.3-bin.tar.gz + apache-seatunnel-web-1.0.0-bin.tar.gz)
界面部署初始化数据库配置文件修改配置下载数据源jar包启动服务四、web页面一览登录数据源任务用户管理虚拟表五、其它问题记录总结一、概要安装包及源码包下载地址ApacheSeaTunnel是一个分布式、高性能、易扩展的数据集成平台,用于实时和
离线
数据处理
韧小钊
·
2024-01-09 01:50
ETL&ELT
seatunnel
核心引擎
web界面
流式湖仓增强,Hologres + Flink 构建企业级实时
数仓
流式湖仓增强,Hologres+Flink构建企业级实时
数仓
一、Hologres+Flink,阿里云上众多客户实时
数仓
的首选随着大数据从规模化走向实时化,实时数据的需求覆盖互联网、交通、传媒、金融、政府等各个领域
Elivis Hu
·
2024-01-08 22:52
数仓
flink
大数据
Hadoop
3.3.5云服务器安装教程-单机/伪分布式配置
系列文章目录华为云服务器试用领取领取的试用云服务器在哪
Hadoop
3.3.5云服务器安装教程-单机/伪分布式配置文章目录系列文章目录创建
hadoop
用户更新apt安装SSH、配置SSH无密码登陆安装Java
柔雾
·
2024-01-08 21:48
服务器
分布式
运维
通过yum获取rpm
离线
安装包
通过yum获取rpm
离线
安装包
离线
安装不可避免需要下载对应安装包,此时可以通过yum命令只下载不安装的rpm安装包。
不爱吃奶昔(zsl0)
·
2024-01-08 19:44
#
Linux
服务器
linux
运维
2021-11-22 Zookeeper Shell脚本
/bin/bashcase$1in"start"){foriin
hadoop
102
hadoop
103
hadoop
104doecho----------zookeeper$i启动------------ssh
不爱吃奶昔(zsl0)
·
2024-01-08 19:12
#
Linux
linux
shell
zookeeper
解决Docker报错问题:Docker Desktop – Unexpected WSL error
最近因为准备在NAS上通过Docker容器方式安装MYSQL,发现https://hub.docker.com网站被墙了,无法自动安装,同时又找不到靠谱的
离线
镜像,所以准备在Window上安装Docker
IT东
·
2024-01-08 19:34
后端开发
笔记
hadoop
/etc/
hadoop
下没有mapred-site.xml,只有mapred.xml.template
默认情况下,/usr/local/
hadoop
/etc/
hadoop
/文件夹下有mapred.xml.template文件,我们要复制该文件,并命名为mapred.xml,该文件用于指定MapReduce
比特小怪兽
·
2024-01-08 19:34
整站下载器是什么 ?
快速建站,深层分析网站、
离线
浏览网站等用途。这里小编给大家推荐一款免费的整站下载器供大家参考IIS7整站下载器能做些什么?功能说明:1、可多站同时下载、多站多时扒。2、可单页扒。
编辑何惧
·
2024-01-08 19:46
hadoop
命令汇总
启动和关闭
hadoop
服务一键启动/停止start-hdf.shstop-hdf.sh单进程关闭启动hdfs--daemonstop/start/statusnamenode或者
hadoop
--daemonstop
你很棒滴
·
2024-01-08 19:17
hadoop
hdfs
大数据
数仓
建设学习路线(二)模型建设(1)
OLTPVSOLAPOLTP概念全称OnLineTransactionProcessing,中文名联机事务处理系统,主要是执行基本日常的事务处理,比如数据库记录的增删查改,例如mysql、oracle。OLAP概念全称OnLineAnalyticalProcessing,中文名联机分析处理系统,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果,例如、ClickHouse、Doris、K
语兴数据
·
2024-01-08 18:58
数仓建设-学习路线
大数据
数据仓库
人工智能
数仓
建设学习路线(一)
前言
数仓
建设实践路线是语兴发布在B站的系列课程,搜索语兴呀即可学习完整的
数仓
建设理论。大数据相关岗位大数据常见的岗位主要包括实时开发、数据治理、数据安全、数据资产等。
语兴数据
·
2024-01-08 18:57
数仓建设-学习路线
大数据
数据仓库
人工智能
数仓
建设学习路线(二)模型建设(2)
写在最前面本节内容主要讲解模型的具体设计过程,也是我们平常
数仓
工作中的重中之重。更多精彩课程关注B站语兴呀,或关注gzh:语数,获取全部课件资料。
语兴数据
·
2024-01-08 18:52
数仓建设-学习路线
大数据
数据仓库
HDFS常用命令(方便大家记忆版)
1.文件操作(1)列出HDFS下的文件/usr/local/
hadoop
$bin/
hadoop
dfs-ls(2)列出HDFS文件下名为in的文档中的文件/usr/local/
hadoop
$bin/
hadoop
dfs-lsin
姚兴泉
·
2024-01-08 18:01
大数据技术架构
整表同步数据量大,一般是
数仓
T+1方式同步,保证数据一条不丢;还
乘风踏羽
·
2024-01-08 17:47
数据平台
大数据
Hidataplus-3.3.2.0-005公测版本基于openEuler release 22.03 (LTS-SP2)的测试
测试角色如下:
hadoop
、yarn、zookeeper、hive、impala。
杨航的技术博客
·
2024-01-08 16:35
hidataplus
大数据
给
Hadoop
初学者的一些建议
零基础学习
hadoop
,没有想象的那么困难,也没有想象的那么容易。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实
hadoop
并没有太大的困难。
丨程序之道丨
·
2024-01-08 15:29
基于深度学习大模型实现
离线
翻译模型私有化部署使用,通过docker打包开源翻译模型,可到内网或者无网络环境下运行使用,可以使用一千多个翻译模型语言模型进行翻译
基于深度学习大模型实现
离线
翻译模型私有化部署使用,通过docker打包开源翻译模型,可到内网或者无网络环境下运行使用,可以使用一千多个翻译模型语言模型进行翻译,想要什么语种直接进行指定和修改就行。
代码讲故事
·
2024-01-08 14:33
深耕技术之源
深度学习
docker
语言模型
私有化
离线翻译
机器学习
翻译模型
大数据技术期末复习第七章——MapReduce练习
A、Map函数将输入的元素转换成形式的键值对B、
Hadoop
框架是用Java实现的,MapReduce应用程序则一定要用Java来写C、不同的Map任务之间不能互相通信D、MapReduce框架采用了Master
锦鲤儿
·
2024-01-08 12:01
大数据
mapreduce
big
data
hadoop
Hadoop
学习之路(四)HDFS 读写流程详解
1.HDFS写操作1.1图解HDFS读过程hdfs写操作流程图.pngimage.png1.2数据写入过程详解1、使用HDFS提供的客户端Client,向远程的NameNode发起RPC请求;2、NameNode会检查要创建的文件是否已经存在,创建者是否有权限进行操作,成功则会为文件创建一个记录,否则会让客户端抛出异常;3、当客户端开始写入文件的时候,客户端会将文件切分为多个packets,并在内
shine_rainbow
·
2024-01-08 12:21
[嵌入式AI从0开始到入土]1_昇腾Altas 200 DK上手
上手第二章下载昇腾案例并运行第三章官方模型适配工具使用第四章炼丹炉的搭建(基于Ubuntu23.04Desktop)第五章Ubuntu远程桌面配置第六章下载yolo源码及样例运行验证第七章转化为昇腾支持的om
离线
模型第八
工具人呵呵
·
2024-01-08 11:02
嵌入式ai从0到入土
linux
华为
ai
[嵌入式AI从0开始到入土]7_转化为昇腾支持的om
离线
模型
[嵌入式AI从0开始到入土]嵌入式AI系列教程注:等我摸完鱼再把链接补上可以关注我的B站号工具人呵呵的个人空间,后期会考虑出视频教程,务必催更,以防我变身鸽王。第一章昇腾Altas200DK上手第二章下载昇腾案例并运行第三章官方模型适配工具使用第四章炼丹炉的搭建(基于Ubuntu23.04Desktop)第五章Ubuntu远程桌面配置第六章下载yolo源码及样例运行验证第七章转化为昇腾支持的om离
工具人呵呵
·
2024-01-08 11:02
嵌入式ai从0到入土
人工智能
[嵌入式AI从0开始到入土]5_Ubuntu远程桌面配置
上手第二章下载昇腾案例并运行第三章官方模型适配工具使用第四章炼丹炉的搭建(基于Ubuntu23.04Desktop)第五章Ubuntu远程桌面配置第六章下载yolo源码及样例运行验证第七章转化为昇腾支持的om
离线
模型第八
工具人呵呵
·
2024-01-08 11:01
嵌入式ai从0到入土
ubuntu
linux
运维
Win10环境下
Hadoop
(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)
Win10环境下
Hadoop
(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)一、本文思路【1】、配置java环境–JDK12(
Hadoop
的底层实现语言是java,
hadoop
老妹儿的
·
2024-01-08 11:19
实战Flink Java api消费kafka实时数据落盘HDFS
flink版本1.13kafka版本0.8
hadoop
版本3.1.42实验过程2.1启动服务程序为了完成Flink从Kafka消费数据
大数据程序终结者
·
2024-01-08 11:13
flink
java
kafka
JanusGraph简介
JanusGraph支持
Hadoop
框架,并能够利用
Hadoop
对图进行大批量的处理和分
娃娃学软件
·
2024-01-08 10:15
大数据 Yarn - 资源调度框架
Hadoop
主要是由三部分组成,除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce,还有一个是分布式集群资源调度框架Yarn。
善守的大龙猫
·
2024-01-08 10:48
大数据
大数据
上一页
39
40
41
42
43
44
45
46
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他