E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop运维
Spark-submit提交任务的常用参数
#参数名称#含义--clusterc3prc-
hadoop
#--masterMASTER_URL#可以是spark://host:port,mesos://host:port,yarn,yarn-cluster
liuzx32
·
2024-09-02 20:22
hadoop
sdk使用_使用 .NET SDK 管理 HDInsight 中的 Apache
Hadoop
群集
全球版技术文档网站,若需要访问由世纪互联运营的MICROSOFTAZURE中国区技术文档网站,请访问https://docs.azure.cn.使用.NETSDK管理HDInsight中的Apache
Hadoop
weixin_39862484
·
2024-09-02 20:39
hadoopsdk使用
Hive 运行在 Tez 上
Tez下载Tez官网Tez在Hive上的运用前提要有
Hadoop
集群上传Tez压缩包到Hive节点上tar-zxvfapache-tez-0.9.1-bin.tar.gz-C/opt/module/tez
爱吃酸梨
·
2024-09-02 20:07
大数据
puppet配置之puppet.conf详解中英文对照
【导读】sky也是
运维
人员,在使用puppet的配置过程中,经常会有碰到些参数,不知道如何修改,每次都要去看查puppet手册,要不去puppet的官方网站去看文档,另外也有些同学不知道,puppet的配置到底有那些参数
自信哥
·
2024-09-02 16:47
LINUX
parameters
server
file
database
attributes
search
大数据开发技术HBase优化与特点分析
关闭HBase集群(如果没有开启则跳过此步)[atguigu@
hadoop
102hbase]$bin/stop-hbase.sh在con
at小白在线中
·
2024-09-02 13:32
大数据
Python3 | 练气期,入门初识与起步!
[知识是人生的灯塔,只有不断学习,才能照亮前行的道路]0x00前言简述描述:作为一名网络安全转
运维
的工程师,每天一睁眼就要马不停蹄的学习各类计算机技术、编程和网络安全知识等,在工作中接触过很多编程语言,
全栈工程师修炼指南
·
2024-09-02 09:03
企业IT运维实践
python
物联网架构之HBase
推荐:Linux
运维
老纪的首页,持续学习,不断总结,共同进步,活到老学到老导航剑指大厂系列:全面总结
运维
核心技术:系统基础、数据库、网路技术、系统安全、自动化
运维
、容器技术、监控工具、脚本编程、云服务等
Linux运维老纪
·
2024-09-02 08:54
一蹴而就
揭秘物联网“点石成金”的魔法
架构
hbase
运维开发
linux
云计算
从零开始掌握容器技术:Docker的奇妙世界
它在软件开发、部署、
运维
等环节中大放异彩,但对于刚接触这个概念的朋友来说,可能还是有些陌生。本文将通过简单通俗的语言,帮助你理解什么是容器技术,以及为什么它在IT行业中如此受欢迎。
云计算练习生
·
2024-09-02 06:42
docker容器技术
docker
容器
运维
云计算
虚拟化
经验笔记:
Hadoop
Hadoop
经验笔记一、
Hadoop
概述
Hadoop
是一个开源软件框架,用于分布式存储和处理大规模数据集。其设计目的是为了在商用硬件上运行,具备高容错性和可扩展性。
漆黑的莫莫
·
2024-09-02 03:54
随手笔记
笔记
hadoop
大数据
Ansible自动化
运维
实战:打造高效、可靠的系统管理方案!
Ansible是一个在自动化
运维
领域广泛使用的工具,它基于Python开发,能够实现批量系统配置、程序部署和运行命令等功能。
疾风终究没有归途
·
2024-09-02 01:39
运维
自动化运维
配置管理
应用部署
Docker技术入门与实战-第3版.pdf OCR 高清 可复制
pdfOCR高清可复制简介预览下载地址Docker技术入门与实战-第3版.pdfOCR高清可复制简介本书从Docker基本原理开始,深入浅出地讲解Docker的构建与操作,内容系统全面,可帮助开发人员、
运维
人员快速部署
clicheeeeee
·
2024-09-01 22:24
Books
docker
linux
Ansible自动化
运维
项目
Ansible自动化
运维
项目是一个复杂而强大的解决方案,它利用Ansible这一开源自动化平台来简化IT基础设施的配置管理、应用部署和任务自动化过程。
hong161688
·
2024-09-01 20:43
运维
ansible
自动化
详细解说:ansible自动化
运维
项目
Ansible是一种强大的自动化
运维
工具,主要用于配置管理、应用部署、任务执行等场景。
AI逍遥子
·
2024-09-01 20:43
运维
运维
系列&AI系列&Lenovo-G双系统系列(前传-装之前搜索的):Ubuntu开机黑屏,只有白色光标在左上角闪烁的解决办法
Ubuntu开机黑屏,只有白色光标在左上角闪烁的解决办法Ubantu开机黑屏,只有白色光标在左上角闪烁的解决办法底下评论问题一:所以重启电脑,进入grub时,选择进入恢复模式。重启电脑怎么进入grub啊?双系统的其他人回答问题二:选择Resumenormalboot选项后直接运行一段就黑屏,没有输入用户名和密码其他人回答问题三:你好,成功进入图形界面之后重启,还是进入tty命令行模式怎么办啊?还是
坦笑&&life
·
2024-09-01 14:04
AI系列
运维
ubuntu
linux
无人机的工业应用场景
一、监测与检查电力巡检:工业无人机在电力巡检中发挥着重要作用,能够替代人工进行高空、高风险作业,提高电网巡视效率,降低
运维
成本。
云卓SKYDROID
·
2024-09-01 12:24
无人机
云卓科技
科普
知识
Python大数据之
Hadoop
学习——day06_hive学习02
一.hive内外表操作1.建表语法create[external]table[ifnotexists]表名(字段名字段类型,字段名字段类型,...)[partitionedby(分区字段名分区字段类型)]#分区表固定格式[clusteredby(分桶字段名)into桶个数buckets]#分桶表固定格式[sortedby(排序字段名asc|desc)][rowformatdelimitedfiel
笨小孩124
·
2024-09-01 11:18
大数据
hadoop
学习
大数据毕业设计
hadoop
+spark+hive微博舆情情感分析 知识图谱微博推荐系统
(一)Selenium自动化Python爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集;(二)使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;(三)使用hive数仓技术建表建库,导入.csv数据集;(四)离线分析采用hive_sql完成,实时分析利用Spark之Scala完成;(五)统计指标使用sqoop导入m
qq_79856539
·
2024-09-01 11:16
javaweb
大数据
hadoop
课程设计
基于
hadoop
+spark的旅游大数据分析平台
S2023132基于
hadoop
+spark的旅游大数据分析平台使用BeautifulSoup爬取数据,爬取成功以后使用spark分析数据,将分析的结果保存到mysql,flask读取mysql数据,结合
源码空间站11
·
2024-09-01 11:16
hadoop
spark
旅游
大数据毕业设计天
hadoop
+spark+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏大数据 机器学习 知识图谱 计算机毕业设计 机器学习 深度学习 人工智能 知识图谱
|—||一、选题的目的和意义用户往往因为不能及时查看游戏信息而造成许多烦恼。另一方面,游戏商城平台没能进行系统的管理与维护使游戏信息没能及时的更新。而传统的游戏信息管理,采用的还是手工备案、人工查询的方式。但是随之游戏信息的增多这种管理方式的工作量不断加大,这种做法就存在费时费力、缺乏时效性、不利于调动人员的积极性等缺点。一旦网站建立好之后,一方面,用户可以在第一时间在系统里查询所需的信息,另一方
2401_84159688
·
2024-09-01 11:45
程序员
大数据
hadoop
人工智能
运维
系列:CentOS 7 安装报错:Cannot find a valid baseurl for repo: base/7/x86_6
CentOS7安装报错:Cannotfindavalidbaseurlforrepo:base/7/x86_6CentOS7安装报错:Cannotfindavalidbaseurlforrepo:base/7/x86_6一、报错情况二、报错原因机子解析不了`yum源`,原因有三种情况:三、不能上网解决方法四、DNS配置有误解决方法五.其他问题1.文件末尾追加DNS还是nslookup不到2.nsl
坦笑&&life
·
2024-09-01 11:43
运维
运维
Linux
网络游戏从开发到上线,都得经历哪些过程?
从项目立项,再到设计开发,经历几轮的测试,最后上线
运维
。整个过程,看着挺复杂,其实一点也不简单。一.项目
5北520
·
2024-09-01 10:36
游戏策划
游戏
网络
运维开发
内容运营
团队开发
玩游戏
第二周考试试题总结
小组姓名:老男孩教育-Linux
运维
59期(一)简答题1:简述企业磁盘分区规则(5分)2:简述CentOS开机启动流程(CentOS7)(4分)按下电源开机自检MBR引导GRUB菜单加载内核systemdtarget
不学习会死_b5ee
·
2024-09-01 05:53
【基于
Hadoop
3.3.6+Spark3.4.3电商用户行为分析】
基于
Hadoop
3.3.6+Spark3.4.3电商用户行为分析一、摘要二、正文2.1需求分析2.2架构设计2.3实施过程2.3.1系统环境说明2.3.2系统开发思路说明2.3.4代码实现及测试2.3.5
若兰幽竹
·
2024-09-01 00:09
大数据项目
大数据
基于
Hadoop
的高校教学管理平台设计与实现
文中就高校大数据平台的关键技术和架构进行阐述,结合高校实际情况,设计高校大数据平台架构,通过搭建
Hadoop
集群环境,以业务系统和平台之间的数据交互验证平台设计的可行性和优势。
这是辰辰啊
·
2024-09-01 00:38
hadoop
hadoop
大数据
运维
痛点深度解析:当前排障流程的挑战与局限
在当今互联网时代,
运维
工作的重要性日益凸显。然而,随着业务规模的不断扩大,
运维
面临的挑战和痛点也越来越多。
云观秋毫
·
2024-08-31 23:03
标准化排障
运维
大数据
排障
白鲸开源中标申万宏源DataOps数据开发
运维
一体化平台采购项目!
白鲸开源近日成功中标申万宏源证券有限公司的DataOps数据开发
运维
一体化平台项目。
DolphinScheduler社区
·
2024-08-31 19:07
大数据
阿里云服务迁移至火山引擎
一、注册中心迁移(
运维
)版本号:******(注意版本号需要和迁移前的一致,避免跨大版本迁移,防止出现不必要的问题耽误进度)文档地址:Nacos快速开始二、服务代码改动项(服务端)(完全迁移前,代码部署分支全部用
super_weihx
·
2024-08-31 19:05
阿里云
云计算
火山引擎
java maven 多环境+jenkins参数化构建
背景:
运维
提出以后会有多套环境,自动化接口测试将会是一套代码在多个服务器环境上跑。需要根据jenkins的命令,实现发布多套环境。
flyingshuai
·
2024-08-31 17:56
自动化接口
maven
java
多环境
接口自动化
Hive SQL练习之影评案例
找的练习hive,内容非原创链接https://www.cnblogs.com/frankdeng/p/9309668.html一、建表,导入数据1、建表[root@master
hadoop
]#hiveLogginginitializedusingconfigurationinjar
软件手
·
2024-08-31 17:23
Hive
mysql
hive
hadoop
sql
大数据
hadoop
日志文件
路径:/opt/homebrew/Cellar/
hadoop
/3.4.0/libexec/logs从你提供的输出信息来看,你正在查看
Hadoop
的日志文件目录(logs目录)。
静听山水
·
2024-08-31 17:51
Spark
hadoop
hadoop
常用地址
java:"/opt/homebrew/Cellar/openjdk/22.0.1/libexec/openjdk.jdk/Contents/Home"
hadoop
:1】sbin:/opt/homebrew
静听山水
·
2024-08-31 16:49
Spark
hadoop
Hadoop
技术栈
1.什么是
hadoop
(分布式软件框架)他提供了分步式数据存储分布式数据计算分布式资源调度为一体的整体解决方案1.1
hadoop
的用处可以部署在1台乃至成千上万台服务器节点上协同工作。
XingChen.
·
2024-08-31 16:48
分布式
hadoop
大数据
【Mysql】通过Keepalived搭建mysql双主高可用集群
一、环境信息主机名ip操作系统mysql版本VIP(虚拟ip)
hadoop
01192.168.10.200centos7_x865.7192.168.10.253
hadoop
03192.168.10.202centos7
维运
·
2024-08-31 15:13
数据库
mysql
数据库
《
Hadoop
系列》Docker安装
Hadoop
文章目录Docker安装
Hadoop
1安装docker1.1添加docker到yum源1.2安装docker2安装
Hadoop
2.1使用docker自带的
hadoop
安装2.2免密操作2.2.1master
DATA数据猿
·
2024-08-31 12:16
Hadoop
Docker
docker
hadoop
docker安装
Hadoop
拉取镜像[root@ecs-e722~]#dockerpullregistry.cn-hangzhou.aliyuncs.com/
hadoop
_test/
hadoop
_baseUsingdefaulttag
悾说
·
2024-08-31 11:16
docker
hadoop
hadoop
docker
大数据
什么是DevOps?
DevOps定义:DevOps(Development和Operations的组合词)是一种重视“软件开发人员(Dev)”和“IT
运维
技术人员(Ops)”之间沟通合作的文化、运动或惯例。
IMPso
·
2024-08-31 09:55
devops
数据库
运维
什么是数据库 DevOps?
它没有统一的定义,但我们知道它起源于软件开发方法与部署和
运维
的结合。
Bytebase
·
2024-08-31 08:54
数据库
运维
DBA
开发者
数据库管理
DevOps
day 13 关闭SElinux
联系方式:网站
运维
QQ交流群:Linux385168604架构师39
Linux_淡忘
·
2024-08-31 07:30
【mysql】mysql之存储引擎学习
本站以分享各种
运维
经验和
运维
所需要的技能为主《python零基础入门》:python零基础入门学习《python
运维
脚本》:python
运维
脚本实践《shell》:shell学习《terraform》持续更新中
向往风的男子
·
2024-08-31 05:28
DBA
mysql
学习
数据库
KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard
日前,青云科技宣布开源Thanos的企业级发行版Whizard,为企业带来真正高可用、可扩展、可存储与查询海量监控数据、易
运维
、安全的Prometheus长期存储方案。
KubeSphere 云原生
·
2024-08-31 04:49
k8s
容器平台
kubesphere
云计算
使用 Shell 脚本管理 RocketMQ 服务:启动、停止与状态检查
在开发和
运维
过程中,能够高效地启动、停止和检查RocketMQ相关服务的状态非常重要。
heromps
·
2024-08-31 00:57
rocketmq
日本IT-SIER/SES的区别详情、契约形态等
一、SLER主要的服务内容就是“帮客人开发系统或是各种APP,并在指定期间内交货,交货后也会持续进行
运维
等售后服务”。
GSDjisidi
·
2024-08-31 00:26
大数据
c++
php
c语言
java
python如何控制手机发短信_利用Python实现手机短信监控通知
日常
运维
工作中,通常是邮件报警机制,但邮件可能不被及时查看,导致问题出现得不到及时有效处理。所以想到用Python实现发短信功能,当监控到问题出现时,短信报警,使问题能得到及时的处理。
weixin_39644021
·
2024-08-30 18:53
python如何控制手机发短信
面试游戏公司
运维
工程师的经验分享----未完待续
好久没更新博文了,无论心态还是生活,都变得有些懒散,呵呵,,发下牢骚,以下正文:生活总要有点激情,前几天在猎聘网站刷新了下简历,有几个猎头联系了豪鹫,我挑了其中一家游戏公司过去面试,面试过程1个半小时左右,已经变成
运维
老咸菜的豪鹫分享下此次的面试经历吧
weixin_34110749
·
2024-08-30 18:53
面试
shell
python
为什么需要对即将上线的系统进行压力测试
它可以帮助开发者和
运维
人员评估系统的稳定性和性能极限,在系统正式部署之前识别并修复潜在问题。本文将重点讨论压力测试的重要性,并提供一些实用的指南。
群联云防护小杜
·
2024-08-30 18:48
安全问题汇总
压力测试
python
开发语言
网络
网络协议
爬虫
ddos
ansible自动化
运维
项目详细讲解
在实际的
运维
项目中,Ansible可以帮助
运维
工程师以一致、可重复和可靠的方式管理大量服务器和服务。以下是关于如何设计和实施一个Ansible自动化
运维
项目的详细介绍。
程序员小羊!
·
2024-08-30 16:08
运维
运维
ansible
自动化
网络自动化:利用Python和Ansible实现网络配置管理
网络自动化:利用Python和Ansible实现网络配置管理在当今快速变化的IT环境中,网络自动化已成为提升
运维
效率、减少人为错误、加速服务交付的关键技术之一。
hai40587
·
2024-08-30 16:38
网络
自动化
python
zabbix添加端口监控
日常
运维
中不仅仅有URL监控,服务监控,往往在服务的运行还伴随有端口的监控,下面就来介绍zabbix如何添加端口监控在相应主机中选择监控项,并添加监控项图片.png1.添加一个名称2.健值选择添加选择net.tcp.listen
一只刚刚开始吃猫粮的运维狗
·
2024-08-30 13:21
小白学习大数据测试之
hadoop
hdfs和MapReduce小实战
转发是对小编的最大支持在湿货|大数据测试之
hadoop
单机环境搭建(超级详细版)这个基础上,我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02
·
2024-08-30 11:39
Ansible
运维
配置主机主机名IP地址角色Control10.0.17.200控制节点(manager)Node110.0.17.201控制节点(test)Node210.0.17.202控制节点(proxy)Node310.0.17.203控制节点(web1)Node410.0.17.204控制节点(web2)Node510.0.17.205控制节点(database)ubuntu最小化安装源:https://
条纹布鲁斯
·
2024-08-30 09:19
ansible
运维
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他