E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark安装部署
win10环境下通过anaconda安装py
spark
解决方法本来应该可以在anaconda上直接搜索安装,但是非常慢,而且还有错误,说python3.8无法和和py
spark
3.1.2兼容,需要安装python3.8之前的版本才行。
零下2度
·
2024-02-04 14:36
笔记
python
大数据
大数据技术未来发展前景及趋势分析
Spark
:
Spark
是一个兼容Hadoop数据源的内存数据处理平台,运行速度相比于HadoopMapReduce更快。
丨程序之道丨
·
2024-02-04 12:54
linux nginx 1.9.9
安装部署
安装步骤准备环境nginx需要gcc,automake,pcre,zlib,opensslyum-yinstallgccgcc-c++automakezlibzlib-developensslopenssl-develpcrepcre-devel1.下载安装包:wgethttp://nginx.org/download/nginx-1.9.9.tar.gz其它版本nginx下载地址:Indexof
你好龙卷风!!!
·
2024-02-04 11:07
nginx
nginx
linux
服务器
【个人博客搭建】Hexo
安装部署
目录一、本地构建Hexo(一)安装前提1.Node.js2.Git3.Hexo(二)初始化Hexo1.初始化博客目录2.配置网站基本信息(三)主题配置1.选择主题2.下载主题(四)本地启动Hexo1.生成静态文件2.启动服务二、部署(一)部署到GithubPages1.新建仓库2.配置Pages服务3.提交Hexo到GitHubPages(二)部署到云服务器1.创建blog用户2.配置git远程仓
木子家有小可爱
·
2024-02-04 11:05
工具安装及配置
笔记
大数据Hive--安装和配置
文章目录一、Hive的安装地址1.1Hive
安装部署
1.1.1安装Hive1.1.2启动Hive二、MySQL的安装地址2.1安装MySQL2.2配置MySQL2.3卸载MySQL三、配置Hive元数据存储到
泛黄的咖啡店
·
2024-02-04 11:44
大数据hive
大数据
hive
大数据入门-大数据技术概述(二)
目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务:Zookeeper2.分布式资源管理器:Yarn3.计算引擎:
Spark
4.
水坚石青
·
2024-02-04 11:11
大数据理论
大数据
spark
kafka
FullStack实践(1)之个人网站Nginx基础配置
OnceDayDate:2024年1月27日人生在世,如同梦一场…全系列文章请查看专栏:网页开发_Once_day的博客-CSDN博客参考文档:简易文件下载服务器-CSDN博客SSL证书Nginx服务器SSL证书
安装部署
Once_day
·
2024-02-04 08:14
#
网页开发
FullStack开发
nginx
linux
完结,从零开始学python(十八)想成为一名APP逆向工程师,需要掌握那些技术点?
我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoop
Spark
5
爬完虫变成龙
·
2024-02-04 07:52
python
python开发
APP逆向
python
开发语言
python爬虫
python开发
java
APP逆向
NDK
06:原生云K8S解密|K8S集群
安装部署
|K8S网络插件
原生云K8S解密|K8S集群
安装部署
|K8S网络插件K8SK8S集群架构图解K8S部署仓库初始化kube-master安装计算节点的安装token管理配置flannel网络(master主机操作)K8S
桑_榆
·
2024-02-04 07:33
云计算
kubernetes
网络
容器
Fink CDC数据同步(三)Flink集成Hive
利用Flink来读写Hive的表Flink打通了与Hive的集成,如同使用
Spark
SQL或者Impala操作Hive中的数据一样,我们可以使用Flink直接读写Hive中的表。
苡~
·
2024-02-04 07:20
flink
hive
大数据
子雨大数据之
Spark
入门教程---
Spark
入门:RDD的设计与运行原理1.3
Spark
的核心是建立在统一的抽象RDD之上,使得
Spark
的各个组件可以无缝进行集成,在同一个应用程序中完成大数据计算任务。
千寻~
·
2024-02-04 06:38
spark
rdd
Spark
Exception: A master URL必须在配置中设置
问题描述当你遇到org.apache.
spark
.
Spark
Exception:AmasterURLmustbesetinyourconfiguration错误时,这意味着你的
Spark
应用程序尝试启动时没有找到有效的
小湘西
·
2024-02-04 06:07
Spark
spark
大数据
分布式
Spark
部署模式
目录部署模式概述1.LocalMode2.StandaloneMode3.YARNMode4.MesosMode5.KubernetesMode部署模式选择部署模式概述Apache
Spark
支持多种部署模式
小湘西
·
2024-02-04 06:02
Spark
spark
大数据
分布式
Spark
的Driver程序中定义的外部变量或连接为什么不能在各种算在中直接用,如果要要如何做?
在Driver程序中定义的外部变量或连接不能在算子中直接使用,因为它们不会被序列化并发送到各个Executor。如果需要在算子使用外部资源,应该在算子内部初始化这些资源。例如,将RDD数据写入数据库可以这样实现:rdd.foreach(record=>{//在这里初始化数据库连接valconnection=createNewConnection()//假设这是创建连接的函数connection.s
小湘西
·
2024-02-04 06:32
Spark
spark
大数据
分布式
大数据本地环境搭建03-
Spark
搭建
pwd=e20h提取码:e20h将
spark
-3.1.2-bin-hadoop3.2.tar.gz压缩包到node1下的/export/server目录1.2解压压缩包tar-zxvf/export
OnePandas
·
2024-02-04 06:31
Spark
大数据集群环境搭建
大数据
spark
分布式
spark
运维问题记录
环境:
spark
-2.1.0-bin-hadoop2.71.
Spark
启动警告:neither
spark
.yarn.jarsnot
spark
.yarn.archiveisset,fallingbacktouploadinglibrariesunder
SPARK
_HOME
lishengping_max
·
2024-02-04 05:11
Spark
spark
Spark
提交任务到yarn 报错提示虚拟内存不足解决办法
spark
context初始化失败ERROR
spark
.
Spark
Context:Errorinitializing
Spark
Context.java.lang.IllegalStateException
动若脱兔--
·
2024-02-04 05:11
Spark
spark
大数据
scala
解决“
Spark
context stopped while waiting for backend“ issue
在配置为4C16G的虚拟机上安装hadoop生态全家桶,在安装
Spark
2,使用了社区版2.3的版本。
江畔独步
·
2024-02-04 05:10
Spark
bigdata
Spark
context stopped while waiting for backend
目录报错信息解决办法解释报错信息
Spark
contextstoppedwhilewaitingforbackend翻译过来就是:
Spark
上下文在等待后端时停止解决办法通过在yarn-site.xml中添加如下配置项
十二点的泡面
·
2024-02-04 05:36
大数据报错信息的解决
spark
大数据
分布式
Spark
Streaming实战:窗口操作,每10秒,把过去30秒的数据取出来(读取端口号1235中的数据)
1.需求:窗口操作,每10秒,把过去30秒的数据取出来窗口长度:30秒滑动距离:10秒2.代码:(1)pom.xmlorg.apache.
spark
spark
-core_2.112.1.0org.apache.
spark
spark
-sql
Movle
·
2024-02-04 05:52
Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测
####################################################################最新消息:关于
spark
和Hudi的
安装部署
文档,本人已经写完,连接
运维道上奔跑者
·
2024-02-04 05:43
分布式
hbase
zookeeper
hadoop
py
spark
_1_理论篇(RDD基础)
跟着Leo学习Py
Spark
chapter1——rdd的基础编程指南一、准备工作1.背景介绍
Spark
是用scala编程语言实现的,为了使
Spark
支持Python,Apache
Spark
社区发布了一个工具
NikolasNull
·
2024-02-04 04:50
Kubernetes operator 如何根据自定义类型生成响应的代码的?
分享这篇文章的主要目的,是如何利用kubernetes来自定义类型,如
Spark
Application,从而使用脚本,生成响应的代码的这些代码是专门为自定义的类型
Spark
Application对象服务的
weixin_34109408
·
2024-02-04 00:09
Java Scala 混合编程导致 编译失败 ,【找不到符号】问题解决
Failedtoexecutegoalorg.apache.maven.plugins:maven-compiler-plugin:3.1:compile(default-compile)onproject
spark
-auth
0X码上链
·
2024-02-03 23:20
大数据
分布式技术
java
scala
开发语言
hadoop、
spark
、flink集群修改默认ssh端口号
大数据集群在实际搭建过程中,其默认ssh端口不一定都是22,这时需要根据各自的配置文件进行适配。ssh端口号默认为22,以centos7.x为例,可以在/etc/ssh/sshd_config中进行修改,如下示例将22改为22222:#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链
·
2024-02-03 21:12
大数据
分布式技术
ssh
hadoop
spark
flink
Spark
程序执行逻辑迷你版
再把Task发出去DAGScheduler的功能,将rdd转换逻辑切分stage,生成taskset然后模拟taskScheduler的功能,将这些task发到Executor上去执行(真正的发送逻辑
spark
submit
{BOOLEAN}
·
2024-02-03 21:21
Spark
spark
大数据
java
2019-10-08 大数据开发进阶之路
市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术,如HDFS/MapRedunce/Yarn/HBase/Flume等掌握
Spark
生态核心技术,如
Spark
架构/RDD
红瓦李
·
2024-02-03 20:39
Spark
常用Transformations算子(二)
joincogroupcartesianpiperepartitionAndSortWithinPartitionsglomrandomSplitzipzipWithIndexzipWithUniqueId(2)joinobjectJoinTest{defmain(args:Array[String]):Unit={valconf=new
Spark
Con
数据萌新
·
2024-02-03 20:03
大数据环境搭建(一)-Hive
1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、
Spark
等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore
xfchn多多学习学习
·
2024-02-03 20:42
大数据
大数据
hive
hadoop
【
Spark
】
Spark
作业执行原理--提交任务
本篇结构:创建Task创建TaskSetManager并向DriverEndpoint发送消息分配资源发送消息告诉Executor去执行Task一、创建Task当调度阶段运行后,在DAGScheduler的submitMissingTasks方法中会根据调度阶段Partition数量拆分对应个数任务。对于ResultStage,生成ResultTask,对于ShuffleMapStage生成Shu
w1992wishes
·
2024-02-03 19:17
ubuntu22.04
安装部署
01:禁用内核更新
一、前言ubunut22.04系统安装以后,内核更新会导致各种各样的问题,因此锁定初始安装环境特别重要,下面介绍如何锁定内核更新。二、操作方法2.1查看可用内核dpkg--list|greplinux-imagedpkg--list|greplinux-headersdpkg--list|greplinux-modules2.2方法1:禁用自动更新vi/etc/apt/apt.conf.d/10p
数据饕餮
·
2024-02-03 17:36
图说Python菜鸟版
Python
服务器
linux
运维
Kuboard(k8s)
安装部署
mysql8.0
1、打开进入要部署数据库的名称空间2、创建工作负载1、基本信息2、容器信息3、存储挂载4、高级设置5、服务/应用路由3、点击保存出现如下内容就表示安装成功
半个夏凉了秋
·
2024-02-03 16:36
kubernetes
容器
云原生
k8s之
安装部署
及kuboard发布应用
目录环境准备系统规划配置免密将桥接的IPv4流量传递到iptables的链系统基础配置安装docker安装docker及基础依赖配置docker的仓库下载地址部署k8s添加阿里云的k8s源安装kubeadm,kubelet和kubectl初始化masteer节点部署node节点部署flannel网络插件下载插件应用flannel文件查看flannel状态部署kuboard查看kuboard所需的镜
蜗牛其实也很努力
·
2024-02-03 16:05
docker
kubernetes
容器
云原生
spark
WordCount
Spark
WC.scalapackageday06importorg.apache.
spark
.rdd.RDDimportorg.apache.
spark
.
lehuai
·
2024-02-03 16:27
阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,Hadoop、
Spark
集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择,
阿里云最新优惠和活动汇总
·
2024-02-03 15:07
大数据组件笔记 --
Spark
入门
文章目录一、简介二、
Spark
运行模式2.1本地模式2.2集群角色2.3Standalone模式2.4Yarn模式2.5总结三、WordCount开发案例实操一、简介
Spark
是一种基于内存的快速、通用
L小Ray想有腮
·
2024-02-03 15:53
BigData
K8S简介和
安装部署
详细教程
目录一、K8S简介Kubernetes集群组件逻辑图Master节点组件及功能Slave节点组件及功能
安装部署
二进制包kubeadm工具二、准备工作软硬件要求集群规划环境配置修改hosts配置配置SSH
猫吃了源码
·
2024-02-03 15:20
k8s
kubernetes
java
容器
k8s
Spark
大数据分与实践笔记(Scala语言基础-1)
目录1.1Scala概述1.1.1Scala的下载安装1.1.2在IDEA开发工具中下载安装Scala插件1.1.3开发第一个Scala程序
Spark
是专为大规模数据处理而设计的快速通用的计算引擎,它是由
妉妉师姐
·
2024-02-03 15:49
大数据-linux-spark
scala
spark
java
大数据
SpringBoot或Jeecg 配置SSL实现https,http和https端口都要,http转发到https
如果没有阿里云腾讯云只是本地测试,可以参考https://www.cnblogs.com/
Spark
More/p/14067340.html有阿里云购买域名域名备案购买服务器宽带收费和流量收费都可以域名绑定服务器
天海华兮
·
2024-02-03 12:05
Java
EE
http
spring
boot
ssl
https
初识Apache Paimon
第0章前言0.1主流数据湖工具Delta:由
Spark
背后商业公司Databricks出品,因此很多功能强兼容
Spark
,对其他计算引擎不是很友好。
Racin_01
·
2024-02-03 12:30
apache
最新AI系统ChatGPT网站H5系统源码,支持Midjourney绘画局部编辑重绘,GPT语音对话+ChatFile文档对话总结+DALL-E3文生图
一、前言
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2024-02-03 12:28
人工智能
软件源码
ChatGPT
人工智能
chatgpt
语音识别
midjourney
AI作画
Docker容器中的Docker-compose的学习安装
本来今天想写下实战的教程的,但是下载
spark
的内容太慢了。
胖琪的升级之路
·
2024-02-03 10:42
Kubernetes
目录Kubernetes概述K8S其主要功能K8S的特性Kubernetes集群架构与组件Kubernetes的
安装部署
操作系统初始化配置部署docker引擎部署etcd集群准备签发证书环境部署Master
偷个月亮吗733
·
2024-02-03 10:01
kubernetes
容器
云原生
OpenStack
安装部署
OpenStack是一个美国国家航空航天局和Rackspace合作研发的,以Apache许可证授权,并且是一个自由软件和开放源代码项目。OpenStack主要包括以下几个子项目:OpenStackCompute(Nova)、云对象存储CloudObjectStorage(Swift)、镜像管理(Glance)、身份识别Identity(Keystone),网络连接管理NetworkConnecti
Joshua_lzy
·
2024-02-03 10:26
Py
Spark
笔记(三):DataFrame
DataFrame是在
Spark
1.3中正式引入的一种以RDD为基础的不可变的分布式数据集,类似于传统数据库的二维表格,数据在其中以列的形式被组织存储。
Daisy丶
·
2024-02-03 10:31
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Flink的DataSet的方式读取,另外下面还有
Spark
kikiki2
·
2024-02-03 10:05
AI+数据库——梳理Snowflake 和 Databricks 在峰会上的重要发布,快来看市值数百亿美金的数据巨头的贴身肉搏!
他们原本定位略有不同,Databricks是一个用于数据工程、数据科学和分析的集成环境,它构建在Apache
Spark
之上,提供实
小猿姐
·
2024-02-03 10:51
人工智能
数据库
【机器学习】3万字长文,Py
Spark
入门级学习教程,框架思维
为什么要学习
Spark
?
风度78
·
2024-02-03 08:00
大数据
entity
opencl
spark
hadoop
【数据开发】py
spark
入门与RDD编程
【数据开发】py
spark
入门与RDD编程文章目录1、py
spark
介绍2、RDD与基础概念3、RDD编程3.1Transformation/Action3.2数据开发流程与环节1、py
spark
介绍py
spark
小哈里
·
2024-02-03 08:58
#
后端开发
python
spark
pyspark
后端
大数据
Spark
如何用repartition来提升执行效率
Spark
如何用repartition来提升执行效率repartition是
Spark
中的一个转换操作,它可以用来增加或减少分区的数量。
HanhahnaH
·
2024-02-03 08:28
Spark
spark
ajax
大数据
scala
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他