E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark核心技术
高端制造8大龙头,国中工业4.0的未来,牛大股篮摇
高端制造承载了中国未来工业化的自主创新制造能力,是关系到国家高端工业命脉的
核心技术
能力。
三龙聚首
·
2024-02-08 23:21
Flink状态编程
Spark
Streaming在状态管理这块做的不好,很多时候需要借助于外部存储(例如Redis)来手动管理状态,增加了编程的难度.访问redis需要通过网络访问,增大处理时间状态一致性问题,可能会造成数据的不一致
万事万物
·
2024-02-08 22:41
7.0 MapReduce编程实例教程
MapReduce主要是依靠开发者通过
Spark
来实现功能的,开发者可以通过实现Map和Reduce相关的方法来进行数据处理。为了简单的展示这个过程,我们将手工编写一个字数统计程序。
二当家的素材网
·
2024-02-08 18:11
Hadoop
教程
mapreduce
eclipse
大数据
创业新模式之一
创业新模式之一通常的创业过程有三个阶段,首先是要有1)
核心技术
和产品构想;2)然后筹钱筹人启动起来;3)然后推广销售。对创
小仙女_7a12
·
2024-02-08 17:41
Spark
经典案例之非结构数据处理
需求:根据tomcat日志计算url访问了情况,具体的url如下,要求:区别统计GET和POSTURL访问量结果为:访问方式、URL、访问量测试数据集:在CODE上查看代码片派生到我的代码片196.168.2.1--[03/Jul/2014:23:36:38+0800]“GET/course/detail/3.htmHTTP/1.0”200384350.038182.131.89.195--[03
张明洋_4b13
·
2024-02-08 15:57
深入理解
Spark
的前世今生
文章来源:https://blog.csdn.net/qq_42107047/article/details/80239094感谢大神分享~~~~~一:大数据的概述1.1
Spark
是什么?
闲云野鹤~~~
·
2024-02-08 14:01
Spark
【
Spark
重点难点】你以为的Shuffle和真正的Shuffle
我们的【
Spark
重点难点】系列继续更新。以往的系列:我们在学习
Spark
的时候,到底在学习什么?
王知无(import_bigdata)
·
2024-02-08 14:00
大数据
spark
java
python
数据库
深入理解
Spark
BlockManager:定义、原理与实践
深入理解
Spark
BlockManager:定义、原理与实践1.定义
Spark
是一个开源的大数据处理框架,其主要特点是高性能、易用性以及可扩展性。
涤生大数据
·
2024-02-08 14:57
spark
大数据
分布式
spark
spark
.shuffle.service.enabled
操作场景
Spark
系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据,给其他Executor提供shuffle数据。
不搬砖的程序员不是好程序员
·
2024-02-08 13:59
spark
spark
spark
好的文章链接
https://blog.51cto.com/u_16099325/6763760`java
spark
官方文档
spark
javaapi手册http://www.17bigdata.com/book/
spark
Trank-Lw
·
2024-02-08 13:18
spark
大数据
分布式
5G通信技术助推VR产业蓬勃发展
本报告结合时代技术发展特点,分析江西省VR产业的发展状况,发现我省VR产业发展中存在关键
核心技术
缺失、优质创新内容稀缺、低端产品充斥市场、行业投机性过强等问题。
团一团
·
2024-02-08 11:10
史上最全OLAP对比
目录1.什么是OLAP2.OLAP引擎的常见操作3.OLAP分类MOLAP的优点和缺点ROLAP的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2
Spark
SQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿
·
2024-02-08 11:04
数仓
spark
hadoop
数据仓库
Spark
:基于莱文斯坦(Levenshtein)距离计算字符串相似度
以下程序代码基于
spark
,使用scala语言,测试时间:2018-08-03str1和str2相似度=1-Levenshtein距离/max(length(str1),length(str2))valdf
xuejianbest
·
2024-02-08 11:25
大数据
算法
编程语言/Scala
大数据/spark
Levenshtein
字符串相似
莱文斯坦距离
spark
scala
MML
Spark
+
Spark
:py
spark
+lightGBM应用实践
MML
Spark
,即MicrosoftMachineLearningforApache
Spark
,是微软开源的一个针对Apache
Spark
的深度学习和数据可视化的库。
bensonrachel
·
2024-02-08 10:38
Redis
核心技术
与实战【学习笔记】 - 30.番外篇:Redis学习资料、运维说明及使用规范建议
1.Redis学习资料虽然前面已经学习了Redis理论和技术点,但是如果想要持续提升自己的技术能力,还是需要不断丰富自己的知识体系。本章,给你推荐几本优秀的书籍,以及拓展知识面的其他资料。1.1经典书籍在学习Redis时,场景的需求有三个方面:日常使用操作:比如常见的命令和配置,集群搭建等关键技术原理:比如IO模型、AOF和RDB机制等在实际使用时的经验教训,比如Redis响应变慢了怎么办?Red
陈建111
·
2024-02-08 10:20
Redis核心技术学习
redis
学习
spark
sql 数据类型转换_
spark
sql时间类型转换以及其他
1.
spark
sql的日期转换一般使用两种形式第一种使用to_timestamp(REACHTIME1,"yyyy-MM-ddHH24:mi:ss")//它将字符串时间转换为日期类型例如2018-10-
weixin_39535527
·
2024-02-08 10:02
spark
sql
数据类型转换
Spark
streaming写入delta数据湖问题
但项目上线到生产环境,检查
spark
streaming的job,发现数据在merge写入到数据湖时,往往超过1小时。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
大数据
分布式
Spark
streaming batch运行时间过长问题02
排查
Spark
streaming数据写入时间过长问题,一方面是因为程序写数据湖小文件问题。在解决了小文件问题后,还是不能达到预期的1分钟一个batch。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
企业
Spark
案例--酒店数据分析实战提交
第1关:数据清洗--过滤字段长度不足的且将出生日期转:packagecom.yyimportorg.apache.
spark
.rdd.RDDimportorg.apache.
spark
.sql.
cz学java
·
2024-02-08 10:30
spark
数据分析
大数据
Spark
的timestamp 数据时间问题
使用
Spark
来处理国际业务数据,涉及到数据时区转换,在实际项目中出现时区转换问题。
kk_io
·
2024-02-08 10:29
疑难杂症
spark
大数据
分布式
大数据毕业设计Py
Spark
+PyFlink航班预测系统 飞机票航班数据分析可视化大屏 机票预测 机票爬虫 飞机票推荐系统 大数据毕业设计 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采
B站计算机毕业设计超人
·
2024-02-08 09:17
大数据毕业设计
大数据
数据分析
hadoop
数据挖掘
爬虫
spark
flink
SW-LIMS条码管理助力钢铁行业可视化、电子化流程管理
北京三维天地科技股份有限公司在实验室数智化领域具有丰富的行业经验,致力于为客户提供信息化整体解决方案及相关软件产品与服务,公司拥有多项自主知识产权及自主研发
核心技术
,旗下实验室信息管理系统(SW-LIMS
2301_79004341
·
2024-02-08 09:11
人工智能
大数据
【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像
一、Flink实时计算第一章:Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVS
Spark
4.实时计算技术选型第二章:Flink项目构建与测试1.快速构建Flink项目2.第一个
大数据研习社
·
2024-02-08 08:56
Flink
flink
Flink实时计算
可视化监控
InfluxDB
spark
运行失败The directory item limit of /
spark
_dir/
spark
_eventLogs is exceeded: limit=1048576 items=104
org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException):Thedirectoryitemlimitof/
spark
_dir
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
Flink on Yarn的两种模式
首先,在集群运行时,可能会有很多的集群实例包括MapReduce、
Spark
、Flink等等,那么如果它们全基于onYarn就可以完成资源分配,减少单个实例集群的维护,提高集群的利用率。
GOD_WAR
·
2024-02-08 07:22
Flink
flink
yarn
flink
on
yarn
Flink 2.0 状态存算分离改造实践
本文整理自阿里云智能Flink存储引擎团队兰兆千在FFA2023
核心技术
(一)中的分享,内容关于Flink2.0状态存算分离改造实践的研究,主要分为以下四部分:Flink大状态管理痛点阿里云自研状态存储后端
Apache Flink
·
2024-02-08 07:28
flink
网络
大数据
Flink流式数据倾斜
1.流式数据倾斜流式处理的数据倾斜和
Spark
的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的,但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似
Spark
orange大数据技术探索者
·
2024-02-08 07:58
#
flink迁移
flink
大数据
数据倾斜
冷热交替——整体自然疗法
核心技术
关于冷热水洗澡,而且是在秋冬季节,越冷的时候,就越应该用冷热水交替洗澡;夏天则要单独用热水洗澡,这样可以帮助人体把汗逼出来,人体的汗液里面可是有很多的毒素。热水可以让血管扩张,降低血压;冷水则会让血管收紧。这样反复用冷热水交替,一张一缩,就相当于在给血管做按摩。这种按摩几乎比我们在外面请任何人按得都有效果,因为这种按摩是全身同时进行的。很多人都会觉得,冬天怎么能用冷水洗澡呢,那样不是很容易感冒发烧
67aa19a3f84d
·
2024-02-08 06:38
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,
Spark
,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
Spark
安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/
spark
-3.0.3-bin-hadoop3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
基于SpringBoot3的快速迭代平台
SpringBoot3的快速开发平台,采用前后端分离的模式,前端采用ElementPlus组件,后端采用SpringBoot3、Sa-token、Mybatis-Plus、Redis、RabbitMQ、FastDFS等
核心技术
快乐的木子李
·
2024-02-08 03:58
技术栈
java
图解大数据 | 大数据分析挖掘-
Spark
初步
图解大数据|大数据分析挖掘-
Spark
初步作者:韩信子@ShowMeAI教程地址:www.showmeai.tech/tutorials/8…本文地址:www.showmeai.tech/article-det
Dashesand
·
2024-02-08 03:22
大数据
数据分析
spark
docker数据科学与
spark
镜像源与使用常见问题疑难解答
以下是一些与数据挖掘和数据科学相关的Docker镜像源:jupyter/all-
spark
-notebook:此镜像包含JupyterNotebook和
Spark
的完整环境,用于
Spark
开发和学习。
DreamNotOver
·
2024-02-08 01:16
eureka
java
spring
cloud
用docker 配置scala
spark
环境
要使用Docker配置Scala和
Spark
环境,您可以按照以下步骤进行操作。以下是一个基本的示例,您可能需要根据您的具体需求进行调整。安装Docker:在您的系统上安装Docker。
DreamNotOver
·
2024-02-08 01:14
python
数据挖掘
docker
docker
scala
spark
容器
阅读《极客时间 | Kafka
核心技术
与实战》(一)【Kafka入门】
阅读《极客时间|Kafka
核心技术
与实战》为什么要学习Kafka消息引擎系统ABC一篇文章带你快速搞定Kafka术语我应该选择哪种Kafka?
_蓝天IT_
·
2024-02-08 01:13
消息队列(Kafka)
kafka
分布式
Spark
Standalone 集群配置
集群管理类型
Spark
支持三种集群管理类型:Standalone-
Spark
附带的一个简单的集群管理器,可以轻松地设置集群。
董可伦
·
2024-02-07 23:01
Spark
spark
大数据
分布式
RDD vs DataFrame vs Dataset
RDD是
Spark
最基础的数据结构。RDD允许开发者使用容错的形式在集群中使用内存计算,这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名
一生逍遥一生
·
2024-02-07 22:20
贝特瑞BTR全球品牌理念片震撼发布!
任何困难也阻挡不了胸怀豪志的BTRBTR掌握新能源
核心技术
。。。。。。每一个文字的提练都凝结着朝日传媒团队不懈努力与辛勤付出同时,也见证着中国民族品牌走向世界的豪情壮志!一次次
朝日传媒
·
2024-02-07 20:22
黑猴子的家:
Spark
SQL 的性能
1、内存列存储(In-MemoryColumnarStorage)内存列存储来说,将所有原生数据类型的列采用原生数组来存储,将Hive支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储。这样,每个列创建一个JVM对象,从而导致可以快速的GC和紧凑的数据存储。额外的,还可以用低廉CPU开销的高效压缩方法来降低内存开销。更有趣的是,对于分析查询中频繁使用的聚合特定列,性能会
黑猴子的家
·
2024-02-07 18:48
简单使用
Spark
、Scala完成对天气数据的指标统计
目录一、前言&什么是
Spark
?
db_lcz_2014
·
2024-02-07 18:33
spark
scala
大数据
Redis
核心技术
与实战【学习笔记】 - 29.Redis的未来猜想,基于 NVM内存
前言这几年,新型非易失存储(Non-VolatileMemory,NVM)器件发展得非常快。NVM器件具有容量大、性能快、能持久报错数据的特性,这些刚刚就是Redis追求的目标。同时NVM器件像DRAM一样,可以让软件以字节粒度进行寻址访问,所以,在实际应用中,NVM可以作为内存来使用,称为NVM内存。Redis作为内存键值数据库,如果能和NVM内存结合起来使用,可以充分享受到这些特性。大胆猜测,
陈建111
·
2024-02-07 11:11
Redis核心技术学习
redis
redis未来猜想
基于
NVM
内存
Redis
核心技术
与实战【学习笔记】 - 26.Redis数分布优化(应对数据倾斜问题)
简述在切片集群中,数据会按照一定的规则分散到不同的实例上保存。比如,RedisCluster或Codis会先按照CRC算法的计算值对Slot(逻辑槽)取模,同时Slot又有运维管理员分配到不同的实例上。这样,数据就被保存到相应的实例上了。这种方法虽然实现起来比较简单,但是很容易导致一个问题:数据倾斜。数据倾斜有两类:数据量倾斜:在某些情况下,实例上的数据分布不均衡,某个实例上的数据特别多。数据访问
陈建111
·
2024-02-07 11:10
Redis核心技术学习
redis
Redis数分布优化
数据访问倾斜问题
数据量倾斜问题
Redis
核心技术
与实战【学习笔记】 - 28.Redis 6.0新特性(多线程、客户端缓存与安全)
简述Redis6.0新增了几个关键新特性,分别是面向网络处理的多IO线程、客户端缓存、细粒度的权限控制,以及RESP3协议的使用。其中,面向网络处理的多IO线程可以提高网络请求处理的速度,而客户端缓存可以让应用直接在客户端本地读取数据,这两个特性可以提升Redis的性能。除此之外,细粒度权限控制让Redis可以按照命令粒度控制不同用户的访问权限,加强了Redis的安全保护。RESP3协议则增强客户
陈建111
·
2024-02-07 11:08
Redis核心技术学习
redis
Redis
6.0新特性
【Iceberg学习一】什么是Iceberg?
Iceberg为包括
Spark
、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能,使用一种高性能的表格格式,其工作方式就像一个SQL表一样。
周润发的弟弟
·
2024-02-07 10:56
Iceberg
学习
RDD任务切分之Stage任务划分(图解和源码)
RDD任务切分中间分为:Application、Job、Stage和Task(1)Application:初始化一个
Spark
Context即生成一个Application;(2)Job:一个Action
大数据左右手
·
2024-02-07 09:34
大数据
大数据
spark
stage切分
任务划分
A股市场:
核心技术
突破两金股望涨停
周二沪深两市在周期板块和金融板块上涨带动下呈现强势反弹,盘中沪指收复3100点整数关口,创业板市场盘中出现小幅反弹。从盘面看,煤炭、钢铁、水泥等周期性板块盘中呈现全线活跃,板块涨幅均超2%以上,保险、银行、券商等金融股盘中走强;地产、酿酒、家电、石油等行业盘中跟风上涨。题材板块方面,草甘膦、保障房、特钢、次新股、铁路基建等概念盘中走强,盘中次新股再度出现涨停潮。总体来看,周二市场在金融权重股以及周
鑫衡
·
2024-02-07 09:58
kyuubi 接入starrocks | doris
kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1
spark
3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
Hive Sql优化记录
日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveon
spark
要快70%,与正常的认知正好相反,所以对该sql进行了详细分析。
风筝flying
·
2024-02-07 07:40
Redis
核心技术
与实战【学习笔记】 - 27.限制Redis Cluster规模的因素(通信开销)
简述RedisCluster能保存的数据量以及支撑的吞吐量,跟集群实例规模相关。Redis官方给出了RedisCluster的规模上线,就是一个集群运行1000个实例。其实,限定RedisCluster集群规模的一个关键因素就是,实例间的通信开销会随着实例规模的增加而增大,在集群超过一定规模时(比如800节点),集群吞吐量反而会下降。所以,集群的实际规模会受到限制。1.实例间通信方法和对集群规模的
陈建111
·
2024-02-07 07:13
Redis核心技术学习
redis
Redis
Cluster
Cluster限制因素
Spark
JDBC读写数据库实战
默认的操作代码valdf=
spark
.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers
·
2024-02-07 07:41
Spark最佳实战与性能优化
spark
jdbc
数据库
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他