E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark大数据处理
横扫
Spark
之 - 9个常见的行动算子
水善利万物而不争,处众人之所恶,故几于道文章目录1.collect()2.count()3.first()4.take()5.takeOrdered()6.countByKey()7.saveAS...()8.foreach()9.foreachPartition()***1.collect() 收集RDD每个分区的数据以数组封装之后发给Driver 如果RDD数据量比较大,Driver内存默
阿年、嗯啊
·
2024-02-10 06:04
Spark
spark
大数据
分布式
行动算子
横扫
Spark
之 - 22个常见的转换算子
水善利万物而不争,处众人之所恶,故几于道文章目录1.map()2.flatMap()3.filter()4.mapPartitions()5.mapPartitionsWithIndex()6.groupBy()7.distinct()8.coalesce()9.repartition()10.sortBy()11.intersection()12.union()13.subtract()14.z
阿年、嗯啊
·
2024-02-10 06:01
Spark
spark
大数据
转换算子
新人数据技术如何快速提升
对于数据平台和工具而言,一般情况下都是在Hadoop生态下做开发,但对于一些有特殊要求的团队,
Spark
和Flink已经得
晓阳的数据小站
·
2024-02-09 23:46
数据开发
数据
毕业设计:基于python的反爬虫系统
目录前言设计思路一、课题背景与意义二、算法理论技术2.1
spark
技术2.2反爬虫设计2.3黑名单设计三、检测的实现3.1数据集3.2实验环境最后前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备
Krin_IT
·
2024-02-09 22:54
毕业设计
毕设
python
网络爬虫
ClickHouse-简谈OLAP与ClickHouse
在第一届易观OLAP大赛中,在用户行为分析转化漏斗场景里,ClickHouse比
Spark
快了近10倍。在随后几年的
adson1987
·
2024-02-09 18:00
Database
ClickHouse
OLAP
海量数据分析
初识kafka
目前越来越多的开源分布式处理系统如Cloudera、Storm、
Spark
、Flink等都支持与Kafka集成。
tracy_668
·
2024-02-09 14:07
69.Kudu、
Spark
2、Kafka安装—CDH
69.1演示环境介绍CDH集群运行正常操作系统版本为:CentOS6.5CM和CDH版本为:5.12.1CM管理员为:admin用户操作系统用户为:root用户69.2操作演示Kudu安装Kudu的Parcel部署下载Kudu的Parcel包:http://archive.cloudera.com/kudu/parcels/5.12.1/KUDU-1.4.0-1.cdh5.12.1.p0.10-e
大勇任卷舒
·
2024-02-09 14:55
spark
开发中的Zip算子灵活使用
本人开发中,需要聚合的文段举个栗子:RDD中有如下元素kv((a,b),List(7,8,9))((a,b),List(1,2,3))((a,b),List(4,5,6))((c,d),List(4,5,6))。。。。。。reducebyke后要对v操作原理将v中的list前后zip再map每个元素进行逐个元组元素(口,口)的累加。a代表v的前一个元素,b代表v的后一个元素如vala=List(7
Hero.Lin
·
2024-02-09 13:35
spark
scala
开发
spark-core
Spark
是什么?与MapReduce的对比
Spark
是一个基于内存的集群计算系统,是一个分布式的计算框架。
Spark
可以将计算任务分发到多个机器并行计算。
Tim在路上
·
2024-02-09 10:27
spark
资源动态释放
通过
spark
-submit会固定占用一占的资源,有什么办法,在任务不运作的时候将资源释放,让其它任务使用呢,yarn新版本默认已经支持了,我们使用的是HDP。
kikiki2
·
2024-02-09 09:54
macos安装local模式
spark
文章目录配置说明安装hadoop安装
Spark
测试安装成功配置说明Scala-3.18+
Spark
-3.5.0Hadoop-3.3.6安装hadoop从这里下载相应版本的hadoop下载后解压,配置系统环境变量
SparklingTheo
·
2024-02-09 08:52
大数据-linux
macos
spark
大数据
使用 Kubernetes 部署 Flink 应用
By大数据技术与架构场景描述:Kubernetes是目前非常流行的容器编排系统,在其之上可以运行Web服务、
大数据处理
等各类应用。这些应用被打包在一个个非常轻量的容器中,我们通过声明的方
王知无(import_bigdata)
·
2024-02-09 06:38
SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25
目录0需求分析1数据准备3数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041
spark
1351flink2661kafka1471oozie108
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL——条件判断语句嵌套windows子句的应用
0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041
spark
1351flink2661kafka1471oozie108
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
Spark
SQL(十一):与
Spark
Core整合
每日top3热点搜索词统计Demo1、数据格式:日期用户搜索词城市平台版本2、需求:1、筛选出符合查询条件(城市、平台、版本)的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数,倒序排序4、将数据保存到hive表中3、实现思路:1、针对原始数据(HDFS文件),获取输入的RDD2、使用filter算子,去针对输入RDD中的数据,进行数据过滤,过滤出符合查询条件
雪飘千里
·
2024-02-09 06:34
大数据 -
Spark
系列《五》-
Spark
常用算子
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-09 05:25
spark
大数据
spark
分布式
SQL、Hive中的SQL和
Spark
中的SQL三者联系与区别
SQL、Hive中的SQL和
Spark
中的SQL(即
Spark
SQL)都是用于处理和分析数据的查询语言,但它们在实现、性能、应用场景等方面存在一些明显的区别和联系。
大数据SQLboy
·
2024-02-09 05:20
数据库
Spark
Hive
数据库
py
spark
操作示例
前置pipinstallpy
spark
为了支持py4j的使用,需要进行如下设置,并修改了java_gateway.py中的env['_PY
SPARK
_DRIVER_CALLBACK_HOST']='127.0.0.1
佛系小懒
·
2024-02-09 05:15
spark
从入门到放弃二十八:
Spark
Sql (1)Data Set
文章地址:http://www.haha174.top/article/details/257834项目源码:https://github.com/haha174/
spark
.git1.简介
Spark
Sql
意浅离殇
·
2024-02-09 03:17
再聊阴影裁剪与高性能视锥剔除
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
UWA
·
2024-02-09 03:24
厚积薄发
Unity优化
阴影
unity
spark
原理总体介绍
拿到系统后,部署系统是第一件事,那么系统部署成功以后,各个节点都启动了哪些服务?部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点,相当于Hadoop的Master和Slave节点。Master节点上常驻Master守护进程,负责管理全部的Worker节点。Worker节点上常驻Worker守护进程,负责与Master节点通信并管理executors。Driv
tracy_668
·
2024-02-09 03:48
PDF如何页面插入
操作软件:旋风PDF编辑器下载地址:http://www.679
spark
le.com/pdfeditor1.运行旋风PDF编辑器,打开你想要编辑的文件。
六号_db7a
·
2024-02-09 00:18
数据湖的整体思路
当数据湖成为中心,那么就可以围湖而建“数据服务环”,环上的服务包括了数仓、机器学习、
大数据处理
、日志分析,甚至RDS和NOSQL服务等等。
zhang菜鸟
·
2024-02-08 22:19
大数据
数据仓库
JAVA和JVM运行原理是什么?JAVA可以用来做什么?
java还在
大数据处理
方面也有优势。java的生态体系非常强大,很多大牛,大公司都在为java开发相应的开源组件
程序媛小白
·
2024-02-08 22:11
Flink状态编程
Spark
Streaming在状态管理这块做的不好,很多时候需要借助于外部存储(例如Redis)来手动管理状态,增加了编程的难度.访问redis需要通过网络访问,增大处理时间状态一致性问题,可能会造成数据的不一致
万事万物
·
2024-02-08 22:41
7.0 MapReduce编程实例教程
MapReduce主要是依靠开发者通过
Spark
来实现功能的,开发者可以通过实现Map和Reduce相关的方法来进行数据处理。为了简单的展示这个过程,我们将手工编写一个字数统计程序。
二当家的素材网
·
2024-02-08 18:11
Hadoop
教程
mapreduce
eclipse
大数据
Spark
经典案例之非结构数据处理
需求:根据tomcat日志计算url访问了情况,具体的url如下,要求:区别统计GET和POSTURL访问量结果为:访问方式、URL、访问量测试数据集:在CODE上查看代码片派生到我的代码片196.168.2.1--[03/Jul/2014:23:36:38+0800]“GET/course/detail/3.htmHTTP/1.0”200384350.038182.131.89.195--[03
张明洋_4b13
·
2024-02-08 15:57
深入理解
Spark
的前世今生
文章来源:https://blog.csdn.net/qq_42107047/article/details/80239094感谢大神分享~~~~~一:大数据的概述1.1
Spark
是什么?
闲云野鹤~~~
·
2024-02-08 14:01
Spark
【
Spark
重点难点】你以为的Shuffle和真正的Shuffle
我们的【
Spark
重点难点】系列继续更新。以往的系列:我们在学习
Spark
的时候,到底在学习什么?
王知无(import_bigdata)
·
2024-02-08 14:00
大数据
spark
java
python
数据库
深入理解
Spark
BlockManager:定义、原理与实践
深入理解
Spark
BlockManager:定义、原理与实践1.定义
Spark
是一个开源的
大数据处理
框架,其主要特点是高性能、易用性以及可扩展性。
涤生大数据
·
2024-02-08 14:57
spark
大数据
分布式
spark
spark
.shuffle.service.enabled
操作场景
Spark
系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据,给其他Executor提供shuffle数据。
不搬砖的程序员不是好程序员
·
2024-02-08 13:59
spark
spark
spark
好的文章链接
https://blog.51cto.com/u_16099325/6763760`java
spark
官方文档
spark
javaapi手册http://www.17bigdata.com/book/
spark
Trank-Lw
·
2024-02-08 13:18
spark
大数据
分布式
史上最全OLAP对比
目录1.什么是OLAP2.OLAP引擎的常见操作3.OLAP分类MOLAP的优点和缺点ROLAP的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2
Spark
SQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿
·
2024-02-08 11:04
数仓
spark
hadoop
数据仓库
Spark
:基于莱文斯坦(Levenshtein)距离计算字符串相似度
以下程序代码基于
spark
,使用scala语言,测试时间:2018-08-03str1和str2相似度=1-Levenshtein距离/max(length(str1),length(str2))valdf
xuejianbest
·
2024-02-08 11:25
大数据
算法
编程语言/Scala
大数据/spark
Levenshtein
字符串相似
莱文斯坦距离
spark
scala
Python在无人机器狗
大数据处理
能力:无人机器狗可能会产生大量的传感器数据和图像数据
python无人驾驶 医学芯片
·
2024-02-08 11:43
python
开发语言
MML
Spark
+
Spark
:py
spark
+lightGBM应用实践
MML
Spark
,即MicrosoftMachineLearningforApache
Spark
,是微软开源的一个针对Apache
Spark
的深度学习和数据可视化的库。
bensonrachel
·
2024-02-08 10:38
spark
sql 数据类型转换_
spark
sql时间类型转换以及其他
1.
spark
sql的日期转换一般使用两种形式第一种使用to_timestamp(REACHTIME1,"yyyy-MM-ddHH24:mi:ss")//它将字符串时间转换为日期类型例如2018-10-
weixin_39535527
·
2024-02-08 10:02
spark
sql
数据类型转换
Spark
streaming写入delta数据湖问题
但项目上线到生产环境,检查
spark
streaming的job,发现数据在merge写入到数据湖时,往往超过1小时。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
大数据
分布式
Spark
streaming batch运行时间过长问题02
排查
Spark
streaming数据写入时间过长问题,一方面是因为程序写数据湖小文件问题。在解决了小文件问题后,还是不能达到预期的1分钟一个batch。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
企业
Spark
案例--酒店数据分析实战提交
第1关:数据清洗--过滤字段长度不足的且将出生日期转:packagecom.yyimportorg.apache.
spark
.rdd.RDDimportorg.apache.
spark
.sql.
cz学java
·
2024-02-08 10:30
spark
数据分析
大数据
Spark
的timestamp 数据时间问题
使用
Spark
来处理国际业务数据,涉及到数据时区转换,在实际项目中出现时区转换问题。
kk_io
·
2024-02-08 10:29
疑难杂症
spark
大数据
分布式
大数据毕业设计Py
Spark
+PyFlink航班预测系统 飞机票航班数据分析可视化大屏 机票预测 机票爬虫 飞机票推荐系统 大数据毕业设计 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采
B站计算机毕业设计超人
·
2024-02-08 09:17
大数据毕业设计
大数据
数据分析
hadoop
数据挖掘
爬虫
spark
flink
【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像
一、Flink实时计算第一章:Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVS
Spark
4.实时计算技术选型第二章:Flink项目构建与测试1.快速构建Flink项目2.第一个
大数据研习社
·
2024-02-08 08:56
Flink
flink
Flink实时计算
可视化监控
InfluxDB
spark
运行失败The directory item limit of /
spark
_dir/
spark
_eventLogs is exceeded: limit=1048576 items=104
org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException):Thedirectoryitemlimitof/
spark
_dir
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
Flink on Yarn的两种模式
首先,在集群运行时,可能会有很多的集群实例包括MapReduce、
Spark
、Flink等等,那么如果它们全基于onYarn就可以完成资源分配,减少单个实例集群的维护,提高集群的利用率。
GOD_WAR
·
2024-02-08 07:22
Flink
flink
yarn
flink
on
yarn
Flink流式数据倾斜
1.流式数据倾斜流式处理的数据倾斜和
Spark
的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的,但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似
Spark
orange大数据技术探索者
·
2024-02-08 07:58
#
flink迁移
flink
大数据
数据倾斜
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,
Spark
,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
Spark
安装(Yarn模式)
一、解压链接:https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码:mb4htar-zxvf/opt/software/
spark
-3.0.3-bin-hadoop3.2
莫噶
·
2024-02-08 04:44
搭建
spark
大数据
分布式
图解大数据 | 大数据分析挖掘-
Spark
初步
图解大数据|大数据分析挖掘-
Spark
初步作者:韩信子@ShowMeAI教程地址:www.showmeai.tech/tutorials/8…本文地址:www.showmeai.tech/article-det
Dashesand
·
2024-02-08 03:22
大数据
数据分析
spark
docker数据科学与
spark
镜像源与使用常见问题疑难解答
以下是一些与数据挖掘和数据科学相关的Docker镜像源:jupyter/all-
spark
-notebook:此镜像包含JupyterNotebook和
Spark
的完整环境,用于
Spark
开发和学习。
DreamNotOver
·
2024-02-08 01:16
eureka
java
spring
cloud
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他