E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark经验总结
FineBI实战项目一(25):实战项目一总结
没有集群,hdfs、hive、
spark
、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致,以便后期出现问题排查。mysql同步到数仓,数仓
不死鸟.亚历山大.狼崽子
·
2024-01-19 02:39
FineBI
finebi
py
spark
结构数据处理
现在随着技术的更新,数据化实现越来越高效便捷,一整套大数据系统,至少需要从数据建模、技术选型、页面交互三方面实现。数据建模如水流,贯穿整个数据分析系统;技术选型是基础设施,支撑整个系统高效运转;页面交互是面向用户,用数据说话,对业务增长进行数据赋能,实现数据驱动。在复杂的数据分析场景中,通常需要基于用户画像与用户行为,对用户进行OLAP多维自由交叉组合分析。因此,对于百万级以上的产品业务,使用My
haleyprince
·
2024-01-19 00:20
shell
spark
-submit提交之后获取appid,并在程序中扫描状态
首先看一下提交脚本#/sbin/bash/opt/cloudera/parcels/
SPARK
2/bin/
spark
2-submit\exportJAVA_HOME=/opt/jdk1.8.0_31TASK_TYPE
南修子
·
2024-01-18 22:16
大数据之
Spark
知识体系完整解读
Spark
简介
Spark
是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、join、groupByKey
金乐笑
·
2024-01-18 20:15
【总结】Linux命令中文帮助手册
从记忆角度来看,Linux很多命令都不一定记得住详细的用法,易遗忘,缺少
经验总结
。为了提高工作效率,简单、直接、高效的操作命令。2.中文帮助手册特点结合日常运维经验进行了总结。
Zhao.Mr
·
2024-01-18 19:25
Linux
linux
运维
上交读研
经验总结
篇(计算机视觉方向)--以配准研究为例
点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达本文转载自知乎,已获作者Timmymm授权转载。https://zhuanlan.zhihu.com/p/151020624前言受疫情影响,一切人群聚集的活动都被取消或推迟了。我们的毕业典礼原应该像以往一样,让人兴奋、迷惘、庄严而又不舍,但这次却悄无声息。这突如其来的疫情,一直顽强蔓延至今,近期仍有大面积反弹风险。受此影响,我的
小白学视觉
·
2024-01-18 18:21
编程语言
人工智能
大数据
机器学习
java
spark
streaming实时写入hive
pom文件
spark
-streaming-kafka-0-10_2.112.1.0
spark
-core_2.11
spark
-sql_2.11scala-library采用的是scala2.11.8实现逻辑
会飞的蜗牛66666
·
2024-01-18 16:11
从术语到
Spark
,10篇必读大数据学习资源
大数据文摘作品编译:王一丁、王梦泽、夏雅薇本文给想进入大数据领域的朋友提供了一系列的资源,由浅入深,比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前,我们已就数据可视化进行了深入探讨。这次,我们将从更基本的概念讲起,以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领
金光闪闪耶
·
2024-01-18 13:45
django大数据_草稿本01
文档Learning_
Spark
/5.
Spark
Streaming/ReadMe.mdatmaster·LeslieZhoa/Learning_
Spark
#在py
spark
下运行frompy
spark
.ml.featureimportHashingTF
哈都婆
·
2024-01-18 09:15
django
作为刚入职的小白,怎么才能学好大数据 ?
大数据学习方向一、大数据运维之Linux基础打好Linux基础,以便更好地学习Hadoop,hbase,NoSQL,
Spark
,Storm,docker,openstack等。
铁拳虎
·
2024-01-18 09:40
大数据学习
大数据开发
大数据入门
数据分析
Hadoop
Kafka
大数据
大数据技术
人工智能
spark
Linux
大数据
大数据学习
大数据开发
Spark
Session对象操作--学习笔记
1,
Spark
Session对象操作frompy
spark
.sqlimport
Spark
Sessionfrompy
spark
import
Spark
Conffrompy
spark
.sqlimportfunctionsasF
祈愿lucky
·
2024-01-18 07:35
大数据
学习
笔记
javascript
大数据知识点
Spark
:
Spark
RDD的概念:RDD是
Spark
中最基本的数据抽象,是一个不可变、可分区、里面的元素可并行计算的集合。
꧁༺朝花夕逝༻꧂
·
2024-01-18 07:29
hbase
数据库
大数据
py
spark
笔记:over
1方法介绍在Py
Spark
中,over函数是一个非常重要的概念,尤其是在使用窗口函数(例如row_number,rank,dense_rank,lead,lag等)时。
UQI-LIUWJ
·
2024-01-18 07:27
python库整理
笔记
Python进阶知识:整理1 -> py
Spark
入门
1编写执行入口#1.导包frompy
spark
import
Spark
Conf,
Spark
Context#2.创建
Spark
Conf类对象conf=
Spark
Conf().setMaster("local
是小蟹呀^
·
2024-01-18 07:57
Python
python
spark
Spark
SQL函数定义
目录窗口函数SQL函数分类
Spark
原生自定义UDF函数Pandas的UDF函数ApacheArrow框架基本介绍基于Arrow完成PandasDataFrame和
Spark
DataFrame互转基于Pandas
Sisi525693
·
2024-01-18 07:23
spark
sql
大数据
Spark
—shell,Hbase—shell
Spark
:
SPARK
SQLresults=
spark
.sql("SELECT*FROMpeople")//读取JSON文件valuserScoreDF=
spark
.read.json("hdfs://
꧁༺朝花夕逝༻꧂
·
2024-01-18 07:21
spark
大数据
分布式
003-90-15【
Spark
SQL&DF&DS】慈航寺庙山脚下八卦田旁油菜花海深处人家王大爷家女儿用GPT学习DataSet的基本操作
003-90-14【
Spark
SQL&DF&DS】慈航寺庙山脚下八卦田旁油菜花海深处人家王大爷家女儿用GPT学习DataSet的基本操作【
Spark
SQL&DF&DS】Dataset的创建和使用【
Spark
SQL
一杯派蒙
·
2024-01-18 06:53
spark
gpt
学习
spark
大数据
笔记
spark
-udf函数
udf函数自定义frompy
spark
.sqlimport
Spark
Sessionfrompy
spark
.sql.typesimport*创建连接ss=
Spark
Session.builder.getOrCreate
中长跑路上crush
·
2024-01-17 23:34
Spark阶段
spark
大数据
分布式
常用图算法实现--
Spark
使用
Spark
实现PageRank,强连通分量等图算法PageRank数据准备边:1211523242526273134251151261676871788189810914911011013111211112113141412151
zealscott
·
2024-01-17 19:45
教学
经验总结
《走进孩子的世界》
忙碌的周日上午,我正埋头准备下周一的公开课《小小的船》,儿子在客厅玩玩具,正当我播放课文录音,只看见闪闪的星星蓝蓝的天时,儿子跑过来跟我说:“妈妈,妈妈,这句话不对,晚上天是黑的啊!为什么说是蓝蓝的天呢?应该是黑黑的天才对嘛!”儿子接着又问我:“为什么只看见星星和蓝天呢?天上有好多东西啊,她怎么没看到萤火虫,呢?”我一愣,有点懵了,不知道怎么回答他!于是对他不耐烦地说:“你怎么那么多问题啊?书上就
黄黄小宝1205
·
2024-01-17 15:19
2024.1.16 用户画像day01 - 项目介绍
名词解释一.项目介绍整体流程:项目介绍-elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发hive-
spark
白白的wj
·
2024-01-17 15:40
spark
大数据
分布式
python
kafka
zookeeper
hive
2024.1.15
Spark
阶段原理,八股,面试题
目录1.简述什么是
Spark
?
白白的wj
·
2024-01-17 15:38
spark
大数据
分布式
python
kafka
hadoop
hive
Apache Zeppelin学习记录1
它支持多种编程语言(如Scala、Python、R、SQL等)和数据处理工具(如Apache
Spark
、Hadoo
旻璿gg
·
2024-01-17 15:01
大数据
python
zeppelin
Python 与批处理:数据处理、系统管理和任务调度
批处理学习大数据篇|大数据实操三剑客之一的批处理目录批处理的概念使用场景框架选择选型如何选docker安装hivePython操作hivedocker安装
spark
py
spark
操作dataframe如果使用
Wade_Crab
·
2024-01-17 15:23
python
开发语言
大数据
关于CarbonData+
Spark
SQL的一些应用实践和调优经验分享
大数据时代,中大型企业数据的爆发式增长,几乎每天都能产生约100GB到10TB的数据。而企业数据分系统构建与扩张,导致不同应用场景下大数据冗余严重。行业亟需一个高效、统一的融合数仓,从海量数据中快速获取有效信息,从而洞察机遇、规避风险。\\在这样的现状下,CarbonData诞生了,作为首个由中国贡献给Apache社区的顶级开源项目,CarbonData提供了一种新的融合数据存储方案,以一份数据同
weixin_34075551
·
2024-01-17 15:31
大数据
人工智能
后端
R 安装 devtools 报错信息
在编译
spark
源码时遇到
spark
r有依赖R环境,当然一般用不到
spark
r时可以不加入编译在安装R环境和一些依赖包时遇到一些问题Rscript-e"install.packages(c('knitr
第一次看海
·
2024-01-17 15:00
r语言
java
开发语言
Yahoo的
Spark
实践
Yahoo的
Spark
实践Yahoo是大数据巨头中对
Spark
最情有独钟的一家。这次峰会,Yahoo贡献了三个演讲,让我们一一道来。
chuanjiaoye5017
·
2024-01-17 15:30
人工智能
数据库
操作系统
spark
sql实践开发后端引擎
写在前面:一转眼的时间,2024年了,翻看了一下博客首页,已有8年的码领,自从去年开启博客关注才能预览,至今已有1500个粉丝,比其他短视频平台的粉丝还要多,经年累月,8年一瞬,在码代码的道路上越来越不快乐,为何不快乐,因为寻觅不到快乐的源泉。-------------“何以解忧,唯有暴富”需求开发一个系统,主要是将数仓中治理完用于检索的数据灌入Elasticsearch中,一般情况,开源的一些系
第一次看海
·
2024-01-17 14:28
spark
sql
大数据
py
spark
_2_入门篇(编写我们的第一个程序WordCount)
跟着Leo学习Py
Spark
chapter2——编写我们的第一个程序WordCount上一章我们大致讲了一下py
spark
的基本理论和重要概念,如果想系统化且更深入地理解
spark
中的概念,还请移步官方文档
NikolasNull
·
2024-01-17 12:32
2018-06
spark
北美会议ppt下载
https://github.com/397090770/
spark
-summit-north-america-2018-06/tree/master/ppt
生活的探路者
·
2024-01-17 12:11
【拆解设计模式】工厂方法及其Java示例
设计模式是一种在特定环境下解决特定问题的优秀方案,它是前人的
经验总结
,是我们编程的宝贵财富。
万猫学社
·
2024-01-17 11:52
设计模式
java
开发语言
Laya 开发性能
经验总结
Laya2性能:官方文档LayaAir编辑器选择LayaAir1.0版本:1.8.13LayaAir2.0版本:2.11.0如果使用Laya3D开发游戏,建议使用Laya2.0。LayaAir2.0代码编写工具采用vscode,LayaAir1.0编辑器和代码编写集成在一起。分辨率选择一般分辨率:720*12801080*1920苹果分辨率:750*16241125*2436一般基于性能考虑,满足
andy#wang
·
2024-01-17 11:11
laya
开发语言
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Flink的DataSet的方式读取,另外下面还有
Spark
kikiki2
·
2024-01-17 11:48
介绍 Apache
Spark
的基本概念和在大数据分析中的应用
Apache
Spark
是一个开源的分布式计算系统,它旨在处理大规模数据集并提供高性能和易用性。
Spark
提供了一个统一的编程模型,可以在多种编程语言中使用,包括Scala、Java、Python和R。
酷爱码
·
2024-01-17 11:45
经验分享
spark
大数据
分布式
Hive架构设计
我们知道MapReduce和
Spark
它们提供了高度抽象的编程接口便于用户编写分布式程序,它们具有极好的扩展性和容错性,能够处理超大规模的数据集。
跟着大数据和AI去旅行
·
2024-01-17 08:12
大数据企业级实战
hive
Spark
master HA
1.原理只针对
Spark
自带的Standalone资源调度框架,因为Yarn本身就是高可用的Standalone集群只有一个Master,如果Master挂了就无法提交应用程序,需要给Master进行高可用配置
乔一波一
·
2024-01-17 08:34
计算机毕业设计之全网独家
Spark
租房爬虫数据分析与推荐系统 租房大数据 租房app 租房数据分析 租房爬虫 房源推荐系统 房源数据分析 房源可视化
一、网站·登录与注册、注销·短信验证码修改密码·我的信息:身份证实名认证·租房业务流程(预约+看房+支付+完成+评价)、进度步骤条展示·支付宝沙箱支付·房屋浏览、中介信息查看·房屋推荐(基于mahout协同过滤算法)·房屋评价、点赞与收藏二、后端·统计主页、个人信息(带头像上传)、权限管理、用户管理、资讯管理、通知管理、日志管理、评论管理、轮播图管理、房屋管理、中介管理、订单管理。·中介权限可以登
haochengxu2022
·
2024-01-17 08:34
数据分析
爬虫
推荐系统
spark
爬虫
数据分析
推荐系统
最新使用宝塔反代openai官方API接口搭建详细教程及502 Bad Gateway错误问题解决
二、实现前提一台海外VPS服务器OpenAI官方的API_KEY第三方网站系统或插件关于第三方网站系统或插件,可以看另一篇文章介绍《
Spark
Ai系统详情及搭建部署文档》:https://www.yuque
白云如幻
·
2024-01-17 06:16
教程
运维
ChatGPT
gateway
chatgpt
nginx
spark
之checkpoint原理机制
当RDD使用cache机制从内存中读取数据,如果数据没有读到,会使用checkpoint机制读取数据。此时如果没有checkpoint机制,那么就需要找到父RDD重新计算数据了,因此checkpoint是个很重要的容错机制。checkpoint就是对于一个RDDchain(链)如果后面需要反复使用某些中间结果RDD,可能因为一些故障导致该中间数据丢失,那么就可以针对该RDD启动checkpoint
临界爵迹
·
2024-01-17 06:44
大数据
spark
checkpoint
spark
之shuffle参数优化
spark
.shuffle.file.buffer默认32kshufflewritetask端的缓冲区,到达阈值后,溢写到磁盘。
临界爵迹
·
2024-01-17 06:43
大数据
spark
Spark
面试
1、
Spark
如何保证宕机迅速恢复?
lune_Lucky
·
2024-01-17 05:30
大数据
big
data
spark
Apriori
Apriori算法原理总结-刘建平FPTree算法原理总结-刘建平PrefixSpan算法原理总结-刘建平用
Spark
学习FPTree算法和PrefixSpan算法-刘建平
BluthLeee
·
2024-01-17 05:41
跟老公过日子
他懂得好多养生知识,这不是跟教科书或者讲座学的,而是根据多年来生活
经验总结
的,我们一家大人小孩都不怎么生病,更不用说进医
嗲吧宇
·
2024-01-17 05:41
基于
spark
的淘宝用户行为数据分析及其可视化研究
数据准备1、数据来源:淘宝用户购物行为数据集数据的相关介绍:数据的一条记录包括:用户id,商品id,商品类目id,行为类型(行为类型:pv——点击,buy——购买,cart——加入购物车,fav——收藏),时间戳数据包含了2017年11月25日至2017年12月3日之间淘宝用户的数据行为用户数量:987994商品数量:4162024用户数量:987994商品类目数量:9439所有行为数量:1001
简单的小呆瓜
·
2024-01-17 02:14
spark
spark
数据分析
大数据
基于
SPARK
的淘宝用户购物行为可视化分析
基于
SPARK
的淘宝用户购物行为可视化分析这篇文章旨在练习大数据
Spark
操作,做一些简单的分析。后续阶段将基于三台虚拟机情况下进行调优,以期实现性能最优化。
番茄薯仔
·
2024-01-17 02:14
spark
spark
大数据
hadoop
【项目实战】基于Hadoop大数据电商平台用户行为分析与可视化系统Hive、
Spark
计算机程序开发
注意:该项目只展示部分功能,如需了解,评论区咨询即可。本文目录1设计背景2设计意义3系统展示3.1页面展示3.2视频展示4更多推荐5部分功能代码1设计背景在当今数字化时代,电商行业成为全球商业生态系统的关键组成部分,电商平台已经深入各行各业,影响了人们的购物方式和消费习惯。随着互联网技术的不断发展,电商平台产生了大量的用户数据,包括点击、购买、搜索、浏览历史等行为数据。这些数据蕴含着宝贵的商业洞察
Q2643365023
·
2024-01-17 02:43
项目
大数据
hadoop
大数据
hive
大数据实战(hadoop+
spark
+python):淘宝电商数据分析
一,运行环境与所需资源:虚拟机:Ubuntu20.04.6LTSdocker容器hadoop-3.3.4
spark
-3.3.2-bin-hadoop3python,py
spark
,pandas,matplotlibmysql
linpaomian
·
2024-01-17 02:13
大数据
hadoop
spark
docker
数据分析
spark
Failed to get main class in JAR with error null . Please specify one with --class.
运行
spark
-submit命令示例bin/
spark
-submit\--classorg.apache.
spark
.examples.
Spark
Pi\--masteryarn\--deploy-modecluster
linpaomian
·
2024-01-17 02:13
spark
大数据
scala
Spark
Core源码精读计划#25:UnifiedMemoryManager——统一内存管理机制
借用存储内存申请/借用执行内存总结前言在前文的末尾,我们分析了静态内存管理器StaticMemoryManager的优缺点,并指出统一内存管理器UnifiedMemoryManager能够弥补它的缺点,同时也是目前
Spark
LittleMagic
·
2024-01-16 23:51
Spark
详解
Spark
概念
Spark
提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求。
武昌库里写JAVA
·
2024-01-16 21:15
高手面试
spark
大数据
分布式
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他