E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark学习之路
手机远程控制树莓派-BLINKER应用(物联网基础)
由于我买了坚果云这个软件服务,所以我对云储存并无太大的兴趣,只是有时候要远程回家翻翻服务器上的东西,或者挂着下载个东西,跑个py
spark
之类的。
crossni
·
2024-02-20 00:15
硬件
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化
Spark
、Hadoop、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
Linux下
Spark
offline安装graphframes包
文章目录背景安装步骤背景GraphX是
Spark
中用于图计算的模块.
Spark
安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker
·
2024-02-19 22:45
spark
linux
spark
剽悍一只猫的剽悍行动营——我的二十二天
学习之路
作者:原来如此我就是这么幸运,有幸知道有行动营这个社群,并且幸运的加入了这个社群。在一个正确的时间,认识了一群有正能量的人,学习了很多正能量的知识。我是一个赋闲在家十年的人;我是一个全职的家庭主妇;我是一个没有高学历的人;我是一个没有特长的人;我是一个与社会脱节的人……但就是这样的我,有幸通过朋友加入行动营。每天除了接送孩子做家务,刷刷朋友圈,追剧,这就是你想要的生活吗?你的以后后也要这样度过吗?
娜一姐
·
2024-02-19 18:55
AWS Serverless Py
Spark
指定 Python 版本(qbit)
的最新版本是6.15,自带的Python版本是3.7,尝试上传使用Python3.11Python环境打包技术栈Ubuntu22.04(x86)Linuxversion5.15Python3.11.5py
spark
3.4.1conda23.10.0conda-pack0.7.1
·
2024-02-19 16:05
Quick introduction to Apache
Spark
什么是
Spark
Apache
Spark
是一种快速通用的集群计算系统。它提供Java,Scala,Python和R中的高级API,以及支持通用执行图的优化引擎。
Liam_ml
·
2024-02-19 13:29
Spark
中多分区写文件前可以不排序么
背景
Spark
3.5.0目前
Spark
中的实现中,对于多分区的写入默认会先排序,这是没必要的。
鸿乃江边鸟
·
2024-02-19 13:10
分布式
spark
大数据
spark
大数据
分布式
Flink 细粒度滑动窗口性能优化
大数据技术AIFlink/
Spark
/Hadoop/数仓,数据分析、面试,源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口(窗口长度远远大于滑动步长)时,
hyunbar
·
2024-02-19 13:39
Flink
大数据
flink
java
数据库
【大数据面试题】006介绍一下Parquet存储格式的优势
同时一般查询使用时不会使用所有列,而是只用到几列,所以查询速度会更快压缩比例高因为是列式存储,所以可以对同一类型的一段做压缩,压缩比例高支持的平台和框架多在Hadoop,
Spark
,Presto,Python
Jiweilai1
·
2024-02-19 13:34
一天一道面试题
大数据
spark
hadoop
七天爆肝flink笔记
一.flink整体介绍及wordcount案例代码1.1整体介绍从上到下包含有界无界流支持状态特点与
spark
对比应用场景架构分层1.2示例代码了解了后就整个demo吧数据源准备这里直接用的文本文件gradle
我才是真的封不觉
·
2024-02-19 13:01
flink
笔记
大数据
一起走的
学习之路
(294)
数据化思维之前国庆的时候我想大家都听说了我们可能会和周林一起接一个门面。由于是大投资,所以我们都比较慎重,说实话,这个门面在我们看来,并不太好,但是周林他们却觉得不错。因此,这几天方同学就一直在研究这个店铺的科学性。今天,他就在群里一直发一串数字,刚开始我并不知道这是什么意思,结果后来他解释了一下,是同一时段新门面费门口人流量,周围店铺客人,新门面客人,以及我们现在这个店铺的客人。然后对比了好多个
小米雨路
·
2024-02-19 13:35
(15)Hive调优——数据倾斜的解决指南
目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2
Spark
任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值
爱吃辣条byte
·
2024-02-19 11:50
#
Hive
大数据
hive
Hive on
Spark
配置
前提条件1、安装好Hive,参考:Hive安装部署-CSDN博客2、下载好
Spark
安装包,链接:https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?
在下区区俗物
·
2024-02-15 10:51
hive
spark
hadoop
配置hive on
spark
配置hiveon
spark
1、上传
Spark
纯净版jar包到HDFS:hdfsdfs-mkdir/
spark
-jarshdfsdfs-put/opt/
spark
/jars/*/
spark
-jars2、修改
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive on
spark
配置经验
常规配置配置完,开启hadoop,开启
spark
(如果在hdfs上上传了纯净版的
spark
则不需要开启),开启hive注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Flink的DataSet的方式读取,另外下面还有
Spark
kikiki2
·
2024-02-15 06:39
这是属于2020年的第一篇:疫情带给我的思考
这是“精进
学习之路
”第1篇原创文章,阅读大约需3分钟。大家好,我是精进
学习之路
(微信公众号)。今天我正式的第一篇文章。我到底要做什么呢?这要从2020年春节说起。
麦小麦兜兜不住
·
2024-02-15 05:18
一起走的
学习之路
(四十八)
很多事情为什么做不好,因为大多数时候他们真的不是我们的刚需。你说我们想要找更多的钱,想要财富自由,但似乎不管怎样,我们依旧不会饿死,基本的生活仍然可以保证,于是想更多方法赚更多钱就不是那么刚需,所以我们常常就更多的是想想。回想一下,我每次做成功的事似乎都因为那件事是刚需。以前每到期末就会很认真的复习,因为期末考试成绩直接影响着奖学金或是寒暑假的质量。为什么大学毕业考公务员和有了工作参加公务员考试是
小米雨路
·
2024-02-15 03:09
(免费领源码)python+mysql+
spark
手机销售数据的可视化分析系统44127-计算机毕业设计项目选题推荐
摘要信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课题。针对手机销售数据管理等问题,对手机销售数据管理进行研究分析,然后开发设计出手机销售数据可视化系统以解决问题。手机销售数据可视化系统主要功能模块包括系统首页、轮播图、公告信息、资源管理(新闻资讯、新闻分类)交流管理(交流论坛、论坛分
2301_3224142804
·
2024-02-15 00:40
python
mysql
spark
java
spring
boot
php
c#
【GRU回归预测】开普勒算法优化多头注意力机制卷积神经网络结合门控循环单元KOA-MultiAttention-CNN-GRU数据预测(多输入单输出)【含Matlab源码 3772期】
个人主页:海神之光代码获取方式:海神之光Matlab王者
学习之路
—代码获取方式⛳️座右铭:行百里者,半于九十。
Matlab领域
·
2024-02-14 23:18
matlab
基于Kafka的实时计算引擎如何选择?
以Flink和
Spark
为首的实时计算引擎,成为实时计算场景的重点考虑对象。那么,今天就来聊一聊基于Kafka的实时计算引擎如何选择?Flinkor
Spark
?2.为何需要实时计算?
java菜
·
2024-02-14 19:37
调用讯飞火星AI大模型WebAPI
getWebsocketUrl(){returnnewPromise((resolve,reject)=>{varapiKey=API_KEYvarapiSecret=API_SECRETvarurl='ws://
spark
-api
雲墨知秋
·
2024-02-14 18:54
javascript
开发语言
ecmascript
我的理财
学习之路
8月下旬的一天中午,无意中看到一篇推文,是微淼商学院推荐的课程,文末有老师的微信二维码,已经课程的付款链接,因为推文写的比较好,尤其是提出的关闭花呗信用卡等,太符合我目前的实际情况了,所以特别感兴趣,抱着试一试的态度报了名,当时是0821.开课时间是0829,中间有8天的时间让读一本电子书《小狗钱钱》,虽然之前听说过这本书,但是没有读过原版,读完了之后就感慨,不愧是风靡全球的理财入门读物,里面的内
韩玲Julie
·
2024-02-14 18:09
Spark
通过jdbc性能调优--采用分区的方式从oracle读数据
spark
通过jdbc读取Oracle,当数据量很大的时候会出现两个问题:读取数据异常缓慢,甚至卡死大表中进行操作也会出现OOM的问题调优常规的读取数据库的方式如下ods_bdz=
spark
.read.format
korry24
·
2024-02-14 18:08
oracle
spark
mysql
Py
Spark
介绍及其安装教程
一、Py
Spark
是什么PythonPy
Spark
是
Spark
官方提供的一个Python类库,其中内置了完全的
Spark
API,使得Python用户在导入这个类库后,可以使用自己熟悉的Python语言来编写
文景大大
·
2024-02-14 14:58
Spark
(四十二)数据倾斜解决方案之使用随机数以及扩容表进行join
一、背景当采用随机数和扩容表进行join解决数据倾斜的时候,就代表着,你的之前的数据倾斜的解决方案,都没法使用。这个方案是没办法彻底解决数据倾斜的,更多的,是一种对数据倾斜的缓解。原理,其实在上一讲,已经带出来了。扩容表(RDD)步骤:1、选择一个RDD,要用flatMap,进行扩容,将每条数据,映射为多条数据,每个映射出来的数据,都带了一个n以内的随机数,通常来说,会选择10。2、将另外一个RD
文子轩
·
2024-02-14 14:36
Spark
编程实验六:
Spark
机器学习库MLlib编程
目录一、目的与要求二、实验内容三、实验步骤1、数据导入2、进行主成分分析(PCA)3、训练分类模型并预测居民收入4、超参数调优四、结果分析与实验体会一、目的与要求1、通过实验掌握基本的MLLib编程方法;2、掌握用MLLib解决一些常见的数据分析问题,包括数据导入、成分分析和分类和预测等。二、实验内容1.数据导入从文件中导入数据,并转化为DataFrame。2、进行主成分分析(PCA)对6个连续型
Francek Chen
·
2024-02-14 14:48
Spark编程基础
spark
mllib
大数据
机器学习
算法
ShuffleManager 原理
在
Spark
的源码中,负责shuffle过程的执行、计算、处理的组件主要是ShuffleManager。在
Spark
1.2以前,默认的shuffle计算引擎是HashShuffleManager。
stone_zhu
·
2024-02-14 10:03
Python
学习之路
-爬虫提高:scrapy基础
Python
学习之路
-爬虫提高:scrapy基础为什么要学习scrapy通过前面的学习,我们已经能够解决90%的爬虫问题了,那么scrapy是为了解决剩下的10%的问题么,不是,scrapy框架能够让我们的爬虫效率更高什么是
geobuins
·
2024-02-14 10:35
python
学习
爬虫
Python
学习之路
-爬虫提高:scrapy使用
Python
学习之路
-爬虫提高:scrapy使用scrapy项目实现流程创建一个scrapy项目:scrapystartprojectmySpider生成一个爬虫:scrapygenspideritcast"itcast.cn
geobuins
·
2024-02-14 10:04
python
学习
爬虫
Hadoop+
Spark
+MongoDB+MySQL+C#大数据开发项目最佳实践
一、前言随着IT技术的飞速发展,各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前,医疗IT系统收集了大量极具价值的数据,但这些历史医疗数据并没有发挥出其应有的价值。为此,本文拟利用医院现有的历史数据,挖掘出有价值的基于统计学的医学规则、知识,并基于这些信息构建专业的临床知识库,提供诊断、处方、用药推荐功能,基于强大的关联推荐能力,极大地提高医疗服务质量,减轻医疗人员的工作强度。二、
yiyidsj
·
2024-02-14 07:08
大数据
人工智能
互联网
spark
Hadoop
MySQL
大数据开发
大数据学习
基于 C# 的 ETL 大数据并行编程
Apache
Spark
是一个用于Extract(提取),
dotNET跨平台
·
2024-02-14 07:07
c#
数据库
编程语言
java
大数据
Spark
- 动态注册UDF
昨天有位大哥问小弟一个
Spark
问题,他们想在不停
Spark
程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,
Spark
**还能这么玩?
kikiki2
·
2024-02-14 06:33
一起走的
学习之路
(271)
断舍离之前放同学都买了一本书,书的名字就叫做断舍离,她让我仔细看这本书主要是因为,现在我们家里的东西堆的很乱,很多已经没有用的东西,但是堆在那里很久很久,也不愿意去动它,所以方同学就让我好好的看看这本书,除了整理好自己的生活,用品,以外,也整理整理自己的思绪。说实话,刚开始看这本书的时候还是存在一些抵触情绪,总觉得自己的这些东西是在某个时候可以用到的,所以一直都舍不得扔,就像方同学说的,可能有的衣
小米雨路
·
2024-02-14 02:53
【0基础学习mysql】之DQL-分页查询及执行顺序
CSDN话题挑战赛第2期参赛话题:学习笔记
学习之路
,长路漫漫,写学习笔记的过程就是把知识讲给自己听的过程。这个过程中,我们去记录思考的过程,便于日后复习,梳理自己的思路。
天寒雨落
·
2024-02-14 02:31
数据库
学习
mysql
数据库
一起走的
学习之路
(290)
这两天一直在忙着采购家具,之前其实也已经关注了很久,特别是沙发桌子,床这些东西,也已经加入购物车,也早就和,风同学进行了讨论。今天早上方同学就在问我这些东西是否买了,我回答他说由于最终没有敲定,所以我还是一直在纠结当中,在她的督促下,我下手把沙发给采购了。说实话,咱们家具的这个过程中一直迟迟不动,一方面是因为自己比较纠结,想做更多的比较,另一方面我觉得还是执行能力比较差的体现,很多时候觉得这件事做
小米雨路
·
2024-02-14 01:45
Spark
Authorizer支持最新版本
Spark
2.3.0
今天
Spark
社区为大家带来了最新的
Spark
2.3.0
Spark
Release2.3.0Apache
Spark
2.3.0isthefourthreleaseinthe2.xline.ThisreleaseaddssupportforContinuousProcessinginStructuredStreamingalongwithabrandnewKubernetesSchedulerbacke
Kent_Yao
·
2024-02-13 20:52
Python
学习之路
-爬虫提高:常见的反爬手段和解决思路
Python
学习之路
-爬虫提高:常见的反爬手段和解决思路常见的反爬手段和解决思路明确反反爬的主要思路反反爬的主要思路就是:尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现。
geobuins
·
2024-02-13 16:59
python
学习
爬虫
Python
学习之路
-爬虫提高:selenium
Python
学习之路
-爬虫提高:selenium什么是seleniumSelenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium可以直接运行在浏览器上,它支持所有主流的浏览器
geobuins
·
2024-02-13 16:28
python
学习
爬虫
大数据处理为何选择
Spark
,而不是Hadoop
一.基础知识1.
Spark
Spark
是一个用来实现快速而通用的集群计算的平台。在速度方面,
Spark
扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。
嘿嘿海海
·
2024-02-13 14:00
re:从0开始的CSS
学习之路
11. 盒子垂直布局
1.盒子的垂直布局的注意若两个“相邻”垂直摆放的盒子,上面盒子的下外边距与下面盒子的上外边距会发生重叠,称为外边距合并若合并后,外边距会选择重叠外边距的较大值若两个盒子具有父子关系,则两个盒子的上外边距会发生重叠,若改变盒子的上外边距,父子盒子都会随之移动位置三种解决办法:1.可以为父元素添加边框2.可以为父元素添加内边距3.为父元素添加overflow:hidden;学习完浮清除动元素的最终解决
扶摇|
·
2024-02-13 05:33
从0开始的CSS之旅
css
学习
前端
Spark
编程实验五:
Spark
Structured Streaming编程
目录一、目的与要求二、实验内容三、实验步骤1、Syslog介绍2、通过Socket传送Syslog到
Spark
3、Syslog日志拆分为DateFrame4、对Syslog进行查询四、结果分析与实验体会一
Francek Chen
·
2024-02-13 05:49
Spark编程基础
spark
大数据
分布式
syslog
Spark
(三十五)troubleshooting之错误的持久化方式以及checkpoint的使用
一、背景错误的持久化使用方式:usersRDD,想要对这个RDD做一个cache,希望能够在后面多次使用这个RDD的时候,不用反复重新计算RDD;可以直接使用通过各个节点上的executor的BlockManager管理的内存/磁盘上的数据,避免重新反复计算RDD。usersRDD.cache()usersRDD.count()usersRDD.take()上面这种方式,不要说会不会生效了,实际上
文子轩
·
2024-02-13 02:26
Java从入门到精通
掌握Java语言本身、Java核心开发技术以及Java标准库的使用;2、如果继续学习JavaEE,那么Spring框架、数据库开发、分布式架构就是需要学习的;3、如果要学习大数据开发,那么Hadoop、
Spark
nightluo
·
2024-02-13 01:52
基础学习
java
开发语言
数据清洗
importorg.apache.
spark
.sql.
Spark
SessionobjectDataCleaning{defmain(args:Array[String]):Unit={val
spark
=
扣篮的左手
·
2024-02-12 23:46
【解决方案】py
spark
初次连接mongo 时报错Class not found exception:com.mongodb.
spark
.sql.DefaultSource
部分报错如下:Traceback(mostrecentcalllast): File"/home/cisco/
spark
-mongo-test.py",line7,in df=
spark
.read.format
能白话的程序员♫
·
2024-02-12 19:33
Spark
spark
Spark
- 动态注册UDF
>昨天有位大哥问小弟一个
Spark
问题,他们想在不停
Spark
程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,
Spark
**还能这么玩?
kikiki5
·
2024-02-12 19:01
性价比满满的大显存甜点卡,
Spark
le(撼与科技)Intel Arc A770 TIT
●前言一直以来,2000元左右价位的独立显卡总是被玩家们称为“甜点级”显卡,因为这个价位段的显卡有着不俗的性能,游戏和生产力都能兼顾,而且不算太贵的定价也是能够让大众所接受,整体算下来还是很有性价比的。然而,在众多的甜点级显卡当中,除了N、A两家的甜点级显卡之外,前些年入局独显的英特尔也是有对应的产品可选,比如A770以及A750就有着优于同价位竞品的性能以及更低的售价,性价比尤为突出。作为英特尔
焦点易讯
·
2024-02-12 18:08
业界资讯
28、
Spark
核心编程之高级编程之二次排序
需求按照文件中的第一列排序。如果第一列相同,则按照第二列排序。文件内容2536241315Java实现自定义的二次排序key/***自定义的二次排序key*/publicclassSecondarySortKeyimplementsOrdered,Serializable{//首先在自定义key里面,定义需要进行排序的列privateintfirst;privateintsecond;public
ZFH__ZJ
·
2024-02-12 17:33
C++
学习之路
-拷贝构造函数
拷贝构造函数什么是拷贝构造函数拷贝对象,拷贝了什么?拷贝构造函数的功能为什么要写拷贝构造函数?调用父类的拷贝构造函数拷贝对象不一定调用拷贝构造函数浅拷贝和深拷贝浅拷贝的特点深拷贝的特点什么是拷贝构造函数拷贝构造函数也是构造函数的一种。普通的构造函数可以是无参的,也可以是有参的。但是拷贝构造函数必须是有参的,如下所示,参数就是const类型的对象引用(格式固定,别问为什么)classCar{publ
Struggle¥
·
2024-02-12 16:37
C++本质
C++面向对象
学习之路
c++
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他