E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark性能调优
Scala写入文件时乱码解决
今天在需要将
spark
操作后的数据保存到本地文件时出现乱码问题,现在记录下来valwriter=newPrintWriter(newFile("E://data/gps_bus_data01.txt")
鬼古神月
·
2023-11-29 03:49
10X空间转录组数据分析之Pattern recognition and clustering
hello,我们接上一篇,10X空间转录组空间高变基因分析之
SPARK
,上一篇我们利用一些方法,找到了很多显著性的空间高变基因,那么这些基因在我们分析数据的时候起到了什么作用呢?
单细胞空间交响乐
·
2023-11-29 03:27
【
Spark
入门】基础入门
【大家好,我是爱干饭的猿,本文重点介绍
Spark
的定义、发展、扩展阅读:
Spark
VSHadoop、四大特点、框架模块、运行模式、架构角色。
爱干饭的猿
·
2023-11-29 02:30
spark
spark
大数据
分布式
stream分页+排序:Java实际开发中list.sort()集合排序详解之多条件排序、分页、空值null的最常用解决方案(JAVA8用lamda表达式和增强版Comparator进行排序)
Java实际开发中list.sort集合排序详解之多条件排序、分页、空值null的最常用解决方案前言一、单条件排序二、多条件排序三、分页处理四、空值处理❤️作者主页:温文尔雅的清欢渡❤️近期学习方向:
性能调优
爱喝皮蛋瘦肉粥的小饶
·
2023-11-28 20:17
01
Java入门级学习指南
java
sort
stream
列表排序
解决
Spark
SQL读数据库时不支持某些数据类型的问题
之前开发数据湖新版本时使用
Spark
SQL来完成ETL的工作,但是遇到了
Spark
SQL不支持某些数据类型(比如ORACLE中的TimestampwithlocalTimezone)的问题。
alexlee666
·
2023-11-28 20:49
超过100个的优秀开源项目
Github:https://github.com/
Spark
DevNetwork/Rock详细介绍:点击查看145、用于自动化测试Windows应用程序的开源框架(Flau
程序猿的杂货店
·
2023-11-28 14:33
开源项目集合
开源
Spark
自定义外部数据源
翻译自:Extending
Spark
DatasourceAPI:writeacustom
spark
datasourceDataSourceAPIBasicInterfacesBaseRelation:展示从
一生逍遥一生
·
2023-11-28 13:01
终于拿到了阿里2023年度九大Java技术文档——面试题+文档+白皮书
2023年阿里巴巴面试参考指南(泰山版)阿里巴巴1000道Java工程师面试题(2023版)阿里巴巴2023版JDK源码笔记(2月第三版)阿里巴巴Java开发手册1.4.0阿里巴巴Java
性能调优
实战(
隔壁老王的代码
·
2023-11-28 12:06
java
面试
jvm
Java中的jvm——面试题+答案(JVM的一些高级概念、调优技巧、垃圾回收算法等)——第13期
当涉及到Java虚拟机(JVM)时,面试官可能涉及更深入的问题,涵盖
性能调优
、垃圾回收算法、类加载机制等方面。什么是类加载机制?请解释类加载的过程。
Keep forward upup
·
2023-11-28 12:31
Java基础
jvm
java
算法
StarRocks从入门到精通系列六:使用EXPORT、
Spark
、Flink从StarRocks中导出数据
StarRocks从入门到精通系列六:使用EXPORT、
Spark
、Flink从StarRocks中导出数据一、使用EXPORT导出数据1.背景信息2.导出流程3.基本原理4.相关配置5.基本操作6.最佳实践二
最笨的羊羊
·
2023-11-28 11:38
大数据
日常分享专栏
大数据
StarRocks
EXPORT
Spark
Flink
Spark
SQL与parquet,处理decimal类型数据时遇到的问题及注意事项
Spark
SQL为了更好的性能,在读写Hivemetastoreparquet格式的表时,会默认使用自己的ParquetSerDe,而不是采用Hive的SerDe进行序列化和反序列化。
雾岛与鲸
·
2023-11-28 11:03
数据仓库
hive
spark
spark
sql 自动DataSourceV2源
表模型明细模型:表中会存在主键重复的数据行,并且与导入的数据是完全对应的。您可以召回所导入的全部历史数据。聚合模型:表中不存在主键重复的数据行,主键满足唯一性约束。导入的数据中主键重复的数据行聚合为一行,即具有相同主键的指标列,会通过聚合函数进行聚合。您只能召回导入的全部历史数据的聚合结果,但是无法召回历史明细数据。主键模型和更新模型:表中不存在主键重复的数据行,主键满足唯一性约束。最新导入的数据
大数据启示录
·
2023-11-28 11:00
程序人生
Nginx
性能调优
策略
以下是一些常见的Nginx
性能调优
策略:一、调整worker_processes和worker_connections在Nginx配置文件中,可以通过worker_processes和worker_connections
Y2000104
·
2023-11-28 10:34
nginx
服务器
运维
Spark
面试题集锦
1、什么是Apache
Spark
?
Spark
是什么?是基于内存计算的分布式的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。
猿界零零七
·
2023-11-28 09:53
知识总结
spark
大数据
Spark
升级中对log4j中的一些思考
背景最近在做
Spark
版本的升级(由
spark
3.1升级到
spark
3.5),其实单纯从
spark
升级涉及到的log4j来说,并没有什么能够记录的,但是由于公司内部做了
Spark
的serveless,把
鸿乃江边鸟
·
2023-11-28 09:03
spark
闲谈
大数据
spark
log4j
大数据
数据算法 Hadoop/
Spark
大数据处理---第十章
本章实现方式基于传统
spark
来实现基于传统Scala来实现本章实现方式的思路-
spark
:1.先创建Java
Spark
Context,textFile读入文件。
_Kantin
·
2023-11-28 08:05
spark
的createDstream和createDirectStream区别
spark
读取kafka数据流提供了两种方式createDstream和createDirectStream。
香山上的麻雀
·
2023-11-28 05:16
Zabbix 性能优化(学习笔记十八)
1、
性能调优
思路.不要使用默认的模板,应该自己定制模板.数据库调优.架构优化,如果使用分布式,各服务器功能独立.Items、trigger调优.更换更好的硬件2、
性能调优
参数zabbix_server.confStartPollers
SkTj
·
2023-11-28 00:17
Spark
-Streaming KafkaClient 异常解决
在使用
Spark
-Streaming消费Kafka数据的时候,使用如下命令提交到yarnCausedby:java.lang.IllegalArgumentException:Couldnotfinda'KafkaClient'entryintheJAASconfiguration.Systemproperty'java.security.auth.login.config'isnotsetato
大猪大猪
·
2023-11-27 23:13
spark
之OOM常见问题梳理(一)
—王小波一、
Spark
报错信息问题一1.描述org.apache.
spark
.shuffle.FetchFailedException这种问题一般发生在有大量shuffle操作的时候,task不断的failed
写轮眼之大数据
·
2023-11-27 20:34
spark
spark
大数据
Flink入门(一)——Apache Flink介绍
随着雅虎对hadoop的开源,越来越多的大数据处理技术开始涌入人们的视线,例如目前比较流行的大数据处理引擎Apache
Spark
,基本上已经取代了MapReduce成为当前大数据处理的标准。
大数据流动
·
2023-11-27 20:03
Structured Streaming基本使用
StructuredStreaming定义结构化流处理是
Spark
中用于处理实时流数据的API。它提供了类似于对静态数据集进行操作的高级抽象,允许你以类似的方式处理实时数据流。
linbokang
·
2023-11-27 19:46
spark
大数据
sql
阿里巴巴java
性能调优
实战:ArrayList还是LinkedList?使用不当性能差千倍
ArrayList还是LinkedList?使用不当性能差千倍集合作为一种存储数据的容器,是我们日常开发中使用最频繁的对象类型之一。JDK为开发者提供了一系列的集合类型,这些集合类型使用不同的数据结构来实现。因此,不同的集合类型,使用场景也不同。很多同学在面试的时候,经常会被问到集合的相关问题,比较常见的有ArrayList和LinkedList的区别。相信大部分同学都能回答上:“ArrayLis
Charles__LUO
·
2023-11-27 19:34
链表
java
数据结构
编程语言
面试
Apache Iceberg核心原理分析文件存储及数据写入流程
相较于Hudi、Delta与
Spark
的强耦合,Iceberg可以与多种计算引擎对接,目前社区
王知无(import_bigdata)
·
2023-11-27 19:25
大数据
hive
java
android
spark
JVM下篇:性能监控与调优篇
1.概述篇1.1.大厂面试题支付宝:支付宝三面:JVM
性能调优
都做了什么?小米:有做过JVM内存优化吗?
chenfl0808
·
2023-11-27 19:08
java
java
面试
程序人生
后端
Crazy Boy Parkour
Thebravelittleboystartedhi
spark
ourandmadeacrazyadventureontheroadfullofmonstersandtraps.Buttheroadaheadisnotsosmooth
Madelines
·
2023-11-27 19:20
Nginx安全优化与
性能调优
目录Nginx基本安全优化隐藏Nginx软件版本号信息更改源码隐藏Nginx软件名及版本号修改Nginx服务的默认用户修改参数优化Nginx服务性能优化Nginx服务的worker进程数1.优化NGINX进程对应的配置2.优化Nginx进程个数的策略3.查看Web服务器CPU硬件资源信息4.修改服务器Nginx配置绑定不同的Nginx进程到不同的CPU上Nginx事件处理模型优化调整Nginx单进
java领域
·
2023-11-27 17:42
sql
java
spring
数据库开发
数据库架构
Flink实时流计算入门系列(一)
image这几年大数据的飞速发展,出现了很多热门大数据计算框架,著名的Hadoop、Storm、
Spark
,他们都专注于各自的应用场景。
晨冉1688
·
2023-11-27 17:17
2023_
Spark
_实验二十二:Zookeeper的集群安装
Zookeeper的集群安装一、集群的规划二、Zookeeper配置三、Zookeeper启动一、集群的规划Zookeeper集群:192.168.137.110(bigdata112)192.168.137.111(bigdata113)192.168.137.112(bigdata114)二、Zookeeper配置在主节点(bigdata112)上配置ZooKeeper配置/opt/soft_
pblh123
·
2023-11-27 17:26
spark
zookeeper
ubuntu
2023_
Spark
_实验二十一:Zookeeper单机安装与配置
zookeeper单机安装与配置一、zookeeper的安装1.上传zookeeper-3.4.5.tar.gz到/tools目录下2.解压安装zookeeper到/training中tar-zvcfzookeeper-3.4.5.tar.gz-C/opt/soft_installed/zookeeper-3.4.53.配置环境变量vim/home/lh/.bashrc#添加内容如下exportZ
pblh123
·
2023-11-27 17:52
Spark实验
Linux
zookeeper
大数据
linux
Spark
性能调优
05-Shuffle调优
1.
Spark
Shuffle概述在
Spark
的源码中,负责shuffle过程的执行、计算和处理的组件主要就是ShuffleManager,也即shuffle管理器。
CoderJed
·
2023-11-27 16:00
解决
Spark
SQL导致的JVM栈内存溢出方法_尚硅谷大数据培训
当
Spark
SQL的sql语句有成百上千的or关键字时,就可能会出现Driver端的JVM栈内存溢出。
尚硅谷铁粉
·
2023-11-27 16:52
jvm
大数据
java
在
spark
环境中运行demo的时候报错
在
spark
环境中运行demo的时候报错,怎么解决?
我是钟钟
·
2023-11-27 12:07
java开发
spark
yarn
spark
官网首页翻译
官网:http://
spark
.apache.org/Download(下载)Libraries(SQLAndDataFrame、
Spark
Streaming、MLlib、Third-PartyProjects
xiaogao2017
·
2023-11-27 12:36
spark
spark
PHP调用
spark
模型,php – Laravel
Spark
没有正确地引入css
我正在玩
Spark
,以便学习如何使用它.我按照安装说明在Homestead下进行了新的安装.从路由页面生成的css链接是没有生成css.因此,主页被顶起.任何人都可以帮我追查问题吗?
比较擅长理性皮
·
2023-11-27 12:34
PHP调用spark模型
java调用
spark
_详解Java编写并运行
spark
应用程序的方法
我们首先提出这样一个简单的需求:现在要分析某网站的访问日志信息,统计来自不同IP的用户访问的次数,从而通过Geo信息来获得来访用户所在国家地区分布状况。这里我拿我网站的日志记录行示例,如下所示:121.205.198.92--[21/Feb/2014:00:00:07+0800]"GET/archives/417.htmlHTTP/1.1"20011465"http://shiyanjun.cn/
小理同学
·
2023-11-27 12:03
java调用spark
(二)
Spark
客户端的使用
spark
客户端作用:我们可以通过客户端发送消息,实现消息拦截的现象展示。下载并安装
Spark
下载地址。
黄土地的孩子
·
2023-11-27 12:32
Openfire
openfire
spark
Spark
的部署与使用
1相关概念
Spark
是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Vic·Tory
·
2023-11-27 12:01
大数据
spark
大数据
hadoop
spark
体验
前言
spark
作为大数据计算引擎,为大数据的计算提供了一套新的底层模型;从存储角度,它借助内存作为首选方式,比hadoop快百倍。记录下一些重点感悟。
scofielong
·
2023-11-27 12:00
技术精进之路
spark
spark
-core包源码编译以及打包运行
一、集群环境下运行系统打包
spark
在mavenprojects视图选择
Spark
ProjectParentPOM(root),然后选中工具栏倒数第四个按钮(shipTestsmode)按下,这时Liftcycle
五环旗
·
2023-11-27 12:58
Spark
源码编译
spark集群
打包
Spark
Desk知识库 + ChuanhuChatGPT前端 = 实现轻量化知识库问答
实现两个下拉框进行联动案例解读:change/click/input实践(三)在Gradio实现分栏、分页的效果(二)Gradio的重要函数以及一些代码示例学习(一)好了,终于可以把笔者最终的想法开始实践了:
Spark
Desk
悟乙己
·
2023-11-27 12:20
LLM大模型
前端
websocket
星火大模型
chuanhuchatgpt
Mongodb中Aggregation特性
Mongodb是目前最受欢迎的大数据存储平台之一,它可以作为云计算技术的底层存储层,比如为
spark
、hadoop、pig、hive、drill等计算框架提供源数据。
shift_alt_ctrl
·
2023-11-27 12:45
Kafka基本原理详解
)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/
Spark
昙花逐月
·
2023-11-27 10:46
KAFKA
kafka
分布式
big
data
智能AIGC写作系统ChatGPT系统源码+Midjourney绘画+支持GPT-4-Turbo模型+支持GPT-4图片对话
一、AI创作系统
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2023-11-27 09:59
人工智能
软件源码
ChatGPT
chatgpt
midjourney
人工智能
AIGC
AI作画
spark
篇(一)——
Spark
核心概念与操作
image.png1
Spark
核心概念与操作1.1
Spark
简介Apache
Spark
是新兴的一种快速通用的大规模数据处理引擎。
许志辉Albert
·
2023-11-27 08:53
Intellij之
Spark
Scala开发环境搭建
https://www.jianshu.com/p/200473f264bchttps://blog.csdn.net/a2011480169/article/details/52712421参考博客:1、http://wwwlouxuemingcom.blog.163.com/blog/static/20974782201321953144457/2、http://blog.csdn.net/s
piziyang12138
·
2023-11-27 08:32
Spark
Core源码精读计划#18:与RDD的重逢
目录前言RDD抽象类概述构造方法与成员属性需要RDD子类实现的方法RDD的五要素RDD继承体系与算子概述RDD的子类转换算子动作算子总结前言在前面的17篇文章中,我们对以
Spark
Context和
Spark
Env
LittleMagic
·
2023-11-27 07:33
Spark
分布式机器学习源码分析:线性模型
Spark
是一个极为优秀的大数据框架,在大数据批处理上基本无人能敌,流处理上也有一席之地,机器学习则是当前正火热AI人工智能的驱动引擎,在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。
大数据之眸
·
2023-11-27 06:55
最新AI创作系统ChatGPT网站运营源码、支持GPT-4-Turbo模型,图片对话识图理解,支持DALL-E3文生图
一、AI创作系统
Spark
Ai是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT?小编这里写一个详细图文教程吧!
只恨天高
·
2023-11-27 06:49
人工智能
系统源码
chatgpt
chatgpt
人工智能
源码软件
midjourney
最新AI创作系统ChatGPT系统运营源码+DALL-E3文生图+支持OpenAI-GPT全模型+国内AI全模型
一、AI创作系统
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
只恨天高
·
2023-11-27 06:48
人工智能
chatgpt
系统源码
chatgpt
人工智能
源码软件
上一页
43
44
45
46
47
48
49
50
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他