E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark性能调优
基于
Spark
、NoSQL的实时数据处理实践
本文基于TalkingData张学敏在公司内部KOL的分享主题《基于
Spark
、NoSQL实时数据处理实践》的整理,同时也在DTCC大会上做了同主题的分享。
TalkingData
·
2023-12-04 01:10
【数据中台】开源项目(3)-Linkis
通过使用Linkis提供的REST/WebSocket/JDBC等标准接口,上层应用可以方便地连接访问MySQL/
Spark
/Hive/Presto/Flink等底层引擎,同时实现统一变量、脚本、用户定义函数和资源文件等用户资源的跨上层应用互通
码农丁丁
·
2023-12-03 23:42
#
数据中台
#
大数据
开源
数据中台
Linkis
产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战
作者:萧寒GitHubID:hx23840阿列夫科技原来的技术平台是基于Hadoop,
Spark
平台搭建的,为了充分的满足业务需求,做了大量接口封装。
微众开源
·
2023-12-03 23:12
开源
微众开源
大数据
科技
hadoop
大数据
推荐系统大规模特征工程与FEDB的
Spark
基于LLVM优化
今天给大家分享第四范式在推荐系统大规模特征工程与
Spark
基于LLVM优化方面的实践,主要包括以下四个主题。
第四范式开发者社区
·
2023-12-03 18:06
Spark
python
hadoop
spark
大数据
flink
基于hadoop的商品推荐系统_推荐系统大规模特征工程与FEDB的
Spark
基于LLVM优化
今天给大家分享第四范式在推荐系统大规模特征工程与
Spark
基于LLVM优化方面的实践,主要包括以下四个主题。
weixin_39541212
·
2023-12-03 18:05
基于hadoop的商品推荐系统
Javalin:一个轻量的Web Framework
Javalin最初是
Spark
Java的一个分支,后来受到JavaScript框架koa.js的
Java精选
·
2023-12-03 18:23
python
开发语言
MySQL | 查询接口
性能调优
、编码方式不一致导致索引失效
背景最近业务反馈,列表查询速度过慢,需要优化。到正式环境系统去验证,发现没筛选任何条件的情况下,查询需要三十多秒,而筛选了条件之后需要13秒。急需优化。先说结论:连表用的字段编码方式不一致导致索引不可用。查早原因1.遇到慢查询,首先需要定位慢的原因,先查到接口,看内部实现先初步猜测慢的原因,然后验证。先本地运行项目,找到相应的查询接口,利用MbBatisLog插件获取到分页查询的SQL,拿到数据库
赫萝的红苹果
·
2023-12-03 18:50
mysql
性能优化
数据库
JVM运行时数据区域
文章目录内存结构程序计数器(寄存器)虚拟机栈局部变量表两类异常状况线程运行诊断本地方法栈堆方法区运行时常量池串池(StringTable)字符串的拼接串池的位置StringTable垃圾回收StringTable
性能调优
直接内存内存结构程序计数器
this.xxxx
·
2023-12-03 16:56
Java
jvm
python
开发语言
ApacheCN 数据科学译文集 20210313 更新
数据科学和机器学习实践指南零、前言一、入门二、统计和概率回顾和Python实践三、Matplotlib和高级概率概念四、预测模型五、Python机器学习六、推荐系统七、更多数据挖掘和机器学习技术八、处理真实数据九、Apache
Spark
布客飞龙
·
2023-12-03 14:48
基于Python和
Spark
的大数据音乐推荐系统的设计与实现
基于Python和
Spark
的大数据音乐推荐系统的设计与实现摘要随着科学技术的发展,人们对服务的要求也越来越高。为了能提高管理者的管理效能,现在的音乐推荐管理必须要脱离复杂的手工管理方式。
程序设计123
·
2023-12-03 13:55
python
大数据
python
spark
IDEA -source 1.5 中不支持 lambda 表达式解决方法
一直在用scala编写
Spark
或者Flink代码,对于Java的lambda表达式一直认为没有前者一直点(".")下去方便,偶然用后者写代码中间出现一些小的设置问题,记录一下:示例代码finalLocalEnvironmentenv
架构师联盟
·
2023-12-03 12:29
2023_
Spark
_实验二十三:Kafka的安装与基本操作
Kafka的安装与基本操作一、前提工作二、Kafka安装三、Kafka基本操作一、前提工作必须安装了zookeeper单机可参考:zookeeper单机安装与配置集群可参考:zookeeper的集群安装二、Kafka安装上传kafka_2.11-2.4.1.tgz到/tools目录下解压安装到/opt/soft_installed/目录下tar-zvxfkafka_2.11-2.4.1.tgz-C
pblh123
·
2023-12-03 12:17
Spark实验
spark
kafka
大数据
Spark
经典案例分享
Spark
经典案例链接操作案例二次排序案例链接操作案例案例需求数据介绍代码如下:packagebase.charpter7importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.fs
pblh123
·
2023-12-03 12:45
Spark
spark
element-ui 文件上传组件添加 MD5编码参数
md5编码使用的依赖为
spark
-md5.js参考了csdn上的一篇文章:基于vue框架下使用Element-UI获取文件MD5值并上传。
十万个维他奶
·
2023-12-03 11:31
【
Spark
基础】-- RDD、DataFrame 和 Dataset 的对比
目录一、简要介绍RDD、DataFrame和DataSet1、RDD1.1什么是RDD?1.2RDD的五大特性是什么?
high2011
·
2023-12-03 09:38
Spark
spark
大数据
分布式
【数据中台】开源项目(5)-Amoro
AmoroisaLakehousemanagementsystembuiltonopendatalakeformats.WorkingwithcomputeenginesincludingFlink,
Spark
码农丁丁
·
2023-12-03 08:05
#
大数据
#
数据中台
开源
数据中台
Amoro
domain参数错误导致讯飞星火大模型:发生错误,错误码为:10404
https://xinghuo.xfyun.cn/
spark
api解决星火1.5,2,3版本分别传general,generalv2,generalv3参考
shy_snow
·
2023-12-03 07:32
大模型
大模型
spark
写入数据报错
报错信息如下:Exceptioninthread"main"org.apache.
spark
.sql.AnalysisException:Cannotoverwritetabledwd.dim_user_infothatisalsobeingreadfromatorg.apache.
spark
.sql.DataFrameWriter.saveAsTable
南城守护
·
2023-12-03 06:47
spark
大数据
分布式
【
Spark
SQL】基础入门(重点:
Spark
SQL和Hive的异同、
Spark
SQL数据抽象)
【大家好,我是爱干饭的猿,本文重点介绍
Spark
SQL的定义、特点、发展历史、与hive的区别、数据抽象、
Spark
Session对象。
爱干饭的猿
·
2023-12-03 06:13
spark
hive
hadoop
数据仓库
spark
解码 SQL:深入探索 Antlr4 语法解析器背后的奥秘
你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、
Spark
和Flink等工具来编写SQL查询。
Light Gao
·
2023-12-03 06:21
数据仓库
sql
数据库
antlr4
AST
spark
黑猴子的家:
Spark
RDD 操作
所有这些操作主要针对两种类型的RDD:(1)数值RDD(2)键值对RDDRDD的所有转换操作都是懒执行的,只有当行动操作出现的时候
Spark
才会去真的运行,不同的RDD类型之间的转换,通过隐式转换完成,
黑猴子的家
·
2023-12-03 03:06
Spark
Streaming 窗口操作
热点搜索词滑动统计,每隔10秒钟,统计最近60秒钟的搜索词的搜索频次,并打印出排名最靠前的3个搜索词以及出现次数普通
Spark
Streaming处理方式,如果将时间间隔设置成60s,无法每隔10s输出一次结果
printf200
·
2023-12-03 02:27
spark
读取GBK文件的方法
spark
读取GBK文件乱码
spark
的textFile方法默认写死了读UTF-8格式的文件,读其他格式的文件则会显示乱码。
NikolasNull
·
2023-12-03 02:31
AI创作ChatGPT源码+AI绘画(Midjourney绘画)+DALL-E3文生图+思维导图生成
一、AI创作系统
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2023-12-03 00:25
chatgpt
人工智能
prompt
AIGC
midjourney
AI作画
Spark
Core源码精读计划#24:StaticMemoryManager——静态内存管理机制
目录前言MemoryManager的初始化静态内存管理器StaticMemoryManager构造方法计算堆内存储/执行内存总量内存申请方法静态内存管理布局图解总结前言在上一篇文章的最后,我们阅读了内存管理器MemoryManager抽象类的源码,并且提到它有两种实现:静态内存管理器StaticMemoryManager、统一内存管理器UnifiedMemoryManager。其中,StaticM
LittleMagic
·
2023-12-03 00:52
国产AI边缘计算盒子,双核心A55丨2.5Tops算力
●Mindstudio图形化开发环境,集成模型转换量化和网络
性能调优
工具,提高应用开发
深圳信迈科技DSP+ARM+FPGA
·
2023-12-02 22:36
AI边缘盒子
边缘计算
人工智能
spark
操作 hbase 之读取 hbase
1通过scan读取hbase表应用场景:当想读取hbase表数据,做进一步数据处理或数据分析时,需要用scan读取HBASE表。读取方法:file直到读取数据的inputformat是TableInputFormat,filefilekeyin:ImmutableBytesWritablerowkeyvaluein:Result一行(rowkey)的数据file1.1scan全表packageda
海牛大数据_青牛老师
·
2023-12-02 21:13
几张图让你彻底了解JAVASE、JAVAEE、JAVAWEB整个的知识体系
性能调优
、Spring,MyBatis,Netty源码分析的朋友可以加我的Java进阶群:818464711,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家
分不清java
·
2023-12-02 20:59
Hadoop进阶学习---MapReduce分布式计算架构
1.单词统计流程(文字简单描述)已知文件内容:hadoophivehadoop
spark
hiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片
Yan_bigdata
·
2023-12-02 19:30
hadoop
学习
mapreduce
Hdoop学习笔记(HDP)-Part.17 安装
Spark
2
目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊
·
2023-12-02 19:45
hadoop
学习
笔记
spark
hadoop
A.1[数据标注]:强烈推荐数据标注平台doccano----简介、安装、使用、踩坑记录
NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、
性能调优
、模型压缩算法等专栏详细介绍:[NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法
汀、人工智能
·
2023-12-02 14:30
NLP/知识图谱:信息抽取专栏
python
自然语言处理
paddlepaddle
深度学习
doccano
GaussDB如何进行
性能调优
GaussDB如何进行
性能调优
GaussDB
性能调优
过程需要综合考虑多方面因素,因此,调优人员应对系统软件架构、软硬件配置、数据库配置参数、并发控制、查询处理和数据库应用有广泛而深刻的理解。
Gauss松鼠会
·
2023-12-02 12:56
gaussdb
分布式
数据库
华为云
GaussDB
SQL
记录一次
性能调优
过程
目录配置参数调优程序调优带宽优化其他配置参数调优配置参数调优往往是投入最小但能立竿见影看到效果的方式JVM调优。根据服务器的内存,适当调整JVM的运行内存。例如服务器是256GB内存,jvm内存可调整至16GB。数据库连接数调优。通常可以配置最大200,最小100进行优化。在采购第三方数据库服务时一般要求供应商将此参数完成调优。中间件线程数调优。金蝶默认最大线程数是50,tomcat默认是200。
峪幽兰
·
2023-12-02 12:27
学习
JAVA
java
spark
- java 编程实现Word count
本文通过一个demon向读者展示,如何用
spark
实现wordcount功能。
良人与我
·
2023-12-02 11:37
Antlr4 - 自定义
Spark
SQL解析
Antlr4是一个强大的解析器的生成器,可以用来读取、处理、执行或翻译结构化文本,ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器,最出名的
Spark
计算引擎2.x就是用它来解析SQL的,是一个牛到没朋友的家伙
大猪大猪
·
2023-12-02 11:03
【
Spark
数仓项目】需求八:MySQL的DataX全量导入和增量导入Hive
【
Spark
数仓项目】需求八:MySQL的DataX全量导入和增量导入Hive文章目录一、mysql全量导入hive[分区表]需求介绍:二、mysql增量导入hive1.增量导入的第一种实现方法2.另一种方法是时间字段
程序终结者
·
2023-12-02 10:22
spark
mysql
hive
spark
RDD与DataFrame的相互转换
一、RDD与DataFrame的区别RDD转DataFrame原因及方式可以将RDD转成DataFrame之后,借用
spark
sql和sql以及HQL语句快速方便的使用sql语句统计和查询,比如说分组排名
火树银花之处
·
2023-12-02 10:47
Spark
spark
Spark
---DataFrame存储、
Spark
UDF函数、UDAF函数
四、DataFrame存储+
Spark
UDF函数1、储存DataFrame1)、将DataFrame存储为parquet文件2)、将DataFrame存储到JDBC数据库3)、将DataFrame存储到
30岁老阿姨
·
2023-12-02 10:46
Spark
spark
大数据
分布式
Spark
低版本适配Celeborn
Spark
-3.5版本以下使用Celeborn时,无法使用动态资源,对于低版本的
Spark
,Celeborn提供了patch。
woloqun
·
2023-12-02 10:16
celeborn
spark
patch
编译
动态资源
Spark
SQL 学习笔记----将RDD转换成DataFrame
一、RDD转换成DataFrame1、为什么要将RDD转换成DataFrame转换成DataFrame之后就可以直接针对HDFS等任何可以构建为RDD的数据,进行
Spark
SQL进行SQL查询了。
PZ~浪味仙
·
2023-12-02 10:46
Spark
SQL
2023_
Spark
_实验二十四:Kafka集群环境搭建
Kafka集群环境搭建一、环境说明二、安装步骤一、环境说明目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息,在当前版本即在本案例中,我们采用了外部的zookeeper,即搭建了三节点的集群zookeeper环境,以其作为Kafka2_12_3.1.0版本的元数据存储库。zookeeper环境配置如下:节点安装路径dataDir路径
pblh123
·
2023-12-02 10:44
Spark实验
spark
kafka
大数据
【详解】
Spark
数据倾斜问题由基础到深入详解-完美理解-费元星
数据倾斜定义:顾名思义,就是大量相似或相同数据聚集在一个块的节点里,导致计算和资源分配不均导致的计算缓慢(长尾)问题。数据倾斜原因:count(distinctfield)groupbyNULL空值Shuffle(概率最高、发生最普遍的数据倾斜问题,本文重点讲述这个)###################################################先说解决方案:1.相同值打散各
未来星_狒狒
·
2023-12-02 10:44
一
大数据技术
spark
大数据
分布式
数据分析
使用
Spark
写入数据到数据库表
项目场景:使用
Spark
写入数据到数据库表问题描述Column"20231201"notfoundinschemaSome(StructType(StructField(sdate,IntegerType
用吉他弹奏摇滚乐
·
2023-12-02 10:14
数据库
spark
mysql
Spark
SQL-MR、RDD、DataFrame三个编程模型演进
转载自:http://hbasefly.com/2017/02/16/
spark
sql-dataframe/
Spark
SQL历史回顾对
Spark
SQL了解的童鞋或多或少听说过Shark,不错,Shark
扎克begod
·
2023-12-02 10:12
Spark
spark
SparkSQL
【
Spark
】RDD转换DataFrame(反射机制)
Spark
支持多种格式文件生成DataFrame,只需在读取文件时调用相应方法即可,本文以txt文件为例。
卜塔
·
2023-12-02 10:42
Spark
spark
大数据
分布式
Spark
---
Spark
on Hive
1、
Spark
OnHive的配置1)、在
Spark
客户端配置HiveOn
Spark
在
Spark
客户端安装包下
spark
-2.3.1/conf中创建文件hive-site.xml:配置hive的metastore
30岁老阿姨
·
2023-12-02 10:40
Spark
spark
hive
大数据
【
Spark
基础】-- RDD 转 Dataframe 的三种方式
目录一、环境说明二、RDD转Dataframe的方法1、通过StructType创建Dataframe(强烈推荐使用这种方法)
high2011
·
2023-12-02 10:39
Spark
大数据综合
spark
大数据
分布式
【性能测试】性能分析和调优——步骤及案例
文章目录性能测试瓶颈分析常见的性能瓶颈分析
性能调优
性能调优
步骤
性能调优
案例案例一——CPU案例二——网络案例三——SQL查询案例四——JVM内存溢出阅读前建议先了解前一篇文章:【性能测试】性能测试监控关键指标性能测试瓶颈分析常见的性能瓶颈分析
最最菜的菜鸟
·
2023-12-02 09:32
性能测试
jmeter
sql
2023_
Spark
_实验二十四:
Spark
Streaming读取Kafka数据源:使用Direct方式
Spark
Streaming读取Kafka数据源:使用Direct方式一、前提工作安装了zookeeper安装了Kafka实验环境:kafka+zookeeper+
spark
实验流程二、实验内容实验要求
pblh123
·
2023-12-02 09:02
Spark实验
spark
kafka
大数据
【Java笔记+踩坑】设计模式——原型模式
导航:【Java笔记+踩坑汇总】Java基础+JavaWeb+SSM+SpringBoot+SpringCloud+瑞吉外卖/黑马旅游/谷粒商城/学成在线+设计模式+面试题汇总+
性能调优
/架构设计+源码
程序员小海绵【vincewm】
·
2023-12-02 08:25
Java学习路线
java
笔记
设计模式
1024程序员节
原型模式
上一页
39
40
41
42
43
44
45
46
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他