E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark源码解析
py
spark
学习rdd处理数据方法——学习记录
python黑马程序员"""文件,按JSON字符串存储1.城市按销售额排名2.全部城市有哪些商品类别在售卖3.上海市有哪些商品类别在售卖"""frompy
spark
import
Spark
Conf,
Spark
Contextimportosimportjsonos.environ
亭午
·
2025-03-23 20:12
学习
数据湖Iceberg、Hudi和Paimon比较_数据湖框架对比(1)
ApacheIcebergApacheHudiApachePaimonSchemaEvolutionALLback-compatibleback-compatibleSelf-definedschemaobjectYESNO(
spark
-schema
2301_79098963
·
2025-03-23 17:45
程序员
知识图谱
人工智能
Apache大数据旭哥优选大数据选题
售后态度和技术都很重要定制按需求做要求不高就实惠一点定制需提前沟通好怎么做,这样才能避免不必要的麻烦python、flask、Django、mapreduce、mysqljava、springboot、vue、echarts、hadoop、
spark
Apache大数据旭
·
2025-03-23 13:12
大数据定制选题
java
hadoop
spark
开发语言
idea
hive
数据库架构
Azure Delta Lake、Databricks和Event Hubs实现实时欺诈检测
AzureEventHubs/Kafka摄入实时数据,通过DeltaLake实现Exactly-Once语义,实时欺诈检测(流数据写入DeltaLake,批处理模型实时更新),以及具体实现的详细步骤和关键Py
Spark
weixin_30777913
·
2025-03-23 03:12
azure
云计算
探索数据安全新境界:Apache
Spark
SQL Ranger Security插件深度揭秘
探索数据安全新境界:Apache
Spark
SQLRangerSecurity插件深度揭秘项目地址:https://gitcode.com/gh_mirrors/sp/
spark
-ranger随着大数据的爆炸性增长
乌昱有Melanie
·
2025-03-22 23:44
基于Azure云平台构建实时数据仓库
设计Azure云架构方案实现AzureDeltaLake和AzureDatabricks,结合电商网站的流数据,构建实时数据仓库,支持T+0报表(如电商订单分析),具以及具体实现的详细步骤和关键Py
Spark
weixin_30777913
·
2025-03-22 18:15
云计算
azure
开发语言
spark
python
《Java线程池深度解析:从核心参数到饱和策略实战》
本文通过电商秒杀场景贯穿线程池参数调优全过程,结合ThreadPoolExecutor
源码解析
核心机制,并给出动态线程池与监控报警的最佳实践。
云之兕
·
2025-03-22 06:25
java基础入门到精通
java
开发语言
优化Apache
Spark
性能之JVM参数配置指南
Apache
Spark
运行在JVM之上,JVM的垃圾回收(GC)、内存管理以及堆外内存使用情况,会直接对
Spark
任务的执行效率产生影响。
weixin_30777913
·
2025-03-21 13:58
jvm
spark
大数据
开发语言
性能优化
GraphCube、
Spark
和深度学习技术赋能快消行业关键运营环节
GraphCube图多维数据集技术、
Spark
大数据分析处理技术和深度学习技术的结合,为这些环节提供了智能化、动态化和实时化的解决方案,显著提升业务运营效率和企业利润。一、技术
weixin_30777913
·
2025-03-21 13:28
开发语言
大数据
深度学习
人工智能
spark
【新品发售】NVIDIA 发布全球最小个人 AI 超级计算机 DGX
Spark
GTC2025大会上,NVIDIA正式推出了搭载NVIDIAGraceBlackwell平台的个人AI超级计算机——DGX
Spark
。赞奇可接受预订,直接私信后台即刻预订!
·
2025-03-21 12:09
segmentfault
Kafka Connect Node.js Connector 指南
KafkaConnectNode.jsConnector指南kafka-connectequivalenttokafka-connect:wrench:fornodejs:
spark
les::turtle
丁操余
·
2025-03-21 12:39
JAVA学习-练习试用Java实现“对大数据集中的网络日志进行解析和异常行为筛查”
问题:编写一个
Spark
程序,对大数据集中的网络日志进行解析和异常行为筛查。解答思路:下面是一个简单的
Spark
程序示例,用于解析网络日志并筛查异常行为。
守护者170
·
2025-03-21 07:30
java学习
java
学习
JAVA学习-练习试用Java实现“实现一个
Spark
应用,对大数据集中的文本数据进行情感分析和关键词筛选”
问题:实现一个
Spark
应用,对大数据集中的文本数据进行情感分析和关键词筛选。
守护者170
·
2025-03-21 07:30
java学习
java
学习
Hive与
Spark
的UDF:数据处理利器的对比与实践
文章目录Hive与
Spark
的UDF:数据处理利器的对比与实践一、UDF概述二、HiveUDF解析实现原理代码示例业务应用三、
Spark
UDF剖析-JDBC方式使用
Spark
ThriftServer设置通过
窝窝和牛牛
·
2025-03-20 23:22
hive
spark
hadoop
尚硅谷电商数仓6.0,hive on
spark
,
spark
启动不了
在datagrip执行分区插入语句时报错[42000][40000]Errorwhilecompilingstatement:FAILED:SemanticExceptionFailedtogeta
spark
session
新时代赚钱战士
·
2025-03-20 20:57
hive
spark
hadoop
Optional
源码解析
和示例解析
Optional
源码解析
packagejava.util;importjava.util.function.Consumer;importjava.util.function.Function;importjava.util.function.Predicate
飞翔中文网
·
2025-03-20 14:11
Java
开发语言
java
jdk
数据中台(二)数据中台相关技术栈
1.平台搭建1.1.Amabari+HDP1.2.CM+CDH2.相关的技术栈数据存储:HDFS,HBase,Kudu等数据计算:MapReduce,
Spark
,Flink交互式查询:Impala,Presto
Yuan_CSDF
·
2025-03-20 05:25
#
数据中台
一文搞懂大数据神器
Spark
,真的太牛了!
Spark
是什么在如今这个大数据时代,数据量呈爆炸式增长,传统的数据处理方式已经难以满足需求。就拿电商平台来说,每天产生的交易数据、用户浏览数据、评论数据等,数量巨大且种类繁多。
qq_23519469
·
2025-03-20 04:19
大数据
spark
分布式
Flink读取kafka数据并写入HDFS
硬刚大数据系列文章链接:2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之
Spark
SQL篇2021
王知无(import_bigdata)
·
2025-03-19 22:59
Flink系统性学习专栏
hdfs
kafka
flink
元戎启行最新战略RoadAGI:所有移动智能体都将被AI驱动
会上,公司CEO周光发表了技术主题演讲,展示了公司的最新战略布局RoadAGI,并发布道路通用人工智能平台——AI
Spark
(以下简称”
Spark
平台”)。
·
2025-03-19 16:16
量子位
Spark
SQL编程-RDD、DataFrame、DataSet
三者之间的关系在
Spark
SQL中
Spark
为我们提供了两个新的抽象,分别是DataFrame和DataSet。他们和RDD有什么区别呢?
早拾碗吧
·
2025-03-19 14:24
Spark
spark
hadoop
大数据
sparksql
How
Spark
Read Sftp Files from Hadoop SFTP FileSystem
GradleDependenciesimplementation('org.apache.
spark
:
spark
-sql_2.13:3.5.3'){excludegroup:"org.apache.logging.log4j
IT•轩辕
·
2025-03-19 13:18
Cloudy
Computation
spark
hadoop
大数据
py
spark
遇到**Py4JJavaError** Traceback (most recent call last) ~\AppData\
1401292359.pyin---->1feat_df.show(5,vertical=True)D:\Anaconda3\envs\recall-service-cp4\lib\site-packages\py
spark
2pi
·
2025-03-19 12:44
spark
python
中电金信25/3/18面前笔试(需求分析岗+数据开发岗)
MapReduce
Spark
StormFlink解析:Hadoop的核心组件是HDFS(分布式文件系统)和MapReduce(分布式计算框架)。
苍曦
·
2025-03-19 12:43
需求分析
前端
javascript
Spring之Bean生命周期
源码解析
-一文掌握(一)
Spring最重要的功能就是帮助程序员创建对象(也就是IOC),而启动Spring就是为创建Bean对象做准备,所以我们先明白Spring到底是怎么去创建Bean的,也就是先弄明白Bean的生命周期。Bean的生命周期就是指:在Spring中,一个Bean是如何生成的,如何销毁的Bean的生成过程1.生成BeanDefinitionSpring启动的时候会进行扫描,会先调用org.springfr
小徐Chao努力
·
2025-03-18 23:19
源码分析
spring
java
后端
Spark
集群启动与关闭
Hadoop集群和
Spark
的启动与关闭Hadoop集群开启三台虚拟机均启动ZookeeperzkServer.shstartMaster1上面执行启动HDFSstart-dfs.shslave1上面执行开启
陈沐
·
2025-03-18 23:17
spark
spark
hadoop
big
data
Spark
解析_
spark
.
spark
Context.getConf().getAll()
spark
.
spark
Context.getConf().getAll()是Apache
Spark
中的一段代码,用于获取当前
Spark
应用程序的所有配置项及其值。
闯闯桑
·
2025-03-18 21:03
spark
大数据
分布式
Pandas与Py
Spark
混合计算实战:突破单机极限的智能数据处理方案
Py
Spark
虽能处理PB级数据,但在开发效率和局部计算灵活性上存在不足。
Eqwaak00
·
2025-03-18 19:52
Pandas
pandas
学习
python
科技
开发语言
自定义
Spark
启动的metastore_db和derby.log生成路径
1.进入安装
spark
目录的conf目录下2.复制
spark
-defaults.conf.template文件为
spark
-defaults.conf3.在
spark
-defaults.conf文件的末尾添加一行
节昊文
·
2025-03-18 15:53
spark
大数据
分布式
介绍 Apache
Spark
的基本概念和在大数据分析中的应用
Apache
Spark
是一个开源的集群计算框架,最初由加州大学伯克利分校的AMPLab开发,用于大规模数据处理和分析。
佛渡红尘
·
2025-03-18 13:31
apache
从“笨重大象”到“敏捷火花”:Hadoop与
Spark
的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与
Spark
的大数据技术进化之路说起大数据技术,Hadoop和
Spark
可以说是这个领域的两座里程碑。
Echo_Wish
·
2025-03-18 12:57
大数据
大数据
hadoop
spark
Hive 与
Spark
SQL 的语法差异及性能对比
在大数据处理领域,Hive和
Spark
SQL都是极为重要的工具,它们为大规模数据的存储、查询和分析提供了高效的解决方案。
自然术算
·
2025-03-18 09:22
Hive
hive
hadoop
大数据
spark
【Vue.js 2.x
源码解析
】第18章 从Vue源码分析计算属性与侦听属性的本质差别
想深入了解Vue2.x源码底层原理实现,从编译系统、渲染系统到响应式系统vue-router和vuex等实现方式可以关注『Vue.js2.x源码精讲』专栏或查看专栏目录了解详情从Vue源码分析计算属性与侦听属性的本质差别计算属性(Computed)——了解它,你就能高效利用它`defineComputed`和`createComputedGetter`侦听属性(Watch)——灵活监听变化`wat
代码简单说
·
2025-03-18 07:10
教你读懂Vue2.x源码
vue.js
前端
javascript
Spark
任务读取hive表数据导入es
使用elasticsearch-hadoop将hive表数据导入es,超级简单1.引入pomorg.elasticsearchelasticsearch-hadoop9.0.0-SNAPSHOT2.创建
spark
conf
小小小小小小小小小小码农
·
2025-03-17 18:25
hive
elasticsearch
spark
java
Spark
sql 中row的用法
在Apache
Spark
中,Row是一个表示一行数据的类。它是
Spark
SQL中DataFrame或Dataset的基本数据单元。
闯闯桑
·
2025-03-17 18:53
spark
sql
大数据
开发语言
Spark
Sql 简单校验的实现
在网上参考了很多资料,都是要依赖
Spark
session,这个需要
spark
环境,非常不友好,jdk版本也不好控制。
小小小小小小小小小小码农
·
2025-03-17 17:50
spark
sql
java
Py
Spark
安装及WordCount实现(基于Ubuntu)
在Ubuntu上安装Py
Spark
并实现WordCount,需要以下步骤:安装Py
Spark
:安装Java:Py
Spark
需要Java运行环境。
uui1885478445
·
2025-03-17 12:11
ubuntu
linux
运维
大数据手册(
Spark
)--
Spark
安装配置
若安装包下载缓慢,可复制链接到迅雷下载,亲测极速~准备工作
Spark
的安装过程较为简单,在已安装好Hadoop的前提下,经过简单配置即可使用。
WilenWu
·
2025-03-16 20:09
数据分析(Data
Analysis)
大数据
spark
分布式
国内外AI搜索产品盘点
序号AISearch产品名简介网站开发者1Perplexity强大的对话式AI搜索引擎https://www.perplexity.aiPerplexity2Gen
spark
AIAgent搜索引擎https
Suee2020
·
2025-03-16 11:38
人工智能
HIVE开窗函数
面试高频考点——HIVE开窗函数(基础篇)目录标题ETL,SQL面试高频考点——HIVE开窗函数(基础篇)一,窗口函数介绍二,开窗函数三,分析函数分类1,排序分析函数:实列解析对比总结2.聚合分析函数3.用
spark
Cciccd
·
2025-03-16 02:31
sql
hive
Hive MR &
Spark
& Yarn参数优化总结
一、hivemr参数调优:sethive.optimize.ppd=true;--开启谓词下推。--动态分区参数sethive.exec.mode.local.auto=true;sethive.exec.dynamic.partition.mode=nonstrict;--默认是strict,表示至少有一个静态分区,nonstri
大数据侠客
·
2025-03-16 02:31
hive相关问题汇总及解决
hive
spark
mr
yarn
参数
优化
基于时间序列预测的推理服务弹性扩缩容实战指南:(行业案例+数学推导+
源码解析
)
技术原理(数学公式)整体架构请求量预测→扩缩容决策→资源配置动态调整三阶段闭环,周期为5-30分钟核心预测模型(时间序列预测)LSTM预测公式(CSDN兼容格式):$$h_t=\text{LSTM}(x_t,h_{t-1})\\\hat{y}_{t+1}=W_h\cdoth_t+b_h$$其中Wh∈Rd×1W_h\in\mathbb{R}^{d\times1}Wh∈Rd×1为权重矩阵,ddd为隐藏
燃灯工作室
·
2025-03-15 23:12
Ai
计算机视觉
语音识别
目标检测
机器学习
人工智能
Spark
中创建 DataFrame 的2种方式对比
spark
.createDataFrame(data).toDF("name","age")和
spark
.createDataFrame(
spark
.
spark
Context.parallelize(data
闯闯桑
·
2025-03-15 20:20
spark
大数据
分布式
scala
python手写kmeans算法
kmean聚类是最基础和常见的算法,工程上使用比较常见,
spark
,sklearn都有实现,本文手写实现kmeans#!
菜鸟懿
·
2025-03-15 09:26
机器学习
聚类
算法
python
数据分析大数据面试题大杂烩01
处理大量非实时数据政府:健康码,扫码之后确诊,找出与确诊对象有关联的人订单订单表(除商品以外所有信息),商品详情表,通过搜集用户title进行定制化推荐点击流数据通过埋点进行用户点击行为分析FLINK一般用来做实时
SPARK
爱学习的菜鸟罢了
·
2025-03-15 09:19
大数据
flink
大数据
面试
hive
hadoop
kafka
doris:SQL 方言兼容
提示从2.1版本开始,Doris可以支持多种SQL方言,如Presto、Trino、Hive、PostgreSQL、
Spark
、Clickhouse等等。
向阳1218
·
2025-03-15 01:07
大数据
doris
25年大数据开发省赛样题第一套,离线数据处理答案
省赛样题一,数据抽取模块这一模块的作用是从mysql抽取数据到ods层进行指标计算,在题目中要求进行全量抽取,并新增etl-date字段进行分区,日期为比赛前一天importorg.apache.
spark
.sql.
Spark
Sessionimportjava.util.PropertiesobjectTask1
Tometor
·
2025-03-15 00:01
大数据
spark
scala
flutter dio 组件
源码解析
1
dio使用方法看https://github.com/flutterchina/dio记录下dio配套组件dio_cookie_manager管理cookie的dio_http2_adapterhttp2适配器dio_smart_retry重试机制http_certificate_pinning配置固定证书比如就不能随意抓包curl_logger_dio_interceptorcurl生成器,比如
阿旭哟嘿
·
2025-03-14 07:37
flutter
什么是vue的keep-alive?它是如何实现的?具体缓存了什么内容?
文章目录一、`keep-alive`的核心作用二、实现原理1.缓存管理策略2.核心
源码解析
(Vue2.x简化版)3.缓存生命周期三、缓存的具体内容1.缓存对象结构2.具体缓存内容四、使用示例1.基础用法
北辰alk
·
2025-03-13 22:14
vue
前端
vue.js
缓存
spring
spark
ML入门,通俗解释机器学习的框架和算法
一、机器学习的整体框架(类比烹饪)假设你要做一道菜,机器学习的过程可以类比为:步骤-->烹饪类比-->机器学习对应1.确定目标|想做什么菜(红烧肉/沙拉)|明确任务(分类/回归/聚类)2.准备食材|买菜、洗菜、切菜|数据收集与预处理3.设计食谱|决定烹饪步骤和调料|选择算法和模型设计4.试做并尝味道|调整火候和调味|模型训练与调参5.最终成品|端上桌的菜|模型部署与应用二、机器学习的核心流程1.数
Tometor
·
2025-03-13 11:53
spark-ml
机器学习
算法
回归
数据挖掘
人工智能
scala
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他