E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据平台Spark生态系统
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践
博主历时三年精心创作的《
大数据平台
架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建
大数据平台
太难了!给我发个工程原型吧!》
Laurence
·
2024-02-20 06:28
大数据专题
flink
catalog
hudi
metastore
hive
共用表
元数据
面试系列之《
Spark
》(持续更新...)
stage:一个job任务中从后往前划分,分区间每产生了shuffle也就是宽依赖则划分为一个stage,stage这体现了
spark
的pipeline思想,即数据在内存中尽可能的往后多计算,最后落盘,
atwdy
·
2024-02-20 06:07
Spark
面试
spark
数据仓库、
大数据平台
、数据中台的区别
2、数据仓库、
大数据平台
、数据中台都是什么?3、
大数据平台
硬件架构如何设计?4、数据仓库、
大数据平台
、数据中台架构如何理解?
000X000
·
2024-02-20 05:30
数据中台
我该建数仓、
大数据平台
还是数据中台?看完脑子终于清醒了
智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台;平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数据仓库、数据集市、
大数据平台
zl1zl2zl3
·
2024-02-20 05:30
大数据
中台
大数据
中台
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如Apache
Spark
,HadoopMapReduce,ApacheFlink等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
K8S-7--K8s资源对象(API/pod探针/sevice/volume/Statefulset/DaemonSet/PV/PVC/)/结合ceph
concepts/workloads/controllers/资源管理核心概念k8s的设计理念-分层架构:http://docs.kubernetes.org.cn/251.html#k8s分层架构云原生
生态系统
哈密瓜小贼
·
2024-02-20 05:53
k8s
kubernetes
docker
跨界学习打造多语言编程技能之路:Java 程序员如何高效掌握 Python 编程
作为一名Java程序员,你可能已经在面向对象编程、JVM
生态系统
以及丰富的框架方面构建了坚实的知识基础。
灸哥漫谈
·
2024-02-20 04:07
技术专项能力
python
初夏萱草合欢诗词七首:中庭植合欢,满庭萱草长
比如暑热,毒气,一方面需要自己有强大的免疫力,另一方面,依赖自然
生态系统
,相信五步之类,必有解药。萱草和合欢树,自上古时代就被人们利用。合欢树,晚春
初衣胜雪诗词解读
·
2024-02-20 04:02
我们发射探测器去外星球,会不会给外星球带去生命?
探测车出发前的严格消毒探测车出发前的严格消毒我们都知道人身上有微生物
生态系统
,我们发送到外星球的探测车同样也会有微生物的存在。最近一份研究显示,好奇号火星探测车表面有65种细菌。
奥秘365
·
2024-02-20 03:12
代币挨个数:TDE体弟易
实现数字资产
生态系统
的闭合循环,创建数字资产业态新形态,推进中小企业之间的产业通兑,
我们会一直有所期待
·
2024-02-20 01:43
手机远程控制树莓派-BLINKER应用(物联网基础)
由于我买了坚果云这个软件服务,所以我对云储存并无太大的兴趣,只是有时候要远程回家翻翻服务器上的东西,或者挂着下载个东西,跑个py
spark
之类的。
crossni
·
2024-02-20 00:15
硬件
HarmonyOS 鸿蒙应用开发(十一、面向鸿蒙开发的JavaScript基础)
它是用于构建用户界面的一种TypeScript方言,扩展了TypeScript以适应HarmonyOS
生态系统
的UI开发需求。
特立独行的猫a
·
2024-02-19 23:52
HarmonyOS极简教程
ubuntu
linux
运维
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化
Spark
、Hadoop、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
前端框架
这也促使了一个活跃的
生态系统
的生成以及与之相关的技术和框架的发展。如今诞生了非常多的框架和库,如果对每一个框架没有一个大致的了解,恐怕很难抉择。
air_b10f
·
2024-02-19 23:07
Linux下
Spark
offline安装graphframes包
文章目录背景安装步骤背景GraphX是
Spark
中用于图计算的模块.
Spark
安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker
·
2024-02-19 22:45
spark
linux
spark
自主可控时代,物联网呼唤怎样的操作系统?
来源:物联网智库作者:Levin导读物联网产业的竞争正在向着
生态系统
发展,包括互联网巨头和运营商在内的企业都在基于平台,积极布局上游关键技术和下游解决方案。
人工智能学家
·
2024-02-19 22:16
物联网
关于瑞·达利欧「原则」一书的思考(1)
可以把家庭看做一个
生态系统
,只要是系统就要接受存在差异、摩擦的可能性。而这些矛盾在育儿问题上又容易集中爆发。所以
花神也喝咖啡V
·
2024-02-19 21:56
为人父母如何培养孩子---《园丁与木匠》
园丁式培养的方法从儿童时期模仿和假装开始.作为家长,需要给孩子创造主动学习的机会.像园丁一样给花浇水施肥,但花自己成长.触碰心灵的感悟1、真正的园丁在种东西的时候,不是想着要种出最大的西红柿,或者最美的兰花,他创造的是一个
生态系统
笔尖上的理性
·
2024-02-19 21:34
主流开发语言和开发环境?
Java被广泛应用于企业级应用开发、移动应用(特别是Android应用)、游戏开发、大数据处理(如Hadoop
生态系统
)、云计算服务端开发等场景。C++简介:C+
dami_king
·
2024-02-19 20:50
开发语言
【天幕系列 02】开源力量:揭示开源软件如何成为技术演进与社会发展的引擎
文章目录导言01开源软件如何推动技术创新1.1开放的创新模式1.2快速迭代和反馈循环1.3共享知识和资源1.4
生态系统
的建设和扩展1.5开放标准和互操作性02开源软件的商业模式2.1支持和服务模式2.2
浅夏的猫
·
2024-02-19 19:49
随笔
热门话题
java
大数据
开源软件
程序人生
Python数据分析:NumPy、Pandas与Matplotlib库
Python是一种强大的编程语言,特别适合数据分析,主要得益于其丰富的库
生态系统
。NumPy、Pandas和Matplotlib是Python中最常用的数据分析库。
数据小爬虫
·
2024-02-19 18:40
api
电商api
python
数据分析
numpy
scrapy
开发语言
pandas
ICV报告:中美排名保持不变,仍居全球前二!
根据数据显示,美国在创新
生态系统
和技术能力方面是具有领先优势的,而中国则在人才和教育方面表现出色。各国在可持续发展与环境保护、人才与教育、技术创新与工业
生态系统
等方面情况
AI_Plus
·
2024-02-19 18:43
量子计算
人工智能
科技
AWS Serverless Py
Spark
指定 Python 版本(qbit)
的最新版本是6.15,自带的Python版本是3.7,尝试上传使用Python3.11Python环境打包技术栈Ubuntu22.04(x86)Linuxversion5.15Python3.11.5py
spark
3.4.1conda23.10.0conda-pack0.7.1
·
2024-02-19 16:05
SpringBoot的 8 个优点
目录1、简化配置2、快速开发3、微服务支持4、内嵌服务器5、健康监测6、热部署7、自动化管理8、社区支持和
生态系统
SpringBoot是一个基于Spring框架的快速开发框架,它通过提供一系列的自动配置
南方难见雪
·
2024-02-19 16:59
面试题
spring
boot
后端
java
Quick introduction to Apache
Spark
什么是
Spark
Apache
Spark
是一种快速通用的集群计算系统。它提供Java,Scala,Python和R中的高级API,以及支持通用执行图的优化引擎。
Liam_ml
·
2024-02-19 13:29
Spark
中多分区写文件前可以不排序么
背景
Spark
3.5.0目前
Spark
中的实现中,对于多分区的写入默认会先排序,这是没必要的。
鸿乃江边鸟
·
2024-02-19 13:10
分布式
spark
大数据
spark
大数据
分布式
Flink 细粒度滑动窗口性能优化
大数据技术AIFlink/
Spark
/Hadoop/数仓,数据分析、面试,源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口(窗口长度远远大于滑动步长)时,
hyunbar
·
2024-02-19 13:39
Flink
大数据
flink
java
数据库
【大数据面试题】006介绍一下Parquet存储格式的优势
同时一般查询使用时不会使用所有列,而是只用到几列,所以查询速度会更快压缩比例高因为是列式存储,所以可以对同一类型的一段做压缩,压缩比例高支持的平台和框架多在Hadoop,
Spark
,Presto,Python
Jiweilai1
·
2024-02-19 13:34
一天一道面试题
大数据
spark
hadoop
七天爆肝flink笔记
一.flink整体介绍及wordcount案例代码1.1整体介绍从上到下包含有界无界流支持状态特点与
spark
对比应用场景架构分层1.2示例代码了解了后就整个demo吧数据源准备这里直接用的文本文件gradle
我才是真的封不觉
·
2024-02-19 13:01
flink
笔记
大数据
【Web】CVE-2022-22947 SpringCloud Gateway SpEL漏洞学习
目录简介Actuator操作Gateway接口列表复现流程漏洞复现简单原理简介SpringBootActuator和SpringCloudGateway是Spring
生态系统
中的两个关键组件,它们在微服务架构中扮演着不同的角色
Z3r4y
·
2024-02-19 13:48
spring
cloud
gateway
vulhub
ctf
web
CVE-2022-22947
CVE
Web前端开发的框架可以应用到哪些地方
但是今天,他们面临着广泛且不断变化的开发技能
生态系统
;最近几年,我们使用JavaScript为主要的Web应用程序提供了强大的新库和框架,例如ReactJS,VueJS和angularJS。这3个可以
一只有头发的程序猿
·
2024-02-19 12:21
工作学习
web前端
JavaScript
编程
程序员
前端开发
企业级大数据安全架构(一)平台安全隐患
作者:楼高引言当谈到企业级
大数据平台
时,安全性是一个至关重要的方面。随着数据规模的不断增长和信息的敏感性,
大数据平台
面临着多种安全隐患,需要得到充分的关注和解决,以确保其在生产环境中可靠可用。
·
2024-02-19 11:48
大数据企业级安全性
(15)Hive调优——数据倾斜的解决指南
目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2
Spark
任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值
爱吃辣条byte
·
2024-02-19 11:50
#
Hive
大数据
hive
推荐10个最受欢迎的 Vue.js UI 库
Vue.js之所以受到青睐,很大一部分原因是其庞大的
生态系统
,特别是众多的UI库,这些库提供了预先构建的组件和工具,帮助开发者快速高效地构建出既美观又响应迅速的用户界面。
·
2024-02-19 10:15
vue.js
揭秘区块链的奥秘:链上智能如何诊断加密
生态系统
的健康状况
与其等到出事才应对,如果能够持续地诊断加密
生态系统
的健康状况,那该有多好?链上分析正好能做到这一点。通过深入分析区块链数据,我们可以建
·
2024-02-19 10:10
区块链
大数据平台
红蓝对抗 - 磨利刃,淬精兵! | 京东云技术团队
随着平台业务越来越复杂,红蓝对抗的作用愈来愈明显,下面将详细介绍
大数据平台
在本次双十一大促备战工作中是如何开展红蓝对抗的。图1.大促备战常见工作示意首先我们先了解一下什么是红蓝对抗,它都有哪些好处?
·
2024-02-19 10:27
大数据压力测试测试
Hive入门,Hive是什么?
它是建立在Hadoop
生态系统
之上的,利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
【网页设计】web前端期末大作业html+css
获取更多优质源码】web前端期末大作业:【毕设项目精品实战案例(1000套)】程序员有趣的告白方式:【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码:【echarts大屏展示
大数据平台
可视化
web学生网页设计
·
2024-02-15 10:47
web前端
css
dreamweaver
html
html5期末作业
Hive on
Spark
配置
前提条件1、安装好Hive,参考:Hive安装部署-CSDN博客2、下载好
Spark
安装包,链接:https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?
在下区区俗物
·
2024-02-15 10:51
hive
spark
hadoop
配置hive on
spark
配置hiveon
spark
1、上传
Spark
纯净版jar包到HDFS:hdfsdfs-mkdir/
spark
-jarshdfsdfs-put/opt/
spark
/jars/*/
spark
-jars2、修改
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive on
spark
配置经验
常规配置配置完,开启hadoop,开启
spark
(如果在hdfs上上传了纯净版的
spark
则不需要开启),开启hive注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Flink的DataSet的方式读取,另外下面还有
Spark
kikiki2
·
2024-02-15 06:39
基于GIS、RS、VORS模型、CCDM模型、geodetecto、GWR模型集成的
生态系统
健康的耦合协调分析
详情点击公众号:技术科研吧链接:基于GIS、RS、VORS模型、CCDM模型、geodetecto、GWR模型集成的
生态系统
健康的耦合协调分析前沿当空间大数据、云计算与人工智能发生碰撞,地理服务产业也不断发生变革与进步
慢腾腾的小蜗牛
·
2024-02-15 03:49
生态遥感
生态学
地理学
地理加权
生态系统
GIS
RS
遥感
狼吃羊,羊吃草?还是草控制羊,羊控制狼?
原因是,早期生态学家普遍认为,植物才是
生态系统
的主导力量,来自初级生产者的光合作用决定了一个区域
白鹤Victor
·
2024-02-15 01:19
(免费领源码)python+mysql+
spark
手机销售数据的可视化分析系统44127-计算机毕业设计项目选题推荐
摘要信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课题。针对手机销售数据管理等问题,对手机销售数据管理进行研究分析,然后开发设计出手机销售数据可视化系统以解决问题。手机销售数据可视化系统主要功能模块包括系统首页、轮播图、公告信息、资源管理(新闻资讯、新闻分类)交流管理(交流论坛、论坛分
2301_3224142804
·
2024-02-15 00:40
python
mysql
spark
java
spring
boot
php
c#
基于Kafka的实时计算引擎如何选择?
以Flink和
Spark
为首的实时计算引擎,成为实时计算场景的重点考虑对象。那么,今天就来聊一聊基于Kafka的实时计算引擎如何选择?Flinkor
Spark
?2.为何需要实时计算?
java菜
·
2024-02-14 19:37
认识B站,Z时代青年的世界和我们真的不一样
经过十年多的发展,围绕用户、创作者和内容,构建了一个源源不断产生优质内容的
生态系统
,B站已经涵盖7000多个兴趣圈层的多元文化社区。
快马行江湖
·
2024-02-14 18:58
调用讯飞火星AI大模型WebAPI
getWebsocketUrl(){returnnewPromise((resolve,reject)=>{varapiKey=API_KEYvarapiSecret=API_SECRETvarurl='ws://
spark
-api
雲墨知秋
·
2024-02-14 18:54
javascript
开发语言
ecmascript
[C#] 如何调用Python脚本程序
有以下几个原因需要C#调用Python:Python拥有丰富的
生态系统
:Python有很多强大的第三方库和工具,可以用于数据科学、机器学习、自然语言处理等领域。
老狼IT工作室
·
2024-02-14 18:53
C#
python
c#
python
开发语言
Hover即将在DAO Maker上启动其公开发售
Hover是Kava
生态系统
中的非托管借贷协议,将于2月
区块链小八歌
·
2024-02-14 18:15
人工智能
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他