E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据数据湖spark
分布式系统(DS) -- 详解
本文不涉及…1.为什么会有分布式系统(distributedsystem,ds)参考链接–漫谈
大数据
1.1了解传统系统1.1.1了解计算分布式化刚开始面临一个词法分析的需求,把一个几十K的文件解析下,然后生成一个词频分析的报告
LtMamba
·
2024-02-02 18:23
#
ds
分布式
SpringBoot使用Kafka详解含完整代码
1.前言随着
大数据
和实时处理需求的增长,Kafka作为一种分布式流处理平台,与SpringBoot的集成变得尤为重要。
孤蓬&听雨
·
2024-02-02 18:27
知识库
spring
boot
kafka
MQ
消息队列
Hive和Hbase的各自适用场景
先放结论:Hbase和Hive在
大数据
架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。
yoku酱
·
2024-02-02 17:36
对标GPT-4,星火认知大模型究竟行不行?
大数据
产业创新服务媒体——聚焦数据·改变商业1月30日,科大讯飞举行了星火认知大模型V3.5升级发布会,正式推出基于首个全国产算力训练的讯飞星火V3.5。
数据猿
·
2024-02-02 17:21
字节版GPTs“扣子”上线;云从科技发布DataGPT;大众汽车自建人工智能实验室丨每日大事件...
大数据
产业创新服务媒体——聚焦数据·改变商业企业动态大众汽车自建人工智能实验室1月31日,德国汽车制造商大众汽车(Volkswagen)表示,该公司已经建立了自己的人工智能实验室。
数据猿
·
2024-02-02 17:21
科技
人工智能
数据资产入表、数据要素X,我们正快步进入数据大流通时代!
大数据
产业创新服务媒体——聚焦数据·改变商业在数字化时代,数据已成为全球经济增长的新动力。技术的飞速发展,如
大数据
、云计算和人工智能,使数据经济成为衡量国家或地区创新力和竞争力的关键。
数据猿
·
2024-02-02 17:21
香港科技园公司董事车品觉:探秘
大数据
背后的大语言模型世界
大数据
产业创新服务媒体——聚焦数据·改变商业在数字时代的大舞台上,
大数据
与大语言模型的交汇如同星辰般璀璨,勾勒出创新之路的奇妙轨迹。这两者的完美契合不仅是科技领域的巨大突破,更是创新之路的重要交汇点。
数据猿
·
2024-02-02 17:48
大数据
语言模型
人工智能
自然语言处理
LeetCode_19_树----二叉树展开为链表
大家好我是你们的好朋友,
大数据
老虾。相遇是缘,既然来了就拎着小板凳坐下来一起唠会儿,如果在文中有所收获,请别忘了一键三连,动动你发财的小手,你的鼓励,是我创作的动力!废话不多说,直接开干吧!
PythonDev000
·
2024-02-02 17:17
数据结构
#
Java
leetcode
算法
链表
类似咪噜游戏的平台有哪些 和咪噜游戏一样的平台推荐
为了帮助玩家选择靠谱的平台,本文根据
大数据
统计整理了几个值得推荐的内部福利手游平台。让我们一起来看看吧!
会飞的鱼儿
·
2024-02-02 17:07
民安智库开展空气污染治理满意度调研
在本次调研中,民安智库(第三方市容环境指数测评)采用了问卷调查、访谈和
大数据
分析等多种方法,样本覆盖了某市各区,确保了调研结果的科学性和代表性。
民安汇智
·
2024-02-02 15:05
数据分析
去中心化云服务OORT牵手希捷科技 传统巨头助力加密基础设施
1月31日,去中心化云服务平台OORT与全球
大数据
存储基础设施解决方案领导者希捷科技(NASDAQ:STX)达成战略合作,作为OORT超级节点加入OORT网络,此次合作旨在加强OORT对全球计算和存储资源的整合
加速财经
·
2024-02-02 15:14
去中心化
科技
区块链
2024美赛E题保姆级分析完整思路代码数据教学
题保姆级分析完整思路代码数据教学E题:SustainabilityofPropertyInsurance(财产保险的可持续性)这道题目同样是比赛的热门题目,是很多同学在训练的时候经常做的题目类型了,属于
大数据
DS数模
·
2024-02-02 15:12
数学建模
美国大学生数学建模
美国大学生数学建模竞赛
美赛
性价比标杆西圣开放式耳机,实力霸榜TOP2热销百日!再创市场新高
百日热销TOP2霸榜,同千元机比肩而最近来自京东的
大数据
反馈,西圣Olite在京东开放式蓝牙耳机热卖榜单
小艾数码说
·
2024-02-02 14:57
eclipse
java
tomcat
hibernate
如何保证MySQL数据一致性
在当今
大数据
时代,数据库系统扮演着至关重要的角色,而MySQL作为一种流行的关系型数据库管理系统,在数据一致性方面拥有着丰富的机制和技术。下面简单的探讨MySQL是如何保证数据一致性的。
咕噜签名分发
·
2024-02-02 14:15
mysql
数据库
大数据
技术之Hive
3.
大数据
体系中充斥着非常多的统计分析场景,使用SQL去处理数据,在
大数据
中是有极大的需求的4.不过MapReduce支持程序开发(Java、Python等),但不支持SQL直接进行开发,所以,我们要用到
我走之後
·
2024-02-02 14:55
大数据
hive
hadoop
大数据
技术之Hadoop
相关导论
大数据
相关导论首先我们要知道一切皆数据数据的作用从海量数据中提取出有效的价值信息,实现数据的商业化,价值化,给企业的决策者或者运营人员提供数据支持或者分析性报告.更好的了解事与物的运行规律,给生活赋能
我走之後
·
2024-02-02 14:54
大数据
hadoop
分布式
史上最全的
spark
面试题
1.
spark
中的RDD是什么,有哪些特性?
@毛毛
·
2024-02-02 13:12
面试题
spark
livy使用样例_livy提交
spark
应用
spark
-submit的使用shell时时灵活性较低,livy作为
spark
提交的一种工具,是使用接口或者java客户端的方式提交,可以集成到web应用中1.客户端提交的方式核心代码LivyClientclient
阿里聚安全
·
2024-02-02 13:11
livy使用样例
Py
Spark
(一)
Spark
原理介绍、Py
Spark
初体验及原理
Spark
简介Apache
Spark
是用于大规模数据(large-scaladata)处理的统一(unified)分析引擎,其特点就是对任意类型的数据进行自定义计算。
独憩
·
2024-02-02 13:11
PySpark
python
分布式
大数据
spark
生产环境_
Spark
找出两DataFrame之间的差集(技巧)
在生产作业中,经常在工作流中遇到前后两DataFrame的数据缺失,比如df1为410条,下一个节点的df2就变成409条了,用眼睛看很费劲,因此不得不做一个差集。代码:/假设df1和df2是你的两个DataFramevaldf1=xxxvaldf2=ccc//使用except操作找出df1中存在但df2中不存在的数据valonlyInDf1=df1.except(df2)//使用except操作
Matrix70
·
2024-02-02 13:10
轨迹大数据智能处理
Spark开发_工作
spark
大数据
分布式
浅谈
Spark
Livy
Spark
Livy什么是LivyLivy的特点Livy的运作流程阐述Livy的安装、启动、访问Livy的使用1.什么是Livylivy是cloudera开发的通过REST来连接、管理
spark
的解决方案
浅汐yt
·
2024-02-02 13:40
spark
大数据
spark
大数据
【
Spark
实践6】特征转换FeatureTransformers实践Scala版--补充算子
本节介绍了用于处理特征的算法,大致可以分为以下几组:提取(Extraction):从“原始”数据中提取特征。转换(Transformation):缩放、转换或修改特征。选择(Selection):从更大的特征集中选择一个子集。局部敏感哈希(LocalitySensitiveHashing,LSH):这类算法结合了特征转换的方面与其他算法。FeatureTransformersIndexToStri
周润发的弟弟
·
2024-02-02 13:39
Spark机器学习
spark
scala
大数据
spark
相关面试题总结
1.
spark
中的RDD是什么,有哪些特性?
专注于大数据技术栈
·
2024-02-02 13:39
spark
[Scala学习笔记]
Spark
开发小笔记
Spark
开发小笔记:从0开始的
Spark
建图生活持续更新中……0.开发平台Zeppelin支持多种语言,默认是scala(背后是
spark
shell),
Spark
SQL,Markdown和Shell。
Rinnki
·
2024-02-02 13:39
Scala笔记
学习笔记
Scala
Spark
图
Scala 与
spark
7.23
例如:@transientval
spark
Context:
Spark
Context,Scala多行字符串之stripMargin方法https://www.jianshu.com/
qq_34872215
·
2024-02-02 13:09
spark
生产环境踩坑系列::Hive on
Spark
的connection timeout 问题
因为这个数据会影响到第二天所有
大数据
组对外的应用服务中组织架构基础数据,当然,我们的Pla-nB也不是吃素的,一旦出现错误,后面的权限管理模块与网关会自动配合切换前一天的最后一次成功处理到DIM中的组织架构数据
dclar_
·
2024-02-02 13:08
Spark
Hive
spark
hive
【
Spark
ML实践5】特征转换FeatureTransformers实战scala版
本节介绍了用于处理特征的算法,大致可以分为以下几组:提取(Extraction):从“原始”数据中提取特征。转换(Transformation):缩放、转换或修改特征。选择(Selection):从更大的特征集中选择一个子集。局部敏感哈希(LocalitySensitiveHashing,LSH):这类算法结合了特征转换的方面与其他算法。本章节主要讲转换1FeatureTransformersTo
周润发的弟弟
·
2024-02-02 13:08
Spark机器学习
spark-ml
scala
开发语言
spark
livy hue
1.下载livylivy为
Spark
提供了REST接口,有如下特性:*提供交互式shell*批量提交*多用户使用用一个服务(用户模拟)*可以从任何地方使用REST的方式提交*无需对代码进行任何修改wgethttp
bigdataf
·
2024-02-02 13:08
livy-spark
hue
Py
Spark
(二)RDD基础、RDD常见算子
目录RDDRDD五大特性RDD创建RDD算子常见的Transformation算子mapflatMapmapValuesreduceByKeygroupByfilterdistinctunionjoinintersectionglomgroupByKeygroupByKey和reduceByKey的区别?sortBysortByKey常见的action算子countByKeycollectredu
独憩
·
2024-02-02 13:07
PySpark
python
分布式
大数据
spark
【livy】
Spark
Livy深究
什么是livyLivy的特点Livycloudera开发通过REST来连接、管理
spark
的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的
spark
集群进行通信无需更改代码
小赵要加油
·
2024-02-02 13:07
livy
大数据
分布式
Python之Py
Spark
简单应用
文章目录一、介绍1.准备工作2.创建
Spark
Session对象:3.读取数据:4.数据处理与分析:5.停止
Spark
Session:二、示例1.读取解析csv数据2.解析计算序列数据map\flatmap
陈年小趴菜
·
2024-02-02 13:37
python
python
开发语言
大数据
【
Spark
ML实践4】Pipeline实战scala版
DataFrame:这个机器学习API使用来自
Spark
SQL的DataFrame作为机器学习数据集,它可以包含多种数据类型。例如,一个DataFrame可以有不同的列存
周润发的弟弟
·
2024-02-02 13:36
Spark机器学习
spark-ml
scala
开发语言
生产环境_
Spark
接收传入的sql并替换sql中的表名与解析_非常NB
背景开发时遇到一个较为复杂的周期需求,为了适配读取各种数据库中的数据并将数据库数据转换为DataFrame并进行后续的开发分析工作,做了如下代码。在爷们开发这段生产中的代码,可适配mysql,hive,hbase,gbase等等等等,基本涉及到数据库的情况基本可以进行。可以说是非常之NB!!!!!了数据流程:由于该代码片段主要关注数据处理流程,而非实际数据内容,,当然,我也不能把特殊数据给大家展示
Matrix70
·
2024-02-02 13:06
Spark开发_工作
轨迹大数据智能处理
spark
sql
ajax
亿某通电子文档安全管理系统 UploadFileToCatalog SQL注入漏洞
Ⅰ、漏洞描述亿某通新一代电子文档安全管理系统(简称:CDG)是一款融合文档加密、数据分类分级、访问控制、关联分析、
大数据
分析、智能识别等核心技术的综合性数据智能安全产品。产
Love Seed
·
2024-02-02 13:10
安全
sql
数据库
数字资产前景好,我们应该选择怎样的平台?
今天的人们已经生活在以
大数据
为基础精确定位的数字帝国。百度、阿里、腾讯、京东等互联网巨头通过风投、上市和资本并购,逐渐建立起覆盖现实生活的数字化帝国,这些数字化帝国估值达到数以万
爱投资周sir
·
2024-02-02 13:25
redis存10万条数据_Redis遇到(
大数据
量)百亿级Key存储需求及解决方案介绍
1.需求背景是什么?2.存储何种数据?3.数据特点是什么?4.存在哪些技术挑战?5.解决方案有哪些?6.md5散列桶的方法需要注意的问题?7.测试结果是什么?解决方案:1需求背景该应用场景为DMP缓存存储需求,DMP需要管理非常多的第三方id数据,其中包括各媒体cookie与自身cookie(以下统称supperid)的mapping关系,还包括了supperid的人口标签、移动端id(主要是id
weixin_39757169
·
2024-02-02 12:26
redis存10万条数据
redis百万级数据量预热方案
注意点:1、因为数据量大,不要直接将所有数据查询出来然后遍历存储,因为
大数据
量数据全部缓存在服务器内存中会导致内存溢出报错;解
伟大的小冰
·
2024-02-02 12:53
redis
数据库
缓存
Iceberg从入门到精通系列之二十四:
Spark
Structured Streaming
Iceberg从入门到精通系列之二十四:
Spark
StructuredStreaming一、StreamingReads二、StreamingWrites三、Partitionedtable四、流表的维护
最笨的羊羊
·
2024-02-02 12:52
日常分享专栏
Iceberg
从入门到精通系列之二十四
Spark
Structured
Streaming
Iceberg从入门到精通系列之二十三:
Spark
查询
Iceberg从入门到精通系列之二十三:
Spark
查询一、使用SQL查询二、使用DataFrame进行查询三、Timetravel四.Incrementalread五、检查表六、History七、元数据日志条目八
最笨的羊羊
·
2024-02-02 12:51
日常分享专栏
Iceberg
从入门到精通系列之二十三
Spark查询
Iceberg从入门到精通系列之二十一:
Spark
集成Iceberg
Iceberg从入门到精通系列之二十一:
Spark
集成Iceberg一、在
Spark
3中使用Iceberg二、添加目录三、创建表四、写五、读六、Catalogs七、目录配置八、使用目录九、替换会话目录十
最笨的羊羊
·
2024-02-02 12:20
日常分享专栏
Iceberg
从入门到精通系列之二十一
Spark集成Iceberg
新书速览|Python数据科学应用从入门到精通
系统教授数据科学与Python实战,涵盖线性回归、逻辑回归、决策树、随机森林、神经网本书内容随着数据存储、数据处理等
大数据
技术的快速发展,数据科学在各行各业得到广泛的应用。
全栈开发圈
·
2024-02-02 12:47
python
算法
实时
数据湖
:Flink CDC流式写入Hudi
点击上方蓝色字体,选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•
Spark
2.4.5、Hadoop3.1.3
王知无(import_bigdata)
·
2024-02-02 12:01
spark
hadoop
hive
大数据
mysql
Flink CDC 详述实时
数据湖
在构建实时数仓的过程中,如何快速、正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎Flink和
数据湖
ApacheIceberg两种技术,来解决业务数据实时入湖相关的问题。
000X000
·
2024-02-02 12:01
实战
实时数仓
Apache
Flink
Flink
CDC
Flink
CDC
实时数据湖
flink
使用 Flink Hudi 构建流式
数据湖
通过MR/
Spark
的
浪尖聊大数据-浪尖
·
2024-02-02 12:30
大数据
spark
hadoop
java
数据库
Linux一些实用操作
黑马程序员新版Linux零基础快速入门到精通,全涵盖linux系统知识、常用软件环境部署、Shell脚本、云平台实践、
大数据
集群项目实战等_哔哩哔哩_bilibili目录1各类小技巧(快捷键)2软件安装
ML.star
·
2024-02-02 12:55
Linux
linux
服务器
网络
Iceberg从入门到精通系列之二十二:
Spark
DDL
Iceberg从入门到精通系列之二十二:
Spark
DDL一、
Spark
DDL二、
Spark
DDL-创建表三、
Spark
DDL-PARTITIONEDBY四、
Spark
DDL-CREATETABLE...
最笨的羊羊
·
2024-02-02 12:47
日常分享专栏
Iceberg
从入门到精通系列之二十二
Spark
DDL
传奇类手游在哪个平台充值可以返利 有什么能充值返利的传奇手游平台
现在的手游折扣平台很多,每家几乎都是不一样的折扣水准,所以说选择一个靠谱的平台是玩家最基本的原则,本期小编就根据现在的
大数据
统计来盘点几个值得推荐的0.1折手游平台,一起来瞧瞧有哪些吧!
会飞的鱼儿
·
2024-02-02 12:47
JavaScript 与Java什么关系?为什么名字中带有Java?
Java是一种面向对象的、静态类型的编程语言,主要用于开发独立应用程序、网络应用、企业应用、移动应用、
大数据
等等。Java程序需要被编译成字节码,然后在Java虚拟机上运行。
凯哥Java
·
2024-02-02 11:03
凯哥Java
javascript
py
spark
的安装及使用
jdk安装必须要求为jdk1.8版本JDK下载后环境变量配置新增系统变量JAVA_HOMEPath新增测试是否安装成功:javac-version
spark
安装官网下载,遇到加载不了选项框的情况可以尝试用手机打开网址获取下载链接后下载直接解压
a013067506e4
·
2024-02-02 11:56
精益开发——税务
大数据
平台建设效能提升的倍增器
2020年阿里巴巴的研发效能峰会上,阿里资深技术专家何勉做了“ALPD——阿里创新能力背后的精益产品开发体系”的分享,它是阿里正在实践和持续打造的产品开发方法,目的是帮助组织提升精益的交付和创新能力,实现十倍效能提升(包括:响应速度、过程质量、有效价值交付等)。或许大家会有怀疑,采用精益开发真有这么大的提升吗?答案是肯定的。这种巨大的提升来自于精益软件开发的理念和方法,它更精准地把握了软件开发过程
悬臂星云
·
2024-02-02 10:36
大数据
敏捷流程
上一页
35
36
37
38
39
40
41
42
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他