E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据处理
.net .netcore高频面试题总结(高级开发、架构师)
1、10万+
大数据处理
方式、应用场景。2、redis在项目中如何使用。3、消息队列使用的四种场景介绍。4、redis缓存穿透、缓存击穿、缓存雪崩原因+解决方案。5、单列模式使用场景。6、什么是死锁?
IT_ziliang
·
2023-04-18 00:20
redis
缓存
数据库
c#
asp.net
基于消息队列 RocketMQ 的大型分布式应用上云较佳实践
作者|绍舒审核&校对:岁月、佳佳编辑&排版:雯燕前言消息队列是分布式互联网架构的重要基础设施,在以下场景都有着重要的应用:应用解耦削峰填谷异步通知分布式事务
大数据处理
并涉及互动直播、移动互联网&物联网,
阿里云云原生
·
2023-04-17 20:03
RocketMQ
消息队列
分布式
阿里云
【案例实践】Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用
查看原文>>>Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用目录第一章、理论基础第二章、开发环境搭建第三章、遥感
大数据处理
基础第四章、典型案例操作实践第五章、输入输出及数据资产高效管理第六章
吹翻书页的风
·
2023-04-17 20:59
环境科学
数据语言
统计分析
农林生态遥感
python
GEE遥感
Python处理GEE数据
干旱遥感监测
森林植被健康状态监测
关于大数据获客你需要了解的知识
1、SparkSpark是专为大规模数据处理而设计的快速通用的计算引擎,其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的
大数据处理
的需求,大数据开发需掌握Spark基础、SparkJob
MegaDADT
·
2023-04-17 13:52
大数据
运营商大数据
MaxCompute - ODPS重装上阵 第四弹 - CTE,VALUES,SEMIJOIN
摘要:MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式
大数据处理
平台,尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。
阿里云云栖号
·
2023-04-17 08:16
数据
values
mytable
select
union
大数据技术,Spark之RDD,RDD超详细讲解(二)
一、RDD的特性Spark之所以成为目前比较主流的
大数据处理
技术,其中RDD的特性和机制占到很大比重,没有RDD的这些机制,Spark性能会大打折扣。
喵感数据
·
2023-04-17 01:33
2023年Spark
大数据处理
讲课笔记
文章目录一、Scala语言基础二、Spark基础三、SparkRDD弹性分布式数据集一、Scala语言基础Spark
大数据处理
讲课笔记1.1搭建Scala开发环境Spark
大数据处理
讲课笔记1.2Scala
howard2005
·
2023-04-16 12:23
Spark大数据处理讲课笔记
spark
scala
rdd
大数据技术——spark集群搭建
目录spark概述spark集群搭建1.Spark安装2.环境变量配置3.Spark集群配置4.启动Spark集群存在问题及解决方案请参考以下文章spark概述Spark是一个开源的
大数据处理
框架,它可以在分布式计算集群上进行高效的数据处理和分析
肉肉肉肉肉肉~丸子
·
2023-04-16 01:53
大数据
spark
大数据
分布式
大数据平台HDP-2.6.4 安装与配置
Hortonworks数据平台是一款基于ApacheHadoop的是开源数据平台,提供大数据云存储,
大数据处理
和分析等服务。该平台是专门用来应对多来源和多格式的数据,并使其
不考虑昵称
·
2023-04-15 21:04
笔记
技术
hdp
集群
搭建
Hadoop
Spark
大数据处理
讲课笔记3.1 掌握RDD的创建
文章目录零、本节学习目标一、RDD为何物(一)RDD概念(二)RDD示例(三)RDD主要特征二、做好准备工作(一)准备文件1、准备本地系统文件2、启动HDFS服务3、上传文件到HDFS(二)启动SparkShell1、启动Spark服务2、启动SparkShell三、创建RDD(一)通过并行集合创建RDD1、利用`parallelize()`方法创建RDD2、利用`makeRDD()`方法创建RD
howard2005
·
2023-04-14 10:14
Spark大数据处理讲课笔记
spark
大数据
hadoop
Spark学习笔记
1.Spark简述Spark通过内存计算能力,急剧的提高
大数据处理
速度。解决了Hadoop只适合于离线的高吞吐量、批量处理的业务场景的弊端,提出了实时计算的解决方法。
zhglance
·
2023-04-14 03:39
大数据工程师需要具备什么能力?
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与
大数据处理
相关的职业,通过对数据的挖掘分析来影响企业的商业决策。
weixin_34384681
·
2023-04-13 20:04
大数据
数据库
阿里云EMR集群搭建及使用
EMR集群1.登录EMRonECS控制台2.软件设置3.硬件设置3.基础配置2.配置1.组件配置2.用户管理3.安全组4.Gateway3.组件UI1.简介1.什么是EMREMR是运行在阿里云平台上的一种
大数据处理
的系统解决方案
q495673918
·
2023-04-13 05:08
阿里云
hadoop
阿里云
大数据
利用akka模拟Spark的Master与Worker通信
Master与Worker通信文章目录利用akka模拟Spark的Master与Worker通信Master与Worker通信过程消息类Master实现Worker实现总结Spark是一个基于内存计算的
大数据处理
框架
Maverick_曲流觞
·
2023-04-12 21:50
Spark
spark
大数据
scala
分布式
如何进行大数据分析与处理
大数据分析处理平台就是整合当前主流的各种具有不同侧重点的
大数据处理
分析框架和工具,实现对数据的挖掘和分析,一个大数据分析平台涉及到的组件众多,如何将其有机地结合起来,完成海量数据的挖掘是一项复杂的工作。
中琛源科技
·
2023-04-12 19:35
Flink1.13学习_第 1 章 初识 Flink
Flink是Apache基金会旗下的一个开源
大数据处理
框架。
星辰大帅
·
2023-04-12 06:34
学习
flink
大数据
五种
大数据处理
架构
大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
wandy0211
·
2023-04-11 17:49
大数据架构
大数据架构流程图
大数据处理
的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。
ixiaoyang8
·
2023-04-10 21:12
Spark简介及入门
Spark介绍Spark是一种快速而通用的
大数据处理
引擎,包含了多个组件。SparkCore:Spark核心组件,提供了基本的任务调度、内存管理和错误恢复等功能。
'Wu'
·
2023-04-10 18:39
学习日常
大数据
spark
大数据
hadoop
五步骤,带你了解
大数据处理
大数据可视化可以说是传统数据可视化的一个继承和延伸,它是指将大规模海量数据集中的数据以图形图像形式表示,并利用数据分析和开发工具发现其中未知信息的处理过程。其基本思想是将数据库中每个数据项作为单个图元素表示,并以大量的数据集构成数据图像,将数据的各个属性值以多维数据的形式表示出来,方便人们从不同维度来观察数据,进而对数据进行更深入的观察和分析。大数据可视化是大数据整个过程的最后环节,也是非常重要的
000085
·
2023-04-10 03:06
重新定义分析 - EventBridge 实时事件分析平台发布
对于日志分析大家可能并不陌生,在分布式计算、
大数据处理
和Spark等开源分析框架的支持下,每天可以对潜在的数百万日志进行分析。
微服务 spring cloud
·
2023-04-10 03:11
大数据
spark
分布式
数据处理有哪些方式
大数据处理
流程:1.是数据采集,
qq^^614136809
·
2023-04-09 22:47
数据库
数据仓库
【Netty权威指南】19-可靠性
作为一个基础的NIO通信框架,Netty被广泛应用于
大数据处理
、互联网消息中间件游戏和金融行业等。不同的行业对软件的可靠性需求不同,例如对通信软件的可靠性要求往往需要达到5个9。
一直不懂
·
2023-04-09 18:34
Netty权威指南
大数据处理
之ClickHouse概述及架构参考(未完)
一、概述中移某业务拨测系统基于业务数据拨测指标及日志的分析需要,随着Clickhouse在OLAP领域的快速崛起,以及一些特性考虑,比如:数据量会很大,最好需要分布式;支持实时写入,支持快速计算,在较短时间内能完成计算;强大的sql能力,实时指标sql化;人力有限,运维需要简单;高效的压缩比存储,服务器有限,可以用更少的服务器存储更多的数据;我们也考虑在环境中引入ClickHouse组件,替代ES
羌俊恩
·
2023-04-09 16:11
数据库实践及FAQ
clickhouse
架构
数据库
大数据处理
规范(选型测试),自用
用完时序数据库的时候,我悟了,车企每天2T的数据。让我感觉到,我以前的大数据就是随便处理着玩。有必要建立一套属于自己的数据处理规范的方法了。常见甲方问题,以及测试性能后的解决方案:1.处理时间?从采集端,到结果展示端,一般秒级数据采集到系统处理以及分析都是秒级像消息到kafka推送基本都是毫秒级,入库秒级(kudu)1.校验准确性?准确性,体现在不同的数据处理阶段,对于,kafka生产,目前我们的
我要用代码向我喜欢的女孩表白
·
2023-04-09 08:43
bigdata-大数据专栏
大数据
架构选型
计算机毕业设计题目100例
文章目录0前言1javaweb管理系统毕设选题2javaweb平台/业务系统毕设选题3游戏设计、动画设计类毕设选题(适合数媒的同学)4算法开发5数据挖掘毕设选题6
大数据处理
、云计算、区块链毕设选题7网络安全毕设选题
caxiou
·
2023-04-08 11:41
毕业设计
大数据
网络安全
嵌入式
网络工程
深度学习
sqoop的简易介绍
sqoop的作用在
大数据处理
中,通常需要将各种
健鑫.
·
2023-04-08 07:56
大数据组件
sqoop
hadoop
数据库
hadoop集群机架感知对性能调优的理解
1.查询机架信息指令:default-rack如上信息为默认的加价信息,即无机架配置2.机架感知基础Hadoop作为
大数据处理
的典型平台,在海量数据处理过程中,其主要限制因素是节点之间的数据传输速率。
香山上的麻雀
·
2023-04-08 05:00
Apache Calcite 论文学习笔记
最近在关注
大数据处理
的技术和开源产品的实现,发现很多项目中都提到了一个叫ApacheCalcite的东西。同样的东西一两次见不足为奇,可再三被数据处理领域的各个不同时期的产品提到就必须引起注意了。
预流
·
2023-04-08 02:57
Docker安装flink及如何避坑
flink作为第三代
大数据处理
方案,早已成为业内的共识,并且发展迅猛(即将发布的新特性可以查看《Flink1.14新特性抢鲜看~》),而打开这扇大门的第一步是搭建flink的环境,以便我们后续测试和项目实践
zxj19880502
·
2023-04-07 22:07
python
大数据
flink
zookeeper
数据科学与大数据技术怎么样?
数据科学与大数据技术专业设立时间并不长,主要是研究计算机科学和
大数据处理
技术等相关的知识和技能,从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)出发,对实际问题进行分析和解决。
海睿思
·
2023-04-07 01:23
大数据
人工智能
转行大数据未来发展怎么样?可行么
大数据开发分两类,编写Hadoop、Spark的应用程序和对
大数据处理
系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、
我想去吃ya
·
2023-04-06 23:19
大数据
hadoop
spark
开发语言
python
Pandas替代框架性能测评——Polars|Modin|Pandarallel|pySpark
Pandas在
大数据处理
上的不足,制约了其在数据科学领域的进一步发展,尽管它在小数据集上处理非常灵活方便;探究Pandas在大数据时代的替代品,是算法工程师面临的重要问题。
白鹿码字员
·
2023-04-06 19:49
数据科学
Pandas
Polars
大数据
spark
big
data
大数据导论(二:大数据的架构)
1、大数据和云计算大数据和云计算密不可分,由于
大数据处理
和应用需求急剧增长,学术界和工业界不断推出新的或改进的计算模式和系统工具平台。
SupAor
·
2023-04-06 16:40
大数据导论学习笔记
大数据
架构
云计算
iot需求特点
互联网
大数据处理
,大家所熟悉的场景是用户画像、推荐系统、舆
kidari
·
2023-04-06 03:08
iot
sublime Text3+python3搭建djiango开发环境
blog.chargingbunk.cn/微信公众号:rayson_666(Rayson开发分享)个人专研技术方向:微服务方向:springboot,springCloud,Dubbo分布式/高并发:分布式锁,消息队列RabbitMQ
大数据处理
raysonfang
·
2023-04-05 22:35
Flink知识点总结
ApacheFlink是一个分布式的开源的
大数据处理
框架,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。
好好丁先森
·
2023-04-05 18:51
大数据
spark
分布式
Flink 是什么
文章目录什么是FlinkFlink流处理的架构传统的数据处理结构有状态的流式处理流处理结构上的应用场景Flink的分层APIFlink和Spark区别什么是FlinkFlink就是一个
大数据处理
引擎的处理框架
星辰与晨曦
·
2023-04-05 18:50
Flink
flink
大数据
数据库
行业研究丨传统商业银行风险管理变革之路
互联网与传统银行业可以融合发展,即形成新型的“互联网+”模式,该模式的本质在于将互联网技术(
大数据处理
、云计算)融合于银行经营管理的各环节,这不仅仅是简单的将传统业务置于互联网环境中,而是一种多维度、多层次涉及面广的颠覆性创新
数行科技
·
2023-04-05 17:29
Serverless计算应用场景与潜力
通过与Flink,SparkStreaming这样的流式
大数据处理
平台结合,Serverl
小星敐
·
2023-04-05 04:13
云端
云原生
服装行业进销存管理系统数据处理的三个方向
尤其是行业对信息化的使用,以服装行业为例,运营者使用进销存系统为仓储采购这方面的
大数据处理
带来不少便利,弥补了原有人力计算为主的管理中不足,解决运营者信息采集手段落后问题,包括同步管理多店、多仓库等难题
亿发软件YiFaRJ
·
2023-04-05 03:52
软件功能
大数据
.NET Core实战项目:WEB API(1)
SqlSugarORM5.X官网、文档、教程-SqlSugar5x-.NET果糖网SqlSugar是一款老牌.NET开源ORM框架,由果糖大数据科技团队维护和更新,1..NET中唯一支持全自动分表组件,SAAS分库,
大数据处理
的
矿大测工人
·
2023-04-04 23:07
asp.net
前端
后端
.netcore
架构
大数据处理
(位图,布隆过滤器)
位图法位图的基本概念是用一个位(bit)来标记某个数据的存放状态。海量数据排序从最简单的情况说起,如果要对90个小于100的不重复的正整数排序。用位图的思想就是先申请一块100bit的空间,第一遍遍历所有的数,将出现的数字在位图中对应的位置置为1;第二遍遍历位图,依次输出值为1的位对应的数字。先且不说这种情况出现的频率不是很高,就仅这种情况,还是有很多其他的排序算法有它们自己的优势(不用额外占用空
炫辰0927
·
2023-04-04 22:42
算法
【你评论 我送书】第一期 -《Python从入门到精通(微课精编版)》
如果文章对你有帮助的话,欢迎评论点赞收藏加关注+目录前言赠书活动——《Python从入门到精通(微课精编版)》赠书活动——获取方式赠书活动——中奖名单前言随着人工智能、
大数据处理
和区块链等新技术的流行,
艾派森
·
2023-04-04 13:13
赠书活动
python
赠书活动
为小白量身定做的python路线图
越来越多的软件工程师使用Python进行
大数据处理
;越来越多的科研工作者使用Python来进行数据分析。如果你在尝试自学,或许你需要这份为小白量身定做的python路线图。
来自火星的大猫
·
2023-04-03 18:33
Flinl(二):Flink基础概念及架构介绍
Flink基础概念及架构介绍一、什么是FlinkFlink是一个开源的、分布式、高性能、高可用、高吞吐、低延迟
大数据处理
引擎。主要用于流处理,也可用于批处理,且实现了批流统一处理。
大罗LuoSir
·
2023-04-03 15:00
Flink
java
后端
flink
Hadoop如何进行
大数据处理
?工具,优劣势,用例和应用场景
大数据的演进带来了新的挑战,所以需要新的解决方案。与以往一样,服务器需要实时处理,分类和存储大量数据。这一挑战导致了新平台的出现,其中最知名了莫过于ApacheHadoop,它可以轻松处理大型数据集。那么到底什么是Hadoop?其主要组件是什么?以及ApacheHadoop是如何帮助处理大数据的?什么是Hadoop?ApacheHadoop是一个开源框架,可以让用户有效地管理和处理在分布式计算环境
云智时代
·
2023-04-03 13:22
对比Python,PySpark
大数据处理
其实更香
对于数据分析师、数据科学家和任何使用数据的人来说,能够熟练而有效地处理大数据是一项非常有优势的技能。如果你已经熟悉运用Python和pandas做常规数据处理,并且想学习处理大数据,那么熟悉PySpark,并将用其做数据处理,将会是一个不错的开始。PySpark是一种适用于ApacheSpark的PythonAPI,一种流行的大数据开源数据处理引擎。本文的前提是,假设读者在Python中熟练使用p
Python数据挖掘
·
2023-04-03 07:29
python
python
学习
pandas
pyspark
Lambda Architecture-
大数据处理
系统经典架构解析
什么是LALambda架构,是NathanMarz根据自己在Twitter的分布式数据处理系统经验,提出的通用数据处理架构。LA的提出,主要是为了满足3点需求:(1)具有容错能力的鲁棒性系统,容错能力要同时满足两点:硬件错误和人为错误。(2)能够支持的负载范围要宽。大负载和小负载都要能支持,并且满足低延迟的read/update操作。(3)系统必须要可以线性扩展。LA架构初窥LA的高层架构见下图。
ybdesire
·
2023-04-03 06:35
Machine
Learning
架构设计
大数据
架构
lambda
分布式
数据
Java Web应用小案例:查询城市天气信息
大数据专业另一门专业核心课大数据应用基础目前正在讲解如何利用Hadoop的并行编程计算框架进行离线数据分析,学生对于
大数据处理
的一般流程也是比较清
howard2005
·
2023-04-02 23:22
领略Java的滋味
查询天气
Java
Web
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他