E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据平台-日常运维
【Flink】FlinkSQL实现数据从Kafka到MySQL
简介未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的
大数据平台
或者通用的
大数据平台
,去提交FlinkSQL实现任务,学习Flinksql势在必行。
一杯咖啡半杯糖
·
2024-02-07 06:39
Flink实战
Flink解决方案
flink
kafka
mysql
spark sql上线前的调试工作实现
背景每个公司应该都有大数据的平台的吧,平台的作用就是可以在上面执行各种sparksql以及定时任务,不过一般来说,由于这些sparksql的上线不经过测试,所以可能会影响到生产的数据,这种情况下
大数据平台
提供一个上线前的调试功能也就非常好了
lixia0417mul2
·
2024-02-07 05:22
spark
spark
sql
大数据
Spark Chapter 8 Spark SQL
【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL:MySQL,Oracle,DB2,SQLServer在
大数据平台
上实现大数据计算:Hive/SparkSQL/SparkCore直接使用
深海suke
·
2024-02-07 01:34
Flink 动态表 (Dynamic Table) 解读
博主历时三年精心创作的《
大数据平台
架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建
大数据平台
太难了!给我发个工程原型吧!》
Laurence
·
2024-02-06 11:26
大数据专题
flink
dynamic
table
动态表
连续查询
无界表
Liunx运维批量启动、停止服务
在
日常运维
过程中,经常会碰到需要批量启动若干个应用服务,若果手动一个一个启动,非常耗时效率很低,这时候可以考虑脚本批量启动。
fengchengwu2012
·
2024-02-06 05:34
devops
运维
java
服务器
企业级
大数据平台
应用场景介绍
从业务的角度看,企业级
大数据平台
功能可细分为查询检索、数据挖掘、统计分析、深度分析,其中深度分析分为机器学习和神经网络。
明月说数据
·
2024-02-05 16:10
数据分析
大数据
hadoop
大数据平台
_大数据应用场景有哪些
大数据时代的出现,简单的讲是海量数据同完美计算能力结合的结果,确切的说是移动互联网、物联网产生了海量的数据,大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。一些公司也成立了大数据部门,大数据得到了企业的高度重视,但是很多企业和厂商主要的困难在于大数据的场景应用,既如何利用数据分析和外部数据来提升业务。其实大数据的场景应用可以从横向和纵向来说,可以从数据源、数据应用、数据分析方法和
思迈特Smartbi
·
2024-02-05 16:06
数据挖掘
大数据
人工智能
数据分析
安装Ubuntu遇到的问题和一些优化ubuntu使用的总结
序言安装缘由:安装了ubuntu后,需要把这个系统当做我
日常运维
和运维开发测试的基础系统,所以很多东西都需要安装和优化。仅此记录下来。
全糖去冰吃不了苦
·
2024-02-05 11:43
从零搭建ubuntu
ubuntu
linux
运维
2020实体书店销售统计数据
据中金易云
大数据平台
实时监控的数据,今年上半年,实体书店图书销售码洋同比去年上半年下降了31.47%,为40.39亿,动销品种同比下
爆江
·
2024-02-05 10:27
降本增效利器!趣头条Spark Remote Shuffle Service最佳实践
多个业务线依赖于
大数据平台
展开业务,大数据系统的高效和稳定成了公司业务发展的基石,在大数据的架构上我们使用了业界成熟的方案,存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术
·
2024-02-05 09:29
大数据
spark
大数据平台
-可视化面板介绍-Echarts
应对现在数据可视化的趋势,越来越多企业需要在很多场景(营销数据,生产数据,用户数据)下使用,可视化图表来展示体现数据,让数据更加直观,数据特点更加突出。目录01-使用技术02-案例适配方案03-基础设置04-header布局05-mainbox主体模块06-公共面板模块panel07-柱形图bar模块(布局)08-中间布局09-Echarts-介绍10-Echarts-体验11-Echarts-基
py爱好者~
·
2024-02-04 19:08
项目实战
信息可视化
数据分析
javascript
echarts
css
html5
jquery
探秘海洋生物,来看看海洋生物公开基因组数据集吧!
近日,由青岛华大基因研究院规划的海洋生物公开基因组数据集(PublicMarineGenomeResources,PMGR)系列在国家基因库生命
大数据平台
(CNGBdb)正式上线。
尐尐呅
·
2024-02-04 18:57
智慧水务(水厂)
大数据平台
,打造水务运营管理驾驶舱
智慧水务运营管理平台全天候把握水源、水厂、管网、泵站等生产调度全过程数据。各环节数据联动,形成设备自动运行的预设逻辑,简化人工操作,实现无人值守。并对取水总能耗、吨水电耗、运行经济性成本加以分析,辅助水务系统节能降耗,降低运营成本。以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心,以监测仪表、通讯网络、数据库系统、数据中台、模型软件、前台展示、智慧运维等产
郭靖守襄阳【软芯民用】
·
2024-02-04 09:52
智慧水务
数据大屏可视化
大数据
智慧城市
信息可视化
物联网
转载-58同城离线计算平台设计与实践
本次分享将聚焦
大数据平台
离线计算和大家一起系统的探讨58在离线计算平台建设实践的思路、方案和问题解决之道。
无色的叶
·
2024-02-04 09:14
某种中型企业网络问题整改方案
2.无网络架构图,管理制度缺失,无
日常运维
。3.运维人员专业度不高。4.网络日志数据不全,无日志审计系统。5.所有系统都在一张网内,无区域隔离。6.服务器端口映射,服务器内网可随意访问互联网。
feifly329
·
2024-02-04 06:56
网络
架构
日调用量超千万,超低查询延迟!跨越速运基于Flink + OceanBase的实时分析解决方案与实践
跨越速运内部有超过100位BI分析师,日常工作需要借助
大数据平台
中的服务项目进行数据研发。跨越速运的数据服务场景中有一万余数据接口,日调用量超过1000万次,并保持99%查
OceanBase数据库官方博客
·
2024-02-03 23:48
flink
oceanbase
大数据
2019-10-08 大数据开发进阶之路
HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD转换算子/行动算子/持久化算子/任务调度/SparkStreaming等能够对崭新的问题进行建模分析,使用一直只是进行解决掌握
大数据平台
调优技能
红瓦李
·
2024-02-03 20:39
Flink实时数仓同步:拉链表实战详解
然而,为满足日常分析和报表等需求,
大数据平台
采用多种同步方式,以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等,选择取决于业务需求和数据特性。
Light Gao
·
2024-02-03 10:15
大数据
实时数仓
flink
大数据
数据仓库
拉链表
doris
Flink实时数仓同步:流水表实战详解
然而,为满足日常分析和报表等需求,
大数据平台
采用多种同步方式,以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等,选择取决于业务需求和数据特性。
Light Gao
·
2024-02-03 10:15
实时数仓
数据仓库
flink
大数据
flinkcdc
数据同步
数据仓库
深入数仓离线数据同步:问题分析与优化措施
二、场景在
大数据平台
中,业
Light Gao
·
2024-02-03 10:14
数据仓库
实时数仓
数据库
数据仓库
大数据
数据分析
Flink实时数仓同步:快照表实战详解
然而,为满足日常分析和报表等需求,
大数据平台
采用多种同步方式,以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等,选择取决于业务需求和数据特性。
Light Gao
·
2024-02-03 10:38
实时数仓
数据仓库
flink
大数据
数据仓库
flinkcdc
数据同步
第十一章 金融大数据解决方案
金融信息化1.全球金融信息化发展历程2.我国金融信息化发展趋势金融大数据综述1.金融大数据特征2.金融大数据的机遇和挑战金融
大数据平台
总体架构数据应用-数据计算-数据管理-数据源1.建设原则和目标2.金融大数据业务架构数据才基层
etheon
·
2024-02-03 00:36
linux文件权限备份、恢复-linux文件权限如何备份、恢复-getfacl/setfacl备份恢复文件权限
在
日常运维
流水线上,我们可用于备份文件权限的工具很多,每个团队,每个队员所喜好的工具也各有不同,但目标是一致的。下面简单介绍使用getfacl和setf
老覃头
·
2024-02-02 14:33
linux
运维
服务器
精益开发——税务
大数据平台
建设效能提升的倍增器
2020年阿里巴巴的研发效能峰会上,阿里资深技术专家何勉做了“ALPD——阿里创新能力背后的精益产品开发体系”的分享,它是阿里正在实践和持续打造的产品开发方法,目的是帮助组织提升精益的交付和创新能力,实现十倍效能提升(包括:响应速度、过程质量、有效价值交付等)。或许大家会有怀疑,采用精益开发真有这么大的提升吗?答案是肯定的。这种巨大的提升来自于精益软件开发的理念和方法,它更精准地把握了软件开发过程
悬臂星云
·
2024-02-02 10:36
大数据
敏捷流程
珠宝的新模式分析
最新的一轮融资将用来建设珠宝首饰全行业
大数据平台
,应该是要更好地对珠宝行业的发展把脉。“每月花100元上下成为会员,用户会收到一个‘小蓝盒’,盒子里面有三件总价值在200
三锦囊的猫
·
2024-02-02 08:15
基于PLC远程网关的智慧农业远程监控系统解决方案
政府大力推动农业科技创新,并通过政策扶持和社会资本投入促进智能农机设备、农业
大数据平台
、无人农场等新型模式广泛应用。
蓝蜂物联网
·
2024-02-02 03:48
物联网云平台
物联网
plc
大数据信用报告应该去哪里查询比较好呢?
本文将为您详细介绍征信和大数据的区别,并推荐一个可靠的
大数据平台
。
2401_82630523
·
2024-02-02 01:03
大数据
大数据信用查询
小易大数据平台
Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法
博主历时三年精心创作的《
大数据平台
架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建
大数据平台
太难了!给我发个工程原型吧!》
Laurence
·
2024-02-01 15:24
大数据专题
付费专栏
flink
hudi
kafka
无数据
无写入
streaming
【大数据安全】数据管理安全&安全分析&隐私保护
大数据安全分析架构(二)大数据防DDoS攻击(三)攻击可视化与安全业务定制三、隐私保护(一)隐私保护面临的挑战(二)内容关联密钥(三)华为大数据隐私保护方案一、数据管理安全(一)数据溯源数据溯源技术对
大数据平台
中的明细数据
Francek Chen
·
2024-02-01 13:48
大数据技术基础
安全
大数据
大数据安全
【大数据安全】大数据安全的挑战与对策&基础设施安全
目录一、大数据安全的挑战与对策(一)数据加密技术(二)大数据安全与隐私(三)大数据安全保障体系(四)华为大数据安全解决方案二、基础设施安全(一)认证技术(二)访问控制(三)公钥基础设施(四)华为
大数据平台
大数据安全是指在大数据环境下
Francek Chen
·
2024-01-31 10:49
大数据技术基础
安全
大数据
大数据安全
【网站搭建】30分钟轻松搭建网站应用
使用免费开源个人博客建站工具WordPress部署博客网站,最终实现:管理员-部署网站并进行
日常运维
、访客-通过互联网访问博客、浏览文章等。
舒意从生
·
2024-01-31 00:39
Spark 读取、写入时序数据库TDengine以及TDengine概述
除核心的时序数据库功能外,TDengine还提供缓存、数据订阅、流式计算等
大数据平台
所需要的系列功能,最大程度减少研发和运维的复杂度。1.TDengine总结出了物联网
Alex_81D
·
2024-01-30 18:10
数据库
大数据基础
时序数据库
奇富科技:大数据任务从诊断到自愈的实践之路
整个
大数据平台
有1000+机器、70P数据量,每日新增200T数据。每天在毓数工作流上运
DolphinScheduler社区
·
2024-01-30 11:08
大数据
基于
大数据平台
的kylin安装部署手册
目录一.单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3Hadoop环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4检查hive是否可用(etl用户,控制台输入)1.4.5检查Hive配置文件2.Kylin安装2.1配置环境变量2.2修改tomcat的配置文件2.3检查tomcat依赖包4.4检查Kylin权限
猿来孺词
·
2024-01-29 10:26
部署安装
大数据
kylin
分布式
数据仓库
数据分析
产业需求
大数据平台
产业需求
大数据平台
,依托大数据、NLP等技术,全面采集区域产业人才需求数据,从宏观、中观、微观三个层面对产业需求进行分析,并匹配学校自身的办学定位、专业布局、人才培养目标、培养规格和课程设置,进行专业设置匹配度
单眼皮的老虎
·
2024-01-29 09:24
大数据
产业需求
就业需求
专业调整
教育数字化
人岗匹配
我们的
大数据平台
项目之所以很实惠是因为有套路可循
我们的
大数据平台
项目之所以很实惠是因为有套路可循大数据已经成为企业决策的关键因素。然而,许多企业在实施大数据项目时,常常面临成本高昂、技术复杂等挑战。
UI设计前端开发一线员工
·
2024-01-27 19:00
大数据
搭建
大数据平台
常用的端口号
50070:HDFSwebUI的端口号8485:journalnode默认的端口号9000:非高可用访问数rpc端口8020:高可用访问数据rpc8088:yarn的webUI的端口号8080:master的webUI,Tomcat的端口号7077:spark基于standalone的提交任务的端口号8081:worker的webUI的端口号18080:historyServer的webUI的端口
修勾勾L
·
2024-01-27 13:51
Linux
大数据
大数据平台
红蓝对抗 - 磨利刃,淬精兵!
随着平台业务越来越复杂,红蓝对抗的作用愈来愈明显,下面将详细介绍
大数据平台
在大促备战工作中是如何开展红蓝对抗的。首先我们先了解一下什么是红蓝对抗,它都有哪些好处?
京东云技术团队
·
2024-01-27 07:02
大数据
网络
Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )
博主历时三年精心创作的《
大数据平台
架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建
大数据平台
太难了!给我发个工程原型吧!》
Laurence
·
2024-01-27 06:54
大数据专题
付费专栏
flink
cdc
debezium
avro
confluent
schema-registry
kafka
怎么在手机上怎么查大数据信用报告?大数据信用平台哪个好?
无论你是在手机浏览器搜索还是电脑上搜索,搜索结果排在最前面的几个一定是其他平台投放的广告,我们拿几个关键词搜索举例子:搜索“大数据报告查询”“小易
大数据平台
”“大数据信用怎么查”搜索
2401_82630523
·
2024-01-27 00:57
大数据
用户画像项目背景
1,用户画像项目介绍
大数据平台
简介数据仓库+用户画像+推荐系统(1)数据仓库:加快数据的分析和查询数据仓库分层:ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky
·
2024-01-26 13:20
大数据
spark
kafka
数字化转型当中数据治理的意义
政府部门通过
大数据平台
采集防疫信息,各类企业开始将目光投向更多的线上业务处理。据统计,全世界在2020年创建、捕获、复制和消耗执行的数据总量为59泽字节(ZB)。
qingyunliushuiyu
·
2024-01-26 09:32
BI
数字化
数字化转型
数据治理
SpringBoot,TDengine时序数据库,实现物联网,车联网大批量数据更新最佳实践。
简介TDengine是一款专为物联网、工业互联网等场景设计并优化的
大数据平台
,它能安全高效地将大量设备、数据采集器每天产生的高达TB甚至PB级的数据进行汇聚、存储、分析和分发,对业务运行状态进行实时监测
可乐cc呀
·
2024-01-25 17:26
时序数据库
时序数据库
spring
boot
tdengine
大数据平台
组件
日常运维
操作说明(Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat)
Hadoop
日常运维
操作说明hdfs生产环境hadoop为30台服务器组成的集群,统一安装配置,版本号为2.7.7部署路径:/opt/hadoop启动用户:hadoop配置文件:/opt/hadoop/
love6a6
·
2024-01-25 07:12
大数据
java-zookeeper
运维
高德地图官方首度揭秘:红绿灯倒计时功能是如何实现的?
还是高德后台接入了各地交管的
大数据平台
获取了红绿灯实时数据?01高德地图“红绿灯倒计时”原来早在2022年,高德地图就上线了“红绿灯倒计时”功能,将道路上的红
AIoT科技物语
·
2024-01-24 06:23
网工内推 | 上市公司同程、科达,五险一金,年终奖,最高12k*15薪
2.负责网络安全及访问控制、上网行为管理和VPN设备的
日常运维
;3.负责内部相关网络自动化和系统化建设;4.优化与提升网络运行质量,制定应急预案,人员培训。
HCIE考证研究所
·
2024-01-23 23:57
网络工程师
运维
网络
服务器
华为认证
在线帮助中心对视频加载,过程优化,降低视频对服务端的负载
1.背景在
大数据平台
XSailboat中包含帮助中心模块,提供在线的帮助文档和平台使用教程。在帮助中心,不仅支持普通的文字,图片,还希望支持视频。
OkGogooXSailboat
·
2024-01-23 19:16
大数据平台开发技术
音视频
java
spring
钉钉企业机器人单聊消息发送实践-
大数据平台
(XSailboat)消息中心消息推送
1.背景在笔者开发的
大数据平台
XSailboat中有消息中心模块,用来全平台的消息收集,整理分拆、订阅发送等功能。消息推送方式支持钉钉群聊、钉钉单聊、短信通知。
OkGogooXSailboat
·
2024-01-23 19:45
大数据平台开发技术
钉钉
机器人
大数据
5118优惠码vip、svip、专业版和旗舰版使用yhm666
5118
大数据平台
会员优惠码【yhm666】,结算时勾选“使用优惠码”,然后在优惠码窗口中输入yhm666,然后点确定即可享受特价会员价格。
暴富程序员
·
2024-01-23 11:34
建站教程
站长工具
cdh6.3.2的hive配udf
背景
大数据平台
的租户要使用udf,他们用beeline连接,意味着要通过hs2,但如果有多个hs2,各个hs2之间不能共享,需要先把文件传到hdfs,然后手动在各hs2上createfunction。
zdkdchao
·
2024-01-23 07:02
hive
hadoop
数据仓库
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他