E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
003-数据开发
7.数据中台 ---
数据开发
:数据体系建设
7.1数据体系规划各种系统产生的原始数据堆积在一起导致使用成本非常高,这类数据只能在某些数据技术基础非常好的部门使用,而且会经常出现命名不一、口径不一的问题,从而导致整个企业的数据无法真正用起来。数据中台数据体系是在全域原始数据的基础上,进行标准定义及分层建模,数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系,可以方便的支撑数据应用。中台数据体系应具备以下特征:1.覆盖全域数据数据集中建
enlyhua
·
2023-12-21 09:30
大数据
数据
数据中台之旅(五)
数据开发
介绍
功能介绍
数据开发
包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发
belialxing
·
2023-12-21 09:59
总结
数据平台
数据中台架构原理与开发实战:从监控告警到故障处理
数据中台由数据应用、
数据开发
、数据运营及数据质量保障团队组成。数据中台通常分为三个层次:基础设施层、业务逻辑层、数据服务层。基础设施层:包括数据仓库、数据湖、数据源管理、ETL工具、消息队列等组件。
禅与计算机程序设计艺术
·
2023-12-21 02:17
AI实战
大数据AI人工智能
Python实战
大数据
人工智能
语言模型
AI
LLM
Java
Python
架构设计
小贝连载日记
003-
稳定的结果就是穷
在很多人眼里,我放着好好的体制财务不干,辞职微商是被洗脑了吧。连我的父亲到现在也难以理解,每次听到母亲私下聊父亲,想到我辞了工作就睡不着觉。我知道这是父辈的念想,但是我违背不了自己的内心,未来的生活,我要对自己负责。不想过一眼望到头的生活,我必须改变。厌倦了朝九晚五的工作,稳定的工作,稳定的圈子,我不想要这样让人安逸的稳定,更可怕不是稳定的穷,而是背后思维的局限和认知的狭隘。有朋友问我,跳出来经历
姝小贝
·
2023-12-21 00:34
SpringMVC01
3.SpringMVC框架概念与特点4.SpringMVC请求流程5.SpringMVC环境搭建6.URL地址映射配置7.参数绑定8.JSON
数据开发
JSON普通数组步骤1:pom.xml添加依赖步骤2
一头探索java的孤狼
·
2023-12-20 08:13
java
mvc
SpringMVC
框架
Centos上的默认文本编辑器vi的操作方法积累
003-
退出vi编辑器的方法命令模式下:①输入命令:q!是退出而不保存;②输入命令:wq是退出并且保存。
昊虹AI笔记
·
2023-12-20 07:09
CentOS-Linux
centos
linux
运维
学习大
数据开发
的前提是什么?
1.数学知识数学知识是数据分析师的基础知识。对于初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分。对于高级数据分析师,统计模型相关知识是必备能力,线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于数据挖掘工程师,除了统计学以外,各类算法也需要熟练使用,对数学的要求是最高的。2.分析工具对于初级数据分析师,玩转Excel是必须的,数据透
yoku酱
·
2023-12-19 14:56
助力 Shopee 重构系统发布 ETL 功能,SeaTunnel 在电商巨头的实践经验
我们提供了涵盖
数据开发
整个生命周期的多种工具。用户可以在Datahub中管理数据获取作业,还可以浏览数据,并用从DataStudio中获取的数据来创建不标准的数据管道。
大数据技术架构
·
2023-12-19 14:55
数据库
大数据
分布式
编程语言
hadoop
助力智能人群检测计数,基于YOLOv3开发构建通用场景下人群检测计数识别系统
或者是一些特殊时刻、时段、节假日等特殊时期下,密切关注当前系统所承载的人流量是十分必要的,对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段,本文的主要目的是想要基于通用的
数据开发
构建用于通用场景下的人群检测计数系统
Together_CZ
·
2023-12-19 07:20
YOLO
助力智能人群检测计数,基于YOLOv5全系列模型【n/s/m/l/x】开发构建通用场景下人群检测计数识别系统
或者是一些特殊时刻、时段、节假日等特殊时期下,密切关注当前系统所承载的人流量是十分必要的,对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段,本文的主要目的是想要基于通用的
数据开发
构建用于通用场景下的人群检测计数系统
Together_CZ
·
2023-12-19 07:20
YOLO
助力智能人群检测计数,基于YOLOv6开发构建通用场景下人群检测计数系统
或者是一些特殊时刻、时段、节假日等特殊时期下,密切关注当前系统所承载的人流量是十分必要的,对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段,本文的主要目的是想要基于通用的
数据开发
构建用于通用场景下的人群检测计数系统
Together_CZ
·
2023-12-19 07:18
YOLO
双非大数据
双非本秋招上岸总结个人简介学历:双非;专业:软件工程;求职岗位:大
数据开发
工程师;状态:已上岸翻车经历学校以Java后端开发为主流,我从大二开始学习Java,直到大四都会学习与Java开发相关的技术栈。
Guff_hys
·
2023-12-19 04:35
大数据
java
学习
SpringMVC
SpringMVC环境搭建4.URL地址映射配置映射单个URL映射多个URL映射URL在控制器上通过参数名称映射URL5.参数绑定基本数据类型包装类型字符串类型数组类型JavaBean类型6.JSON
数据开发
使
魔焰-莫言
·
2023-12-19 00:43
框架
mvc
spring
java
jetty
活动预告| 字节跳动基于DataLeap的DataOps最佳实践
随着数字化转型的推进以及业务数仓建设不断完善,大
数据开发
体量及复杂性逐步上升,如何保证数据稳定、正确、持续产出成为
数据开发
者核心诉求,也成为平台建设面临的挑战之一。
字节数据平台
·
2023-12-18 14:40
大数据
数据库
数据安全
数据研发
003-
《9联盟安全问题》
003-
《9联盟安全问题》从三个层面给大家分析9联盟的安全问题:资金安全、用卡安全、政策安全安全,不外乎就是,我卡里的预留资金会不会被盗刷;使用会不会导致封卡、降额;还有这个行业有没有政策风险,会不会被国家打压
卢总裁
·
2023-12-18 03:14
大数据架构(一)背景和概念
一、背景1.岗位现状大数据在一线互联网已经爆发了好多年,2015年-2020年(国内互联网爆发期)那时候的大
数据开发
,刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
野生的狒狒
·
2023-12-18 02:50
大数据
数据仓库
hive
SQL进阶 - SQL的编程规范
性能优化是一个很有趣的探索方向,将耗时耗资源的查询优化下来也是一件很有成就感的事情,但既然编程是一种沟通手段,那每一个
数据开发
者就都有义务保证写出的代码逻辑清晰,具有很好的可读性。
昊昊该干饭了
·
2023-12-17 07:13
大数据
数据分析
mysql
sql
hive
大数据
数据库
数据分析
Win10下安装大
数据开发
环境 spark+hadoop+hive(实测可用)
Win10下安装大
数据开发
环境spark+hadoop+hive(实测可用)基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先,我们需要搭建软件的运行环境,本文中所使用的软件均需要运行在
YannAdams
·
2023-12-17 06:30
Spark
Hadoop
Hive
大数据环境
Windows
spark
hadoop
hive
Linux 操作系统
003-
系统目录介绍
Linux操作系统
003-
系统目录介绍本节关键字:Linux、根目录、目录介绍、常用配置文件本节相关指令:根目录介绍目录名称描述/binbinary的缩写,表示二进制文件,bin目录包含了会被所有用户实用的可执行程序
@Tianwx
·
2023-12-16 12:48
Linux
操作系统
linux
运维
服务器
华为大
数据开发
者教程知识点提纲
一、线下处理1.离线处理方案数据支持:HDFS调度:YARN收入:Flume,sqoop,loader处理:Mapreduce,SparkSql,spark,hive(,Flink)2.HadoopNamenode(metadata),client(备份block),datanode(blocks结构)core-site.xml3.Hive数仓软件,分布式数据管理查询特性:ETL/支持mapred
qq_1418269732
·
2023-12-16 06:08
大数据
6000字长文,终于将数据中台架构体系讲明白了
数据中台的出现弥补了
数据开发
和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。数据中台是国内学者提出的概念,起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发,以中台
公众号:肉眼品世界
·
2023-12-15 19:46
数据安全
大数据
编程语言
人工智能
数据分析
和鲸科技携手深圳数据交易所,“数据+
数据开发
者生态”赋能人工智能产业发展
信息化时代,数据驱动决策的重要性日益凸显。通过利用数据可以深入了解市场需求、客户行为、竞争态势等关键信息,从而制定更为有效的战略和决策。围绕推动数据要素产业发展,近日,深圳数据交易所(以下简称“深数所”)主办的2023中国(深圳)数据要素产业创新大会平行活动“数据要素赋能人工智能产业创新专题活动”圆满落幕。上海和今信息科技有限公司(简称“和鲸科技”)受邀出席,并参与发布两个“首次亮相”,赋能人工智
ModelWhale
·
2023-12-15 11:46
科技
人工智能
数据
新工科:数据科学与大数据技术实验中心解决方案,赋能高校新工科数智人才培养
据人瑞人才与德勤调研显示,未来3年,数字产业化企业最需要运营人员和开发人员(包括大
数据开发
工程师、数据建模开发工程师等),其次是数据分析人员、算法研究人员、数据管理人员、销售人员和产品经理,说明技术革新与商业模式创新是助推数字企业发展的两大动力
美林数据Tempodata
·
2023-12-15 10:08
大数据
数据科学与大数据技术
产教融合
大数据人才培养
数据服务化在京东的实践
在这样的情况下,
数据开发
工程师提出诉求,是否能只贴SQL就可以生成开放数据的API接口,同时又能保证接口的性能、支持传入动态的SQL参数。基于该诉求而开发了一套解决方案的框架:EZD框架
大数据girl
·
2023-12-15 08:53
oracle
数据库
开发语言
大数据
json
java
中国历史地图大合集(5200幅)
1974年版+封面+《中国地图册》1974年版=封底=《中国地图册》1974年版目次图例《中国地图册》1974年版图001-中国政区《中国地图册》1974年版图002-中国交通《中国地图册》1974年版图
003
雨_de8c
·
2023-12-06 11:05
大
数据开发
:Kafka 异步发送消息可靠性策略
今天的大
数据开发
学习分享,我们就主要来讲讲Kafka异步发送消息的可靠性策略。
成都加米谷大数据
·
2023-12-06 09:59
大
数据开发
:Hive表的基本操作
今天的大
数据开发
分享,我们就来讲讲Hive表的基本操作。Hive创建表createtable语句遵从sql语法习惯,只不过Hive的语法更灵活。例如,可以定义表的数据文件存储位置,使用的存储格式等。
成都加米谷大数据
·
2023-12-05 20:41
Java大
数据开发
入门教程:使用Hadoop处理海量数据
本文将为大家介绍Java大
数据开发
的基本概念和Hadoop的使用方法,帮助读者入门大
数据开发
。一、什么是大
数据开发
?大
数据开发
是指通过使用分布式计算框架和相关技术,对海量数据
C红毛丹
·
2023-12-05 19:29
大数据
java
hadoop
大
数据开发
:Hive on Spark设计原则及架构
今天的大
数据开发
分享,我们来讲讲HiveonSpark设计原则及架构。
成都加米谷大数据
·
2023-12-05 01:44
线性代数在数据科学中的十个强大应用
数据开发
者往往会因为数学太难而尝试避开这个主题。因为有很多现成的数据处理库可以帮助他们避开线性代数这个烦恼。这是极其错误的想法。
城市中迷途小书童
·
2023-12-04 23:52
大
数据开发
:Kafka消息存储到Broker的流程
今天的大
数据开发
学习分享,我们就主要来讲讲Kafka消息存储到Broker的流程。
成都加米谷大数据
·
2023-12-04 23:34
近期关注的大数据开源项目
ServiceGitStarContributorsReleaseLicenseApacheFlink18.1k1005v1.14.3Apache-2.0ApacheFlink:https://github.com/apache/flink
数据开发
訾零
·
2023-12-03 23:11
BigData
big
data
apache
zookeeper
数据中台方案
平台引擎DataSphereStudio基于插拔式的集成框架设计,及计算中间件Linkis,可轻松接入上层各种数据应用系统,让
数据开发
变得简洁又易用。
aaaak_
·
2023-12-03 23:11
大数据
大数据
【数据中台】开源项目(3)-DataSphere Studio
基于插拔式的集成框架设计,及计算中间件Linkis,可轻松接入上层各种数据应用系统,让
数据开发
变得简洁又易用。
码农丁丁
·
2023-12-03 23:10
#
数据中台
数据中台
读书笔记
开源
[一起学Hive]之一–Hive概述,Hive是什么
简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得
数据开发
和分析人员很方便的使用SQL来完成海量数据的统计和分析,而不必使用
antyzhu
·
2023-12-03 17:23
浅析数据中台技术架构
通过数据中台的数据汇聚、
数据开发
模块建立企业数据资产。通过数据体系对数据进行分层存储通过资产管理、数据服务,把数据资产变为数
kobe_OKOK_
·
2023-12-03 15:23
架构
大数据
大
数据开发
:HDFS Erasure Coding机制
今天的大
数据开发
分享,我们就来讲讲HDFSErasureCoding机制。1、HDFS备份机制的问题为了提供容错,HDFS根据复制因子的大小在不同的DataNodes节点复制文件块数据。
成都加米谷大数据
·
2023-12-03 14:29
昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造
本文6539字,阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们深入地使用,出现越来越多的问题,比如:
数据开发
迭代速度不够快
LinkTime_Cloud
·
2023-12-03 14:28
大数据
分布式
编程语言
hadoop
kubernetes
Mysql基本概念和Sql基本语法
数据库的基本概念DB:表视图索引存储过程触发器EventsDB可以想象成为一个文件夹,表就是文件夹里面的excel文件一般作为大
数据开发
来说只需要掌握前面三个就可以了字段类型1.数值类型int整数long
吃货大米饭
·
2023-12-02 17:19
API接入项目:oppo、vivo广告数据接入一条龙服务
而我,第一次接手(之前主要是
数据开发
工程师完成),算是过五关斩六将了。本文档主要为了记录一次独立完成的外部数据接入项目。项目流程图sta
dajiiiiii
·
2023-12-02 10:55
数据分析
python
接口
post
sql
大
数据开发
:Hbase集群安装配置入门
今天的大
数据开发
学习分享,我们就主要来讲讲Hbase集群安装配置入门。
成都加米谷大数据
·
2023-12-01 22:39
零基础学习大数据的方向和路线
大数据三大学习方向:大
数据开发
师、大数据架构师、大数据运维师互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个
weixin_44386638
·
2023-11-30 18:50
大数据
大数据
大数据学习
大数据开发
大数据入门
如何高效优雅的完成一次机器学习服务部署?一文详解部署难点以及实战案例...
本篇作者fanstuck世界五百强私企大数据工程师,工作与研究方向为大
数据开发
和数据分析,个人喜欢研究技术和算法。数据分析领域优质创
亚马逊云开发者
·
2023-11-30 18:02
机器学习
人工智能
python
大数据
计算机视觉
学Java有什么用?Java就业前景怎么样?
Java语言经过多年的使用和发展建立起了一个庞大的生态体系,在Web开发、Android开发、大
数据开发
、后端开发等领域都有广泛的应用。
程序媛小白
·
2023-11-30 14:49
使用Java+SSM(Spring+SpringMVC+Mybatis)实现在线电影推荐网 电影推荐系统 豆瓣电影爬虫 基于用户、物品的协同过滤推荐算法 机器学习、人工智能、大
数据开发
使用Java+SSM(Spring+SpringMVC+Mybatis)实现在线电影推荐网电影推荐系统豆瓣电影爬虫基于用户、物品的协同过滤推荐算法机器学习、人工智能、大
数据开发
MovieRecommendWeb
linge511873822
·
2023-11-30 05:05
网站模板
基于项目的协同过滤推荐算法
基于用户的协同过滤推荐算法
java
推荐算法
协同过滤
大数据
人工智能
Hadoop大
数据开发
__Spark on YARN模式分布式集群安装部署
1、下载解压sparkcd/home/hadoop/apptar-zxvfspark-3.3.0-bin-hadoop3.tgzrmspark-3.3.0-bin-hadoop3.tgzln-sspark-3.3.0-bin-hadoop3spark2、修改spark-env.shcd/home/hadoop/app/spark/confvispark-env.sh#追加下面的路径HADOOP_C
姚华军
·
2023-11-30 02:32
大数据
大数据
hadoop
spark
Spark
on
YARN
YARN
大
数据开发
:Flink容错机制Task Failover策略
那么Flink是怎么处理的呢,今天的大
数据开发
分享,我们就来讲讲这个TaskFailover策略。
成都加米谷大数据
·
2023-11-29 12:37
建议收藏!数据中台行业发展概况及展望
随着企业业务创新不断加快,对
数据开发
的响应速度提出更高的要求,数据中台就诞生在这样的大背景下。
大数据v
·
2023-11-29 01:20
大数据
编程语言
机器学习
人工智能
数据分析
大
数据开发
:实时数仓架构层次设计
今天的大
数据开发
学习分享,我们就主要来讲讲大数据实时数仓架构设计的问题。大数据实时数仓架构,通常来说,分为数据接入、数据计算、数据存储三个大的层次。
成都加米谷大数据
·
2023-11-28 16:52
聊聊API 安全
近年来,应用市场成为各大互联网平台企业的最爱,Facebook、Twitter、新浪微博、微信公众号、抖音等均使用了这种模式,即平台和第三方开发者之间建立一种合作共赢机制,平台方允许第三方调取
数据开发
应用并部署在平台上
技术琐话
·
2023-11-28 11:23
大数据
编程语言
区块链
人工智能
java
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他