E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
04--数据开发
学习大
数据开发
的前提是什么?
1.数学知识数学知识是数据分析师的基础知识。对于初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分。对于高级数据分析师,统计模型相关知识是必备能力,线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于数据挖掘工程师,除了统计学以外,各类算法也需要熟练使用,对数学的要求是最高的。2.分析工具对于初级数据分析师,玩转Excel是必须的,数据透
yoku酱
·
2023-12-19 14:56
助力 Shopee 重构系统发布 ETL 功能,SeaTunnel 在电商巨头的实践经验
我们提供了涵盖
数据开发
整个生命周期的多种工具。用户可以在Datahub中管理数据获取作业,还可以浏览数据,并用从DataStudio中获取的数据来创建不标准的数据管道。
大数据技术架构
·
2023-12-19 14:55
数据库
大数据
分布式
编程语言
hadoop
助力智能人群检测计数,基于YOLOv3开发构建通用场景下人群检测计数识别系统
或者是一些特殊时刻、时段、节假日等特殊时期下,密切关注当前系统所承载的人流量是十分必要的,对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段,本文的主要目的是想要基于通用的
数据开发
构建用于通用场景下的人群检测计数系统
Together_CZ
·
2023-12-19 07:20
YOLO
助力智能人群检测计数,基于YOLOv5全系列模型【n/s/m/l/x】开发构建通用场景下人群检测计数识别系统
或者是一些特殊时刻、时段、节假日等特殊时期下,密切关注当前系统所承载的人流量是十分必要的,对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段,本文的主要目的是想要基于通用的
数据开发
构建用于通用场景下的人群检测计数系统
Together_CZ
·
2023-12-19 07:20
YOLO
助力智能人群检测计数,基于YOLOv6开发构建通用场景下人群检测计数系统
或者是一些特殊时刻、时段、节假日等特殊时期下,密切关注当前系统所承载的人流量是十分必要的,对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段,本文的主要目的是想要基于通用的
数据开发
构建用于通用场景下的人群检测计数系统
Together_CZ
·
2023-12-19 07:18
YOLO
双非大数据
双非本秋招上岸总结个人简介学历:双非;专业:软件工程;求职岗位:大
数据开发
工程师;状态:已上岸翻车经历学校以Java后端开发为主流,我从大二开始学习Java,直到大四都会学习与Java开发相关的技术栈。
Guff_hys
·
2023-12-19 04:35
大数据
java
学习
SpringMVC
SpringMVC环境搭建4.URL地址映射配置映射单个URL映射多个URL映射URL在控制器上通过参数名称映射URL5.参数绑定基本数据类型包装类型字符串类型数组类型JavaBean类型6.JSON
数据开发
使
魔焰-莫言
·
2023-12-19 00:43
框架
mvc
spring
java
jetty
活动预告| 字节跳动基于DataLeap的DataOps最佳实践
随着数字化转型的推进以及业务数仓建设不断完善,大
数据开发
体量及复杂性逐步上升,如何保证数据稳定、正确、持续产出成为
数据开发
者核心诉求,也成为平台建设面临的挑战之一。
字节数据平台
·
2023-12-18 14:40
大数据
数据库
数据安全
数据研发
STM32F103RCT6开发板M3单片机教程
04--
按键检测
原画图讲解本教程使用是(光明谷SUN_STM32mini开发板)首先了硬件连接原理,STM32F103RCT6开发板是mini最小系统板,板子在没并有按键。需要自行用面包板搭建。硬件连接:PC10->KEY1(MCU内部上拉)-->GND(低电平有效)PC11->KEY2(MCU内部上拉)-->GMD(低电平有效)程序设计有两种方法:方法1、不断检测引脚(PC10,PC11)电平,当检测到引脚(P
谷动谷力
·
2023-12-18 12:30
嵌入式开发
单片机
嵌入式硬件
大数据架构(一)背景和概念
一、背景1.岗位现状大数据在一线互联网已经爆发了好多年,2015年-2020年(国内互联网爆发期)那时候的大
数据开发
,刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
野生的狒狒
·
2023-12-18 02:50
大数据
数据仓库
hive
SQL进阶 - SQL的编程规范
性能优化是一个很有趣的探索方向,将耗时耗资源的查询优化下来也是一件很有成就感的事情,但既然编程是一种沟通手段,那每一个
数据开发
者就都有义务保证写出的代码逻辑清晰,具有很好的可读性。
昊昊该干饭了
·
2023-12-17 07:13
大数据
数据分析
mysql
sql
hive
大数据
数据库
数据分析
Win10下安装大
数据开发
环境 spark+hadoop+hive(实测可用)
Win10下安装大
数据开发
环境spark+hadoop+hive(实测可用)基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先,我们需要搭建软件的运行环境,本文中所使用的软件均需要运行在
YannAdams
·
2023-12-17 06:30
Spark
Hadoop
Hive
大数据环境
Windows
spark
hadoop
hive
华为大
数据开发
者教程知识点提纲
一、线下处理1.离线处理方案数据支持:HDFS调度:YARN收入:Flume,sqoop,loader处理:Mapreduce,SparkSql,spark,hive(,Flink)2.HadoopNamenode(metadata),client(备份block),datanode(blocks结构)core-site.xml3.Hive数仓软件,分布式数据管理查询特性:ETL/支持mapred
qq_1418269732
·
2023-12-16 06:08
大数据
6000字长文,终于将数据中台架构体系讲明白了
数据中台的出现弥补了
数据开发
和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。数据中台是国内学者提出的概念,起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发,以中台
公众号:肉眼品世界
·
2023-12-15 19:46
数据安全
大数据
编程语言
人工智能
数据分析
和鲸科技携手深圳数据交易所,“数据+
数据开发
者生态”赋能人工智能产业发展
信息化时代,数据驱动决策的重要性日益凸显。通过利用数据可以深入了解市场需求、客户行为、竞争态势等关键信息,从而制定更为有效的战略和决策。围绕推动数据要素产业发展,近日,深圳数据交易所(以下简称“深数所”)主办的2023中国(深圳)数据要素产业创新大会平行活动“数据要素赋能人工智能产业创新专题活动”圆满落幕。上海和今信息科技有限公司(简称“和鲸科技”)受邀出席,并参与发布两个“首次亮相”,赋能人工智
ModelWhale
·
2023-12-15 11:46
科技
人工智能
数据
新工科:数据科学与大数据技术实验中心解决方案,赋能高校新工科数智人才培养
据人瑞人才与德勤调研显示,未来3年,数字产业化企业最需要运营人员和开发人员(包括大
数据开发
工程师、数据建模开发工程师等),其次是数据分析人员、算法研究人员、数据管理人员、销售人员和产品经理,说明技术革新与商业模式创新是助推数字企业发展的两大动力
美林数据Tempodata
·
2023-12-15 10:08
大数据
数据科学与大数据技术
产教融合
大数据人才培养
数据服务化在京东的实践
在这样的情况下,
数据开发
工程师提出诉求,是否能只贴SQL就可以生成开放数据的API接口,同时又能保证接口的性能、支持传入动态的SQL参数。基于该诉求而开发了一套解决方案的框架:EZD框架
大数据girl
·
2023-12-15 08:53
oracle
数据库
开发语言
大数据
json
java
大
数据开发
:Kafka 异步发送消息可靠性策略
今天的大
数据开发
学习分享,我们就主要来讲讲Kafka异步发送消息的可靠性策略。
成都加米谷大数据
·
2023-12-06 09:59
大
数据开发
:Hive表的基本操作
今天的大
数据开发
分享,我们就来讲讲Hive表的基本操作。Hive创建表createtable语句遵从sql语法习惯,只不过Hive的语法更灵活。例如,可以定义表的数据文件存储位置,使用的存储格式等。
成都加米谷大数据
·
2023-12-05 20:41
Java大
数据开发
入门教程:使用Hadoop处理海量数据
本文将为大家介绍Java大
数据开发
的基本概念和Hadoop的使用方法,帮助读者入门大
数据开发
。一、什么是大
数据开发
?大
数据开发
是指通过使用分布式计算框架和相关技术,对海量数据
C红毛丹
·
2023-12-05 19:29
大数据
java
hadoop
大
数据开发
:Hive on Spark设计原则及架构
今天的大
数据开发
分享,我们来讲讲HiveonSpark设计原则及架构。
成都加米谷大数据
·
2023-12-05 01:44
线性代数在数据科学中的十个强大应用
数据开发
者往往会因为数学太难而尝试避开这个主题。因为有很多现成的数据处理库可以帮助他们避开线性代数这个烦恼。这是极其错误的想法。
城市中迷途小书童
·
2023-12-04 23:52
大
数据开发
:Kafka消息存储到Broker的流程
今天的大
数据开发
学习分享,我们就主要来讲讲Kafka消息存储到Broker的流程。
成都加米谷大数据
·
2023-12-04 23:34
近期关注的大数据开源项目
ServiceGitStarContributorsReleaseLicenseApacheFlink18.1k1005v1.14.3Apache-2.0ApacheFlink:https://github.com/apache/flink
数据开发
訾零
·
2023-12-03 23:11
BigData
big
data
apache
zookeeper
数据中台方案
平台引擎DataSphereStudio基于插拔式的集成框架设计,及计算中间件Linkis,可轻松接入上层各种数据应用系统,让
数据开发
变得简洁又易用。
aaaak_
·
2023-12-03 23:11
大数据
大数据
【数据中台】开源项目(3)-DataSphere Studio
基于插拔式的集成框架设计,及计算中间件Linkis,可轻松接入上层各种数据应用系统,让
数据开发
变得简洁又易用。
码农丁丁
·
2023-12-03 23:10
#
数据中台
数据中台
读书笔记
开源
[一起学Hive]之一–Hive概述,Hive是什么
简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得
数据开发
和分析人员很方便的使用SQL来完成海量数据的统计和分析,而不必使用
antyzhu
·
2023-12-03 17:23
浅析数据中台技术架构
通过数据中台的数据汇聚、
数据开发
模块建立企业数据资产。通过数据体系对数据进行分层存储通过资产管理、数据服务,把数据资产变为数
kobe_OKOK_
·
2023-12-03 15:23
架构
大数据
大
数据开发
:HDFS Erasure Coding机制
今天的大
数据开发
分享,我们就来讲讲HDFSErasureCoding机制。1、HDFS备份机制的问题为了提供容错,HDFS根据复制因子的大小在不同的DataNodes节点复制文件块数据。
成都加米谷大数据
·
2023-12-03 14:29
昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造
本文6539字,阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们深入地使用,出现越来越多的问题,比如:
数据开发
迭代速度不够快
LinkTime_Cloud
·
2023-12-03 14:28
大数据
分布式
编程语言
hadoop
kubernetes
Mysql基本概念和Sql基本语法
数据库的基本概念DB:表视图索引存储过程触发器EventsDB可以想象成为一个文件夹,表就是文件夹里面的excel文件一般作为大
数据开发
来说只需要掌握前面三个就可以了字段类型1.数值类型int整数long
吃货大米饭
·
2023-12-02 17:19
API接入项目:oppo、vivo广告数据接入一条龙服务
而我,第一次接手(之前主要是
数据开发
工程师完成),算是过五关斩六将了。本文档主要为了记录一次独立完成的外部数据接入项目。项目流程图sta
dajiiiiii
·
2023-12-02 10:55
数据分析
python
接口
post
sql
大
数据开发
:Hbase集群安装配置入门
今天的大
数据开发
学习分享,我们就主要来讲讲Hbase集群安装配置入门。
成都加米谷大数据
·
2023-12-01 22:39
零基础学习大数据的方向和路线
大数据三大学习方向:大
数据开发
师、大数据架构师、大数据运维师互联网科技发展蓬勃兴起,人工智能时代来临,抓住下一个
weixin_44386638
·
2023-11-30 18:50
大数据
大数据
大数据学习
大数据开发
大数据入门
如何高效优雅的完成一次机器学习服务部署?一文详解部署难点以及实战案例...
本篇作者fanstuck世界五百强私企大数据工程师,工作与研究方向为大
数据开发
和数据分析,个人喜欢研究技术和算法。数据分析领域优质创
亚马逊云开发者
·
2023-11-30 18:02
机器学习
人工智能
python
大数据
计算机视觉
学Java有什么用?Java就业前景怎么样?
Java语言经过多年的使用和发展建立起了一个庞大的生态体系,在Web开发、Android开发、大
数据开发
、后端开发等领域都有广泛的应用。
程序媛小白
·
2023-11-30 14:49
使用Java+SSM(Spring+SpringMVC+Mybatis)实现在线电影推荐网 电影推荐系统 豆瓣电影爬虫 基于用户、物品的协同过滤推荐算法 机器学习、人工智能、大
数据开发
使用Java+SSM(Spring+SpringMVC+Mybatis)实现在线电影推荐网电影推荐系统豆瓣电影爬虫基于用户、物品的协同过滤推荐算法机器学习、人工智能、大
数据开发
MovieRecommendWeb
linge511873822
·
2023-11-30 05:05
网站模板
基于项目的协同过滤推荐算法
基于用户的协同过滤推荐算法
java
推荐算法
协同过滤
大数据
人工智能
Hadoop大
数据开发
__Spark on YARN模式分布式集群安装部署
1、下载解压sparkcd/home/hadoop/apptar-zxvfspark-3.3.0-bin-hadoop3.tgzrmspark-3.3.0-bin-hadoop3.tgzln-sspark-3.3.0-bin-hadoop3spark2、修改spark-env.shcd/home/hadoop/app/spark/confvispark-env.sh#追加下面的路径HADOOP_C
姚华军
·
2023-11-30 02:32
大数据
大数据
hadoop
spark
Spark
on
YARN
YARN
大
数据开发
:Flink容错机制Task Failover策略
那么Flink是怎么处理的呢,今天的大
数据开发
分享,我们就来讲讲这个TaskFailover策略。
成都加米谷大数据
·
2023-11-29 12:37
建议收藏!数据中台行业发展概况及展望
随着企业业务创新不断加快,对
数据开发
的响应速度提出更高的要求,数据中台就诞生在这样的大背景下。
大数据v
·
2023-11-29 01:20
大数据
编程语言
机器学习
人工智能
数据分析
大
数据开发
:实时数仓架构层次设计
今天的大
数据开发
学习分享,我们就主要来讲讲大数据实时数仓架构设计的问题。大数据实时数仓架构,通常来说,分为数据接入、数据计算、数据存储三个大的层次。
成都加米谷大数据
·
2023-11-28 16:52
聊聊API 安全
近年来,应用市场成为各大互联网平台企业的最爱,Facebook、Twitter、新浪微博、微信公众号、抖音等均使用了这种模式,即平台和第三方开发者之间建立一种合作共赢机制,平台方允许第三方调取
数据开发
应用并部署在平台上
技术琐话
·
2023-11-28 11:23
大数据
编程语言
区块链
人工智能
java
大
数据开发
学习笔记linux java hadoop环境变量配置
linux下配置环境变量javahadoopvim/etc/profile在文件最下方加入以下代码exportJAVA_HOME=java目录exportHADOOP_HOME=hadoop目录exportPATH=HADOOP_HOME/bin:PATHexportCLASSPATH=.:JAVA_HOME/lib/tools.jarexportJAVA_HOMEexportHADOOP_HOM
我还不够强
·
2023-11-27 20:39
大
数据开发
:数据库中间件的两种设计方案
今天的大
数据开发
分享,我们就来讲讲,数据库中间件的两种设计方案。目前来说,市面上典型的数据库中间件设计方案就是两种:Proxy、Smart-client。数据库中间件的设计原理,其实也很简单。
成都加米谷大数据
·
2023-11-27 20:58
计算机毕业设计|基于SpringBoot+MyBatis框架的电脑商城的设计与实现(系统概述与环境搭建)
在
数据开发
的原则下,提出了一种逻辑的开发流程,以用户-收货地址-商品类别-商品-收藏-购物车-订单为顺序,确保
星川皆无恙
·
2023-11-27 16:07
大数据
JAVA后端开发
H5前端开发
课程设计
spring
boot
mybatis
架构
java
后端
大数据
【2023 云栖】阿里云田奇铣:大模型驱动 DataWorks
数据开发
治理平台智能化升级
云布道师本文根据2023云栖大会演讲实录整理而成,演讲信息如下:演讲人:田奇铣|阿里云DataWorks产品负责人演讲主题:大模型驱动DataWorks
数据开发
治理平台智能化升级随着大模型掀起AI技术革新浪潮
云布道师
·
2023-11-27 16:05
阿里云
为什么学习大数据,大数据专家写给大数据分析学习者的10个理由
因为大数据爆发,因此出现了大
数据开发
、大数据分析这两大主流的工作方向,目前这两个方向是很热门,不少人已经在开始转型往这两个方向发展,相较而言,转向大数据分析的人才更多一点,而同时也有不少人在观望中,这边小编收集了十个为什么要学习大数据分析的十个理由
大数据学习01
·
2023-11-27 11:40
【数据中台】开源项目(1)-LarkMidTable
LarkMidTable是一站式开源的数据中台,实现中台的基础建设,数据治理,
数据开发
,监控告警,数据服务,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。
码农丁丁
·
2023-11-27 09:38
后端技术
#
大数据
数据中台
0基础转行,学Java和大数据有什么区别?大数据学习步骤是什么?
Java和大数据如何选大数据方向有很多,目前我们经常说的大数据学习,其实指的是大
数据开发
!大
数据开发
顾名思义学习的主要技术就是编程技术,零基础学习大数据是需要从java和linux学起的。
yoku酱
·
2023-11-27 07:45
【数据中台】开源项目(2)-Moonbox计算服务平台
此外Moonbox还提供数据服务、数据管理、数据工具、
数据开发
等基础支持,可
码农丁丁
·
2023-11-27 00:44
后端技术
#
大数据
开源
数据中台
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他