E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据开发
ChatGPT 上新,效果炸裂,知识平台才是大模型的最佳狩猎场
数新网络可提供大
数据开发
管理、安全合规、建模分析、价值流通等多种服务,让大数据、AI和数据价
数新网络
·
2023-11-25 09:22
chatgpt
Kafka集成Flink
集成Flink一、Flink环境准备二、Flink生产者1.在包名下创建java类:FlinkKafkaProducer三、Flink消费者Flink是一个在大
数据开发
中非常常用的组件。
Smartaotao
·
2023-11-24 04:46
Kafka
kafka
大
数据开发
之Hive优化篇6-Hive on spark
备注:Hive版本2.1.1一.HiveonSpark介绍Hive是基于Hadoop平台的数据仓库,最初由Facebook开发,在经过多年发展之后,已经成为Hadoop事实上的SQL引擎标准。相较于其他诸如Impala、Shark(SparkSQL的前身)等引擎而言,Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。Hive最初的计算引擎为MapReduce,受限于其自身的Map+Red
只是甲
·
2023-11-23 12:06
大数据和数据仓库
#
Hive
hive
on
spark
hadoop
hive
spark
基于流计算 Oceanus(Flink) CDC 做好数据集成场景
无论是在在企业数据中台的建设,亦或者是打造一站式
数据开发
和数据治理的PASS平台。首先需要做的就是进行跨应用的数据融合计算,需要将数据从孤立的数据源中采集出来,汇集到可被计算平台高效访问的目的地。
腾讯云大数据
·
2023-11-23 09:07
数据库
大数据
分布式
编程语言
hadoop
DataWorks实践笔记-从入门到精通
DataWorks是阿里出品的一站式大
数据开发
与治理平台,基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,网络上的教程很多,但是一般都比较冗长。
qq_43548990
·
2023-11-22 13:58
云计算
阿里大数据工程师:教你如何快速的搭建数据库
下面我们来讲大
数据开发
核心流程。当我们接到一个需求,首先会进行需求分析,然后做工作流设计,比如这个任务是什么时候跑的、依赖于哪些业务。工作流设计完成后进行数据采集和数据同步。接下去就是
数据开发
,我们
yoku酱
·
2023-11-22 13:03
数据有了,如何构建数据资产?
本次分享从以下四个环节展开:场景介绍架构设计
数据开发
应用开发01场景介绍为了让大家更好的了解这些产品的应用,首先模拟一个企业应用场景demo:有一家中型的零售商,客户和销售数据分散在不同系统中。
淋风沐雨
·
2023-11-22 06:10
笔记
big
data
数据库
安全
大数据学习路线图 让你轻松掌握大数据技术学习
互联网时代每个企业每天都要产生庞大的数据,对数据进行储存,对有效的数据进行挖掘分析并应用需要依赖于大
数据开发
,大
数据开发
课程采用真实商业数据源并融合云计算+机器学习,让学员有实力入职一线互联网企业。
金光闪闪耶
·
2023-11-22 02:59
一文搞定 SQL Server 执行计划
导读
数据开发
过程中,开发完成的SQL发布到生产环境,经常会发生SQL执行慢甚至根本无法执行,如何避免这种情况呢?这一篇我们分析一下SQLServer的执行计划是如何生成及如何阅读评估执行计划。
Data-Developer
·
2023-11-22 00:50
程序人生
基于Flink打造实时计算平台为企业赋能
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注,大
数据开发
领域最强公众号!大数据真好玩点击右侧关注,大数据真好玩!
王知无(import_bigdata)
·
2023-11-21 10:40
大数据
编程语言
hadoop
java
数据库
springboot微信小程序的纪念馆门票在线预约管理系统19rtj
纪念馆在线预约管理系统采用Java语言,Springboot框架,基于mysql
数据开发
,实现了用户、展馆信息、展馆预约、酒店信息、留言板等内容进行管理,本小程序具有良好的兼容性和适应性,为用户提供更多的信息
QQ_402205496
·
2023-11-21 09:21
spring
boot
微信小程序
后端
Scala学习笔记
大
数据开发
中常用Scala进行功能开发,而且大数据处理和计算框架Flink和Spark都是基于Scala开发的,学习Scala不仅是进行业务开发的前提,而且是深入研究大数据前言技术的基础。
火影启源
·
2023-11-21 02:02
便捷、高效、智能—从运维视角看星环科技大数据基础平台TDH
日前,星环科技发布了大数据基础平台TDH8.1.0,新版本围绕页面布局重构,集群升级和超大集群管理能力等方面进行了全新升级,极大程度地提升了用户
数据开发
管理体验。
星环科技
·
2023-11-21 00:00
大数据
运维
big
data
数据库
【2023云栖】大模型驱动DataWorks
数据开发
治理平台智能化升级
DataWorks产品负责人田奇铣发布了DataWorksCopilot、DataWorksAI增强分析、DataWorks湖仓融合数据管理等众多新产品能力,让DataWorks这款已经发展了14年的大
数据开发
治理平台产品
阿里云大数据AI技术
·
2023-11-20 11:22
大数据
阿里云
大
数据开发
(20)-Skew join
&&大数据学习&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博主哦skewjoin的原理是,为倾斜的大key单独启动一个mapjoin任务进行计算,其余key进行正常的commonjoin。在一般情况下,是否开启skewjoin取决于具体的使用场景。skewjoin是一种优化技术,主要用于大数据处理中的join操作。当处理大表
viperrrrrrr
·
2023-11-20 07:06
大数据
大
数据开发
(19)-hash table详解
&&大数据学习&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博主哦在Map-side聚合中,每个Map任务(mapper)都会维护一个独立的哈希表(hashtable)。在MapReduce框架中,每个Map任务都是独立的,它们分别处理输入数据集的不同部分。每个Map任务都会创建一个哈希表,用于存储键值对(key-valuep
viperrrrrrr
·
2023-11-20 07:36
大数据
hive
mapreduce
HDFS、MapReduce原理--学习笔记
1.Hadoop框架1.1框架与Hadoop架构简介(1)广义解释从广义上来说,随着大
数据开发
技术的快速发展与逐步成熟,在行业里,Hadoop可以泛指为:Hadoop生态圈。
祈愿lucky
·
2023-11-20 06:33
大数据
hdfs
mapreduce
学习
ClickHouse(十四)ClickHouse技术分享ppt
昨天在公司做了ClickHouse的技术分享介绍,给公司的小伙伴们分享了ClickHouse的初认识、特性、使用场景,以及与我们旧
数据开发
架构的对比。
高并发
·
2023-11-20 05:42
clickhouse
大数据
大
数据开发
面试经验总结1(慢慢学习补充)
字节一面1.介绍项目的时候,把自己项目中的数据特点说一下,比如多少字段,多少数据量,大约什么类型,以及输出的‘数据类型和要求,中间进行哪些操作,一步步怎么进行的2.会问到数据库索引数据库索引:官方介绍索引是帮助MySQL高效获取数据的数据结构。更通俗的说,数据库索引好比是一本书前面的目录,能加快数据库的查询速度。一般来说索引本身也很大,不可能全部存储在内存中,因此索引往往是存储在磁盘上的文件中的(
L-JankinLee
·
2023-11-20 01:46
数据库
大
数据开发
面试(一)
1、Kafka和Flume的应用场景?Kafka和Flume的应用场景如下:Kafka:定位消息队列,适用于多个生产者和消费者共享一个主题队列的场景。适用于需要高吞吐量、可扩展性和容错能力的场景。主要用于大数据处理、实时数据流分析和日志收集等场景。Flume:定位数据传输,主要用于将数据从源头传输到目标存储系统。适用于需要将大量数据发送到HDFS、HBase等存储系统的场景。具有较强的可靠性、可扩
ChlinRei
·
2023-11-20 01:41
面试
大数据
面试
etl工程师
分组表,分桶表
nohuphive--servicemetastore&(2)启动Metastore服务nohuphive--servicehiveserver2&(3)查看进程信息lsof-i:100002,分区表概述定义:在大
数据开发
中
祈愿lucky
·
2023-11-19 15:29
大数据
大数据
Django学习生涯_02
Django学习—学员管理系统前台开发开发首页输出数据提交数据优化
数据开发
首页在student/view.py文件下编写代码fromdjango.shortcutsimportrender#Createyourviewshere.defindex
随心~
·
2023-11-19 09:23
学习Django企业开发实战
Django
学习
大
数据开发
:kafka集群搭建步骤示例
今天的大
数据开发
学习分享,我们主要来讲讲在Hadoop集群上如何搭建和配置kafka集群。一、集群规划首先看一下集群规划,3台节点都搭建kafka,并且每个节点都需要提前安装有zookeeper集群。
成都加米谷大数据
·
2023-11-19 08:53
Numpy+Pandas+Matplotlib,Python数据分析三剑客从入门到进阶
今天小编给大家推荐一个颇具潜力的公众号:小数志,其作者先后经历数据分析师、算法工程师以及大
数据开发
等多个数据岗位,尤其是期间还有过一次真正的跨行转岗经历,所以他的公众号记录了很多真实学习历程和经验心得,
Python数据之道
·
2023-11-19 00:44
人工智能
数据分析
编程语言
nagios
大数据
Flink 内核原理与实现-状态原理
可以关注下公众号,专注
数据开发
、数据架构之路,热衷于分享技术干货。前言状态在Flink中叫作State,用来保存中间计算结果或者缓存数据。根据是否需要保存中间结果,分为无状态计算和有状态计算。
857技术社区
·
2023-11-18 18:54
Flink
flink
Flink
内核原理与实现
Flink
大
数据开发
学习笔记
前言:本文介绍了各个大
数据开发
框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门
THE WHY
·
2023-11-17 16:01
大数据
大数据
学习
笔记
广州云栖大会:阿里云携手虎牙,首次落地直播行业边缘节点及云企业网服务
2018年11月22日,由阿里巴巴集团主办的广东省大
数据开发
者大会暨2018广东云栖大会在广州正式召开,其中以助力游戏企业畅游全球为主题的游戏云专场也在上午如期举办。
阿里云云栖号
·
2023-11-17 06:58
边缘计算
云栖大会
视频加速
大数据应用开发线上班(学徒班)课程大纲
泰迪智能科技大数据应用开发线上班课程使用当下流行的Hadoop+Spark大数据框架,全面、深入地探讨了大
数据开发
、大数据分析、数据仓库等技术。
泰迪智能科技
·
2023-11-16 19:23
大数据
项目实战
大数据
人工智能
python
SQL中的字符串截取函数
字符串截取函数,也是我们在
数据开发
分析的过程中比较常用的函数,比较常用的函数,有四个left()、right()、substr()、substring_index()函数。
晓之以理的喵~~
·
2023-11-15 15:54
数据库
数据分析
MYSQL
数据库
sql
大数据
生产环境中的面试问题,实时链路中的Kafka数据发现某字段值错误,怎么办?...
首先,我们在做
数据开发
的过程中涉及到一些基本要素:时效性保障、质量保障、稳定性保障,此外还有敏捷性、可管
王知无(import_bigdata)
·
2023-11-15 10:29
面试
kafka
职场和发展
分布式
大数据工作流_【大
数据开发
】OOZIE的工作流调度及功能架构(一)
常见的JBMP(工作流调度框架):1.Crontab:详情见新闻网关指标张景宇,公众号:数据信息化【大
数据开发
】Hive的高级应用之新闻网关键指标统计(九)2.Azkaban3.Oozie+Hue4.Zeusoozie
weixin_39918682
·
2023-11-14 21:03
大数据工作流
大数据平台作业调度系统详解-理论篇
大
数据开发
平台的核心组件之一:作业调度系统。作业调度系统是一个相对复杂的系统,涉及的内容繁杂,针对的场景多种多样,实现的方案千差万别,是一个需要理论和实践并重的系统。
javastart
·
2023-11-14 20:27
大数据
大数据
java
数据库
大
数据开发
面试知识点复习1
文章目录大
数据开发
复习课程课程目标1、大
数据开发
复习2、面试流程2.1、面试准备2.2、准备简历2.3、投递简历2.4、面试2.5、入职3、基础复习3.1、idea3.11、idea常用快捷键3.12、
爱敲代码的小黑
·
2023-11-14 06:44
大数据面试基础知识点
大数据
mysql
linux
大
数据开发
-Spark调优常用手段
Spark调优spark调优常见手段,在生产中常常会遇到各种各样的问题,有事前原因,有事中原因,也有不规范原因,spark调优总结下来可以从下面几个点来调优。1.分配更多的资源分配更多的资源:它是性能优化调优的王道,就是增加和分配更多的资源,这对于性能和速度上的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升,是成正比的;写完了一个复杂的spark作业之后,进行性能调优的时候,首先第
Hoult-吴邪
·
2023-11-14 06:39
大
数据开发
学习脑图+学习路线清晰的告诉你!月薪30K很轻松
近些年,大数据的火热可谓是技术人都知道啊,很多人呢,也想学习大数据相关,但是又不知道从何下手,所以今天柠檬这里分享几个大数据脑图,希望可以让你清楚明白从哪里入门大数据,知道该学习以及掌握哪些知识点;当然还有自学教程分享哦!想学习好大数据可以加我vx号(VIP452141)有视频资源分享一起学习第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,sol
juan777
·
2023-11-13 15:28
大数据开发
大数据分析
Hadoop
大数据开发
大数据分析
编程语言
程序员
Hadoop
Apache SeaTunnel & Doris7月联合Meetup,从数据集成到分析实践
应对数据采集多场景和工具的是否具备良好的拓展性等,都是
数据开发
工程师关心的切实痛点问题,而对于企业来说,海量数据如何更好更快的分析应用,数据如何驱动业务更好的发展,成为相当重要的一环。
SeaTunnel
·
2023-11-12 09:29
大数据
阿里云大数据利器Maxcompute学习之-假如你使用过hive
如果您是一个大
数据开发
工程师并且使用过hadoop的hive框架,那么恭喜您,阿里云的大数据计算服务-Maxcompute,您已经会了90%。
weixin_34221276
·
2023-11-11 19:28
大数据
java
数据库
大数据工程师:从牛客整理的 BAT Flink 面试题
百川智能
数据开发
笔试腾讯wxg企业微信部门面经金九银十,薪酬谈判技巧美团还真会作废offer啊啊啊啊啊!
2301_78234743
·
2023-11-11 14:18
java
干货 | 携程国际业务动态实时标签处理平台实践
作者简介Weiyi,携程资深
数据开发
,关注大数据相关技术,对大数据实时计算、流批一体等方面有浓厚兴趣;Hzhou,携程资深
数据开发
,关注大数据相关技术,对系统架构和实时处理等方面有浓厚兴趣;Rongjun
携程技术
·
2023-11-10 18:47
大数据
数据库
人工智能
spark
java
平安人寿基于 Apache Doris 统一 OLAP 技术栈实践
自2022年起平安人寿开始引入开源实时数据仓库ApacheDoris并基于此统一OLAP技术栈,通过统一的
数据开发
与服务打破了原有系统的数据“孤岛”、降低了需求的开发成本、加速了业务需求的交付周期,并满足了业务方
SelectDB技术团队
·
2023-11-10 17:46
数据库
大数据
数据仓库
数据分析
apache
2022爱分析 · DataOps厂商全景报告 | 爱分析报告
首席分析师廖耘加爱分析分析师目录1.研究范围定义2.市场洞察3.厂商全景地图4.市场分析与厂商评估5.入选厂商列表1.研究范围定义研究范围在后疫情时代,以数据分析为代表的数据消费场景日益丰富,数据驱动业务增长成为市场共识,
数据开发
管理越来越受到企业决策者重视
ifenxi爱分析
·
2023-11-10 11:02
大数据
深圳开鸿数字产业发展有限公司-软件开发工程师(C/C++)-
天津就业求职好公司及薪资汇总外卖骑手一面面经快手
数据开发
快手数据研发面经快手-
数据开发
-提前批一面-泡池子9.14快手
数据开发
一面凉经快手-
数据开发
日常实习-一面美图C++图形一面面经记录一下刺激的速成秋招腾讯一面
2301_79125642
·
2023-11-10 09:42
java
LLM与数据分析
写在前面本文主要以LLM的应用为基础,说明LLM与
数据开发
、数据分析领域的相关工作以及未来可能存在的发展。
星星点灯1996
·
2023-11-10 09:05
数据分析
数据库
数据挖掘
自然语言处理
【云栖2023】林伟:大数据AI一体化的解读
本文根据2023云栖大会演讲实录整理而成,演讲信息如下:演讲人:林伟|阿里云研究员,阿里云计算平台事业部首席架构师,阿里云人工智能平台PAI和大
数据开发
治理平台DataWorks负责人演讲主题:大数据AI
阿里云大数据AI技术
·
2023-11-10 02:07
大数据
人工智能
大
数据开发
笔记(十):Hbase实践
✨大
数据开发
笔记推荐:大
数据开发
面试知识点总结_GoAI的博客-CSDN博客_大
数据开发
面试本文详细介绍大数据hadoop生态圈各部分知识,包括不限于hdfs、yarn、mapreduce、hive、sqoop
GoAI
·
2023-11-10 02:56
#
Hbase
大数据笔记
大数据
hadoop
mysql
zookeeper
hbase
Go入门简介
就目前来看,Go语言已经⼴泛应用于人工智能、云计算开发、容器虚拟化、⼤
数据开发
、数据分析及科学计算、运维开发、爬虫开发、移动机器人开发,游戏开发等领域。
流子
·
2023-11-09 16:16
Go一学就会
golang
开发语言
后端
数据中台概述
数据中台定义数据中台概念由阿里提出,即实现数据分层和水平解耦,沉淀公共数据能力,提供数据模型、数据服务与
数据开发
功能。数据中台到底是什么?是一种产品?还是一种解决方案型产品?
BetterMan1999
·
2023-11-09 11:50
数据中台
数据中台
数据中台之数据分析
用户界面在
数据开发
/数据分析的代码框右上方,添加一个机器人样式的图标,用户点击后可以调起一个问询对话框。对话框中,用户可以输入他们的数据处理需求,您的服务将这些需求转化为Prompt,并
数据与后端架构提升之路
·
2023-11-09 08:00
数据中台
大数据
安装TDengineGUI
TDengine是涛思
数据开发
的一款高性能、分布式的物联网、工业大数据平台,其核心模块是高性能、集群开源、云原生、极简的时序数据库。
爱上雪茄
·
2023-11-09 08:37
数据库知识
ui
tdengine
electron
【面经】字节大
数据开发
面经
1.wordcount的实现过程Map阶段:按行读取要统计的文本文件;按空格拆分每行的单词将单词转换成kv键值对,格式为(单词,1)将所有的kv键值对中的单词按照单词首字母分区,比如分两个区,那么分区1(a-p),分区2(q-z)Reduce阶段:每个ReduceTask拉取上一阶段所有MapTask的输出,按照key汇总对相同的key的value(value都是1)求和扩展:程序的写法如下//M
和风与影
·
2023-11-09 03:36
大数据
面试
大数据
面试
数据仓库
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他