04--数据开发

数据开发与数据治理的关系

一、关系图1.数据开发系统作为数据决策体系，其核心便在于指标体系的建设及其覆盖面。2.指标体系建设可分为三种建设方法，分别为科学方法选指标如OSM、分析模型如AARRR、场景化的人货物。
CesarChoy·2023-04-04 18:10

阿里云Big Data - dataworks和MaxCompute之间的关系与区别

dataworks和MaxCompute之间的关系与区别MaxCompute做数据存储和数据分析处理，Dataworks是集成了数据集成、数据开发调试、作业编排及运维、元数据管理、数据质量管理、数据API
天地不仁以万物为刍狗·2023-04-04 18:03

【Flink】（二）详解 Flink 运行架构

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。
云 祁·2023-04-04 17:46

RT1176 M4 LPSPI驱动移植到RT-THREAD（失败，原因未知）

调试内容：RT1176LPSPI在RTT框架下，使用阻塞模式发送数据开发环境：RTTStudio测试工具：逻辑分析仪KingstLA5016开发板：MIMXRT1170-EVK使用引脚：LPSPI1运行内核
Hao_Zhen·2023-04-04 16:44

阿里云大数据平台DataWorks(原DataX)

核心功能数据集成离线/实时数据同步复杂网络环境下，对丰富异构类型数据源高效稳定的移动和同步能力数据开发对MaxCompute中的数据进行加工(SQL，UTF，Graph，MR)、分析与发掘（数据分析、数据挖掘
hsabrina·2023-04-04 14:39

阿里大数据-数据库总结:RDS ADS OTS Maxcompute（ODPS）

阿里云大数据开发套件的使用，主要涉及到odps、ads、rds、ots相关数据库的操作，所以针对性的做一些总结，并将阿里云中产品与实际产品对应分析。
hsabrina·2023-04-04 06:37

Apache Doris核⼼功能 | 数据模型和物化视图

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2023-04-04 06:14

JavaWeb之路04--会话跟踪

会话跟踪技术会话跟踪技术是Web程序中常用的技术，用于跟踪用户的一次完整会话。用户打开一个浏览器访问一个网站，只要不关闭该浏览器，不管该用户点击多少个超链接，访问多少资源，直到用户关闭浏览器，或者服务器关闭，这整个过程我们称作一次会话。常用的会话跟踪技术是cookie和session。cookie机制是通过在客户端记录信息确定用户身份，session机制是通过在服务器端记录信息确定用户身份。coo
citricl·2023-04-04 05:14

大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态

从Hadoop框架讨论大数据生态目录从Hadoop框架讨论大数据生态2.1Hadoop是什么2.2Hadoop发展历史（了解）2.3Hadoop三大发行版本（了解）2.4Hadoop的优势（4高）2.5Hadoop组成（面试重点）2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce架构概述2.6大数据技术生态体系2.7推荐系统框架图2.1Hadoop是什么2.2Hado
Lcreator·2023-04-03 20:56

【大数据开发】ES实际生产部署架构

es生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？这个问题，包括后面的redis什么的，谈到es、redis、mysql分库分表等等技术！就是你生产环境咋部署的？说白了，这个问题没啥技术含量，就是看你有没有在真正的生产环境里干过这事儿！有些同学可能是没在生产环境中干过的，没实际去拿线上机器部署过es集群，也没实际玩儿过，也没往es集群里面导入过几千万甚至是几亿的数
这个妹妹我见过·2023-04-03 19:41

大数据开发：分布式OLAP查询引擎Presto入门

在之前的《大数据开发：OLAP开源数据分析引擎简介》一文当中，我们对主流的一些开源数据分析查询引擎做了大致的介绍，今天的大数据开发分享，我们具体来讲解其中的Presto查询引擎，是什么，为什么会出现，又能够解决什么样的数据处理需求
成都加米谷大数据·2023-04-03 18:54

大数据开发-mysql

目录标题介绍SQL语言数据处理之查询函数创建和管理表数据处理之增删改数据库事务约束和分页约束分页介绍DB:数据库（database）：存储数据的“仓库”。它保存了一系列有组织的数据。DBMS：数据库管理系统（DatabaseManagementSystem）。数据库是通过DBMS创建和操作的容器SQL：结构化查询语言（StructureQueryLanguage）：专门用来与数据库通信的语言。常见
海星？海欣！·2023-04-03 17:24

数据建模方法论

如何理解数据仓库从事数据开发后，再回头来看一看数据仓库的定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
sinadrew·2023-04-03 15:05

clickhouse笔记04--快速理解分片和副本

clickhouse笔记04--快速理解分片和副本1介绍2副本&分片核心要点2.1数据副本2.2ReplicatedMergeTree原理2.3数据分片2.4Distributed原理解析3注意事项4说明
昕光xg·2023-04-03 12:22

星环科技TDS 2.4.0 发布： 数据开发、数据治理、数据运营套件能力再次升级

近日，星环科技大数据开发工具TranswarpDataStudio2.4.0版本重磅发布，新版本中数据开发、数据治理、数据运营三大套件能力全部升级，让数据开发更便捷、数据治理更高效、数据运营更智能。
星环科技·2023-04-03 11:06

100天精通Python（基础篇）——第7天：高级变量类型复习

作者介绍：Python领域优质创作者、数据开发工程师励志成为Python全栈工程师，关注我发现更多精彩~本文已收录于Python全栈系列专栏：100天精通Python从入门到就业欢迎订阅，订阅后可私聊进
袁袁袁袁满·2023-04-03 10:04

2023秋招—大数据开发面经—多益网络

一面hr面：问个人情况，问官网投递时回答的一些问题二面——技术面1、实习的工作是什么？2、SQL调优有哪些？3、介绍一下项目，主要做什么工作？（项目介绍还不顺畅）4、为什么学大数据？5、项目里的Flume是怎么用的？6、TailDir为什么可以断点重传？（面试官说不能）7、Linux什么指令可以监听文件？8、Flume的事务是怎样的？（因为上一题提到了事务）9、Kafka的基本架构？10、RXR队
不断学习的克里斯·2023-04-03 06:58

2023秋招—大数据开发面经—蚂蚁金融

一面：电话面试1、自我介绍2、挑一个实习项目讲一讲3、项目里的数据是怎么处理的？4、数据研发选择哪一块？（数据仓库、数据平台、数据算法、数据挖掘）5、讲讲MapReduce的原理6、环形缓冲区为什么要反向？7、实习的存储计算用的是什么组件8、有金融相关知识的储备吗？反问：1、这一面算是第一面吗（是）？算专业面吗（是）？2、做什么工作的？（国外金融银行业务）3、用到哪些技术栈？4、希望候选人所具备哪
不断学习的克里斯·2023-04-03 06:27

2023秋招—大数据开发面经—网易云音乐

7、汇总数据开发是怎么做的？（实习工作）8、Flink任务的并行度和内存怎么设置的？9、Flink的TaskManager内存模型了解吗？10、
不断学习的克里斯·2023-04-03 06:27

字节给我发感谢信，我也感谢字节（内附一面面经）

前几天面的一面，投的是大数据开发岗位，没有笔试面完感觉自己有点凉，毕竟SQL没写出来，有个数据倾斜的问题也没答出来但最后面试官问了一句最早几时可以上岗，让我感觉尚有希望，于是等了三天，就给我发信这个结局自己其实也是料到了
不断学习的克里斯·2023-04-03 06:26

ZooKeeper的一些总结

是什么二、Zookeeper用来做什么三.Zookeeper的优势是什么四.为什么用zookeeper五.zookeeper解决了什么问题总结前言Zookeeper作为一个分布式协调服务，在Java以及大数据开发中都遇到过
易逑实战数据·2023-04-03 04:44

大数据HCIE认证更新升级，要考大数据HCIE的过来看看

HCIE-BigData-DataMiningV2.0定位于数据挖掘方向的专家级别认证，适用于大数据开发和运维高级工程师以及致力于向AI领域发展的人员的技能提升。
智汇云校·2023-04-03 03:28

Java，php，运维工程师转型大数据开发怎么样？你属于哪一类？

一：java转型大数据“2019年可能会是过去十年里最差的一年，但却是未来十年里最好的一年”。市场发展的受限，不仅波及了各个行业的从业者，就连IT领域也受到了影响，很多IT人开始寻找新的出路，其中，很多java程序员将转型大数据看成是迎接“春天”的一个契机，其原因究竟是什么呢？在资本“寒冬”的影响下，互联网巨头们纷纷的传出缩招的消息，像阿里、京东等。而像华为这样的企业，也曾传出了停止社招的信息。大
大数据基础入门教程·2023-04-03 03:14

Java程序员转行大数据开发怎么样？难吗？

提到大数据，很多人会想到Java，提到Java，也会想到大数据，二者有什么关系呢？哪个发展更好？二者关系？大数据框架的编写支持很多开发语言，目前流行的大数据Hadoop框架，很多部分都是用开源的Java语言编写。Hadoop的创始人DougCutting曾说过：Java在开发者的生产率和运行效率之间取得很好的权衡。开发者可以使用广泛存在的高质量类库，切身受益于这种简洁、功能强大、类型安全的语言。谁
juan188·2023-04-03 02:34

分布式系统：数据一致性解决方案

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2023-04-02 21:50

（一）HIVE基本概念原理

简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析，而不必使用编程语言
默云客·2023-04-02 09:33

一文读懂数据中台架构体系（收藏）

数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足
互联网架构·2023-04-01 23:01

大数据开发可以自学吗?有哪些需要注意的地方？

我们在学习大数据开发前需要先找到适合自己的方式方法，首先需要审视一下自身的情况，是否是以兴趣为出发点，对大数据是不是自己是真的感兴趣吗，目前对大数据的了解有多少，自己的学习能力和理解能力是否适合学习。
yoku酱·2023-04-01 23:11

java和python哪个更好找工作？

1、就业现状从目前的就业现状来看，Java的工作机会肯定是更多的，如Web开发、大数据开发和移动互联网开发等都是基于Java的应用方向。
Lalalajtyy·2023-04-01 21:57

产业互联网时代有哪些软件开发任务

首先，软件开发当前的划分方式非常多，如果按照技术领域进行划分，软件开发涉及到物联网开发、云计算开发、大数据开发和人工智能开发等等，而如果按照软件自身的技术体系来划分，又可以划分为前端开发、后端（服务端）
飞翔的勇士·2023-04-01 15:39

大数据专业毕业后前景如何？能做什么职位？

大数据开发岗位是当前人才需求量比较大的岗位之一，不论是本科生还是研究生，当前选择大数据开发岗位会有相对较大的选择空间。
我想去吃ya·2023-04-01 11:19

大数据专业前景怎么样？

大数据专业毕业生未来的岗位选择空间比较大，有三大类岗位可选择分别是大数据开发岗位、大数据分析岗位和大数据运维岗位，在不同的行业和技术体系结构下这些岗位也包含很多细分的岗位。
我想去吃ya·2023-04-01 11:19

大数据就业前景怎么样?需要学会哪些技术?

智能时代的来临，我们日常生活中的很多技术都可以用大数据来实现，大数据开发行业做为IT行业中的一类更是前景无限。所以很多人想转行做大数据开发。那么现在大数据就业前景怎么样?需要学会哪些技术?
千锋教育qyf·2023-04-01 10:29

2023大数据开发就业前景怎么样？

大数据开发就业班正在火热招生中。大数据开发做什么？大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。
泰迪智能科技·2023-04-01 10:45

浅谈数据仓库架构设计

数据中台希望构建在数据仓库基础上的决策支持系统的建设能更加迅速敏捷，缩短业务需求实现过程中的数据开发过程的时间。数据中
阿里云技术·2023-04-01 09:38

数据倾斜及一些解决方法

一、数据倾斜原理做大数据开发，很有可能会遇到数据倾斜的问题，要想解决数据倾斜，首先要理解什么是数据倾斜，以及产生数据倾斜的原因。
hunter95671·2023-04-01 02:26

大数据工程师需要学习哪些内容

大数据开发对于Java语言的依赖程度比较高，如果想尝试大数据开发，学习过Java语言就很容易上手Java是目前使用广泛的编程语言之一，具有的众多特性，特别适合作为大数据应用的开发语言。
我想去吃ya·2023-03-31 22:02

云原生数据中台 前言

云原生数据中台架构、方法论、实践作者：彭锋宋文欣孙浩峰著前言：数据中台需要承载的任务：打通企业各个部门之间的数据，形成统一的数据开发和使用规范，在企业各个部门之间实现数据能力的抽象、共享和复用什么是数据中台数据中台虽然也是承接低层数据和上层业务的中间层
章鱼哥TuNan&Z·2023-03-31 19:56

基于阿里云官网文档-大数据开发治理平台 DataWorks研读+数据质量扩展+相应的大数据组件知识扩展

网址：阿里DataWorkers网址：数据集成概述-大数据开发治理平台DataWorks-阿里云目录网址：阿里DataWorkers网址：数据集成概述-大数据开发治理平台DataWorks-阿里云一、DataWorks
ListenerDMT·2023-03-31 16:08

学习大数据的基础

目前大数据分为两大方向：大数据开发和大数据分析。这两大方向的对于基础知识的要求不同，大数据分析偏向于分析，对于编程要求不高，相较而言对于基础知识这块要求低一点。
kuntoria·2023-03-31 14:27

数据通大数据导航，助力CSDN大数据的伙伴们！

数据通大数据导航大数据网站政府类社会组织类媒体论坛类大数据开放平台国内城市开放数据统计机构（全球）国外开放数据平台国内各省市县统计机构机器学习数据源AI开源数据数据科学平台大数据交易平台大数据开发分析工具问卷调查工具大数据分析工具网站分析监测工具移动应用监测工具移动应用测试工具网站热点分析工具爬虫工具
点滴聚变·2023-03-31 07:10

【Bigdata】数据中台总体架构图

如果用三句话来概括数据中台的组成架构，那么一定是：通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务。
mumu_wangwei·2023-03-31 07:03

数据中台05：数据中台之数据加工总线

并且数仓还是分层的，针对每一层的数据都需要进行实时计算，此时就需要开发很多实时计算程序，实时计算程序的复用性很低，针对每一种类型的数据都需要开发对应的实时计算程序，开发成本高，并且对程序员也不友好，需要专门的大数据开发工程师
做一个有趣的人Zz·2023-03-31 07:31

Alpine Linux如何安装软件

大家好，我是Lee，专注数据开发多年，最近在学习datahub元数据管理系统，正好公司目前也没有相关组件，于是自己搭建起来，帮忙梳理整个公司的业务数据和技术数据。
chenzuoli·2023-03-31 06:25

数据中台02：数据中台架构

通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过数据体系对数据进行分层存储通过资产管理、数据服务，把数据资产变为数据服务能
做一个有趣的人Zz·2023-03-31 06:44

大数据开发：Hive分桶表及动态分区、静态分区

今天的大数据开发分享，我们就来讲讲Hive分桶表及动态分区、静态分区。一、Hive的分桶表1、分桶表原理分桶是相对分区进行更细粒度的划分，Hive表或分区表可进一步的分桶。
成都加米谷大数据·2023-03-31 04:51

Java大数据开发Hadoop MapReduce

目录1MapRedcue的介绍1.1MapReduce定义1.2MapReduce的思想1.3MapReduce优点1.4MapReduce的缺点1.5MapReduce进程1.6MapReduce-WordCount2Hadoop序列化2.1序列化的定义2.2hadoop序列化和java序列化的区别3MapReduce的原理3.1MapReduce工作的过程3.2InputFormat数据输入3
·2023-03-31 01:18

【闲聊】我用ChatGPT参加了大数据面试

问：那么为什么你要投递大数据开发这个岗位答：我对于大数据开发的岗位深感兴趣，因为我有着多年的编程经验，我熟悉分析数据、解决问题和提出创新解决方案的能力，并且拥有扎实的数据库和计算机科学的基础知识。
和风与影·2023-03-30 23:31

利用工厂设计模式合并多个Flink Job

大家好，我是大圣最近大圣在工作中遇到这样一个数据开发的需求，就是监控用户在某个产品的哪几个界面发生的用户行为，其实简单来说就是计算用户在我们这个产品的某些界面的PV/UV，以及用户前一个操作界面和后面一个操作界面之间的行为数据
大圣说编程·2023-03-30 19:32

一文搞懂大数据开发，大数据开发体系详解

如果只有数据量大是不是太片面单一了，实际上如果你说是从事大数据开发，那么起码要满足下面
盈梓的博客小站·2023-03-30 16:03
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他