003-数据开发

bigdata1234.cn 大数据开发基础课堂测试

数据容量单位：1byte=8bits1kilobyte(KB)=1024bytes1megabyte(MB)=1024KB1gigabyte(GB)=1024MB1terabyte(TB)=1024GB1petabyte(PB)=1024TB1exabyte(EB)=1024PB1zettabyte(ZB)=1024EB1yottabyte(YB)=1024ZB.当前大数据技术的基础是由谷歌首先提
亖嘁·2023-06-20 03:23

大数据开发：流处理组件Flume、Kafka对比

今天的大数据开发学习分享，我们就来对流处理组件Flume、Kafka，做个简单的比较。
加米谷大数据张老师·2023-06-20 00:50

任务运维 | 怎么补数据？这有一篇实践案例

在任务运维同学的日常工作中，经常需要使用补数据功能，例如当一个新的数据开发任务提交上线后，需要将历史的数据也能写入对应的时间分区；或者当发现某个任务产出数据有误时，需要重新刷新数据，这时候也会需要用到补数据功能
·2023-06-19 19:08

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-19 15:08

【Hadoop】大数据开发环境配置

【Hadoop】大数据开发环境配置文章目录【Hadoop】大数据开发环境配置1设置静态ip2设置主机名3关闭防火墙4ssh免密码登录5JDK配置6hadoop安装并配置6.1集群节点之间时间同步6.2SSH
chaoql·2023-06-19 15:22

Maven比较全、比较详细maven操作、pom.xml文件配置笔记，适合干大数据开发的人（Windows，Linux）

简介：主要用于Windows和linux写相关插件时弄框架使用，基础的配置操作介绍，适合初学者和不喜欢被代码的人，本篇博客是自己整理的笔记，有不足的地方请多多指教！！！maven操作配置目录maven基础配置Maven的核心配置文件settings.xmlMaven的中央仓库配置Maven的指定编译jdk版本配置Maven打包的相关配置在pox.xml中配置支持依赖打包的代码段在pom.xml配置
小雏菊的成长·2023-06-19 08:13

Flink实战：FlinkSQL接收开启Kerberos认证的Kafka集群数据存入MySQL

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-06-19 01:32

从就业来讲学java还是python_学IT选Java还是Python？就业发展有何区别？

Java更偏向移动应用、科学应用、大数据开发，安卓开发，服务器开发，桌面开发，游戏开发。Java作为
weixin_39602280·2023-06-18 21:25

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

然而，随着系统的复杂性增加，用户在日常使用中往往需要面临诸如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等疑难问题。然而，由于错误日志分析透出和全链路异常诊断能力方面存在一定的不足
Apache Flink·2023-06-18 12:08

水滴筹基于阿里云 EMR StarRocks 实战分享

摘要：水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMRStarRocks的实战经验。
Apache Spark中国社区·2023-06-18 05:13

大数据开发：数仓建模常见数据模型

今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。目前来说，市场上主流的数据建模，主要是四种类型：维度模型、范式模型、DataVault模型，以及Anchor模型。
成都加米谷大数据·2023-06-17 19:45

Flume实现Kafka数据持久化存储到HDFS

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-06-17 18:46

【大数据】可视化仪表板 - Superset的安装和使用

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-06-17 09:08

Java大数据：全文搜索引擎Elasticsearch入门

在之前的《Java大数据：大数据开发必须掌握的四种数据库》一文中，我们提到了MongoDB、Redis、ElasticSearch、Hbase，系列文也对MongoDB、Redis、Hbase都做了简单的入门介绍
加米谷大数据张老师·2023-06-17 08:20

对应用数据开发还有疑惑？看这篇就够了！数据存储、管理，通通掌握！

原文：对应用数据开发还有疑惑？看这篇就够了！数据存储、管理，通通掌握！，点击链接查看更多技术内容。数据管理可以做什么？应用数据的持久化怎么实现？如何实现数据库加密？
HarmonyOS开发者·2023-06-17 02:50

指北数据中台

文章目录一、项目介绍二、功能模块说明2.1平台基础设置2.2数据汇聚管理2.3数据开发2.4数据治理2.5数据集市管理2.6可视化管理三、系统核心技术栈四、系统数仓架构五、系统运行展示六、总结从事数据平台方向以来
大数据指北·2023-06-16 18:21

数据中台的开源解决方案

文章目录一、数据中台建设方法论1.1OneData1.2OneService二、数据中台，常见的4种选型方案三、数据中台的开源解决方案3.1数据存储3.2数据开发3.3查询引擎3.4数据采集工具3.5数据仓库
大数据指北·2023-06-16 18:18

Scala基础编程

Scala编程第1阶段：基础语法第2阶段：面向对象（掌握书写）第3阶段：高级特性（重点）第4阶段：并发编程（了解）scala语言的定位：1、在大数据开发中，使用最多的语言：java针对一些高端企业，会要求开发人员使用
从来不加班的小洋洋·2023-06-16 13:52

案例：绘制Matplotlib动态图

Matplotlib库这个库也算是Python数据开发必学的库之一
算法channel·2023-06-16 03:35

猿创征文｜大数据开发必备的数据采集工具汇总

适用场景工作方式2、FlinkCDC适用场景工作方式3、Sqoop适用场景工作方式4、Canal适用场景工作方式5、Kettle适用场景工作方式前言随着大数据近几年的发展，已经在国内外的开发市场积累出一大批大数据开发的技术型人才
chad__chang·2023-06-16 03:23

【Hadoop技术篇】hadoop的使用

博主介绍‍博主介绍：大家好，我是淼淼_喵，很高兴认识大家~✨主攻领域：【大数据开发】【数据仓库】【ETL】【数据分析】【面试分析】点赞➕评论➕收藏==养成习惯（一键三连）欢迎关注一起学习一起讨论⭐️一起进步欢迎评论作者水平有限
chad__chang·2023-06-16 03:53

大数据开发难学么

好学不好学真的是小马过河的问题，会者不难，难者不会。但是不可否认的是，在初学一门语言的时候，都是会有一些难度的，就看你有没有找对学习路线和适合自己的学习方法~最简单的方法就是自己先学习一下，看看自己的理解能力和掌握情况怎么样就能判断到底是不是难学了学习大数据需要掌握什么语言基础？1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及J
我想去吃ya·2023-06-15 15:05

大数据开发之Hive案例篇10-大表笛卡尔积优化

文章目录一.问题描述二.解决方案2.1数据倾斜2.2SQL改写1:由分析函数改为常规写法2.3分析数据分布2.4SQL改写2:重写参考:一.问题描述需求描述:表概述:dt时间分区data_source数据来源类别start_date时间data_count当前时间的数量需要实现的需求求每个data_source下start_date当前累积的data_countSQL代码:selectdt,dat
只是甲·2023-06-15 13:32

Apache Zeppelin系列教程第九篇——Zeppelin NoteBook数据缓存

ZeppelinJDBCIntercepter对于Hive数据进行查询过程中，如果遇到非常复杂的sql，查询效率是非常慢比如：selectdt,count(*)fromtablegroupbydt做过数据开发的同学都知道
诸葛子房_·2023-06-15 12:59

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-15 11:57

Maxcompute 数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-15 11:25

信也科技发布Plink实时计算平台，助力构建企业级实时数仓新篇章

近日，信也科技推出新一代实时数据开发一站式平台Plink（下称“Plink平台”）。该平台基于ApacheFlink项目自主研发，经过近年来的技术演进，现已具备高可用、高吞吐、灵活扩展等特点。
·2023-06-15 11:08

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
·2023-06-15 11:05

算法工程师与大数据工程师有什么区别？

大数据工程师有分析师和数据开发师两种。大数据分析师是不同行业的专业人士，专门收集、整理和分析行业数据，并根据数据进行行业研究、评估和预测。大数据开发工程师是负责了数据仓库建设、ETL开发、数据分
IT小职·2023-06-15 05:13

校招推荐学习java开发还是大数据开发

这两个方向其实都是不错的方向，java虽然卷，但是技能在手也不怕。大数据的发展前景也是不容小觑的。关键就在于你未来想发展的方向以及个人的兴趣首先可以肯定的是，市场上终归是需要Java人才的，但是总会有人来问，Java前景怎么样？是因为看了太多人说自己学完了，培训完了，没有找到工作；甚至有人不断贩卖焦虑，Java早就没前途了，学Java就是浪费时间。于是就得出结论，Java不行了，学了也找不到工作。
我想去吃ya·2023-06-15 00:01

在MaxCompute中利用bitmap进行数据处理

很多数据开发者使用bitmap技术对用户数据进行编码和压缩，然后利用bitmap的与/或/非的极速处理速度，实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。
·2023-06-14 15:28

大数据开发之Hive案例篇13：Hive SQL 常见参数调整

文章目录一.问题描述二.解决方案一.问题描述hive的一些默认参数设置不适合一些复杂的数据需求场景，需要针对具体情况进行调整。二.解决方案以下是常见的调参:#指定队列setmapreduce.job.queuename=root.default;#在只有map的作业结束时合并小文件，默认开启true；sethive.merge.mapfile=true;##在Map-Reduce的任务结束时合并小
只是甲·2023-06-14 10:50

大数据开发之Hive案例篇12：HDFS rebalance 一例

文章目录一.问题描述二.解决方案2.1增加节点2.2rebalance2.3rebalance引发的问题一.问题描述公司的离线数仓是CDH集群，19个节点，HDFS存储空间大约400TB左右，使用量在200TB左右。由于历史遗留的问题，数据仓库需要重构，新旧数仓在一段时间内需要并存，此时HDFS空间救不够了。于是申请增加6个节点，每个节点挂20T的存储，累积给HDFS增加120TB左右空间。二.解
只是甲·2023-06-14 10:17

面试题：Spark数据倾斜解决方案

在面试大数据开发岗位中，Spark是必须具备的技能之一。最近在复习Spark时，感觉spark发生数据倾斜场景有很多，但是在面试时，说太多了感觉太废话了。如何在面试中思维清晰的回答数据倾斜问题呢？
齐木木9406·2023-06-14 09:50

Python练手：一行Python解Leetcode习题

，我用Python”，并不是说Python比其他语言性能好、也不是说Python比其它语言优秀，而是说它方便，易用，可用于思路验证、原型实现，也可用于快速开发；其开发效率高的特点使其的网络编程、爬虫和数据开发领域极受欢迎
A遇上方知友·2023-06-14 02:32

Java开发工程师与大数据开发工程师有何区别？

最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？
·2023-06-13 23:46

DataLeap的全链路智能监控报警实践（一）：常见问题

随着字节跳动业务的快速发展，大数据开发场景下需要运维管理的任务越来越多，然而普通的监控系统只支持配置相应任务的监控规则，已经不能完全满足当前需求，在日常运维中开发者经常会面临以下几个问题：任务多，依赖关系复杂
·2023-06-13 18:32

苏宁数据治理实战方法论和三字经

大数据到达一定的规模，其所需承载的集群资源成本、数据开发维护成本和数据管理成本，将会呈几何式增长，同样也将会带来一笔巨额的开销。
产品经理自我修养·2023-06-13 17:34

快手基于 Apache Flink 的实时数仓建设实践

摘要：本文整理自快手实时数据开发工程师冯立，快手实时数据开发工程师羊艺超，在FlinkForwardAsia2022实时湖仓专场的分享。
·2023-06-13 16:10

中级数据开发工程师养成计

成为一名中级数据开发工程师。偏向于数据仓库，数据治理方向。
编程爱上我吧·2023-06-13 01:43

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云大数据AI技术·2023-06-12 23:22

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

然而，随着系统的复杂性增加，用户在日常使用中往往需要面临诸如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等疑难问题。然而，由于错误日志分析透出和全链路异常诊断能力方面存在一定的不足。
阿里云大数据AI技术·2023-06-12 23:22

Day05 05-MySQL实战练习及答案

大数据开发、数据仓库开发、数据分析师或者数据治理等大数据相关岗位，其实更多的时候都是在对SQL进行拿捏，所以建议大家有时间一定一定要把
Aidon-东哥博客·2023-06-12 18:16

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

然而，随着系统的复杂性增加，用户在日常使用中往往需要面临诸如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等疑难问题。然而，由于错误日志分析透出和全链路异常诊断能力方面存在一定的不足
·2023-06-12 17:45

5.flink通过ExecutionConfig将参数传递给算子《深入理解flink系列》

）开发者，致力于flink与spring生态集成3.前上市top咨询公司技术经理，现大厂资深开发4.证书:软件设计师，Apachekylin管理员5.方向:java服务端开发，分布式开发，实时计算，大数据开发工程师文章目录参数传递给函数
暴躁IT老绵羊·2023-06-12 12:46

6.flink将命令行参数传递给算子《深入理解flink系列》

）开发者，致力于flink与spring生态集成3.前上市top咨询公司技术经理，现大厂资深开发4.证书:软件设计师，Apachekylin管理员5.方向:java服务端开发，分布式开发，实时计算，大数据开发工程师文章目录参数传递给函数将命令行参数传递给函数
暴躁IT老绵羊·2023-06-12 12:46

Maxcompute 数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云云栖号·2023-06-10 23:47

Kafka入门:集群安装部署（最新版kafka-2.4.0）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-06-10 22:44

大数据培训：如何学好大数据开发

bat等大公司常考java多线程面试题1、说说进程,线程,协程之间的区别简而言之,进程是程序运行和资源分配的基本单位,一个程序至少有一个进程,一个进程至少有一个线程.进程在执行过程中拥有独立的内存单元,而多个线程共享内存资源,减少切换次数,从而效率更高.线程是进程的一个实体,是cpu调度和分派的基本单位,是比程序更小的能独立运行的基本单位.同一进程中的多个线程之间可以并发执行.2、你了解守护线程吗
渐暖吧·2023-06-10 08:57

python基于DeeplabV3Plus开发构建裂缝分割识别系统，并实现裂缝宽度计算测量

在我之前的文章中已经有不少基于裂缝场景的数据开发构建的模型了，感兴趣的话可以自行移步阅读，如下：《基于yolov5s+bifpn实践隧道裂缝裂痕检测》《基于YOLOV7的桥梁基建裂缝检测》《水泥路面、桥梁基建
Together_CZ·2023-06-09 19:24
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他