04--数据开发

【大数据开发】HDFS小文件合并四种方式

直接写数据到HDFS时，我们不可避免的要处理小文件问题，一般有1.落地之前增大batch(即增大了延迟)2.coalesce(分区合并)3.外部程序Merge4.Append（如果文件没有达到指定大小，下一个批次写数据的时候不创建新文件，而是和已存在的小文件合并）四种方式，各有其使用场景，如论哪种方式，无疑会增加我们的工作量。但是如果通过hudi写入数据，小文件的问题hudi自身会帮你解决，hud
这个妹妹我见过·2023-01-31 22:19

从零到一，臻于至善｜网易邮箱基于StarRocks 开发大数据平台的实践

现任职网易邮件事业部资深数据开发工程师，作为主要开发人员参与网易邮箱大数据平台的建立、优化、重构等工作，并取得相当的成效。
·2023-01-31 18:09

经典SQL语句大全（基础、提升、技巧、数据开发、基本函数）

目录前言正文第一章：基础第二章：提升第三章：技巧第四章：数据开发-经典第五章：SQLServer基本函数第六章：常识第七章：SQLServer2000同步复制技术实现步骤总结前言很多人问我关于SQL的问题
软件测试老莫·2023-01-31 16:38

单身福利专场——Python采集某相亲地数据

importparselimportrequestsimportcsvimportre爬虫基本思路流程:一.数据来源分析:1.明确需求:采集数据是什么—>资料数据—>在网页源代码里面二.代码实现步骤:1.发送请求2.获取数据开发者工具
小熊猫爱恰饭·2023-01-30 17:34

数据中台如何搭建

天启，奇点云数据模型架构专家、原海尔集团数据架构师、原阿里巴巴政务团队数据架构师，精通数据仓库建模理论及数据开发技术，具备零售、政务、医药、制造等多个领域数仓和数据中台建设经验，及PB级数据仓库与数据中台建设经验
山野市民·2023-01-30 15:49

数据仓库之建设

背景篇目前所在项目中,人员配置:项目经理(4)业务分析师报表开发工程师(2,4)etl工程师大数据开发工程师(4)人员压缩可参考括号内分析篇从人员配置可知,现在企业对人员的要求比较高,恨不得你啥都会每个人最好了解业务
OverLight·2023-01-30 14:53

数据中台驱动理念

大家更多提的是数据平台数据平台也就是大家可用在这个台子上做数据的加工、处理、利用已经有这么个台子了也说明数据利用已经被大家接受了在数据利用过程中大家发现问题，数据除了创造价值也慢慢成为了一种负担巨量的数据耗费巨量的存储加工这些数据也花费巨量的算力数据开发要在这巨量的数据表中找到有用的表也需要花
远洋之帆·2023-01-30 13:45

大数据理论体系

本专栏为笔者，在多年读书笔记的基础上，结合自身的大数据开发心得体会，呕心沥血之作。来点关注吧，万分感谢！
Shockang·2023-01-30 07:58

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

作者：赵伟，思必驰大数据高级研发，10年大数据开发和设计经验，负责大数据平台基础技术和OLAP分析技术开发。社区贡献：Doris-spark-connector的实时读写和优化。
张家锋·2023-01-30 06:45

20年数据开发大牛总结出的大数据挖掘：概念、模型、方法和算法

前言本书主要阐述数据挖掘原理，在示例的引导下详细讲解起源于统计学、机器学习、神经网络、模料逻辑和演化计算等学科的具有代表性的、最前沿的挖掘方法和算法。本书还着重描述如何恰当地选择方法数据分析软件并合理地调整参数。每章末尾附有复习题。本书特点1.介绍支持向量机(SVM)和Kohonen映射2.讲解DBSCAN、BIRCH和分布式DBSCAN聚类算法3.介绍贝叶斯网络，讨论图形中的Betweeness
Python大数据工程师·2023-01-28 05:17

用户画像4：标签数据开发

标签数据开发是用户画像体系中最重要的一环，主要包括离线标签开发、实时标签开发、用户特征库开发、人群计算、打通数据服务层等开发内容。
一只森林鹿Luluzeng·2023-01-27 16:27

如何使用网络抓取 (BeautifulSoup) 和 GUI 开发 (Tkinter) 与 Python 创建交互式应用程序

让我们通过使用从网页抓取的数据开发GUI应用程序来学习Python编程概念。在这个博客中会有什么期望？
code2day·2023-01-25 11:32

大数据开发：spark core核心讲解

今天的大数据开发学习分享，我们就主要来讲讲Spark框架核心SparkCore。SparkCore简介SparkCore包含Spark的基本功能，如内存计算、任务调度、部署模式、故障恢复、存储管理等。
加米谷大数据张老师·2023-01-24 20:58

大数据 - 大数据开发技术课程总结（未完）

1.课程介绍大数据开发课程主要从了解大数据概念、特征开始，再介绍大数据Java开发和Hadoop的环境配置，较为全面地讲解了HDFS分布式存储，MapReduce分布式计算框架，Spark平台开发和Scala
陈杉菜·2023-01-22 19:40

大数据处理的关键技术及应用

大数据采集技术在这里我还是要推荐下我自己建的大数据学习交流qq裙：957205962，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相
数据工程师大牛·2023-01-22 19:37

产品需求文档（PRD）基本框架

产品功能需求3.1功能介绍3.2功能详情3.2.1功能模块一3.2.2功能模块二……4.产品非功能需求修订页1.概述1.1名词解释文中涉及的名词及解释，有可能是你自创的名词1.2产品概述及目标通过构建数据血缘为数据开发过程中排查数据问题进行溯源排查
izzz_iz·2023-01-21 19:12

Spark修炼之道（基础篇）——Linux大数据开发基础：第七节：进程管理

本节主要内容进程管理简介进程管理常用命令计划任务1.进程管理简介（1）进程概念进程是操作系统中非常重要的一个概念，进程是程序的执行过程，相对于程序，进程是动态的，在linux系统中，它与用户权限相关，程序与进程并没有一一对应，一个程序可能对应多个进程，例如：//ps命令列出当前所有对应当前用户的活动进程xtwy@ubuntu:~$psPIDTTYTIMECMD2087pts/000:00:00ba
zhouzhihubeyond·2023-01-21 16:15

大数据平台到底该如何设计？

实际上，从大数据运营平台沿着数据链路的产生方向往上游推，还存在着大数据采集与存储平台、大数据开发与计算平台、大数据治理平台等。他们分别服务者不同的用户，比如大数据采集与存储
咬定青松·2023-01-20 08:31

2023版大数据学习路线图（适合自学）

大数据成为目前最具前景的高薪行业之一，大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才，薪资一涨再涨。很多人想要加入到大数据开发行列，却又不知道怎么入手。
千锋IT教育·2023-01-18 09:00

1万2千字长文助力春招 | Netty面试篇

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-01-18 03:16

机器学习的十大图像分类数据集

竞赛的目标是利用生物显微镜数据开发可识别复制品的模型。关于比赛的全部信息可以在这里找到。https://www.kaggle.
无止境x·2023-01-17 23:15

如何在mac上使用idea做大数据开发

1软件包下载jdk1.8(jdk1.8.0_231)idea(包括2018,2019)(ideaIC-2019.3.3/ideaIC-2018.3.5)汉化包:汉化包.rarmaven3.6.3(apache-maven-3.6)2jdk的安装第一:把包直接放到自定义目录下第二:配置环境变量a)打开终端输入sudovi/etc/profile或者sudovi.bash_profile解释:etc/
·2023-01-17 18:08

如何在mac上使用idea做大数据开发

1软件包下载jdk1.8(jdk1.8.0_231)idea(包括2018,2019)(ideaIC-2019.3.3/ideaIC-2018.3.5)汉化包:汉化包.rarmaven3.6.3(apache-maven-3.6)2jdk的安装第一:把包直接放到自定义目录下第二:配置环境变量a)打开终端输入sudovi/etc/profile或者sudovi.bash_profile解释:etc/
·2023-01-17 18:35

还在用 Excel 和 SQL？火山引擎 VeDI 这款产品帮你更快处理数据

特别是在企业业务快速发展的背景下，为了让参与项目决策的员工、管理层尽快看到业务相关数据（通常包括核心业务汇总数据、业务一线明细数据等），数据团队往往需要竭尽全力应对数据需求，从而导致数据岗位人员、数据开发设备等在内的多项资源成本压力
·2023-01-17 16:29

大数据开发之路：hive篇

引语大数据开发之路漫漫其修远兮，吾将上下而求索。很多入门大数据的小伙伴，可能第一个接触到的，就是一只可爱的“小象”，也就是我们的大数据领域的数据仓库工具hive。
乐姐·2023-01-17 15:03

大数据开发学习教程——大数据的基本概念

什么是大数据？大数据(BigData)，是一个描述大量高速，复杂和可变数据的术语，需要先进的技术来实现信息的捕获，存储，分发，管理和分析。大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特点4VVolume:数据量异常庞大，一般达到PB量级Variety:数据呈
比屋大数据·2023-01-17 15:02

网易云音乐数据全链路基线治理实践

作者：石烁摘要：在大数据开发领域，大家都会被一个问题困扰：调度任务延迟，然后被老板、被业务“灵魂拷问”。
·2023-01-17 11:02

大数据挖掘与大数据开发学徒班

大数据挖掘与大数据开发学徒班课程体系完善，师资力量雄厚，全程项目式培训
泰迪智能科技·2023-01-16 20:25

大数据开发-Linux操作

目录1.1touch:创建空文件1.2mv:move剪切粘贴--重命名和移动功能1.3cat命名：查看文件内容1.4cp：copy复制粘贴1.5ps、kill、ifconfig、clear1.6回顾：1.1touch:创建空文件toucha.txtb.txt—创建空文件a.txt与b.txttouch/root/a.txt----在/root目录创建a.txt文件Linux与Windows共用--
海星？海欣！·2023-01-16 06:28

Spring boot读取Excel并存入PG数据库（一）

我最开始并非专职Java开发，本职是大数据开发，奈何公司环境如此，也时常参与Java项目开发。很久没有认真写博客了，经历了整个忙碌的夏天，特别是9月以来，笔者有
风碎峰·2023-01-15 04:24

大数据学习路线图（2023版自学路线）

大数据成为目前最具前景的高薪行业之一，大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才，薪资一涨再涨。很多人想要加入到大数据开发行列，却又不知道怎么入手。
·2023-01-13 17:28

大数据学习路线图（2023版自学路线）

大数据成为目前最具前景的高薪行业之一，大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才，薪资一涨再涨。很多人想要加入到大数据开发行列，却又不知道怎么入手。
·2023-01-13 16:57

大数据开发：Hadoop入门学习路线

学习大数据，核心重点就是对于专业技术的掌握，我们判断一个机构的课程是否具备足够的专业度，也往往是从这些核心技术体系的课程规划来看的。以Hadoop来说，这是大数据学习当中必不可少的部分。今天大数据学习分享，我们来聊聊Hadoop学习路线。Hadoop生态最初在大数据领域绝对是无可争议的霸主，虽然近年来大数据领域新技术层出不穷，这些新技术确实在很多方面比起Hadoop强，但是Haoop作为最早的、目
加米谷大数据张老师·2023-01-12 21:05

数据服务

数据开发加工好数据后，通常会以Hive表的方式保存到hdfs上。前端应用如果想使用这些数据的话，为了保证查询性能，需要将数据导入到一个中间存储上。
woloqun·2023-01-12 10:19

机器学习的一般框架

数据科学开发工具anaconda：管理开发环境jupyter：编写整个数据处理流程pycharm：远程编写调试代码ipdb：pycharmdubug时偶尔出现一些bug，可以用结合ipdb补充解决数据开发六步
FibonacciCode·2023-01-11 23:36

POI实现 动态数据库表Excel导出,并上传文件服务器

POI实现动态数据库表Excel导出,并上传文件服务器背景需求参考博客正文环境依赖工具类导出数据生成Excel流转换文件上传工具类问题背景Excel导出数据库数据开发中很常见,也有一些封装好,快速使用的框架
Abner G·2023-01-11 13:07

python代码运行速度有点慢 ? 教你使用多线程速度飞升

Python3.8Pycharm模块使用:requests数据请求模块parsel数据解析模块recsv内置模块一.代码实现步骤:发送请求,模拟浏览器对于url地址发送请求获取数据,获取服务器返回响应数据开发
茜茜是帅哥·2023-01-11 05:44

2022年度总结与2023未来规划

业务开发常见错误/Java并发编程深入理解计算机系统MySQL-SQL必知必会/高性能MySQL重构：改善既有代码的设计计算机系统知识：图解TCP/IP、LinuxC编程一站式学习软件设计：编程范式/设计模式大数据开发
luxinfeng666·2023-01-09 08:05

学习大数据开发零基础是不是限制，小白能否快速学会？附上学习路线图

其实无论是学习IT还是学习大数据开发，大家都是从0开始的，即使你没有基础也无需担心，毕竟大家最开始都是从小白度过的。J
juan188·2023-01-08 15:45

【统一数据开发平台】-OLAP分析平台和实时数仓实践和优化

一、业务背景BIGO是一家面向海外的以短视频直播业务为主的公司,目前公司的主要业务包括BigoLive(全球直播服务)，Likee(短视频创作分享平台)，IMO(免费通信工具)三部分，在全球范围内拥有4亿用户。伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍BIGO大数据平台及其所面临的问题。BIGO大数据平台的数据流转图如下所示：用户在APP，W
Impl_Sunny·2023-01-08 10:16

数仓构建-架构与模型设计

MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
胜利的曙光·2023-01-06 01:24

阿里CCO：基于Hologres的亿级明细BI探索分析实践

作者：张乃刚（花名：隽驰)，CCO数据开发CCO是ChiefCustomerOfficer的缩写，也是阿里巴巴集团客户体验事业部的简称。
·2023-01-05 15:40

时速云 KubeData 平台成功部署广电五舟鲲鹏服务器，打通全链路数据，释放数据生产力

基于时速云KubeData平台的数据汇聚、数据开发、数据建设、数据治理、数据服务等核心模块能力，依托广电五舟鲲鹏服务器S627K2的优异性能，双方将合力帮助企业构建业务数据化、数据资产化、资产服务化、服务业务化的有效闭环
tenxcloud6·2023-01-04 14:14

漏刻有时数据可视化Echarts组件开发(26):全国地图三级热力图下钻和对接api自动调用数据开发实录

项目需求基于全国地图进行省市区(县)三级下钻开发；不同区域进行视觉映射，体现区域热力图；自动调用后台API，对应区域显示数据库数据；动态筛选条件，依据筛选条件加载数据；项目分析全国完整地图china,json，二级省级34个json地理数据，三级地市344个json地理数据。地理数据获取存在难度，获取最新的地市和区县地理数据难上加难；动态加载数据，意味着需要将地图下钻整体封装成函数，同时容器对应的
漏刻有时·2023-01-04 09:01

数据可视化大屏Echarts高级开发散点图实战案例分析（地图扩展插件bmap.min.js、散点图、百度地图控件、柱图、涟漪动图、条件判断颜色）

自适应电脑和手机端)漏刻有时数据可视化Echarts组件开发(27)：盒须图(箱线图)前后端php交互的实战案例漏刻有时数据可视化Echarts组件开发(26):全国地图三级热力图下钻和对接api自动调用数据开发实录漏刻有时数据可视化
漏刻有时·2023-01-04 09:24

mysql常用语法

像我在从事了一段时间数据开发后，接触到了更多的SQL语法，也才意识到之前学的、用的SQL还是太少了。今天就给大家分享一些非常有用的SQL语句，并不复杂，希望大家要用到的时候能想起来有这么一些东西。
阿彬在上路·2023-01-01 20:03

阿里云DataWorks学习——数仓架构设计

MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系
zhisheng_blog·2022-12-31 16:36

阿里云大数据开发一面面经，已过，面试题已配答案

参考答案来源：大数据面试题V3.0，523道题，679页，46w字二面：阿里云大数据开发二面面经，已过，面试题已配答案_蓦然_的博客-CSDN博客1、实习经历这一点就不多说了，每个人都不一样，根据自己的介绍就行
蓦然_·2022-12-31 16:35

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
普通网友·2022-12-31 13:04

7&的2022年终总结

…2、技术定位大数据开发领域，这一年来，学习了大数据常见的组件或者框架，
7＆·2022-12-30 19:05
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他