04--数据开发

超大型纸业品牌“清风”也用上 Apache SeaTunnel 啦！

今天，我将向大家介绍ApacheSeaTunnel在我们金红叶纸业集团中的应用场景，包括我们为何选择ApacheSeaTunnel,以及我们如何基于其提升我们内部的数据开发效率。
SeaTunnel·2023-10-20 07:33

大数据开发之Hive篇4-Hive数据操作语言

备注:Hive版本2.1.1文章目录一.Hive的DML(数据操作语言)概述二.Load命令2.1数据准备2.2将服务器文件加载到hive表2.3将HDFS文件加载到hive表三.INSERTINTOTABLEFROMQuery3.1Insertintoselect语句3.2Insertoverwriteselect语句3.3multipleinserts3.4动态分区插入四.CTAS五.Writ
只是甲·2023-10-20 01:22

大数据开发中的秘密武器：探索Hadoop纠删码的奇妙世界

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性，HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。因此，在保证可靠性的前提下如何提高存储利用率已成为当前HDFS面对的主要问题之一。Hadoop3.0引入了纠删码技术（ErasureCoding），它可以提高50%以
技术琐事·2023-10-19 22:46

日常学习记录随笔-zabix实战

使用zabix结合实现一套监控报警装置不管是web开发还是大数据开发我们的离线项目还是实时项目也好，都需要把我们的应用提交到我们服务器或者容器中去执行整个应用过程中怎么保证线上整体环境的稳定运行监控很重要现在比较主流的就是普罗米修斯以及
一个诺诺前行的后端程序员·2023-10-19 20:06

一文带你入门go语言

目前Go语言已经⼴泛应用于人工智能、云计算开发、容器虚拟化、⼤数据开发、数据分析及科学计算、运维开发、爬虫开发、游戏开发等领域。相信大家都听说过大名鼎鼎Docker就是用go语言所开发的。
The Era·2023-10-19 02:27

伸手党看过来 从入门到精通的大数据课程视频你确定要错过？

大数据开发工
千锋大数据·2023-10-18 18:27

袋鼠云代码检查服务，揭秘高质量代码背后的秘密

在袋鼠云产品中也存在这个问题，由于离线数据开发人员SQL水平不一，导致代码书写混乱、SQL代码运行问题较多。
袋鼠云数栈·2023-10-18 13:25

python面试知识图谱_全网首发！零基础大数据方向学习面试知识图谱，包含教程+面试题...

大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪些技能。
weixin_39655689·2023-10-18 01:51

跟着Datawhale打一场时序比赛（SEED新能源赛道-电动汽车充电站充电需求预测）之打卡笔记一

又开始组织打比赛的培训学习了，很早就认识了这个专业的学习组织，跟着他们也学过不少竞赛知识，但是还没完全打完过一场赛事；所以这次打算跟着Datawhale打这场时序的比赛—>2023“SEED”第四届江苏大数据开发与应用大赛
小白掌柜·2023-10-17 15:04

RabbitMQ 安装和使用Demo

RabbitMQ、RocketMQ、KafkaRocketMQ是阿里的应用层开发使用RabbitMQ大数据开发KafkaMQ是不是微服务都可以用RabbitMQ是什么？
征途漫漫，唯有奋斗·2023-10-17 12:45

大数据开发复习（1）

大数据开发复习课程课程安排day01就业岗位介绍面试流程最重要的是简历基础复习JavamysqlLinuxday02HDFSMapReducehive(sqlboy)HBASEday03kafkaredisesday04scalasparkflinkday05etl
小码上线·2023-10-17 09:55

一个神奇的bug：OOM？优雅终止线程？系统内存占用较高？

摘要：该项目是DAYU平台的数据开发（DLF），数据开发中一个重要的功能就是ETL（数据清洗）。
码上入坟·2023-10-17 02:09

数字化时代，数据仓库究竟是干什么的？

无论你是否专门从事大数据开发，作为一个开发人员，应该都听说过数据仓库的概念，那你知道为什么会出现数据仓库？数据仓库究竟是干嘛的吗？有什么价值和意义呢？那么本文就带到入门，揭开数据仓库的面纱。
派可数据BI可视化·2023-10-17 00:16

25届日常实习面试 - 数据开发 &； 后端开发

题解|#小乐乐与欧几里得##includeintmain(){longlonginta=0;longlongintb=题解|#单词倒排#importjava.util.*;publicclassMain{publicstaticvoidmain(String[]args){题解|#明明的随机数##include#include#include#include&题解|#牛牛学说话之-浮点数##inc
2301_79125431·2023-10-16 20:49

数仓建设规范说明书

⾯向数据开发团队、数据产品团队、前后端团队等与数仓数据有关⼈员。
贾斯汀玛尔斯·2023-10-16 18:39

Python爬虫：某书平台的Authorization参数js逆向

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-16 16:43

对工作还有Bar Raiser的一些感想

最近更新博客的频率降低了，很大一个原因是工作内容发生了变化，之前工作内容大数据开发占比较高。而现在的工作内容后端开发占比会更加多一点，比如Spring全家桶、DDD。
淡定一生2333·2023-10-16 13:13

中华人民共和国数据安全法

第一章总则第一条为了规范数据处理活动，保障数据安全，促进数据开发利用，保护个人、组织的合法权益，维护国家主权、安全和发展利益，制定本法。
xianKOG·2023-10-15 22:38

Java大数据：全文搜索引擎Elasticsearch入门

在之前的《Java大数据：大数据开发必须掌握的四种数据库》一文中，我们提到了MongoDB、Redis、ElasticSearch、Hbase，系列文也对MongoDB、Redis、Hbase都做了简单的入门介绍
成都加米谷大数据·2023-10-15 19:05

大数据入门之zookeeper的功能及工作原理，未完待续……

如果大家对大数据开发感兴趣，可以点击文章“了解更多”，了解和报名大数据免费学习交流课程！！！1.Zookeeper是什么？
尚学先生·2023-10-15 07:57

Flink On K8S终极实现方案

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2023-10-14 00:53

一个屌丝靠阿里云逆袭的故事

.数字银行.银联.最后在外资公司待着.一路走来多亏有好心人的帮忙.最近有意转行.直到有一天听说了阿里云大学才知道原来云计算还可以这么玩.立马就报名学习了阿里云大学的四门专业课程.云计算.大数据分析,大数据开发
tymyq·2023-10-13 10:10

SQL和Python，哪个更容易自学？哪个更适合数据工作的编程新手？

如果你想从事数据工作，比如数据分析、数据开发、数据科学等，你可能会遇到这样的问题：SQL和Python哪个更容易自学？哪个更有用？哪个更有前途？
冲浪中台·2023-10-13 10:31

深度学习简述

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-12 21:56

深度学习实战：用Keras搭建深度学习网络做手写数字识别

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-12 21:56

数据挖掘实战（2）：信用卡诈骗分析

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-12 21:26

数据挖掘实战（3）：如何对比特币走势进行预测？

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-12 21:21

万字长文！深度剖析《数据安全法》下多方数据协同应用和隐私计算发展趋势

《数据安全法》强调数据安全与开发利用平衡，保障数据安全与促进数据开发利用并重，在规范数据安全监管与治理的同时，也给多方数据协同应用带来了新的发展机遇。
腾讯大数据·2023-10-12 11:53

oracle、mysql、postgresql数据库的几种表关联方法

简介在数据开发过程中，常常需要判断几个表直接的数据包含关系，便需要使用到一些特定的关键词进行处理。
necessary653·2023-10-11 15:40

为何需要重新编译过的hive

3.安装好后可按如下命令查看hive兼容的spark总结前言大数据生态各个组件之间存在兼容性问题，假如您想从事大数据开发相关工作，那么后续很有可能会做离线数仓的项目，而在搭建数仓环境时会用到spark,
博嘁东·2023-10-11 14:18

大数据开发-Flink-数据流DataStream和DataSet

Api1.1DataSource1.2Transformation1.3Sink二、DataSet的常用Api2.1DataSource2.2Transformation2.3SinkFlink主要用来处理数据流，所以从抽象上来看就是对数据流的处理，正如前面大数据开发
往事随风_h·2023-10-11 14:01

大数据开发：Hadoop分布式架构简介

今天的大数据开发分享，我们来对Hadoop分布式架构做一个具体的讲解。
加米谷大数据张老师·2023-10-11 00:26

大数据开发学习Hadoop路线图（详细篇）

Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常
qq_43713878·2023-10-11 00:24

数据可视化实战：如何给毛*易的歌曲做词云展示？

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-10 21:59

数据采集实战：如何自动化运营微博？

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-10 19:25

Linux学习笔记（五）：文本处理及shell编程

欢迎关注公众号，一起从天坑专业转行大数据开发。文本处理三剑客：awk，grep，sedawk：AWK是一种处理文本文件的语言，是一个强大的文本分析工具。
Python大视觉·2023-10-10 13:03

Hive SQL的窗口函数及特殊函数回顾

HiveSQL中有很多窗口函数值得我们在平时的数据开发处理中好好使用。通常包含排序类、聚合类、累计计算，等。在数据开发的此篇就简单罗列一些窗口函数的SQL例子，做一个复习回顾。
AaronWong12·2023-10-09 16:44

秋招面经第六弹：理想一面-大数据开发工程师

秋招第六弹：理想一面-大数据开发工程师写在最前：秋招以来一直在冲，因为事情比较多，对于笔试面试一直没有复盘，现在靠仅存的记忆把面试的一些问题记录下来，尽可能记录出能回忆到的问题，但可能记的不是很全。
牧码文·2023-10-08 20:41

大数据开发和java的前景_2019，Java码农还有必要转型大数据开发吗？

没有什么是亘古不变的，就像手机软件的不断更新迭代一样，陈旧的事物终将会被取代。相比于十年前程序员“高需求、高薪资、高难度”的三高状态，到如今，也开始逐渐被打破。虽然在科技时代，码农几乎永远不会失业，但随着新技术的产生，如果不去提升自己，那么你将会被取代。从去年开始，相信很多的码农，都看到了各类关于大数据的信息。新闻、自媒体、科技媒体等都在对它进行解读。各个大型的互联网公司，像BAT也已经快速的实施
摩尔精英·2023-10-08 20:10

Hadoop2.x安全：hadoop集群之kerberos认证(一、原理+安装配置)

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-10-08 15:16

AdaBoost（下）：数据分析 | 数据挖掘 | 十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-08 11:20

AdaBoost（上）：数据分析 | 数据挖掘 | 十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-08 11:49

2020-05-13关于数据需求的分类

从应用场景划分：监控场景报表场景分析场景决策场景从产出时效划分：实时准实时离线从研发角度划分：数据接入需求：业务接入、日志接入、埋点接入数据开发需求：数仓建模、统计开发、算法开发数据输出需求：离线报表、
Simple701·2023-10-08 09:37

大数据Hadoop原理：大数据Hadoop技术原理简介

在大数据技术体系当中，Hadoop技术框架无疑是重点当中的重点，目前主流的大数据开发任务，都是基于Hadoop来进行的。
加米谷大数据张老师·2023-10-08 06:05

转行为什么选择大数据开发

昨晚睡眼朦胧的小编拼命的想睁开小眼睛补补课，怎奈两眼皮太过亲热，痴迷于彼此的缠绵，不过坚强的意志力还是在不断促使小手顺势划着屏幕。无意间从眼睛的眯缝中看到“房价、万科”几个字，小编瞬间从床上弹坐起来。先说好，小编并不是要买房，而是被醒目的[“活下去”——万科是在真哭还是假哭？]和[“活下去”！中原地产：万科都喊了我们降薪不丢人]的标题惊醒了。这几年炒的火热的房价是真降了，有人欢喜有人愁！记得前几年
weixin_34360651·2023-10-07 17:48

转行为什么选择大数据开发？

昨晚睡眼朦胧的小编拼命的想睁开小眼睛补补课，怎奈两眼皮太过亲热，痴迷于彼此的缠绵，不过坚强的意志力还是在不断促使小手顺势划着屏幕。无意间从眼睛的眯缝中看到“房价、万科”几个字，小编瞬间从床上弹坐起来。先说好，小编并不是要买房，而是被醒目的[“活下去”——万科是在真哭还是假哭？]和[“活下去”！中原地产：万科都喊了我们降薪不丢人]的标题惊醒了。这几年炒的火热的房价是真降了，有人欢喜有人愁！记得前几年
小迪和夫人·2023-10-07 17:44

PageRank（下）：数据分析 | 数据挖掘 | 十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-07 14:03

关于华为FusionInsight Manager安全模式下执行spark任务的一个坑--记录

我们公司在客户那里做spark大数据开发服务，但是客户那面使用FI集群是安全模式，并且版本还跟我们开发的项目版本不一致。版本不一致这个好解决，，但是安全模式这一块确实给我卡主了，整了大概半个月才整好。
焱行软件科技计算机毕设·2023-10-07 13:45

大数据学习线路以及面试知识图谱

大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大数据开发岗位的时候，哪些东西是重点考察的，这些公司更希望面试者具备哪些技能。
yoku酱·2023-10-07 13:56

PageRank（上）：数据分析 | 数据挖掘 | 十大算法之一

目前从事python爬虫、后端和大数据等相关工作，主要擅长领域有：爬虫、后端、大数据开发、数据分析等。
秋无之地·2023-10-07 09:39
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他