数据开发

大数据开发学习笔记——hbase的rowkey设计

写在最前面：今日都是纯文字的笔记，希望朋友们能耐心看rowkey长度原则rowkey是一个二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：目前操作系统都是64位系统，内存8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。rowkey散列原则如果rowkey
卿卿老祖·2024-01-08 21:38

pandas应用和学习

一.pandas的基本内容1.Python在数据处理上有代码灵活,开发快速的特点.尤其是Python的Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python
MSJ3917·2024-01-08 16:33

数据分析之Pandas VS SQL！

对于数据开发工程师或分析师而言，SQL语言是标准的数据查询工具。本文提供了一系列的示例，说明如何使用pandas执行各种SQL操作。**Pandas简介**Pandas把结构化数据分为了三类：S
苍简·2024-01-08 07:49

Spark Core进阶知识

小知识:大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!!
MSJ3917·2024-01-08 07:52

FlinkSQL中【FULL OUTER JOIN】使用实例分析（坑）

Flink版本：flink1.14最近有【FULLOUTERJOIN】场景的实时数据开发需求，想要的结果是，左右表来了数据都下发数据；左表存在的数据，右表进来可以关联下发（同样，右表存在的数据，左表进来也可以关联下发
PONY LEE·2024-01-07 20:46

有用的技术分享主题

SQLServer数据库和AgentJob集成化监控工具Airflow调度工具的安装和使用Tableau报表开发网络爬虫技术开发PythonGUI应用开发基于S3的数据湖架构设计和大数据开发Hive大数据仓库超大数据集去重解决方案
weixin_30777913·2024-01-07 10:42

Linux常见面试题

题目说明：LINUX类的面试题适合传统行业实施，运维以及大数据开发，运维等岗位，在以上提到的岗位面试中均会有所涉及，初级岗位大部分为基础命令考核，难度丌大，但需要准确不熟练,会编写SHELL脚本会成为此类岗位求职优势
莓是草莓的莓·2024-01-06 01:17

Hadoop面试题与python基础

python基础（面向大数据开发）如果你是面向python开发，那么我的这些应该是不够用的，我的这些只够大数据开发人员使用；每一个岗位它对一门语言的要求掌握程度是不一样的；但是我写的这些你必须要会，它是基础中的基础
中长跑路上crush·2024-01-05 23:02

数据分析求职-入职必备-工具篇

通常所说的数据分析岗位这个大类，细分的话还可以分为3个细类：数据研发/大数据开发：专注于数据的清洗和预处理，为后续消费数据的服务（比如数据分析
阿清陪你聊聊数据分析·2024-01-05 18:56

大数据开发-Hive-常用日期函数&&日期连续题sql套路

前面是常用日期函数总结，后面是一道连续日期的sql题目及其解法套路。1.当前日期和时间selectcurrent_timestamp--2020-12-0519:16:29.2842.获取当前日期，当前是2020-12-05SELECTcurrent_date;##ORSELECTcurrent_date();--2020-12-053.获取unix系统下的时间戳SELECTUNIX_TIMEST
Hoult-吴邪·2024-01-05 17:37

2023年网络安全十10大发展趋势发布

在建立安全可控、弹性包容的数据要素治理制度后，需有效推动数据开发利用与数据
瓦罗兰特顶级C位·2024-01-05 16:54

【亚马逊云科技】自家的AI助手 - Amazon Q

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2024-01-05 14:00

大数据开发个人简历范本（2024最新版-附模板）

大数据开发工程师个人简历范本>男22本科张三计算机科学与技术1234567890个人概述具备深入的Hadoop大数据运维工程师背景，熟悉相关技术和工具具备良好的团队合作能力，善于沟通和协作具有快速学习新知识和解决问题的能力对于数据科学和分析充满热情
itLeeyw·2024-01-05 13:53

JS实现多线程数据分片下载

在大数据开发过程中，为了提高大文件的上传速度，往往需要将大文件切割为小的数据分片，这样小分片数据可以充分利用有限的带宽，加快上传速度。
码说AI·2024-01-05 10:22

大数据开发者应该知道的分布式系统 CAP 理论

无论你是一个系统架构师，还是一个普通开发，当你开发或者设计一个分布式系统的时候，CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题。CAP理论概述CAP理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partitiontolerance）这三项中的两项。读者需要注意的
Hadoop技术博文·2024-01-05 09:51

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop技术内幕：深入解析MapReduce架构设计与实现原理Hadoop技术内幕：深入解析YARN架构设计与实现原理HadoopYARN权威指南Hadoop奶妈级基础入门视频课：Linux嵌入式Lin
比屋大数据·2024-01-05 08:44

大数据开发与低代码：加速数据处理与解决方案开发

随着数据量的爆炸式增长，大数据开发变得愈发重要。然而，传统的大数据开发方法往往需要复杂的编码和开发过程，消耗时间和资源。而低代码开发平台的出现为大数据开发带来了全新的解决方案。
液态不合群·2024-01-05 08:25

面试——初级java-——5分钟结束

1.自我介绍2.springboot,reidis,mysql,sqlserser熟悉吗3.web开发做过吗5分钟面完，就当聊天了，一个数据开发应聘其他岗位还是需要有些资本的。
劝学-大数据·2024-01-05 00:59

大数据开发的专业术语

作者主页：青花锁简介：Java领域优质创作者、Java微服务架构公号作者简历模板、学习资料、面试题库、技术互助文末获取联系方式系列专栏目录[Java项目实战]介绍Java组件安装、使用；手写框架等[Aws服务器实战]AwsLinux服务器上操作nginx、git、JDK、Vue等[Java微服务实战]Java微服务实战，SpringCloudNetflix套件、SpringCloudAlibaba
青花锁·2024-01-04 23:21

和鲸解放军总医院连续生理数据分析引擎入选爱分析数据智能最佳实践案例

数据智能最佳实践案例”评选活动落下帷幕，和鲸科技基于旗下数据科学协同平台ModelWhale携手解放军总医院联合打造的《解放军总医院连续生理数据分析引擎》成功入选，有力证明了该案例于数据资产归集、数据架构升级、数据开发敏捷性提升
ModelWhale·2024-01-04 21:40

docker搭建Dinky —— 筑梦之路

主要功能其主要功能如下：沉浸式FlinkSQL数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等支持FlinkSQL多版本开发及多种执行模式
筑梦之路·2024-01-04 03:40

大数据项目

项目说明：利用scrapy爬取中华英才网和前程无忧上面有关’数据分析师’,‘大数据开发工程师’,'数据采集’的数据并保存到mongodb。
for_syq·2024-01-03 16:05

年薪80万+的大数据开发【教程】都在这儿！

事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势，不仅仅是前景和薪资等。技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础，即使你没有学过JAVAEE上手Hadoop也是可以的。面对如此光明而诱人的前景，大批JAVA工
yoku酱·2024-01-03 13:36

数睿通2.0功能更新：支持多版本 Flink 切换，新增数据标签模块

切换功能展示使用方法数据标签合并微服务Bug修复，细节优化结语引言小伙伴们，大家好，数睿通2.0数据中台迎来了12月份的更新，由于年底工作繁忙，所以本次更新内容稍微少了点，还望理解，本次更新内容主要包括：数据开发多版本
小螺旋丸·2024-01-03 10:22

数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

引言数睿通2.0数据中台迎来了11月份的更新，感谢大家的支持，本次更新主要包括以下内容：数据库支持MongoDB数据接入支持MongoDB，支持自定义SQL采集，支持停止运行中的任务数据生产支持FlinkJar任务，分为Standalone和YarnApplication模式数据生产支持Flink1.16（需要mavenprofiles选择flink-1.16打包，后面会做成多版本动态支持）接入集
小螺旋丸·2024-01-03 10:21

数睿通2.0数据中台数据治理—元数据功能发布

文章目录引言数据集成-实时日志数据治理-元模型数据治理-元数据采集数据治理-元数据管理结语引言数睿通2.0目前基本完成了数据集成，数据开发，数据服务三大模块，初步具备了拉数，造数，供数的能力。
小螺旋丸·2024-01-03 10:21

新年快乐—数睿通2.0数据中台全新功能模块发布

文章目录引言数据集成数据库管理文件管理数据接入贴源数据数据开发数据生产sql作业开发FlinkSql作业开发调度中心运维中心资源中心配置中心其他模块结语引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块
小螺旋丸·2024-01-03 10:43

用ChatGPT方式编程！GitHub Copilot Chat全面开放使用

据悉，CopilotChat是基于OpenAI的GPT-4模型，再结合其海量、优质的代码数据开发而成，通过文本问答的方式就生成、分析、审核代码等。
RPA中国·2024-01-03 08:02

数据仓库命名规范详解

一、数仓中为什么要在数据开发过程中强调遵守数仓开发命名规范呢？
孤城暮雨@·2024-01-03 04:17

Spark内容分享(二十四)：Apache Spark 在爱奇艺的应用实践

服务的落地与优化总结与展望ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架，并支持部分流计算任务，用于数据处理、数据同步、数据查询分析等场景：数据处理：在数据开发平台中支持开发者提交
之乎者也··2024-01-02 18:56

纠结！我是选择做公共数据产品还是垂直业务数据产品？

应用层面的工作会做标签、用户画像、埋点数据、AB测试等；基础层的工作会做数据开发、调度、资产等，主要是针对全业
一个数据人的自留地·2024-01-02 10:02

Python爬虫豆瓣网热门话题保存文本本地数据，并实现简单可视化。

前言今天给大家分享Python爬虫豆瓣网热门话题保存文本本地数据开发环境：windows10python3.6.4开发工具：pycharm库：requests、WordCloud、pandas、jieba
千寻编程·2024-01-01 09:47

MetaMT

利用多个领域域的数据开发稳健的翻译系统
lude·2024-01-01 07:05

Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较

大数据开发离不开各种框架，我们通过学习ApacheHadoop、Spark和Flink之间的特征比较，可以从侧面了解要学习的内容。
之乎者也··2024-01-01 05:52

Maxcompute数据上云一致性比对

注：这里对数的场景就是指在阿里云平台使用dataworks等大数据开发工具集成业务系统数据库（oracle等）数据上云到maxcompute的场景，所以，示例的SQL也是针对maxcompute。
阿里云大数据AI技术·2023-12-31 19:36

【亚马逊云科技】使用Amazon Lightsail快速建站

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。
一头小山猪·2023-12-31 17:57

隐私计算深度剖析：解锁数据流通的未来

数据是信息时代重要生产要素，对数据开发可以创造价值，赋能实体经济，然而在数据开发利用，培育数据要素市场过程中，又不能忽略对数据资源的安全保护。
散一世繁华，颠半世琉璃·2023-12-31 15:19

大数据开发【3】 -- hadoop的云集群配置

首先要配置好一台机器的伪分布式，这样方便后面的配置。关于伪分布式的：请看伪分布式搭建文章目录1.配置yarn2.各个主机配置3.集群的配置4.一些问题5.强烈推荐的参考文章1.配置yarn配置yarn-env.sh,对于3版本的就不用配置了，因为已经默认从hadoop-env.sh读取了。配置yarn-site.xml文件。yarn.nodemanager.aux-servicesmapreduc
天下一般·2023-12-31 10:25

ElasticSearch 性能调优

如今ELK技术栈在互联网行业数据开发领域使用率越来越高，做过数据收集、数据开发、数据存储的同学相信对这个简称并不陌生，而ElasticSearch（以下简称ES）则在ELK栈中占着举足轻重的地位。
风是外衣衣衣·2023-12-30 22:21

你需要懂一点ClickHouse的基础知识

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2023-12-30 09:39

python采集漫客栈所有数据,从此看漫不用money

pipinstallparsel数据解析模块基本思路流程:二.代码实现步骤获取章节ID/章节名字/漫画名字:发送请求,模拟浏览器对于url地址发送请求请求链接:漫画目录页url获取数据,获取服务器返回响应数据开发者工具
颜狗一只·2023-12-30 07:03

数据中台-架构、构建与体系建设

构建与体系建设数据中台架构数据中台构建方法论技术体系数据体系服务体系运营体系数据中台功能架构数据中台技术架构企业构建数据中台评估统计分析阶段决策支持阶段数据驱动阶段运营优化阶段数据汇集-打破企业数据孤岛数据开发
Ybb_studyRecord·2023-12-30 03:53

爬虫现在还有那么吃香嘛？

Python作为一种广泛应用的编程语言，在Web开发、大数据开发、人工智能开发和嵌入式开发等领域都有着重要的应用。Python的易学性、清晰性和可移植性等特点使它得到很多技术人士的喜爱。
会python的小孩·2023-12-28 17:40

集度汽车 Flink on native k8s 的应用与实践

摘要：本文整理自集度汽车数据部门实时方向负责人、ApacheFlinkContributor周磊&集度汽车数据开发专家顾云，在FFA2022行业案例专场的分享。
Apache Flink·2023-12-28 15:05

大数据开发之Sqoop详细介绍

测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Hadoop
lcz-2000·2023-12-27 23:31

米哈游大数据云原生实践

作者：米哈游大数据开发近年来，容器、微服务、Kubernetes等各项云原生技术的日渐成熟，越来越多的公司开始选择拥抱云原生，并开始将AI、大数据等类型的企业应用部署运行在云原生之上。
阿里云云原生·2023-12-27 06:31

如何懂技术(6)：服务端知识(后端/云端)

一般来说服务端的技术难度会高于客户端，开发们常用PHP和Java进行卡开发，主要包括接口开发和数据开发两种；无论使用哪种语言进行开发，服务端的核心目的都是接收并处理运算客户端的请求，将处理后的请求发送至客户端后端因具有逻辑运算的功能
海绵宝宝胖了·2023-12-26 07:30

Hadoop2.x安全：hadoop集群之kerberos认证（三、常用命令、有效期）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-12-25 15:34

Java技术专题-Lombok插件开发实践必知必会操作！

前言在目前众多编程语言中，Java语言的表现还是抢眼，不论是企业级服务端开发，还是Andorid客户端开发，都是作为开发语言的首选，甚至在大数据开发领域，Java语言也能占有一席之地，如Hadoop，Spark
洛神灬殇·2023-12-24 23:17

大数据开发都要学习什么？什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。
金光闪闪耶·2023-12-24 14:49
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他