04--数据开发

集度汽车 Flink on native k8s 的应用与实践

摘要：本文整理自集度汽车数据部门实时方向负责人、ApacheFlinkContributor周磊&集度汽车数据开发专家顾云，在FFA2022行业案例专场的分享。
Apache Flink·2023-12-28 15:05

大数据开发之Sqoop详细介绍

测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Hadoop
lcz-2000·2023-12-27 23:31

米哈游大数据云原生实践

作者：米哈游大数据开发近年来，容器、微服务、Kubernetes等各项云原生技术的日渐成熟，越来越多的公司开始选择拥抱云原生，并开始将AI、大数据等类型的企业应用部署运行在云原生之上。
阿里云云原生·2023-12-27 06:31

如何懂技术(6)：服务端知识(后端/云端)

一般来说服务端的技术难度会高于客户端，开发们常用PHP和Java进行卡开发，主要包括接口开发和数据开发两种；无论使用哪种语言进行开发，服务端的核心目的都是接收并处理运算客户端的请求，将处理后的请求发送至客户端后端因具有逻辑运算的功能
海绵宝宝胖了·2023-12-26 07:30

Hadoop2.x安全：hadoop集群之kerberos认证（三、常用命令、有效期）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-12-25 15:34

Java技术专题-Lombok插件开发实践必知必会操作！

前言在目前众多编程语言中，Java语言的表现还是抢眼，不论是企业级服务端开发，还是Andorid客户端开发，都是作为开发语言的首选，甚至在大数据开发领域，Java语言也能占有一席之地，如Hadoop，Spark
洛神灬殇·2023-12-24 23:17

202109第二期点评官内训营绘画分析作业04--房树人

年龄岁：40性别：女职业：上班族家庭情况：已婚，俩闺女用时：21分钟顺序：房子，人（从左到右依次画）树先右边再左边。我的梦想家园一、总：全局着眼1、画面大小：充满画面，画者心理能量充足，自信，可能自我中心，自负，不排除具有自我攻击和攻击性、情绪化、躁动关键点：4/5，1/9，其余正常，越大越外向自信2、画面位置：左切，右切，上切，靠下，画者可能较为注重精神追求，有时空想，同时又比较脚踏实地，有些缺
真爱心灵艺术疗愈·2023-12-24 16:02

大数据开发都要学习什么？什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。
金光闪闪耶·2023-12-24 14:49

hadoop 3.3.3集群安装部署

前言大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节
以茉萱·2023-12-24 02:18

大数据开发介绍

...........................................................................................................................................................1.你的专业是什么，你是如何确定自己的求职方向的首先要明确自己学的专业具体是干啥的，比如我
Guff_hys·2023-12-23 17:30

【开源项目推荐】-支持GPT的智能数据库客户端与报表工具——Chat2DB

但有人会说，GPT对于我们数据开发来说并没有什么作用啊？今天为大家推荐的开源项目，就是GPT在数据领域的一个优秀实践项目。
大数据流动·2023-12-23 01:54

01-黑马程序员大数据开发

一.Hadoop概述1.什么是大数据狭义上：对海量数据进行处理的软件技术体系广义上：数字化、信息化时代的基础支撑，以数据为生活赋2.大数据的核心工作：存储：妥善保存海量待处理数据；ApacheKUDU、云平台存储：阿里云OSS、UCloud的US3、AWS的S3、金山云的KS3等等计算：完成海量数据的价值挖掘；ApacheHadoop-MapReduce；ApacheHive是一款以SQL
S1406793·2023-12-22 08:06

天津大数据培训机构品牌 数据分析师的发展方向

大数据专业还是有一定难度的，毕竟大数据开发技术所包含的编程技术知识是比较杂且多的如果是计算机专业的学生或者自身有一定基础的人学，相对来说会比较容易，但对于零基础小伙伴学习来说，想要学习大数据，难度还是很高的
qq_38453958·2023-12-22 03:49

来看！天津靠谱Java培训机构哪家更好一点？

包括Java基础、JavaWeb、JavaEE、大数据开发、人工智能等多方面的技术领域。参加Java培训可以帮助我们掌握计算机编程语言的基础知识，掌握Java语言编程技巧，快速提高编程水平。
qq_38453958·2023-12-22 03:49

浅谈数据中台之数据开发

目录01前言‍02中台概念及背景‍‍‍‍‍‍‍03数据中台建设方法‍‍‍‍‍‍04数据开发实践01‍前言‍‍2015年阿里在国内首次提出了中台概念，由阿里引领发展，迅速在互联网企业中形成了一股浪潮。
EAWorld·2023-12-21 10:03

7.数据中台 --- 数据开发：数据体系建设

7.1数据体系规划各种系统产生的原始数据堆积在一起导致使用成本非常高，这类数据只能在某些数据技术基础非常好的部门使用，而且会经常出现命名不一、口径不一的问题，从而导致整个企业的数据无法真正用起来。数据中台数据体系是在全域原始数据的基础上，进行标准定义及分层建模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系，可以方便的支撑数据应用。中台数据体系应具备以下特征：1.覆盖全域数据数据集中建
enlyhua·2023-12-21 09:30

数据中台之旅(五)数据开发介绍

功能介绍数据开发包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发
belialxing·2023-12-21 09:59

数据中台架构原理与开发实战：从监控告警到故障处理

数据中台由数据应用、数据开发、数据运营及数据质量保障团队组成。数据中台通常分为三个层次：基础设施层、业务逻辑层、数据服务层。基础设施层：包括数据仓库、数据湖、数据源管理、ETL工具、消息队列等组件。
禅与计算机程序设计艺术·2023-12-21 02:17

SpringMVC01

3.SpringMVC框架概念与特点4.SpringMVC请求流程5.SpringMVC环境搭建6.URL地址映射配置7.参数绑定8.JSON数据开发JSON普通数组步骤1:pom.xml添加依赖步骤2
一头探索java的孤狼·2023-12-20 08:13

学习大数据开发的前提是什么？

1.数学知识数学知识是数据分析师的基础知识。对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。对于高级数据分析师，统计模型相关知识是必备能力，线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。2.分析工具对于初级数据分析师，玩转Excel是必须的，数据透
yoku酱·2023-12-19 14:56

助力 Shopee 重构系统发布 ETL 功能，SeaTunnel 在电商巨头的实践经验

我们提供了涵盖数据开发整个生命周期的多种工具。用户可以在Datahub中管理数据获取作业，还可以浏览数据，并用从DataStudio中获取的数据来创建不标准的数据管道。
大数据技术架构·2023-12-19 14:55

助力智能人群检测计数，基于YOLOv3开发构建通用场景下人群检测计数识别系统

或者是一些特殊时刻、时段、节假日等特殊时期下，密切关注当前系统所承载的人流量是十分必要的，对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段，本文的主要目的是想要基于通用的数据开发构建用于通用场景下的人群检测计数系统
Together_CZ·2023-12-19 07:20

助力智能人群检测计数，基于YOLOv5全系列模型【n/s/m/l/x】开发构建通用场景下人群检测计数识别系统

或者是一些特殊时刻、时段、节假日等特殊时期下，密切关注当前系统所承载的人流量是十分必要的，对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段，本文的主要目的是想要基于通用的数据开发构建用于通用场景下的人群检测计数系统
Together_CZ·2023-12-19 07:20

助力智能人群检测计数，基于YOLOv6开发构建通用场景下人群检测计数系统

或者是一些特殊时刻、时段、节假日等特殊时期下，密切关注当前系统所承载的人流量是十分必要的，对于超出系统负荷容量的情况做到及时预警对于管理团队来说是保障人员安全的重要手段，本文的主要目的是想要基于通用的数据开发构建用于通用场景下的人群检测计数系统
Together_CZ·2023-12-19 07:18

双非大数据

双非本秋招上岸总结个人简介学历：双非；专业：软件工程；求职岗位：大数据开发工程师；状态：已上岸翻车经历学校以Java后端开发为主流，我从大二开始学习Java，直到大四都会学习与Java开发相关的技术栈。
Guff_hys·2023-12-19 04:35

SpringMVC

SpringMVC环境搭建4.URL地址映射配置映射单个URL映射多个URL映射URL在控制器上通过参数名称映射URL5.参数绑定基本数据类型包装类型字符串类型数组类型JavaBean类型6.JSON数据开发使
魔焰-莫言·2023-12-19 00:43

活动预告｜ 字节跳动基于DataLeap的DataOps最佳实践

随着数字化转型的推进以及业务数仓建设不断完善，大数据开发体量及复杂性逐步上升，如何保证数据稳定、正确、持续产出成为数据开发者核心诉求，也成为平台建设面临的挑战之一。
字节数据平台·2023-12-18 14:40

STM32F103RCT6开发板M3单片机教程04--按键检测

原画图讲解本教程使用是（光明谷SUN_STM32mini开发板）首先了硬件连接原理，STM32F103RCT6开发板是mini最小系统板，板子在没并有按键。需要自行用面包板搭建。硬件连接：PC10->KEY1（MCU内部上拉）-->GND（低电平有效）PC11->KEY2（MCU内部上拉）-->GMD（低电平有效）程序设计有两种方法：方法1、不断检测引脚（PC10,PC11)电平，当检测到引脚（P
谷动谷力·2023-12-18 12:30

大数据架构（一）背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
野生的狒狒·2023-12-18 02:50

SQL进阶 - SQL的编程规范

性能优化是一个很有趣的探索方向，将耗时耗资源的查询优化下来也是一件很有成就感的事情，但既然编程是一种沟通手段，那每一个数据开发者就都有义务保证写出的代码逻辑清晰，具有很好的可读性。
昊昊该干饭了·2023-12-17 07:13

Win10下安装大数据开发环境 spark+hadoop+hive（实测可用）

Win10下安装大数据开发环境spark+hadoop+hive（实测可用）基础环境安装spark安装Hadoop安装hive安装总结参考博客基础环境安装首先，我们需要搭建软件的运行环境，本文中所使用的软件均需要运行在
YannAdams·2023-12-17 06:30

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode（metadata），client（备份block），datanode（blocks结构）core-site.xml3.Hive数仓软件，分布式数据管理查询特性：ETL/支持mapred
qq_1418269732·2023-12-16 06:08

6000字长文，终于将数据中台架构体系讲明白了

数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等缺陷问题。数据中台是国内学者提出的概念，起始于阿里的“大中台、小前台”概念。阿里的中台是从管理的角度出发，以中台
公众号:肉眼品世界·2023-12-15 19:46

和鲸科技携手深圳数据交易所，“数据+数据开发者生态”赋能人工智能产业发展

信息化时代，数据驱动决策的重要性日益凸显。通过利用数据可以深入了解市场需求、客户行为、竞争态势等关键信息，从而制定更为有效的战略和决策。围绕推动数据要素产业发展，近日，深圳数据交易所（以下简称“深数所”）主办的2023中国（深圳）数据要素产业创新大会平行活动“数据要素赋能人工智能产业创新专题活动”圆满落幕。上海和今信息科技有限公司（简称“和鲸科技”）受邀出席，并参与发布两个“首次亮相”，赋能人工智
ModelWhale·2023-12-15 11:46

新工科：数据科学与大数据技术实验中心解决方案，赋能高校新工科数智人才培养

据人瑞人才与德勤调研显示，未来3年，数字产业化企业最需要运营人员和开发人员（包括大数据开发工程师、数据建模开发工程师等），其次是数据分析人员、算法研究人员、数据管理人员、销售人员和产品经理，说明技术革新与商业模式创新是助推数字企业发展的两大动力
美林数据Tempodata·2023-12-15 10:08

数据服务化在京东的实践

在这样的情况下，数据开发工程师提出诉求，是否能只贴SQL就可以生成开放数据的API接口，同时又能保证接口的性能、支持传入动态的SQL参数。基于该诉求而开发了一套解决方案的框架：EZD框架
大数据girl·2023-12-15 08:53

大数据开发：Kafka 异步发送消息可靠性策略

今天的大数据开发学习分享，我们就主要来讲讲Kafka异步发送消息的可靠性策略。
成都加米谷大数据·2023-12-06 09:59

大数据开发：Hive表的基本操作

今天的大数据开发分享，我们就来讲讲Hive表的基本操作。Hive创建表createtable语句遵从sql语法习惯，只不过Hive的语法更灵活。例如，可以定义表的数据文件存储位置，使用的存储格式等。
成都加米谷大数据·2023-12-05 20:41

Java大数据开发入门教程：使用Hadoop处理海量数据

本文将为大家介绍Java大数据开发的基本概念和Hadoop的使用方法，帮助读者入门大数据开发。一、什么是大数据开发？大数据开发是指通过使用分布式计算框架和相关技术，对海量数据
C红毛丹·2023-12-05 19:29

大数据开发：Hive on Spark设计原则及架构

今天的大数据开发分享，我们来讲讲HiveonSpark设计原则及架构。
成都加米谷大数据·2023-12-05 01:44

线性代数在数据科学中的十个强大应用

数据开发者往往会因为数学太难而尝试避开这个主题。因为有很多现成的数据处理库可以帮助他们避开线性代数这个烦恼。这是极其错误的想法。
城市中迷途小书童·2023-12-04 23:52

大数据开发：Kafka消息存储到Broker的流程

今天的大数据开发学习分享，我们就主要来讲讲Kafka消息存储到Broker的流程。
成都加米谷大数据·2023-12-04 23:34

近期关注的大数据开源项目

ServiceGitStarContributorsReleaseLicenseApacheFlink18.1k1005v1.14.3Apache-2.0ApacheFlink：https://github.com/apache/flink数据开发
訾零·2023-12-03 23:11

数据中台方案

平台引擎DataSphereStudio基于插拔式的集成框架设计，及计算中间件Linkis，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。
aaaak_·2023-12-03 23:11

【数据中台】开源项目（3）-DataSphere Studio

基于插拔式的集成框架设计，及计算中间件Linkis，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。
码农丁丁·2023-12-03 23:10

[一起学Hive]之一–Hive概述，Hive是什么

简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析，而不必使用
antyzhu·2023-12-03 17:23

浅析数据中台技术架构

通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过数据体系对数据进行分层存储通过资产管理、数据服务，把数据资产变为数
kobe_OKOK_·2023-12-03 15:23

大数据开发：HDFS Erasure Coding机制

今天的大数据开发分享，我们就来讲讲HDFSErasureCoding机制。1、HDFS备份机制的问题为了提供容错，HDFS根据复制因子的大小在不同的DataNodes节点复制文件块数据。
成都加米谷大数据·2023-12-03 14:29

昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造

本文6539字，阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们深入地使用，出现越来越多的问题，比如：数据开发迭代速度不够快
LinkTime_Cloud·2023-12-03 14:28

Mysql基本概念和Sql基本语法

数据库的基本概念DB:表视图索引存储过程触发器EventsDB可以想象成为一个文件夹，表就是文件夹里面的excel文件一般作为大数据开发来说只需要掌握前面三个就可以了字段类型1.数值类型int整数long
吃货大米饭·2023-12-02 17:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他