040-大数据技术

大数据技术，Spark任务调度原理 四种集群部署模式介绍

一、spark-submit任务提交机制spark-submit\--classorg.apache.spark.examples.SparkPi\--masterspark://ns1.hadoop:7077\--executor-memory1G\--total-executor-cores2\/usr/local/spark/examples/jars/spark-examples_2.11
喵感数据·2023-11-24 06:01

免费图书教材配套资料：Spark大数据技术与应用（第2版）

《Spark大数据技术与应用（第2版）》课程内容全面介绍了Spark大数据技术的相关知识，内容包含包括Spark概述、Scala基础、Spark编程、Spark编程进阶、SparkSQL结构化数据文件处理
泰迪智能科技·2023-11-23 14:36

Hive on Spark调优（大数据技术3）

相关文章：HiveonSpark调优（大数据技术1）HiveonSpark调优（大数据技术2）HiveonSpark调优（大数据技术3）HiveonSpa
菜鸟Octopus·2023-11-23 12:43

分享一份京东大数据技术官私藏：Kafka核心设计与实践原理

什么是KafkaKafka起初是由LinkedIn公司采用Scala语言开发的一一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafk
m0_64926671·2023-11-23 09:53

API安全--使用OneAuth进行API加固的Checklist

传统的安全架构基于边界思维，假定企业内部是一个“内网”，然后假定存在一个边界对内外网进行隔离，但随着企业的数字化转型，企业大量采用了云计算和大数据技术，大量的业务和数据会通过API的方式对外去进行提供。
oneauth·2023-11-23 01:03

电脑监控软件解读

除监控功能外，还采用了大数据技术，可对产生的所有记录进行
绿虫效率提升工具·2023-11-22 09:47

【无标题】

尚硅谷大数据技术之高频面试题（作者：尚硅谷大数据研发部）版本：V8.0.9目录第1章项目涉及技术111.1Linux&Shell111.1.1Linux常用高级命令111.1.2Shell常用工具及写过的脚本
SKY_WU95·2023-11-22 09:47

Apache Airflow (十三) ：Airflow分布式集群搭建及使用-原因及

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-22 06:42

Apache Airflow (十二) ：PythonOperator

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-22 02:58

Apache Airflow (十一) ：HiveOperator及调度HQL

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-22 02:24

大数据学习路线图 让你轻松掌握大数据技术学习

大数据指不用随机分析法这样捷径，而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发，大数据开发课程采用真实商业数据源并融合云计算+机器学习，让学员有实力入职一线互联网企业。今天小编的技术分享详细学习大数据的精准路线图，学好大数据就还得靠专业的工具。大数据学习QQ群：957205962阶段一、Java语言基础
金光闪闪耶·2023-11-22 02:59

五分钟解读“大数据”

对于很多人来说，当他第一次听到“大数据”这个词，会自然而然从字面上去理解——认为大数据就是大量的数据，大数据技术就是大量数据的存储技术。但是，事实并非如此。大数据比想象中复杂。
csdn业界要闻·2023-11-21 16:33

基于Flink打造实时计算平台为企业赋能

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2023-11-21 10:40

大数据之使用Spark增量抽取MySQL的数据到Hive数据库（1）

读题分析二、处理过程1.采用SparkSQL使用max函数找到最大的日期然后转换成时间类型在变成字符串2.这里提供除了SQL方法外的另一种过滤不满足条件的方法三、重难点分析总结前言本题来源于全国职业技能大赛之大数据技术赛项电商赛题
约定Da于配置·2023-11-21 10:29

大数据之使用Spark全量抽取MySQL的数据到Hive数据库

文章目录前言一、读题分析二、使用步骤1.导入配置文件到pom.xml2.代码部分三、重难点分析总结前言本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理-数据抽取（其他暂不透露）题目：编写Scala
约定Da于配置·2023-11-21 10:59

计算器小程序设计y

姓名：易小琴所在学院：应用技术学院专业班级：2020级大数据技术与应用指导教师：张彤日期：2022/6/7背景：随着时代社会的发展，简单的数字运算蕴含在我们生活之中，计算成为不可或缺的一部分。
qq_61603863·2023-11-21 07:04

你在使用大数据技术的时候，你知道大数据语言的工具与框架吗？

为了解大数据的当前和未来状态，我们采访了来自28个组织的31位IT技术主管。我们问他们，“你在数据提取，分析和报告中使用的最流行的语言，工具和框架是什么？”以下的文章是他们告诉我们的记录，经过总结如下。Python，Spark，Kafka随着大数据和对人工智能AL/机器学习ML的推动，Scala和Python语言以及ApacheSpark中越来越受欢迎。对OLAP数据仓库的迁移，如果用Python
yoku酱·2023-11-20 19:25

【免费下载】“后红海”时代，独家揭秘当下大数据体系

在前面20年中，大数据技术也经历了这样的过程，从曾经高高在上的“火箭科技（rocketscience）”，成为了人人普惠的技术。
阿里开发者·2023-11-20 18:21

大数据技术之Flume(概述,安装,案例等)

第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。1.2Flume的优点可以和任意存储进程集成。输入的的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。flume中的事务基于channel，使用了两个事务模型（sender+receiver），确保消息被可靠发送
往事随风_h·2023-11-20 18:37

HDFS 常见的异常处理方式汇总

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-11-20 12:21

百度追逐“三个100亿”背后：人工智能商业化“奇点”正在降临

看似简单的健康码，背后却有着强大的人工智能和大数据技术在支撑：一方面，健康码将人们有效的信息输送给机器，使机器对庞大的、人工根本无法处
付一夫Eric·2023-11-20 08:27

大数据环境下数据质量指标体系

来源：大数据技术团队一、数据质量评价现状1、数据质量评价模型现状为了清晰表达一些复杂和抽象的概念，构建科学的模型或框架是开展数据质量评价工作的首要任务，多数学者在研究时均从不同角度提出了数据质量评价的框架
hzbooks·2023-11-20 01:45

2023贵州省职业院校技能大赛大数据技术与应用专业样题

2023贵州省赛样题解析-数据采集：离线数据采集2023贵州省赛样题解析-数据采集：实时数据采集_子任务12023贵州省赛样题解析-数据采集：实时数据采集_子任务22023贵州省赛样题解析-实时数据处理：实时数据清洗2023贵州省赛样题解析-实时数据处理：实时指标计算_子任务12023贵州省赛样题解析-实时数据处理：实时指标计算_子任务22023贵州省赛样题解析-离线数据处理
xlw2003·2023-11-19 21:24

2023年浙江省职业院校技能大赛大数据技术与应用专业样题

2023浙江省赛样题解析-数据采集：离线数据采集2023浙江省赛样题解析-数据采集：实时数据采集_子任务12023浙江省赛样题解析-数据采集：实时数据采集_子任务22023浙江省赛样题解析-实时数据处理：实时数据清洗2023浙江省赛样题解析-实时数据处理：实时指标计算_子任务12023浙江省赛样题解析-实时数据处理：实时指标计算_子任务22023浙江省赛样题解析-离线数据处理
xlw2003·2023-11-19 21:24

2011-2022年高职大数据竞赛-赛题内容

内容分别为：第一部分赛题内容第二部分任务剖析第三部分赛题模拟实现-离线数据抽取第四部分赛题模拟实现-离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化第一部分竞赛内容赛项以大数据技术与应用为核心内容和工作基础
xlw2003·2023-11-19 21:54

大数据和智能数据应用架构系列教程之：大数据架构设计与部署

近年来，随着大数据技术的飞速发展，越来越多的企业采用大数据技术来进行相关的研究、开发和运营，这也促使各个公司纷纷布局大数据架构领域。
禅与计算机程序设计艺术·2023-11-19 19:28

JAVA中的函数接口，你都用过吗

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。在这篇文章中，我们将通过示例来学习Java函数式接口。函数式接口的特点只包含一个抽象方法的接口称为函数式接口。
架构成长指南·2023-11-19 13:24

Java Lambda 表达式常见面试问题与解答

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。在本文中，我们将讨论一些重要且常见的JavaLambda表达式面试问题和解答1.什么是Lambda表达式？
架构成长指南·2023-11-19 13:54

最佳实践-使用Github Actions来构建跨平台容器镜像

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。
架构成长指南·2023-11-19 13:54

免费稳定几乎无门槛，我的ChartGPT助手免费分享给你

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。
架构成长指南·2023-11-19 13:48

Apache Doris (五十四）： Doris Join类型 - Bucket Shuffle Join

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-19 09:41

Apache Airflow (十) ：SSHOperator及调度远程Shell脚本

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-19 09:41

Apache Airflow (九) ：Airflow Operators及案例之BashOperator及调度Shell命令及脚本

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-19 09:07

大数据开发：kafka集群搭建步骤示例

基于Hadoop的大数据技术生态当中，kafka在日志采集这个环节，提供重要的支持。今天的大数据开发学习分享，我们主要来讲讲在Hadoop集群上如何搭建和配置kafka集群。
成都加米谷大数据·2023-11-19 08:53

分布式任务调度平台DolphinScheduler

文章目录大数据技术之DolphinScheduler第1章DolphinScheduler简介1.1DolphinScheduler概述1.2DolphinScheduler核心架构第2章DolphinScheduler
我是丰儿你是沙·2023-11-19 08:47

基于大数据技术的共享单车数据分析系统设计与实现开题报告

1.课题名称、来源、选题依据1.1课题名称基于大数据技术的共享单车数据分析系统设计与实现1.2课题来源课题来源于社会实践。
程序源码123·2023-11-19 07:46

可信区块链运行监测服务平台（TBM）正式发布

，大会由长沙市人民政府、中国信息通信研究院、中国通信标准化协会联合主办，长沙市委网络安全和信息化委员会办公室、长沙市工业和信息化局、长沙经济技术开发区管理委员会、可信区块链推进计划和中国通信标准化协会大数据技术标准推进委员会联合承办
区块链服务网络（BSN）·2023-11-19 04:20

【学习笔记】大数据技术之Hadoop（入门）

大数据技术之Hadoop1.概念1.1Hadoop是什么？
在学习的王哈哈·2023-11-18 23:38

Spark学习——1.代表性大数据技术

1.代表性的大数据技术HadoopSparkFlinkBeam主要计算模式如图1-11.1HadoopHadoop的生态系统图如图1-2开源谷歌GFS，利用MapReduce分布式并行编程，MapReduce
楓尘林间·2023-11-18 23:37

python大数据毕设选题

大数据技术在各个行业中的应用日益广泛，所
DanCheng-studio·2023-11-17 14:51

云计算与大数据技术应用 第一章

云计算概述什么是云计算云计算的定义云计算的特点经典的云计算基础架构云计算主要服务模式云计算主要部署模式经典的云计算产品云计算技术的新发展我国的云计算产业现状云计算前景云计算的概念模型政府推动云计算产业发展云计算是商业模式的创新什么是云计算云计算的定义PC时代以前，计算机用户主要通过终端分享主机（可以理解为服务器）的计算和存储，获得有限的服务。这样的模式就好比一个家庭里有许多孩子，每一笔零花钱都要朝
m0_53544880·2023-11-17 12:29

终于有人把Spark大数据分析与挖掘讲明白了

本书的目的就是希望所有的大数据技术人员都有这种挖掘金矿的能力！大数据时代什么是“大数据”？一篇名为“互联网上一天”的文章告
风度78·2023-11-17 09:46

Apache Airflow (八) ：DAG任务依赖设置

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-17 06:05

软考 系统架构设计师系列知识点之大数据（1）

所属章节：第11章.未来信息综合技术第6节.云计算和大数据技术概述大数据和云计算已成为IT领域的两种主流技术。“数据是重要资产”这一概念已成为大家的共识，众多公司争相分析、挖掘大数据背后的重要财富。
蓝天居士·2023-11-16 22:30

【学习笔记】大数据技术之Flink(二)

大数据技术之Flink问题1.Flink中迟到数据如何解决？
在学习的王哈哈·2023-11-16 18:04

大数据的技术运用：探索未来的无限可能性

本文将探讨大数据技术在多个领域的应用，以及它对未来的影响和无限可能性。
液态不合群·2023-11-16 17:36

荣誉榜再度添彩！热烈祝贺旭帆科技荣获安徽省大数据企业！

关于2023年度安徽省大数据企业名单的公示》，经企业申报、各市初审推荐、专家评审、审查认定等程序，安徽旭帆信息科技有限公司（以下简称“旭帆科技”）凭借在视频大数据应用与服务领域的长期投入和积累，以及借助大数据技术助推信息化产业发展的优秀成绩
TSINGSEE·2023-11-16 16:48

天津市专业大数据培训班，大数据就业岗位的多样性

大数据技术应用广泛，几乎涉及到了各个行业和领域。毕业后，我们可以选择从事大数据工程师、数据分析师、数据科学家等职业，也可以选择进入金融、医疗、电商等行业进行数据分析和决策支持。
qq_38453958·2023-11-16 15:24

软考 系统架构设计师系列知识点之云计算（3）

接前一篇文章：软考系统架构设计师系列知识点之云计算（2）所属章节：第11章.未来信息综合技术第6节.云计算和大数据技术概述4.云计算的发展历程根据云计算的定义和内涵，这里将从虚拟化技术、分布式技术和软件应用模式三个方面对云计算的历史和发展进行简要论述
蓝天居士·2023-11-15 18:39

从0开始学大数据15-流式计算的代表：Storm、Flink、SparkStreaming

15|流式计算的代表：Storm、Flink、SparkStreaming我前面介绍的大数据技术主要是处理、计算存储介质上的大规模数据，这类计算也叫大数据批处理计算。
源码头·2023-11-15 15:18
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他