040-大数据技术

数据分析师的前景究竟怎么样？

随着这两年大数据技术的发展衍生出数据分析师这样的新型岗位，备受各位转行朋友的青睐，那么这里肯定有很多伙伴会问“数据分析师的前景究竟怎么样”？
在DT时代的路上·2023-04-01 06:51

大数据是干什么的？

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些有意义的数据进行专业的处理。换句话说，如果把大数据比作一个行业，这个行业盈利的关键在于提高数据的“处理能力”，通过“处理”实现数据的“增值”。
qq^^614136809·2023-04-01 02:10

昂贵、复杂、低效...中小型企业如何打破大数据技术栈困境？

大数据已经成为当代经济增长的重要驱动力数字经济，已经成为当今经济发展中非常重要的一部分。与农业经济、工业经济如出一辙，数字经济活动需要土地、劳动力、资本、技术以及相应配套基础设施。不同之处在于：第一，很多要素都需要数字化；第二，会产生“数据”这一新的生产要素。在数据要素市场化配置上升为国家政策的当下，大数据已经成为推动经济高质量发展的新动能。由于物联网，工业互联网和各种智能设备的广泛应用，智能化设
MatrixOrigin·2023-03-31 23:50

大数据数据传输 Sqoop (四)

大数据技术之Sqoop一、Sqoop简介ApacheSqoop™是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
weixin_35688430·2023-03-31 19:36

大数据技术之Spark（二）——RDD常用算子介绍

目录前言一、转换算子1.1Value类型1）map2）mapPatririonsmap和mapPartitions的区别：3）mapPartitionsWithIndex4）flatMap5）glom6）groupBy7）filter8）sample9）distinct10）coalesce11）repartition12）sortBy1.2双Value类型13）intersection14）un
five小点心·2023-03-31 18:00

大数据技术之Spark（一）——Spark概述

大数据技术之Spark（一）——Spark概述文章目录前言一、Spark基础1.1Spark是什么1.2SparkVSHadoop1.3Spark优势及特点1.3.1优秀的数据模型和丰富计算抽象1.3.2spark
five小点心·2023-03-31 18:59

大数据流处理架构 | 滴普科技FastData系列解读

在大数据技术发展早期，离线计算（批处理）作为唯一的大数据处理技术，很快在各个场景下取得了惊人成果，吸引了一大批优秀的科学家和工程师，这些因素的叠加使大数据技术快速成熟，形成了以HDFS+YARN+Spark
滴普科技·2023-03-31 18:15

大数据上云存算分离演进思考与实践

内容来自阿里云计算平台大数据技术商业化思考与实践，与大家共同探讨。一、起源：存算分离不是新架构数据架构起源：以上三张图分别代表过去三十年大规模数据架构演进过程。第一
阿里技术·2023-03-31 18:41

大数据技术之Sqoop——SQL to Hadoop

一、简介sqoop（sqltohadoop）是一款开源的工具,主要用于在Hadoop（Hive）与传统的数据库（mysql、postgresql...）间进行数据的传递，可以将一个关系型数据库（例如:MSQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。1.1工作机制将导入或导出命令翻译成mapreduce程序来实现。1.2
five小点心·2023-03-31 18:04

大数据如何助力实体经济？案例分享：利用机器学习提升制造业良品率

新一代的云计算/大数据技术正在给传统工业发展方式带来颠覆性、革命性的影响。传感器、工控系统、物联网等技术的广泛应用，推动工业企业实现生产流程各环节的互联互通，促进互联网与工业融合发展。
大数据学习02·2023-03-31 17:56

YARN 的架构是怎样的？YARN 的核心组件有哪些？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-03-31 16:35

大数据技术之Presto

1、Presto概述1.Presto简介Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能用来处理在线事务（OLTP）。2.Presto应用
wespten·2023-03-31 13:01

redis部署锦集，redis部署都在这了。

大数据之Redis——Redis各种部署方案和实现Redis在大数据技术的发展中主要是用来作为中间值存储，快速计算，管道等工具使用。
大宁哥·2023-03-31 11:21

Azkaban 基本架构是什么？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-03-31 10:29

开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化

前言在过去的20年时间，大数据技术蓬勃发展，从最开始大公司内部的秘密武器，到现在广泛作用于几乎所有行业。通过使用大数据技术分析存量和实时的数据，能够更加全面清晰地洞察商业的本质。
阿里云技术·2023-03-31 09:31

HDFS心跳机制是什么？

写在前面本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-03-31 08:03

从Hadoop到Spark、Flink，大数据处理框架十年激荡发展史

本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。什么是大数据？
woliuqiangdong·2023-03-31 08:05

大数据系统架构包含内容涉及哪些?

大数据架构是大数据技术应用的一个非常常见的形式，那么大数据系统架构包含内容涉及哪些?下面我们就来具体了解一下。1、数据源所有大数据架构都从源代码开始。
qq_38397646·2023-03-31 08:23

大数据平台架构及主流技术栈

Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。
Alex_81D·2023-03-31 07:47

StoneDT开源舆情系统大数据技术栈介绍

我们目前开源的舆情系统分为3个部分，整个系统使用了多种开源技术组件和开源框架，涵盖涉及技术领域广泛，例如：分布式计算、大数据、人工智能、数据中台、数据挖掘、深度学习、java和python的大量实际开发场景案例。所谓，取之于开源,用之于开源，我们把整套系统开源出去，回馈给技术社区。同时，我们也会逐步的讲解，在这个开源舆情系统中我们是如何使用这些技术的，以及在使用中遇到的各种问题和工程师们的解决方案
思通数科x·2023-03-31 06:53

云原生大数据架构中实时计算维表和结果表的选型实践

一前言传统的大数据技术起源于Google三架马车GFS、MapReduce、Bigtable，以及其衍生的开源分布式文件系统HDFS，分布式计算引擎MapReduce，以及分布式数据库HBase。
阿里云技术·2023-03-31 02:53

2020-12-24

为深入贯彻国家创新驱动发展战略,紧紧抓住防雷行业发展趋势，充分利用互联网、5G通讯、智能化、大数据技术，建立全国性防雷减灾预警、培训、监测、应急等服务类平台成为本次论坛研讨的重要课题。
七荣直播·2023-03-31 01:02

大数据技术原理与应用 笔记 第2章 大数据处理架构Hadoop

大数据处理架构HadoopHadoop发展历程Hadoop起源Hadoop特点Hadoop应用现状不同版本Hadoop项目结构Hadoop集群的部署和使用集群硬件配置HDFSMapReduceHadoop发展历程Hadoop是apache软件基本会旗下的开源分布式计算平台。受欢迎的原因：一是免费；二是极大地降低了使用复杂度，屏蔽了所有的底层细节，提供了更高层的接口。Hadoop支持多种语言：C++
梦想是吃不完的格力高·2023-03-30 23:39

大数据技术原理与应用----大数据处理架构Hadoop

一、Hadoop简介及其应用现状1、Hadoop简介Hadoop（是大数据技术的集合体，一整套解决方案的统称）是由Java开发的，支持多种编程语言。
wake D·2023-03-30 23:04

大数据技术及应用—Hadoop 基础 笔记

Hadoop采用分布式存储和并行执行机制,为整个数据群带来了非常高的宽带,因此能大大提高效率。Hadoop事实上是用大量的廉价机器组成的集群去执行大规模运算,这包括大规模的计算和大规模的存储。Hadoop被公认为行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力,几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化工具和技术服务。是具有可靠性和扩展性的一个开源分布式计算的存
佳钰小甜心·2023-03-30 23:59

大数据技术与应用 实验二报告 安装配置JDK+Eclipse+Maven，搭建HDFS

大数据技术与应用实验二报告安装配置JDK+Eclipse+Maven，搭建HDFS1.安装配置JDK（1）官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https:/
double晴天·2023-03-30 23:43

Hadoop大数据技术原理与运用学习笔记

Hadoop学习过程中的一些笔记参考书籍《Hadoop大数据技术原理与应用》清华大学出版社黑马程序员/编著1.什么是大数据？大数据的四个特征是什么？
Jones_aj·2023-03-30 23:05

了解大数据技术原理与应用（复习知识点）

目录①大数据（BigData）与云计算、物联网的相互关系②介绍Hadoop、MapReduce、HDFS和HBase以及其他功能组件，复习重点以及其他可用点！一大数据介绍1信息科技为大数据时代提供技术支撑2数据产生方式的变革促成大数据时代的来临3大数据特点4大数据影响5大数据关键技术6大数据产业7大数据与云计算、物联网的关系二Hadoop1.Hadoop基础了解与使用2.hdfs相关命令3.分布式
登登登__·2023-03-30 23:20

大数据技术原理与应用Hadoop篇-初始hadoop

hadoop发行版本1.apachehadoophttp://hadoop.apache.org/2.clouderahadoop(CDH)https://www.cloudera.com/3.hortonworkshadoop(HDP)https://hortonworks.com4.MapRhttps://mapr.com/5.fusionInsighthadoop（华为大数据平台hadoop
诺特兰德·2023-03-30 23:50

大数据技术原理与应用（第五章 NoSQL数据库）

目录5.1NoSQL数据库NotonlySQL特点传统的关系型数据库特点MySQL集群方式的缺陷5.2NoSQL与关系型数据库的比较数据库原理数据规模数据库模式查询效率事务一致性数据完整性可用性标准化技术支持可维护性5.3四大类型NoSQL数据库键值数据库数据模型典型应用优缺点不适用情形列族数据库数据模型——列族典型应用优缺点不适用情形文档数据库数据模型典型应用优缺点不适用情形图数据库数据模型——
m0_37607242·2023-03-30 23:48

大数据技术原理与应用（第七章 MapReduce）

目录7.1MapReduce简介MapReduce与传统并行计算框架对比MapReduce模型MapReduce策略MapReduce理念——计算向数据靠拢MapReduce架构——Master/SlaveMap函数和Reduce函数7.2MapReduce的体系结构Client客户端JobTracker作业跟踪器TaskTracker任务追踪器7.3MapReduce工作流程概述MapReduc
m0_37607242·2023-03-30 23:48

大数据技术原理与应用（第九章 数据仓库HIVE）

目录9.1数据仓库的概念传统数据仓库面临的挑战9.2HIVE简介Hive适用于数据仓库的特点采用批处理方式处理海量数据提供适合数据仓库操作的工具Hadoop生态系统中Hive与其他部分的关系Hive依赖于HDFS存储数据Hive依赖于MapReduce处理数据Pig可以作为Hive的部分替代工具HBase提供数据的实时访问Hive与传统数据库的对比分析Hive在企业大数据分析平台中的应用Hive系
m0_37607242·2023-03-30 23:48

大数据技术原理与应用（第十章 Spark）

目录10.1Spark简介Spark的主要特点Scala简介Scala的特性Spark与Hadoop的对比Hadoop与Spark的执行流程对比10.2Spark生态系统BDAS架构Spark生态系统组件的应用场景10.3Spark运行架构Spark基本概念和架构设计RDDDAGExecutorApplicationTaskJobStageSpark运行架构与HadoopMapReduce计算框架
m0_37607242·2023-03-30 23:48

大数据技术原理与应用（第一章，大数据概述）

目录1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术分布式存储分布式并行处理技术1.5大数据与云计算、物联网的关系1.5.1云计算云计算数据中心1.5.2物联网（TheInternetofThings）物联网的关键技术大数据，云计算与物联网的关系图1.1大数据时代技术支撑：存储，计算，网络。数据产生方式的变革：第一阶段运营式系统阶段——>第二阶段用户原创内容阶段——
m0_37607242·2023-03-30 23:18

大数据技术原理与应用——大数据处理架构 Hadoop

大数据技术原理与应用——大数据处理架构Hadoop1.概述（1）Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop
linjiayina·2023-03-30 23:47

大数据技术原理与应用（第二章 大数据处理架构Hadoop）

目录2.1Hadoop简介HDFS（分布式文件系统）MapReduce（分布式并行编程框架）Hadoop的特点Hadoop的应用编辑Hadoop版本的变化2.2Hadoop项目结构TezSparkHivePigOozieZookeeperHBaseFlumeSqoopAmbari2.3Hadoop集群的部署和使用NameNodeDataNodeJobTracker，TaskTracker备份Sec
m0_37607242·2023-03-30 22:58

大数据学习记录-Hadoop框架核心（HDFS、MapReduce、YARN）

该文章为lagou学习记录笔记，里面的资源和内容来自lagou，作为大数据菜鸡，如果内容部分有错误还请各位大佬指出并纠正，谢谢大数据技术解决的是什么问题？
对方还不是你的好友·2023-03-30 20:46

【云计算与大数据技术】大数据系统总体架构概述（Hadoop+MapReduce ）

一、总体架构设计原则企业级大数据应用框架需要满足业务的需求，一是要求能够满足基于数据容量大，数据类型多，数据流通快的大数据基本处理需求，能够支持大数据的采集，存储，处理和分析，二是要能够满足企业级应用在可用性，可靠性，可扩展性，容错性，安全性和隐私性等方面的基本准则，三是要能够满足用原始技术和格式来实现数据分析的基本要求满足大数据的V3要求大数据容量的加载、处理和分析-要求大数据应用平台经过扩展可
showswoller·2023-03-30 18:19

Apache Ranger 的架构是怎样的？

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-03-30 18:13

大数据技术刷题笔记1：

大数据技术刷题笔记1：2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业
冰露可乐·2023-03-30 16:12

「详谈 Delta Lake 」系列技术专题 之 湖仓一体（ Lakehouse ）

前言本文翻译自大数据技术公司Databricks针对数据湖DeltaLake系列技术文章。
阿里云技术·2023-03-30 14:14

企业数据存储方式发展趋势：数据仓库-大数据平台-数据湖-湖仓一体

早期系统采用关系型数据库来存放管理数据，随着大数据技术兴起，人们对数据分析的需求愈加强烈，于是可以面向分析、集成大量数据的数据仓库（DW）诞生，虽然可以提供保存大量数据，但存储、计算成本相对较高，不好做分布式计算
嘉得乐·2023-03-30 13:59

再见了 HDFS！这个资源调度框架已成气候！

大数据技术栈一览接下来，我顺着一个成熟大数据系统的工作模式反复考虑，最终有了结论：任何一个分布式程序执行，都需要从系统申请资源。我认为，大数据系统的核心是Hadoop
Java思维导图·2023-03-30 13:22

第六课 大数据技术之Hadoop3.x的源码解析

第六课大数据技术之Hadoop3.x的源码解析文章目录第六课大数据技术之Hadoop3.x的源码解析第一节RPC通信原理解析第二节NameNode启动源码解析第三节DataNode启动源码解析第四节HDFS
道教儒佛电磁波·2023-03-30 13:12

如何利用大数据构建用户画像？

虽然用户画像不是什么新鲜的概念，但是大数据技术的出现使得用户画像更加清晰客观。下面我们一起来看看如何利用大数据构建用户画像。1、认识用户画像用户画像简单来讲，就是用户信息标签化。
我想去吃ya·2023-03-30 09:40

大数据技术原理与应用

大数据技术原理与应用第一篇大数据基础第一章大数据概述1.1信息化浪潮信息化浪潮发生时间标志解决问题代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮
装一袋星辰大海·2023-03-30 06:20

智能工厂信息系统架构设计-WMS、ERP、MES

知识星球*原创书*微信群*视频课程作者：安恒智能科技有限公司梁华|来源：《机电信息》0引言智能工厂信息化系统需要将现代管理理论、智能制造理论与最新信息化技术、自动化技术、网络通信技术、信息物理系统、大数据技术
King's King·2023-03-30 05:23

大数据技术Canal总结和详细案例

0Canal介绍Canal是用Java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前Canal主要支持了MySQL的Binlog解析，解析完成后才利用CanalClient来处理获得的相关数据。（数据库同步需要阿里的Otter中间件，基于Canal）1MySQL的Binlog1.1什么是BinlogMySQL的二进制日志，它记录了所有的DDL和DML(除了数据查询语句)语句，以
不以物喜2020·2023-03-30 05:37

大数据技术原理与应用实验1——熟悉常用的HDFS操作

文章目录一、实验目的二、实验环境三、实验内容（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：1.向HDFS中上传任意文本文件2.从HDFS中下载指定文件3.将HDFS中指定文件的内容输出到终端中4.显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息5.给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间等信息6.提供一个HDFS内的文件
虚神公子·2023-03-30 04:26

[2021时空AI白皮书]时空人工智能：关键技术

这些技术和框架叠加与融合，即构成了时空大数据技术体系，支撑时空大数据的多类型应用。
维智科技WAYZ·2023-03-29 22:25
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他