040-大数据技术第27页

支持多模型数据分析探索的存算分离湖仓一体架构解析（下）

随着大数据技术的发展，通过在数据湖层增加分布式事务、元数据管理、极致的SQL性能、SQL和数据API接口能力，企业可以基于统一的架构来同时支持数据湖和数据仓库的业务，这就是湖仓一体架构。

星环科技·2023-04-17 15:52

支持多模型数据分析探索的存算分离湖仓一体架构解析（上）

随着大数据技术的发展，通过在数据湖层增加分布式事务、元数据管理、极致的SQL性能、SQL和数据API接口能力，企业可以基于统一的架构来同时支持数据湖和数据仓库的业务，这就是湖仓一体架构。

星环科技·2023-04-17 15:51

企业获客难得看过来——大数据精准获客的方式？

互联网时代如何实现大数据精准获客，在全球大数据技术爆炸的时代，所有互联网媒体都有用户足迹，他们的个人行为足迹与每一种媒体相互关联。这是创建网络媒体的基础，大多数中国企业都想在大数据技术时代分得一杯羹。

哎呦喂 dashuju·2023-04-17 13:23

大数据智能获客是什么大数据挖掘商业价值有哪些方法

大数据的使用方法是根据不同的消费者心理特征、行为特征，利用大数据技术，在目标市场中实现对不同的消费者进行高效的销售沟通，这是当今企业产业升级、提高效率的重要方式。

客套企业名录·2023-04-17 13:22

Apache Hudi 是什么？

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-04-17 05:43

大数据周会-本周学习内容总结010

开会时间：2023.04.1619:00线下会议目录01【scala】02【zookeeper】03【spark】04【专利】会议记录01【scala】尚硅谷大数据技术Scala教程-笔记01【Scala

延锋L·2023-04-17 04:07

大数据技术，Spark之RDD，RDD超详细讲解（二）

一、RDD的特性Spark之所以成为目前比较主流的大数据处理技术，其中RDD的特性和机制占到很大比重，没有RDD的这些机制，Spark性能会大打折扣。总体而言，Spark采用RDD后能够实现高效计算的主要原因有以下几点：1、高效的容错机制。现有的分布式共享内存、键值存储、内存数据库等，为了实现容错，必须在集群节点之间进行数据复制（主从复制）或者记录日志。这就造成各个节点之间大量数据传输，这对于数据

喵感数据·2023-04-17 01:33

什么是数字人？数字人可以应用在哪些行业？

数字人指的是由计算机技术、人工智能技术和大数据技术等多种技术手段构建的一种虚拟的人类形态。数字人通常具备丰富的信息处理能力、模拟能力和学习能力，可以根据人们的需求进行智能化定制服务。

LhcyyVSO·2023-04-16 22:24

某股份制银行的大数据应用之道

在大数据的时代背景下，某股份制银行充分认识大数据技术在业务领域的应用价值，加强大数据技术研究，积极探索出一条适合某股份制银行的大数据应用之道。

朤长弓·2023-04-16 19:28

大数据技术之DataX

目录第一章业务数据同步策略1.1全量同步策略1.2增量同步策略1.3数据同步策略的选择第2章DataX介绍2.1DataX概述第3章DataX架构原理3.1DataX的设计理念3.2DataX框架设计3.3DataX支持的数据源3.4DataX运行流程3.5DataX调度策略思路3.6DataX和Sqoop对比第4章DataX部署4.1上传解压4.2执行自检第5章DataX使用5.1DataX使用

DK_521·2023-04-16 12:04

大数据技术之Spark

第1章Spark概述1.1什么是Spark回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。区别：1、MR是基于磁盘，spark是基于内存2、MR的task是进程3、spark的task是线程，在executor进程里执行的

DK_521·2023-04-16 12:04

大数据技术之MaxWell

目录第1章Maxwell介绍1.1Maxwell概述1.2Maxwell输出数据格式第2章Maxwell架构原理2.1MySql二级制日志2.2Mysql主从复制2.3Maxwell原理第3章Maxwell部署3.1上传解压3.2配置MySQL3.2.1启动MySQLBinlog3.2.2创建Maxwell所需数据库和用户3.3配置Maxwell第4章Maxwell使用4.1Maxwell启动和停

DK_521·2023-04-16 12:34

python机器学习和深度学习在气象中的应用

人工智能和大数据技术在许多行业都取得了颠覆式的成果，气象和海

年华往事·2023-04-16 10:57

大数据2 Hadoop

近10年来，大数据技术体系一词一直和Hadoop是划上等号的，提起大数据技术基本就是在提及

像影子追着光梦游_·2023-04-16 02:19

大数据技术——spark集群搭建

目录spark概述spark集群搭建1.Spark安装2.环境变量配置3.Spark集群配置4.启动Spark集群存在问题及解决方案请参考以下文章spark概述Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型，可以在内存中快速地处理大规模数据。Spark支持多种

肉肉肉肉肉肉~丸子·2023-04-16 01:53

大数据技术（入门篇） --- centos7安装CDH6.2集群

随着信息化时代的进步，业务系统的数据量出现了爆发式的增长，带来的不良结果就是数据库的数据量剧增，而部分业务系统需要实时数据，有些业务系统需要离线计算后的数据，所以就产生了大数据技术，因此最近在学习大数据相关的知识点

北漂的菜小白·2023-04-16 01:19

Python零基础教程

如果你还没有接触过计算机科学或者大数据技术领域，这可能就是你需要打通入门敲开途径和在未来职场发展上探索更多可能性之路的最好方法了。本篇文章将给零基础读者提供Py

'Wu'·2023-04-16 01:39

大数据平台数据和平台工具测试人员需要掌握以下技能

2.大数据技术：测试人员需要了解大数据技术，包括Hadoop、Spark、NoSQL等等，以便能够对数据进行处理和分析。3.脚

不考虑昵称·2023-04-15 21:03

2019-07-13

随着国家战略的支持和大数据技术的快速发展，催生了大量大数据应用产业，马爸爸说过：传统行业不会消失，只有落后的传统行业才会消失。所以传统行业的转型迫在眉睫。

柒月陆·2023-04-15 19:25

GPT引领学习之旅：一篇让程序员轻松掌握Elasticsearch的攻略

一、引言随着大数据技术的飞速发展，程序员们面临着越来越多的挑战。Elasticsearch作为一款流行的开源搜索和分析引擎，已成为许多项目的重要组成部分。

张同学tty·2023-04-15 16:22

大数据技术系列文章目录

ZookeeperHadoop系列之1、Zookeeper介紹Hadoop系列之2、Zookeeper实操HadoopHadoop系列之-1、大数据介绍Hadoop系列之-2、HDFS分布式文件系统Hadoop系列之-3、HDFS高阶+实操Hadoop系列之-4、MapReduce分布式计算Hadoop系列之-5、MapReduce高阶部分Hadoop系列之-6、Yarn资源调度器Hadoop系列

技术武器库·2023-04-15 15:51

东软跨境电商数仓开发进度

我的工作是使用大数据技术进行数仓的开发，作为东北大学大数据班的一名希望在数据领域有长远发

Mmj666·2023-04-15 13:26

尚硅谷大数据技术Spark教程-笔记01【Spark(概述、快速上手、运行环境)】

视频地址：尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili尚硅谷大数据技术Spark教程-笔记01【SparkCore(概述、快速上手、运行环境)】尚硅谷大数据技术Spark教程-笔记

延锋L·2023-04-15 08:36

第七课大数据技术之Spark-SparkStreaming

第七课大数据技术之Spark-SparkStreaming文章目录第七课大数据技术之Spark-SparkStreaming第一节SparkStreaming概述1.1SparkStreaming介绍1.2SparkStreaming

道教儒佛电磁波·2023-04-15 00:49

大数据专业，想好报了吗

高考结束了，该填志愿了吧，有想报大数据专业的吗，有想在暑假事先了解一下，学习大数据的吗看看大数据具体学什么，就业怎么样专业名称：数据科学与大数据技术;人才培养目标：以大数据为核心研究对象，利用大数据的方法解决具体行业应用问题

谢特you·2023-04-14 23:04

大数据学习路线图（2023完整版）适合收藏

大数据开发是一门涉及处理和分析大规模数据的技术领域，随着大数据技术的不断发展和应用，对大数据开发人员的需求也在逐渐增加。就业前景相对较好，尤其在科技行业和数据驱动型企业中。

千锋IT教育·2023-04-14 23:40

大数据需要学哪些内容

大数据技术是当今互联网时代的热点之一，目前已经成为了各行各业中的最佳选择。

千锋IT教育·2023-04-14 23:10

企业信息化建设都包括哪些方面？

随着大数据技术的发展，时代的发展要求企业转变管理模式、建立信息化管理机制，同时也是提高工作、管理效率，促进企业战略性发展的重要保障。

辰哥爱学习·2023-04-14 20:18

【技术加油站】浅谈百度智能测试的三个阶段

随着AI&大数据技术的飞速发展，也给软件测试带来了福音。百度MEG质量效能平台自2018年开始探索AI技术在软件测试领域的应用场景，随着探索的不断突破，发现软件测试蕴含了极其丰富的AI场景。

百度Geek说·2023-04-14 16:03

星环科技自研技术，加速大数据从持久化、统一化、资产化、业务化到生态化

从2013年成立开始，星环科技就专注于大数据基础技术与企业数据业务的更好结合，同时面对中国更为复杂的数据应用场景，研发了多种更贴合国内大数据应用需求的大数据管理技术，在大数据技术领域有多项基础技术突破。

星环科技·2023-04-14 12:31

【学习笔记】大数据技术之Hadoop（HDFS）

这里写目录标题1.HDFS概述1.1HDFS产出背景及定义1.2HDFS优缺点1.2.1HDFS优点1.2.2HDFS缺点1.3HDFS组成架构1)NameNode(nn)：2)DataNode:3)Client：4)SecondaryNameNode:1.4HDFS文件块大小（面试重点）2.HDFS的Shell操作（开发重点）2.1基本语法2.2命令大全2.3常用命令实操2.3.1准备工作2.3

在学习的王哈哈·2023-04-14 07:31

hadoop学习笔记：HDFS框架原理

学习大数据技术，就不可能避开hadoop，因为hadoop框架是分布式系统的基础。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

奋斗的瘦胖子·2023-04-14 07:56

大数据技术之Hadoop学习(六)——高可用集群搭建

目录一、Hadoop2.0改进与提升二、YARN资源管理框架1、YARN体系结构（1）ResourceManager（2）NodeManager（3）ApplicationMaster2、YARN工作流程三、HDFS的高可用1、HDFS的高可用架构四、Hadoop高可用集群的搭建1、部署集群节点五、配置高可用集群1、修改hadoop-env.sh文件2、修改core-site.xml文件3、修改h

雨诺风·2023-04-14 03:45

免费分享：python数据分析与应用（第2版）（微课版）

图书简介《Python数据分析与应用（第2版）（微课版）》是校企合作共同开发的大数据技术精

泰迪智能科技·2023-04-13 21:16

重磅！220所院校获教育部批准开设大数据相关专业

2018年度有203所本科院校获批“数据科学与大数据技术”专业（专业代码080910T），其中，有8所院校由理学调整为工学申报，实际新增院校为195所，工学149所，理学54所，分布于28个省/市。

李雪燃·2023-04-13 16:22

漫克：你上头了吗

二零一八年，新开设“数据科学与大数据技术”专业高校数量达250所。《华尔

漫克·2023-04-13 02:30

证券行业想做好精准营销需要具备哪些技术能力？

1.大数据技术证券行业需要掌握大数据技术，将跨平台、多渠道来源数据整合，通过数据治理构建基于客户洞察和分析的数据仓库，并实时分析、管理和筛选数据用于洞察客户需求变化、调整营销策略和优化营销效果。

神策数据·2023-04-12 17:04

神策数据如何帮助企业实现营销自动化？

营销自动化是指通过使用软件工具和大数据技术将营销任务自动化，以提高营销效率、提高销售和营收。营销自动化可以包括电子邮件自动化、社交媒体自动化、营销活动自动化、客户关系管理系统（CRM）自动化等等。

神策数据·2023-04-12 17:31

2020年大数据与AI结合的发展方向

作者|张彭善从2003年谷歌大数据“三驾马车”论文的发表到现在，大数据技术历经10余年，经历了风口到落地再到大规模的普及应用，目前已经成为各大企业尤其是互联网企业的基础设施。

CDA·数据分析师·2023-04-12 14:56

大数据对互联网金融的影响

互联网金融不是互联网和金融的简单叠加，更深层次的变化是改变了金融服务模式，给金融体系带来了变革，融入了更多互联网特有技术，大数据技术就是其中的典型代表，它也被视为推动互联网金融发展的重要驱动力之一，使金融业形成了一种新的业态

weixin_30363981·2023-04-12 14:52

数据湖 | Apache Hudi 设计与架构最强解读

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-12 12:45

【舆情监测平台】网络舆情传播的特征及应对策略

1、网络舆情是指在大数据技术背景当中，众多网民相关社会经济发展(社会现象、虚拟社会经济发展)各式各样情况、难点所描述的自信心、心理状态、提议和心理状态具体表现的数量，或简言之为网络舆论和民声。

柠檬_217d·2023-04-11 18:35

数据库与大数据的界限是否正逐渐模糊？

同时，大数据技术的发展也使得处理结构化数据的能力得到了极大提升。因此，数据库和

Evaporator Core·2023-04-11 14:29

海量数据的实时指标计算

对于海量数据库以及实时指标计算，我以前了解过一些大数据技术相关的知识，由于现在工作中涉及较少，因此写了一篇笔记了解实时指标计算方面的知识。目录一、实时指标计算概述

Labryant·2023-04-11 11:35

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（一）概要和介绍