040-大数据技术

大数据指标中台构建核心技术解析

主要围绕以下四个方面展开：1.网易数帆大数据产品介绍2.网易数帆指标中台3.指标中台核心技术解析4.未来规划及展望01网易数帆大数据产品介绍1.网易数据分析的发展历史网易自2006年开始使用大数据技术组件
王知无(import_bigdata)·2023-12-22 11:56

大数据技术探索

1.基础组件认识大数据其实是对数据的分布式存储、分析运算，用于决策的一系列技术，所有组件环境一般用使用Linux系统部署。1.1HDFS1）HDFS集群包括：NameNode和DataNode以及SecondaryNamenode。2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。3）DataNode负责管理用户的文件数据块，每一个数据块都可以在多个dat
三翼鸟数字化技术团队·2023-12-22 06:32

大数据服务与低代码开发：赋能创新与效率的双剑合璧

一方面，大数据技术的崛起为企业提供了全新的决策依据和业务发展契机。通过高效处理和分析海量数据，企业可以更准确地把握市场动态，洞察消费者需求，从而制定出更具针对性的
工业甲酰苯胺·2023-12-21 21:23

【揭秘】腾讯大数据98.8秒完成100TB数据排序的架构和算法

此次参赛的腾讯云大数据联合团队，是由腾讯云存储产品中心、腾讯数据平台部组成，团队成员在大数据技术和应用管理上都有着非常丰富的实践经验，
yoku酱·2023-12-21 21:16

2021年广东省专业技能大赛——大数据技术与应用 真题题目及解析（1）

2021年广东省专业技能大赛——大数据技术与应用真题题目及解析文章适合用户了解大数据技能大赛的考试提纲和解析步骤。
Lino_white·2023-12-21 17:26

致未来IT工作的我

昵称：北城南笙er职业：学生专业：大数据技术与应用爱好：体育，水果，编程，拍照，发呆，公益交友宣言：陌生之后便是熟知星座：处女座性格：暖男，善良，稳重，自信我的工作你好啊，虽然我们还没有遇见，我相信你肯定会在寻找我的路上
北城南笙er·2023-12-21 17:08

《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:45

《PySpark大数据分析实战》-13.Spark on YARN模式代码运行流程

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:44

《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-21 11:08

利用Spark构建房价分析与推荐系统：基于58同城数据的大数据实践

的房价数据分析预测推荐系统引言技术栈功能概述项目实现1.数据爬取与处理2.大数据分析与可视化3.房价预测模型4.协同过滤推荐系统5.Web应用开发6.数据管理与用户管理总结与展望基于Spark的房价数据分析预测推荐系统引言近年来，大数据技术在各个领域的应用愈发广泛
爱欲无极·2023-12-21 11:28

智慧能源：引领未来，共创绿色美好生活

智慧能源大屏是利用先进的信息技术、物联网技术、大数据技术等，对传统能源进行智能化管理、优化配置和高效利用的一种工具。它不仅提高了能源利用效率，还降低了环境污染，为人类社会的可持续发展注入了新的活力。
久数君·2023-12-21 08:17

《斯坦福数据挖掘》八大算法+

文章目录介绍：八大算法+TF.IDF相似项发现PageRank链路分析聚类（层次聚类+K-means聚类）层次聚类K-means聚类完美匹配社交网络挖掘介绍：八大算法+课程：《大数据技术概论》教材：《斯坦福数据挖掘
inch-whf·2023-12-21 02:05

【舆情监测平台】网络舆情传播的特征及应对策略

1、网络舆情是指在大数据技术背景当中，众多网民相关社会经济发展(社会现象、虚拟社会经济发展)各式各样情况、难点所描述的自信心、心理状态、提议和心理状态具体表现的数量，或简言之为网络舆论和民声。
柠檬_217d·2023-12-20 06:06

《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-20 06:47

大数据技术14：FlinkCDC数据变更捕获

前言：FlinkCDC是Flink社区开发的flink-cdc-connectors组件，这是⼀个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。https://github.com/ververica/flink-cdc-connectors一、CDC概述CDC的全称是ChangeDataCapture，在广义的概念上，只要是能捕获数据变更的技
Java架构何哥·2023-12-19 19:42

为什么选择计算机？

然后高考报志愿的时候就选择数据科学与大数据技术和计
白鲸ld·2023-12-19 18:16

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:30

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:30

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:29

Apache Flink（十五）：Flink任务提交模式

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-12-19 12:17

Apache Flink（十四）：Flink 本地模式开启WebUI

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-12-19 12:15

数据建模在交管的应用

数据建模在交管的应用主要表现在以下几个方面：1、交通管理与规划：利用大数据技术，交管部门能够对交通流量、事故高发区、拥堵路段等进行实时监控和分析。
王永翔·2023-12-19 07:25

双非大数据

由于我严重低估了学习大数据技术栈所需要的时间，同时开发环境总是存在问题，加之八月
Guff_hys·2023-12-19 04:35

数据仓库架构-Lambda和Kappa

随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构>离线大数据架构>Lambda>Kappa>混合架构
产品经理自我修养·2023-12-18 22:04

大数据技术4：Lambda和Kappa架构区别

前言：在大数据处理领域，两种突出的数据架构已成为处理大量数据的流行选择：Lambda架构和Kappa架构。这些架构为实时处理和批处理提供了强大的技术解决方案，使组织能够从其数据中获得有价值的见解。随着互联网时代来临，数据量暴增，开始使用大数据工具来替代经典数仓中的传统工具。此时仅仅是工具的取代，架构上并没有根本的区别，可以把这个架构叫做离线大数据架构。后来随着业务实时性要求的不断提高，人们开始在离
Java架构何哥·2023-12-18 22:33

大数据技术11：Hadoop 原理与运行机制

前言：HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。一、Hadoop简介1.1、Hadoop定义Hadoop作为一个开源分布式系统基础框架，主要包含两大核心组件：HDFS分布式文件系统和MapReduce分布式并行计算框架，这两大核心组件是Hadoop进行大数据处理的基础和基石，此外，Had
Java架构何哥·2023-12-18 21:56

帮2023年文科351分填写志愿记录

学校，例如广西、南宁2、可选专业从第一个开始看，依次选，没有就找下一个，找够六个动物医学、畜牧兽医、新能源汽车技术、护理、老年服务与管理、旅游管理、物流管理、会计、财务管理、数字媒体技术医学检验技术、大数据技术
风停了，叶落了·2023-12-18 20:56

人工智能数据挖掘：发掘信息的新境界

导言人工智能数据挖掘作为信息时代的利器，通过智能算法和大数据技术的结合，为企业、学术研究和社会决策提供了前所未有的洞察力。本文将深入探讨人工智能在数据挖掘领域的应用、技术挑战以及对未来的影响。
鳗小鱼·2023-12-18 10:58

大数据架构（二）大数据发展史

1.背景随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，传统数仓经历了以下发展过程：传统数仓架构->离线大数据架构->Lambda架构->Kappa架构->新一代实时数仓
野生的狒狒·2023-12-18 02:50

（免费领源码）java#SSM #mysql基于大数据技术的创业推荐系统02979-计算机毕业设计项目选题推荐

在现实运用中，应用软件的工作规则和开发步骤，采用Java技术建设基于大数据技术的创业推荐系统。
2301_3224142804·2023-12-17 18:02

什么是BI、数据仓库、数据湖和数据中台，他们有什么差异？

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵进行系统的解析
公众号:肉眼品世界·2023-12-17 15:03

Hadoop

文章目录1、Hadoop是什么2、Hadoop优势3、Hadoop组成（1）HDFS（2）YARN（3）MapReduce架构概述（4）HDFS、YARN、MapReduce三者关系（5）大数据技术生态体系
Gong_yz·2023-12-17 06:39

《PySpark大数据分析实战》-11.Spark on YARN模式安装Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:16

《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-17 05:10

企业大数据平台技术体系架构

如何利用大数据技术构建企业大数据平台，以充分体现大数据的价值，是各行
皮皮杂谈·2023-12-17 05:50

软考 系统架构设计师系列知识点之大数据（2）

接前一篇文章：软考系统架构设计师系列知识点之大数据（1）所属章节：第11章.未来信息综合技术第6节.云计算和大数据技术概述大数据和云计算已成为IT领域的两种主流技术。
蓝天居士·2023-12-17 02:52

2023年，IT圈流传着“Java 已死、前端已凉” 的言论

随着云计算和大数据技术的发展，Java的应用场景还会进一步扩展。前端是指网站或应用程序的用户界面，它是用户与后端服
顽石九变·2023-12-16 22:25

Apache Flink（十三）：Flink History Server

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-12-16 20:02

Apache Flink（十）：Flink集群基础环境搭建-JDK及MySQL搭建

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-12-16 20:32

Apache Flink（十二）：Flink集群部署-Flink On Yarn

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-12-16 20:32

Apache Flink（十一）：Flink集群部署-Standalone集群部署

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-12-16 20:55

《PySpark大数据分析实战》-10.独立集群模式的代码运行

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-08.宽窄依赖和阶段划分

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:19

《PySpark大数据分析实战》-09.Spark独立集群安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:49

《PySpark大数据分析实战》-05.PySpark库介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-16 14:05

云计算与大数据技术应用知识及案列

云计算与大数据技术应用知识及案列简述什么是云计算？
星川皆无恙·2023-12-16 06:19

PySpark大数据处理详细教程

无论您是刚入门的数据分析师，还是寻求深入了解大数据技术的专业人士，这里都有丰富的知识和实用的技巧等着您。让我们一起潜入PySpark的世界，解锁数据处理和分析的无限可能！
数据科学知识库·2023-12-15 18:35

KaiwuDB 获评信通院 2023 大数据“星河”标杆案例

12月6日，由中国信息通信研究院、中国通信标准化协会大数据技术标准推进委员会(CCSATC601)共同组织的2023大数据“星河(Galaxy)”案例评选结果正式公示，“基于KaiwuDB的台区云储能示范项目
KaiwuDB 数据库·2023-12-15 17:09

新工科：数据科学与大数据技术实验中心解决方案，赋能高校新工科数智人才培养

数据科学与大数据技术专业作为适应大数据技术发展与产业需求的新工科专业，自2016年首次设立
美林数据Tempodata·2023-12-15 10:08

大数据技术13：HBase分布式列式数据库

前言：2007年Powerset的工作人员，通过google的论文开发出了BigTable的java版本，即HBASE。2008年HBASE贡献给了Apache。HBase需要依赖JDK环境。一、Hadoop的局限HBase是一个构建在Hadoop文件系统之上的面向列的数据库管理系统。要想明白为什么产生HBase，就需要先了解一下Hadoop存在的限制？Hadoop可以通过HDFS来存储结构化、半
Java架构何哥·2023-12-15 07:05
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他