大数据基础

「Flink实时数据分析系列」1. 有状态流处理简介

来源|「StreamProcessingwithApacheFlink」作者|FabianHueskeandVasilikiKalavri翻译|吴邪大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研
数据与智能·2023-11-25 06:49

大数据基础中台-数据仓库建设

一、数据模型架构原则数仓分层原则优秀可靠的数仓体系，往往需要清晰的数据分层结构，即要保证数据层的稳定又要屏蔽对下游的影响，并且要避免链路过长。那么问题来了，一直在讲数仓要分层，那数仓分几层最好？目前市场上主流的分层方式眼花缭乱，不过看事情不能只看表面，还要看到内在的规律，不能为了分层而分层，没有最好的，只有适合的。分层是以解决当前业务快速的数据支撑为目的，为未来抽象出共性的框架并能够赋能给其他业务
SmartBrain·2023-11-24 12:22

大数据、人工智能与云计算的融合与应用

但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值；同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸；此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切
ShuYunBIGDATA·2023-11-24 09:26

大数据基础设施搭建 - Flume

文章目录一、上传压缩包二、解压压缩包三、监控本地文件（filetokafka）3.1编写配置文件3.2自定义拦截器3.2.1开发拦截器jar包（1）创建maven项目（2）开发拦截器类（3）开发pom文件（4）打成jar包上传到Flume3.2.3修改配置文件3.3创建KafkaTopic3.4启动Flume3.5停止Flume四、监控Kafka（kafkatohdfs）3.0将lib文件夹下的g
m0_46218511·2023-11-23 13:37

米哈游大数据云原生实践

背景简介为了解决原有架构缺乏弹性、运维复杂、资源利用率低等问题，2022年下半年，我们着手调研将大数据基础架构云原生化，并最终落地了Spark
云布道师·2023-11-23 02:26

大数据基础设施搭建 - Kafka（with ZooKeeper）

文章目录一、简介二、单机部署2.1上传压缩包2.2解压压缩包2.3修改配置文件（1）配置zookeeper地址（2）修改kafka运行日志(数据)存储路径2.4配置环境变量2.5启动/关闭2.6测试（1）查看当前服务器中的所有topic（2）创建topic等增删改查操作未测试，担心后面升级为集群模式时出问题。三、集群部署3.0清空log.dirs目录并删除zookeeper的kafka节点3.1同
m0_46218511·2023-11-21 15:57

便捷、高效、智能—从运维视角看星环科技大数据基础平台TDH

日前，星环科技发布了大数据基础平台TDH8.1.0，新版本围绕页面布局重构，集群升级和超大集群管理能力等方面进行了全新升级，极大程度地提升了用户数据开发管理体验。
星环科技·2023-11-21 00:00

Scala编程实战 —— 一文学会编码大数据基础案例wordcount

SSM专栏（更新中…）本期文章：Scala编程实战——一文学会编码大数据基础案例wordcount如果对您有帮助还请三连支持，定会一一回访！‍
it春和·2023-11-20 13:43

大数据基础——HDFS（分布式文件系统）

分布式文件系统——HDFS文章目录分布式文件系统——HDFSHDFS概述HDFS发展历史HDFS的设计目标HDSF应用场景适合的应用场景不适合的应用场景HDFS架构HDFS的基本原理NameNode概念：作用：DataNodeHDFS的工作机制HDFS写数据流程HDFS读数据流程HDFS在读取文件的时候，如果其中一个块突然损坏了怎么办HDFS在上传文件的时候，如果其中一个DataNode突然挂掉了
我菜的要死·2023-11-20 02:49

大数据基础设施搭建 - ZooKeeper

文章目录一、上传压缩包二、解压压缩包三、本机安装3.1修改配置文件3.1.1创建ZooKeeper数据存储目录3.1.2修改配置文件名3.1.2修改配置文件内容3.3启动/停止服务端3.4测试（1）启动客户端（2）测试客户端操作四、集群安装4.1配置服务器编号4.2配置zoo.cfg文件4.3同步到其他机器（1）同步ZooKeeper软件（2）修改其他机器myid4.4启动/停止集群4.5测试（1
m0_46218511·2023-11-19 21:43

大数据基础设施搭建 - MySQL

文章目录一、检查是否安装过MySQL二、上传安装包三、安装MySQL3.1安装mysql依赖3.2安装mysql-client3.3安装mysql-server四、启动MySQL五、配置MySQL5.1修改密码（1）查看密码（2）登陆（3）设置复杂密码（4）更改mysql密码策略（5）设置简单密码5.2设置MySQL允许其他机器登陆root账号（1）进入msyql库（2）查询user表（3）修改u
m0_46218511·2023-11-19 10:16

大数据基础设施Apache Hadoop简介

一、项目起源在数据量很大的情况下，单机的处理能力无法胜任，必须采用分布式集群的方式进行处理，而用分布式集群的方式处理数据，实现的复杂度呈级数增加。早在2003年的时候，Google就已经面对大于600亿的搜索量。但是数据的大规模处理技术还处在彷徨阶段。当时每个公司或者个人可能都有自己的一套工具处理数据。却没有提炼抽象出一个系统的方法。在海量数据处理的需求下，一个通用的分布式数据处理技术框架应运而生
chenhjia·2023-11-19 10:10

大数据基础设施搭建 - Hadoop

文章目录一、下载安装包二、上传压缩包三、解压压缩包四、配置环境变量五、测试Hadoop5.1测试hadoop命令5.2测试wordcount案例5.2.1创建wordcount输入文本信息5.2.2执行程序5.2.3查看结果六、分发压缩包到集群中其他机器6.1分发压缩包6.2解压压缩包6.3配置环境变量七、配置集群7.1核心配置文件7.2HDFS配置文件7.3YARN配置文件7.4MapReduc
m0_46218511·2023-11-19 10:33

大数据基础设施搭建 - Linux环境

文章目录一、阿里云服务器购买1.1使用密码登录Linux云服务器1.2修改主机名二、阿里云服务器Linux环境配置2.1关闭防火墙2.2配置静态内网ip2.3配置SSH免密登陆（免密登陆远程机器普通用户）2.4文件分发工具2.5命令同步执行工具一、阿里云服务器购买默认安全组除linux/windows远程连接端口开放外，其他端口不开放硬件配置：cpu：2核内存：8g硬盘：40g主机名称：hadoo
m0_46218511·2023-11-17 03:55

大数据基础设施搭建 - JDK

一、创建目录需要在root账号下操作，因为/目录下只能用root账号创建目录1.1创建目录[root@hadoop102~]#mkdir/opt/software/[root@hadoop102~]#mkdir/opt/module/1.2修改权限修改module、software文件夹的所有者和所属组均为hadoop用户，远程使用的是普通账号登陆，必须调整目录让普通用户具有上传权限[root@h
m0_46218511·2023-11-17 03:21

大数据应用开发线上班（学徒班）课程大纲

大数据应用开发线上班课程大纲主要包括：阶段一大数据基础Java编程基础MySQL数据库基础MySQL实
泰迪智能科技·2023-11-16 19:23

DataSophon——国产开源一站式运维平台

DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。4、DataSophon都有哪些特性？极易部署,1小时可
罗少说·2023-11-15 10:52

2024长三角大数据产业博览会（世亚智博会）数据赋能·智创未来

展会将涵盖大数据基础设施建设、
高登先生·2023-11-09 04:33

【大数据基础平台】星环TDH社区集群版本部署

开启安全6.2安装TDH客户端6.3集群外使用hadoopclient6.3.1使用hadoop/hdfs6.3.2使用hbaseshell6.3.3beeline访问hive一、概述TDH企业级一站式大数据基础平台致力
开着拖拉机回家·2023-11-03 06:43

分布式数据库中间件 MyCat | 分库分表实践

可以用作读写分离、分库分表（分片）、容灾备份、多租户应用开发、大数据基础设施，使底层数据架构具备很强的适应
adjkldd·2023-11-01 22:47

【博学谷学习记录】超强总结，用心分享|Linux服务器集群-大数据基础环境搭建指南

【博学谷学习记录】超强总结，用心分享|Linux服务器集群-大数据基础环境搭建指南一、第一台Linux服务器创建二、Linux集群服务器环境搭建1.通过ISO镜像文件搭建（不推荐）2.通过克隆搭建（强烈推荐
努力学习呀~·2023-10-31 14:43

【大数据基础平台】星环TDH社区开发版单机部署

博主"开着拖拉机回家"带您GotoNewWorld.✨个人主页——开着拖拉机回家_大数据运维-CSDN博客✨感谢点赞和关注，每天进步一点点！加油！目录博主"开着拖拉机回家"带您GotoNewWorld.✨一、概述二、安装TDH-CE-DEV2.1环境准备2.2安装TDH社区开发版2.3自助申请许可证三、基本配置3.1开启安全3.2Hyperbase设置3.3安装TDH客户端3.4集群外使用hado
开着拖拉机回家·2023-10-31 00:05

【云计算与大数据概述 】课堂笔记

文章目录第一章云计算与大数据基础1.1云计算基础1.1.1云计算简介1.1.2云计算的特点1.1.3云计算技术分类1.2大数据基础1.2.1大数据简介1.2.2主要的大数据处理系统1.2.3大数据处理的基础流程
小糊^·2023-10-30 05:10

大数据基础平台——Spark大数据处理

1.实验目的了解与掌握数据框的创建、选择、运算和聚合、增加、删除和修改、连接、变形。2.实验内容及结果截屏（1）Spark大数据处理载入本章需要用到的程序包：（2）数据框的创建①通过键入创建调用spark的函数createDataFrame()创建数据框：调用数据框的函数show()查看数据集前几行，默认为前20行：从字典的列表创建数据框，其中字典的键表示数据集的变量名即列名，字典的值表示每行每列
樱桃小叮当·2023-10-28 18:53

「Flink实时数据分析系列」5. Flink的DataStream API（v1.7）

来源|「StreamProcessingwithApacheFlink」作者|FabianHueskeandVasilikiKalavri翻译|吴邪大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研
数据与智能·2023-10-28 13:24

大数据基础---Hive（第一篇）

数据仓库—Hive文章目录数据仓库---Hive一：Hive的基本概念：1.1：Hive简介1.1.1：什么是Hive1.1.2：为什么要使用Hive呢1.1.3：Hive的特点1.2：Hive的架构：1.2.1：Hive的基本组成1.2.2：Hive的元数据1.2.3：HQL的执行流程1.3：Hive的安装：1.3.1：Hive的安装方式：1.3.2：Hive的安装步骤：二：Hive的数据类型：
我菜的要死·2023-10-26 06:40

邦盛科技冲刺上市“冷思考”：身处红线边缘，达摩克利斯之剑高悬

据介绍，邦盛科技是一家大数据基础软件开发及相关应用解决方案提供商，独立开发了流立方平台、图立方平台、PipeACE平台、三核决策平台、关联图谱平台、机器学习平台等大数据实时智能平台软件。
贝多财经·2023-10-26 00:18

AI之浅谈

随着ChatGPT的爆火，AI的应用也随之遍地开花，国内国外的各种大模型也都陆续推出，AI的本质是进行数据的分析和整理，其背后的资源来自于互联网时代所积累的大数据基础，这也是深度学习的结果，AI具有不眠不休的特征
Micro_ET·2023-10-24 22:01

大数据基础总结---MapReduce和YARN技术原理

MapReduce和YARN技术原理学习目标熟悉MapReduce和YARN是什么掌握MapReduce使用的场景及其原理掌握MapReduce和YARN功能与架构熟悉YARN的新特性MapReduce的概述MapReduce基于Google发布的MapReduce论文设计开发，用于大规模数据集（大于1TB）的并行计算具有如下特点：易于编程：程序员仅需描述做什么，具体怎么做交由系统的执行框架处理。
weixin_30394333·2023-10-22 00:27

大数据基础篇--Common Join 和Map Join的机制

文章目录一.HiveCommonJoin二.HiveMapJoin什么是MapJoin?MapJoin的原理：注意事项三.测试使用MapJoin遇到的问题：解决办法：1.关闭自动MapJoin转换2.内存增大笼统的说，Hive中的Join可分为CommonJoin（Reduce阶段完成join）和MapJoin（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。一.HiveCom
在路上的小y·2023-10-21 08:30

《随笔 一》

1LGX4O5hDGkbLlg2GYHk4gQ提取码pw99包括：jave基础-进阶-高级-工具，HTML5基础-进阶-高级-工具,web前端基础-进阶-高级-工具，python基础-进阶-高级-工具大数据基础
Captain Hammer·2023-10-18 16:23

大数据基础

1.shuffle过程https://blog.csdn.net/zpf336/article/details/809316292.Spark为什么快？这里的快一般是指相对mapreduce快，所以这里的为什么主要是和mapreduce进行对比。https://www.zhihu.com/question/319306623.Spark提交任务流程（Sparkonyarn运行的全流程）首先通过sp
_诉说·2023-10-17 07:02

实录分享 | Alluxio 在网易大数据的应用与优化

一、背景介绍网易有数大数据基础平台NDH：NDH是网易对标ClouderaCDH的一个内部实现，是网易内部广泛使用的一个基础平台。
Alluxio·2023-10-17 06:30

大数据基础技能入门指南

本文介绍了数据工作中数据基础和复杂数据查询两个基础技能。背景当下，不管是业务升级迭代项目，还是体验优化项目，对于数据的需求都越来越大。数据需求主要集中在以下几个方面：项目数据看板搭建：特别是一些AB实验的看板，能直观呈现项目的核心数据变化数据分析：项目启动前的探索挖掘以及项目后的效果分析但是，眼下存在的一个普遍矛盾是：日益增长的数据需求和落后的数据生产力之前的矛盾俗话说，求人不如求己，掌握基础的数
阿里巴巴淘系技术团队官网博客·2023-10-16 16:34

大数据基础-zookeeper的安装教程

序1、准备本篇文章演示的是搭建zookeeper集群，这里使用三台虚拟机进行演示说明。由于zookeeper的选举机制，因而zookeeper集群所需的虚拟机数量为奇数。材料版本数量备注安装包zookeeper-3.4.12.tar.gz3虚拟机CentOS7.53IP/3192.168.28.51/52/53netcat版本任意3一种网络工具，测试用jdk版本7以上3提前安装好2、安装安装目录是
知者乎也·2023-10-15 00:13

新一代大数据技术：构建PB级云端数仓实践

本期极客说邀请了来自腾讯云大数据基础团队负责人，大数据技术专家堵俊平来为我们分享介绍大数据领域最近的技术趋势，包含介绍Hadoop与Spark技术的最新进展。通过一些实际的应用
腾讯云开发者·2023-10-14 23:07

网工内推 | 国企专场，网络运维工程师，华为/思科认证优先

2、对集团数据中心系统的大数据基础架构（ClouderaDistributionHadoop）的规划、运维及管理相关工作。
HCIE考证研究所·2023-10-14 03:19

大数据基础之SparkStreaming——SparkStreaming整合Flume

SparkStreaming继承Flume  SparkStreaming通过Push和Pull两种方式对接Flume数据源。以SparkStreaming的角度来看，Push方式属于推送(由Flume向Spark推送)，而Pull属于拉取(Spark拉取Flume的输出)。  不论以何种方式，开发过程类似，都是由SparkStreaming对接Flume数据流，Flume做为SparkStrea
Clozzz·2023-10-09 21:03

【FanOne的博客导航】希望你能喜欢这里 | 欢迎光临~

FanOne'sBlogGo语言七天入门Go开源宝藏Go语言实战项目Go语言与区块链以太坊智能合约超级账本Fabric青年大学习提醒脚本机器学习大数据基础实践大数据计算数据采集计算机网络(谢希仁教材第七版
小生凡一·2023-10-06 22:42

产品解读 | 数据服务平台：KDP

KDP是一款面向AIoT场景的数据服务平台——以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、
KaiwuDB 数据库·2023-09-28 21:17

【大数据基础实践】(六)数据仓库Hive的基本操作

目录1.数据仓库概念2.Hive简介2.1简介2.2特性2.3生态系统3.Hive系统架构4.HQL转成MapReduce作业的原理4.1join的实现原理4.2groupby的实现原理5.实验练习5.1环境配置5.1.1HIVE5.1.2MYSQL5.1.3配置MySql为hive元数据存储数据库5.2Shell进行实验内容5.2.1新建一个数据库；5.2.2新建表5.2.3添加分区5.2.4导
小生凡一·2023-09-28 18:02

产品解读 | 数据服务平台：KDP

KDP是一款面向AIoT场景的数据服务平台——以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、
·2023-09-27 16:55

python大数据书籍推荐-大数据入门书籍推荐《Python 大数据基础》

本书系统地讲解了大数据处理相关的过程，并通过Python程序的例子讲解了如何使用Python语言对数据进行采集、存储、分析及可视化。本书的章节设计以目标为导向，首先介绍大数据处理各个环节要做什么事情，然后讲解如何使用Python达到对应的目标。本书有配套的课件、代码和课后练习题答案，有需要的读者可登录出版社网站，免费下载。书中给出的例子和数据文件都保存在source目录下对应章节的子目录下。目录第
weixin_39527078·2023-09-25 21:53

大数据基础面试题七：Flink

大数据基础面试题七：Flink目录大数据基础面试题七：Flink十四、Flink14.1简单介绍一下Flink14.2Flink跟SparkStreaming的区别14.3Flink集群有哪些角色？
大数据面壁者·2023-09-25 16:45

史上最详细大数据基础知识

#**1___Hive**##0.0、hive基本命令```sql[1、分区表]--创建分区altertabletable_nameaddpartition(分区字段='分区值');altertabletable_nameaddpartition(分区字段='分区1'),partition(分区字段='分区值2');loaddatalocalinpath'/root/dept_1.txt'into
djyjx·2023-09-24 20:29

大数据基础考试复习（考试前不停更）——《大数据技术与原理应用》

文章目录小题：选择：判断：填空：大题一、简答题1、Hadoop生态及各部分的作用2、HDFS的实现目标3、FsImage和EditLog的过程4、HDFS读数据的过程5、HBaseRegion的定位方式6、简述Map函数和Reduce函数的功能7、简述Map端和Reduce端的shuffle过程Map端Reduce端8、Hadoop1.0的局限和不足9、MapReduce1.0的缺陷——>导致Ya
Jeffrey_oWang·2023-09-23 21:21

OLAP引擎：基于Druid组件进行数据统计分析

在大数据分析、实时计算、监控等领域都有相关的应用场景，是大数据基础架构建设中重要组件。
知了一笑·2023-09-21 18:00

（日积月累版）大数据基础知识点1-关系型数据库

好久不见，甚是想念。笔者最近有时间整理关于大数据的一些基础知识点，整理的目不在于能提升多少技能，关键在于巩固一些很基础的知识点，毕竟互联网就是基础略稳固的人比较有优势，在遇到或发现一些技术问题时，从底层科学的去理解这些问题，说不定会有另一片天下。那么本期带来大数据面是：关系型数据库一、什么是关系型数据库？关系型数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据
一条肥雷·2023-09-20 22:58

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
SelectDB技术团队·2023-09-20 08:58

招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践

本文将详细介绍招商信诺在大数据基础建设方面的探索之旅，从最初为线报表、Ad-hoc分析提供服务的OLAP引擎，逐步发展至基于ApacheD
·2023-09-19 12:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他