大数据基础第4页

数据中台建设方案-基于大数据平台

数据中台建设方案-基于大数据平台-1数据中台建设方案1.1总体建设方案通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技TranswarpDataHub（TDH）大数据基础平台的架构方案

FRDATA1550333·2023-04-08 17:03

学大数据需要具备什么基础和知识点？

学大数据基础包含涵盖大数据体系中的技术点，包括但不限于Linux、Z

我想去吃ya·2023-04-08 03:23

大数据产品概念和分类

大数据市场经过20多年的长足发展，形成了丰富的市场生态，从产品、服务供应端的视角大致可分为如下领域：大数据基础设施、大数据分析、大数据应用、大数据开源项目、数据源和API、数据资源。

互联互通社区·2023-04-08 01:45

linux课程_大数据基础Linux基础详解课程

本课程主要通过对linux基础课程的详细讲解，让大家熟练虚拟机的安装使用，Linux系统的安装配置，学习掌握linux系统常用命令的使用，常用的软件安装方法等。更多精彩：点击以下链接了解详情知识付费项目真的能赚钱吗？日入200不是梦，就怕你还不行动！宅男-周恩俊：积分制管理游戏法则，让你从0到1，从1到N+，玩转积分制管理8堂收钱魔力文案特训营：让你的文案成为你的财富印钞机，靠文章日赚千元傻瓜式搬

weixin_39816027·2023-04-07 20:24

（1）Java、大数据基础

大数据给很多人的感觉是，专业性强，操作繁琐，属于“高大上”的技术。大数据人才供不应求，有一些人则看到了大数据带来的机遇，想通过专业的培训来学习大数据，那么大数据从0开始需要学习些什么内容呢？大数据、云计算、物联网、人工智能这些行业的发展崛起，对于大数据人才的需求越来越大，而大数据人才的培养发展周期相对较长，导致了大数据人才短缺，市场供不应求。所以也就出现了大数据开发工程师、数仓工程师、ETL工程师

程序员老金·2023-04-07 16:45

字节跳动CV、算法工程师要求曝光：没有大数据基础，一面必挂！

眼看着金三银四越来越近，对于广大打工人而言，往往是几家欢喜几家愁。目标达成、愿望实现的自然满心欢喜，比如顺利进阶大厂，如愿升职加薪。也有人浑浑噩噩、停滞不前，在时代的发展面前负隅顽抗，固步自封，难免落得无限怅惘，徘徊不前，徒然荒废了时光。不少人总习惯于把失意归罪于运气，殊不知成人之间的差距在于思维模型和认知力。对于技术人而言，能够取得多大的进步和成就往往取决于你的思维高度和技术视野。更何况技术领域

Wang_AI·2023-04-07 16:36

一篇理解GFS与HDFS的重要理念

秋雨_wht·2023-04-06 19:39

三张图讲清楚大数据基础设施Hadoop、Lambda、kappa架构

随着互联网的快速发展，越来越多的人涌入互联网，互联网自此进入大数据时代。在大数据时代之后，云计算、人工智能、物联网、5G技术的发展又将大数据的发展推向高潮。数据已经从最初的信息一步步的演变成了数据产品、数据资产。关于数据的处理技术，包含数据库、数据集市、数据仓库、数据湖、数据中台，每次数据处理的演进都代表着业务需求变化的趋势、技术的演进。除了数据处理方式在演进之外，数据处理的基础措施也在不断的演进

优越学院UU老师·2023-04-06 18:02

spark输出rdd数据_大数据基础---Spark_RDD

一、RDD简介RDD全称为ResilientDistributedDatasets，是Spark最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他RDD转换而来，它具有以下特性：一个RDD由一个或者多个分区(Partitions)组成。对于RDD来说，每个分区会被一个计算任务所处理，用户可以在创建RDD时指定其分区个数，如果没有指定，则默认采用程序所分配到的CPU的

光影帽子·2023-04-06 14:22

大数据基础架构Hadoop，终于有人讲明白了

导读：大数据正在成为经济社会发展的新的驱动力。随着云计算、移动互联网等网络新技术的应用和发展，社会信息化进程进入大数据时代，海量数据的产生与流转成为常态。而大数据技术也如雨后春笋般正在蓬勃发展中。Hadoop分布式架构无疑是当前应用最广泛、最具代表性的大数据技术之一。本文将首先介绍Hadoop技术概述，包括Hadoop框架的概念、架构、核心组件，以及Hadoop的应用场景和生态系统。01Hadoo

Python进阶者·2023-04-05 19:24

大数据基础之HBase——HBase物理架构解析

HBase物理架构：一个RegionServer包含一个WAL，一个BlockCache(读缓存)和多个Region。一个Region包含多个存储区，每个存储区对应一个列簇。一个存储区由StoreFile和MemStore组成。一个StoreFile对应一个HFile和一个列簇。HFile和WAL作为序列化文件保存在HDFS上。Client和RegionServer交互。HMaster：是HBas

Clozzz·2023-04-05 17:12

Spark性能优化之道——解决Spark数据倾斜的N种姿势

图片源自网络AdaptiveQueryExecution(AQE)是英特尔大数据技术团队和百度大数据基础架构部工程师在Spark社区版本的基础上，改进并实现的自适应执行引擎。近些年来，Spark

TASKCTL·2023-04-05 05:34

【大数据基础】基于YELP数据集的商业数据分析

https://dblab.xmu.edu.cn/blog/2631/数据预处理frompysparkimportSparkConffrompyspark.sqlimportSparkSessionimportpyspark.sql.functionsasfdefdata_process(raw_data_path):spark=SparkSession.builder.config(conf=S

仿生程序员会梦见电子羊吗·2023-04-04 10:31

【大数据基础】基于零售交易数据的Spark数据处理与分析

环境搭建sudoapt-getinstallpython3-pippip3installbottle数据预处理首先，将数据集E_Commerce_Data.csv上传至hdfs上，命令如下：./bin/hdfsdfs-put/home/hadoop/E_Commerce_Data.csv/user/hadoop接着，使用如下命令进入pyspark的交互式编程环境，对数据进行初步探索和清洗：cd/u

仿生程序员会梦见电子羊吗·2023-04-04 10:25

自主创新、领先一代，星环科技成功登陆科创板

10月18日，“国产大数据基础软件”星环信息科技（上海）股份有限公司（简称“星环科技”，证券代码“688031”）在科创板上市，宣告正式开启新征程。

星环科技·2023-04-03 11:35

【案例】基于星环科技数据云平台TDC为富国基金建设万能的数据湖

星环科技作为企业级大数据基础软件开发商，通过发挥基础软件硬实力已经成功助力金融、政府、能源、交通、制造业等多个行业的客户实现了数字化转型，积累了丰富的成功经验。

星环科技·2023-04-03 11:03

星环科技TDH基于Overlay网络架构为数据安全保驾护航

本篇文章将为您讲述星环科技大数据基础平台TDH是如何基于Overlay网络架构为用户提供全链路的数据安全保护能力。业务背景传统的网络安全概念建立在边界安全的框架之上，需要找出网络的安全边界

星环科技·2023-04-03 11:01

读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY4

日期:2022年7月24日内容:第四章数据仓库理论与应用(p77-p104)4.1了解大数据基础Hadoop一、Hadoop及三驾马车01.什么是hadoop？

Ray_Shawn·2023-04-01 02:17

大数据基础课03 阿里美团这些大厂都在用什么大数据架构？

首先，我想讲一个叫庖丁解牛的故事，想必你应该听过。庖丁从开始杀牛，到他的故事被写下，操刀十九年，杀了数千头牛。也正是由于丰富的实践经验，他总结出了解杀牛的方法论：依照牛生理上的天然结构，砍入牛体筋骨相接的缝隙，顺着骨节间的空处进刀。依照牛体本来的构造，筋脉经络相连的地方和筋骨结合的地方，都不曾被刀碰到过，更何况大骨呢！这样，能够顺利地把牛解开，还不会对刀造成损害。所以，他明白了最核心的思维，即顺应

办公模板库素材蛙·2023-03-31 17:15

【观察】国产大数据基础软件第一股，星环科技成功上市背后的价值解读

10月18日，星环信息科技（上海）股份有限公司（688031.SH）正式在科创板挂牌上市，发行价为47.34元/股，开盘报72元/股涨52.1%，成为“国产大数据基础软件第一股”。

申耀的科技观察·2023-03-31 00:58

大数据技术原理与应用

大数据技术原理与应用第一篇大数据基础第一章大数据概述1.1信息化浪潮信息化浪潮发生时间标志解决问题代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮

装一袋星辰大海·2023-03-30 06:20

百度爱番番数据分析体系的架构与实践

导读：讲述在业务快速迭代发展过程中，为了让大数据更好地赋能业务，高效的为用户提供有业务价值的数据产品和服务，百度爱番番的数据团队构建实时和离线大数据基础平台的心路历程，包括如何应对业务、技术、组织等方面的挑战和解决实际痛点过程中的思考与实践

高可用架构·2023-03-29 21:23

【大数据基础】2020年美国新冠肺炎疫情数据分析

https://dblab.xmu.edu.cn/blog/2738https://dblab.xmu.edu.cn/blog/2636/spark安装安装Spark2.4.0sudotar-zxf~/下载/spark-2.4.0-bin-without-hadoop.tgz-C/usr/local/cd/usr/localsudomv./spark-2.4.0-bin-without-hadoo

仿生程序员会梦见电子羊吗·2023-03-28 18:24

我们分析了GitHub上5.46 亿条日志，发现中国开源虽然贡献大但还有这些不足...

在开源日益重要的今天，我们也需要一份建立在全域大数据基础上得出的相对完整、可以反复进行推演的数据报告（报告、数据、算法均需开源）

开源社·2023-03-28 11:01

大数据基础知识——数仓的搭建（维度建模）

数据仓库文章目录数据仓库数据仓库的介绍：数据仓库的概念：OLTP和OLAP区别：数据仓库的特点：面向主题：数据集成：非易失：时变：数据仓库系统架构系统结构图源数据ETL数据仓库与数据集市应用系统用户层纬度分析：维度分析介绍指标和纬度识别维度案例维度分层与分级数仓中的名词解释数仓名词之间关系实体表，事实表，维度表之间的关系指标与标签的区别维度和指标区别与联系自然键与代理键在数仓的使用区别数仓建模数据

我菜的要死·2023-03-26 22:57

大数据基础架构（自学取自尚硅谷）

此文为个人平时学习对大数据的个人理解笔记分享，有不对的地方还请大佬多指正，谢谢。一.什么是大数据技术？大量的数据，等级在TB=1024GB,PB,EB级别主要用于解决大量数据的处理&分析，两大难题就是如何存&如何算二.一般人找大数据工作可以做什么岗位？难度级别（灾难到平民）：平台—》数据挖掘/报表开发—〉实时指标分析性能调优—》数据仓库三。大数据思想和的来源。1.GFS(GoogleFileSys

whaleseeker·2023-03-25 17:47

自学大数据：大数据学习线路及各阶段学习书籍

阶段一、大数据基础——java语言基础方面（1）Java语言基础Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术

bobo79888·2023-03-25 17:17

大数据基础之Hadoop和Spark

大数据基础第一节:什么是大数据，本质？（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算第二节：JAVA和大数据是什么关系？

我和程序猿的日常·2023-03-23 13:54

大数据基础之Hive（三）—— 分区表和分桶表

作者：duktig博客：https://duktig.cn（文章首发）优秀还努力。愿你付出甘之如饴，所得归于欢喜。更多文章参看github知识库：https://github.com/duktig666/knowledge背景学习完Hadoop，有没有感到编写一个MapReduce程序非常复杂，想要进行一次分析和统计需要很大的开发成本。那么不如就来了解了解Hadoop生态圈的另一名成员——Hive

Duktig丶·2023-03-22 11:52

观向数据：想从事大数据行业？大数据行业最令人垂涎的大数据职位

大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreducehdfsyarn等。第二个数据存储层，比如

智海观向·2023-03-20 05:27

大数据基础-重新聊聊路由分片

01前言时隔两年再次写作，心态上有了很多变化。在大数据领域探索了几年，确实也到了静下心来，沉淀一下的时候了。接下来的一系列文章也算是将现有理解和学习所得相结合的一些产物，绝对原创。本人文笔拙略，知识点尽量深入浅出，如有不当之处还请各位海涵并指出，同时欢迎技术交流和沟通，期待和大家共同成长。本文为先导文，分片路由实现、一致性等文章，请关注后续。02什么是分片和路由大数据的相关背景不过多赘述，用两句话

BigData之路·2023-03-17 16:26

大数据基础-求锤得锤，你要的一致性hash来了(下）[附代码]

从实践中检验“真理”通过上一篇《大数据基础-求锤得锤，你要的一致性hash来了(上）[附代码]》的讲解，我们已经掌握了一致性hash的基本原理，其路由分片策略在类p2p模型架构中是非常典型的(之前提到的

BigData之路·2023-03-17 16:26

一文带你快速初步了解云计算与大数据

云计算的服务模式：IaaS、PaaS、SaaS分别是什么，具体含义要清楚5、物联网的概念6、物联网和云计算、大数据的关系7、了解云计算的数据中心是什么，有什么特点8、主流云计算平台的主要云产品名称及作用二、大数据基础

小羊不会飞·2023-03-15 13:07

QCon演讲实录（上）：多云环境下应用管理与交付实践

作者：阿里云大数据基础工程技术团队——郭耀星大家上午好！我是来自阿里云大数据基础工程技术团队的郭耀星，花名雪尧。今天我很高兴能够来到QCon，与大家分享我的经验和心得。

阿里云大数据AI技术·2023-03-01 09:51

educoder大数据基础课程第一章测试题1.2 Python入门之运算符的使用

第1关：算术、比较、赋值运算符任务描述在编程时，我们常常需要对数值或对象进行算术、比较运算和赋值运算，以此来实现我们的功能需求。本关介绍python中的一些基本运算符，并要求对给定的苹果和梨的数量进行算术运算、比较、赋值运算，并输出相应结果。相关知识要实现上述功能，需要用到python中的各种运算符。python中的运算符包括：算术运算符比较(关系)运算符赋值运算符逻辑运算符位运算符成员运算符身份

小小菜鸟，可笑可笑·2023-02-06 08:30

【量化】量化交易入门系列2：经典的量化交易策略（上）

量化投资策略量化投资策略是基于大数据基础上，

恒生LIGHT云社区·2023-02-03 00:58

橙子01-大数据基础入门简介

橙子01-大数据基础入门简介大数据的概念volumevarietyvelocityvalue大数据技术大数据处理的基本流程云计算的三个关键技术大数据的应用相关视频内容可在b站观看大数据基础入门介绍https

橙子一颗·2023-02-02 14:59

大数据基础之Hadoop（一）—— Hadoop概述

Hadoop系列大数据基础之Hadoop（一）——Hadoop概述大数据基础之Hadoop（二）——HDFS大数据基础之Hadoop（三）——MapReduce大数据基础之Hadoop（四）——YarnHadoop

Duktig丶·2023-02-02 14:57

大数据基础入门一

大数据概述大数据（BigData）：无法用现有的软件工具提取、存储、处理的海量复杂的数据结合特点：4VVolume：数据量大，数据体量巨大TB->PBVariety：数据类型繁多Value：价值密度低。价值密度高低与数据总量的大小成反比Velocity：处理数据的速度快Hadoop（DougCutting）定义：由Apache基金会所开发的分布式系统基础架构（受到Map/Reduce和Google

只会摆烂的小亮·2023-02-02 14:56

大数据入门学习框架

文章目录大数据入门学习框架前言一、大数据基础二、大数据必学Java基础三、ZooKeeper四、大数据环境搭建五、Hadoop六、Hive七、HBase八、Kafka九、Scala十、Spark十一、Flink

Lansonli·2023-02-02 14:53

AI系统架构之大数据基础架构

昨天看到一个分享，来自前quoracto目前在医疗领域创业的Xavier，下图一页讲到了各个AI应用的共同点，结合香帅金融课对数据驱动的解释，可以总结如下：1.使用大量的数据（数据）2.自动化的数据处理、决策流程（动）3.个性化的解决方案与服务（驱）4.提升系统各个参与方的体验和效率https://www.slideshare.net/SessionsEvents/xavier-amatriain

舟行·2023-02-02 02:37

大数据基础之Hadoop安装、部署及配置过程

一、基础环境的安装与配置1.集群的规划：主要包括NameNode、ResourceManager、NodeManager、SecondaryNameNode、DataNode这些角色与机器的划分，如下图2.主机名修改vim/etc/hostname分别修改为：node1.itcast.cn、node2.itcast.cn、node3.itcast.cn3.hosts映射vim/etc/hosts1

zhanwuchen·2023-01-30 15:56

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建3、大数据基础平台搭建

dyj095·2023-01-30 14:43

大数据之Hadoop3简单入门（一）（通俗易懂）

目录一.大数据基础概论1.1何为大数据2.1大数据特点（4V）2.1.1Volume（大量）2.2.2Velocity（高速）2.2.3Varity（多样）2.2.4Value（低价值密度）二.hadoop

爪哇斗罗·2023-01-30 14:10

阿里云大数据ACA笔记1：认证体系

认证体系阿里云认证行业认证专项认证阿里云认证等级AssociateProfessorExpert行业认证ACP大数据分析师ACE大数据高级工程师ACE大数据高级开发工程师大数据助理工程师能力模型具备大数据基础知识熟练使用数据类产品根据需求设计基础解决方案根据业务场景选择产品能识别问题并配合解决认证考试

soda32·2023-01-27 14:18

大规模知识图谱的构建、推理及应用

除了理论基础层面的发展以外，本轮发展最为瞩目的是大数据基础设施、存储和计算能力增长所带来的前所未有的数据红利。

Omni-Space·2023-01-14 10:52

python大数据基础与应用（北理慕课摘记）

文章目录python基础内置数据类型python特点：基本内置类型对象内置数据结构（如何组织）序列集合映射拓展数据类型np.ndarray类型数据对象基本属性ndimshapedtypeItemsizesize基本方法Pandas.Series类型数据对象Pandas.DataFrame类型数据对象数据分析方法开源平台与工具python基础内置数据类型python特点：弱数据类型、面向对象基本内置

GarveyMui·2023-01-08 09:49

入门大数据基础：Hadoop，hive，oozie，flume，hbase，kafka，spark，shell，redis，zookeeper都是什么？

文章目录前言一、Hadoop二、Hive三、oozie四、Flume五、Hbase六、Kafka七、Spark八、shell九、Redis十、zookeeper总结前言目前博主在实习，做大数据相关，从头开始学大数据，遂整理了一波大数据入门的工具都是什么的整理，尽量简洁说明白这些东西都是啥。首先举例一个流程，可以辅助理解：一、HadoopHadoop是Apache开源组织的一个分布式计算开源框架(h

Foools·2022-12-26 08:15

直播预约｜阿里云EMR 2.0 重磅发布

面向未来，构建新一代开源大数据基础设施！阿里云EMR2.0发布会将于12月27日14点在线上举办。

阿里云大数据AI技术·2022-12-25 03:58

大数据基础设施“领航者”爱数的数智化进阶

《中智观察》第1740篇推送作者：海比研究院编辑：小宏编审：杨小天如今，互联网、大数据、云计算、人工智能、区块链等技术加速创新，日益融入经济社会发展中的各个领域，数智化正在成为催生新动能和创新优势的关键力量。在数智化的浪潮席卷各行业之下，大量企业开始积极拥抱数智化转型，进行技术基础设施的优化迭代，进一步探索和开拓“数智化”发展之路。在此背景下，企业的数智化怎样实现有效地落地？数智化转型中面临哪些机

Z1Y492Vn3ZYD9et3B06·2022-12-24 14:44

推荐频道

大数据基础