大数据基础第5页

大数据之Hadoop3简单入门（一）（通俗易懂）

目录一.大数据基础概论1.1何为大数据2.1大数据特点（4V）2.1.1Volume（大量）2.2.2Velocity（高速）2.2.3Varity（多样）2.2.4Value（低价值密度）二.hadoop

爪哇斗罗·2023-01-30 14:10

阿里云大数据ACA笔记1：认证体系

认证体系阿里云认证行业认证专项认证阿里云认证等级AssociateProfessorExpert行业认证ACP大数据分析师ACE大数据高级工程师ACE大数据高级开发工程师大数据助理工程师能力模型具备大数据基础知识熟练使用数据类产品根据需求设计基础解决方案根据业务场景选择产品能识别问题并配合解决认证考试

soda32·2023-01-27 14:18

大规模知识图谱的构建、推理及应用

除了理论基础层面的发展以外，本轮发展最为瞩目的是大数据基础设施、存储和计算能力增长所带来的前所未有的数据红利。

Omni-Space·2023-01-14 10:52

python大数据基础与应用（北理慕课摘记）

文章目录python基础内置数据类型python特点：基本内置类型对象内置数据结构（如何组织）序列集合映射拓展数据类型np.ndarray类型数据对象基本属性ndimshapedtypeItemsizesize基本方法Pandas.Series类型数据对象Pandas.DataFrame类型数据对象数据分析方法开源平台与工具python基础内置数据类型python特点：弱数据类型、面向对象基本内置

GarveyMui·2023-01-08 09:49

入门大数据基础：Hadoop，hive，oozie，flume，hbase，kafka，spark，shell，redis，zookeeper都是什么？

文章目录前言一、Hadoop二、Hive三、oozie四、Flume五、Hbase六、Kafka七、Spark八、shell九、Redis十、zookeeper总结前言目前博主在实习，做大数据相关，从头开始学大数据，遂整理了一波大数据入门的工具都是什么的整理，尽量简洁说明白这些东西都是啥。首先举例一个流程，可以辅助理解：一、HadoopHadoop是Apache开源组织的一个分布式计算开源框架(h

Foools·2022-12-26 08:15

直播预约｜阿里云EMR 2.0 重磅发布

面向未来，构建新一代开源大数据基础设施！阿里云EMR2.0发布会将于12月27日14点在线上举办。

阿里云大数据AI技术·2022-12-25 03:58

大数据基础设施“领航者”爱数的数智化进阶

《中智观察》第1740篇推送作者：海比研究院编辑：小宏编审：杨小天如今，互联网、大数据、云计算、人工智能、区块链等技术加速创新，日益融入经济社会发展中的各个领域，数智化正在成为催生新动能和创新优势的关键力量。在数智化的浪潮席卷各行业之下，大量企业开始积极拥抱数智化转型，进行技术基础设施的优化迭代，进一步探索和开拓“数智化”发展之路。在此背景下，企业的数智化怎样实现有效地落地？数智化转型中面临哪些机

Z1Y492Vn3ZYD9et3B06·2022-12-24 14:44

浅谈人工智能时代下的工程伦理问题

浅谈人工智能时代下的工程伦理问题一、引言近年来，随着大数据基础设施建设以及人工智能技术的发展，社会中涌现出许多新技术，给人们带来更便捷的生活。但与其共生的道德风险问题也日益显著。

我一拳打弯你A柱·2022-12-24 09:42

大数据基础平台搭建-（二）Hadoop集群搭建

大数据基础平台搭建-（二）Hadoop集群搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建大数据平台是基于ApacheHadoop_3.3.4

dyj095·2022-12-23 11:57

杭州联合银行 x 袋鼠云：打造智能标签体系，助力银行大零售业务转型

2021年，联合银行就已搭建了大数据基础平台，围绕平台搭建了数据研发平台、大数据调度平台及大数据服务平台，提高了数据管理与服务效率。

数栈DTinsight·2022-12-17 19:02

java和大数据哪个更有前途啊？零基础适合学哪个课程？

Java和大数据的关系∶java是计算机的一门编程语言;可以用来做很多工作，大数据开发属于其中一种;大数据属于互联网方向，就像现在建立在大数据基础上的AI方向一样，他两不是一个同类，但是属于包含和被包含的关系

又是一个特殊的一天·2022-12-17 10:14

被热捧的云原生，和大数据怎么结合才能驱动商业？

那么在云上如何改进大数据基础架构让其符合云原生标准，同时给企业客户带来真真切切的数据分析成本降低和性能保障是一个开放性的话题。本文由腾讯专家工程师、腾讯云EMR技术负责人陈龙在TechoTV

腾讯云开发者·2022-12-16 16:03

java大数据学习路线

第一阶段：大数据基础Java语言基础阶段1.1：Java开发介绍1.1.1Java的发展历史1.1.2Java的应用领域1.1.3Java语言的特性1.1.4Java面向对象1.1.5Java性能分类1.1.6

It&code·2022-12-16 07:26

大数据学习路线图（转载）

我在人工智能和大数据之间选择学习了大数据，因为脑子笨笨笨2018大数据培训学习路线图（详细完整版）2018大数据培训学习路线全课程目录+学习线路详解（详细完整版）第一阶段：大数据基础Java语言基础阶段

balong0331·2022-12-16 07:52

大数据基础架构

一、大数据两大核心技术：分布式存储：HDFS、HBase、NoSQL、NewSQL分布式处理：MapReduce二、大数据计算模式：三、代表性大数据技术：1.Hadoop：ETL工具（extract、transform、load）YARN的目标就是实现“一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架YARN，在YARN之上可以部署其他各种计算框架，并由YARN为这些计算框架提供统

好啊啊啊啊·2022-12-15 14:48

IBM 2022年关于安全的五大预测；美通社推出2022年巴塞罗那世界移动通信大会整合传播方案 | 全球TMT...

浪潮科技申报的大数据产业创新中心，依托公司软硬件一体化的优势和资深的行业经验，以大数据基础技术、数据管理技术、数据挖掘分析及数据安全技术为基础，构建集数据接入、处理、存储、治理、

美通社·2022-12-08 09:54

大数据平台及挖掘调研

优势：技术领先的全栈方案基于大数据基础套件(百度鲁班)及多年大数据研发应用经验，提

kong_qingyun123·2022-12-07 20:43

大数据基础与应用课程作业2：数据探索

文章目录一、作业题目二、题目解答1.观察数据（1）实验代码（2）原理介绍（3）实验结果（4）结果解释2.查看数据前十行（1）实验代码（2）原理介绍（3）实验结果（4）结果解释3.调查具有相关性的变量（1）实验代码（2）原理介绍（3）实验结果（4）结果解释4.对分类变量构建条形图（1）实验代码（2）原理介绍（3）实验结果（4）结果解释5.观察分类变量之间的关系（1）实验代码（2）原理介绍（3）实验结

不想生产学术垃圾·2022-12-04 10:55

大数据基础与应用课程作业一：数据预处理

目录数据预处理作业题目一、总览二、R和Rstudio一些操作1.R注释2.工作路径的设置3.清除历史记录、变量等三、预处理工作1.查看数据是否具有缺失值(1)实验代码(2)原理介绍(3)实验结果(4)结果解释2.检查state和Area.code字段的异常3.可视化检查CustServ.Calls的离群点(1)实验代码(2)原理介绍(3)实验结果(4)结果解释4.使用z-score、IQR方法判断

不想生产学术垃圾·2022-12-04 10:25

数据驱动业务创新

90%的大数据基础设施和数据湖无法提供所需的性能。然而，成功是必不可少的：以

用友iuap·2022-12-01 19:22

大数据基础之Hive（四）—— 常用函数和压缩存储

作者：duktig博客：https://duktig.cn（文章首发）优秀还努力。愿你付出甘之如饴，所得归于欢喜。更多文章参看github知识库：https://github.com/duktig666/knowledge背景学习完Hadoop，有没有感到编写一个MapReduce程序非常复杂，想要进行一次分析和统计需要很大的开发成本。那么不如就来了解了解Hadoop生态圈的另一名成员——Hive

Duktig丶·2022-11-26 09:01

DS印度Meetup倒计时2天：大数据基础设施的实践应用

11月19日，我们将与PMC和来自DolphinScheduler项目的工程师进行深入的技术对话，分享他们对大数据基础设施的想法。我们的目标是分享DolphinScheduler在大数

DolphinScheduler社区·2022-11-25 15:19

大数据技术原理与应用第一篇大数据基础笔记

目录第一章大数据概述一、大数据时代1.1三次信息化浪潮1.2信息科技发展1.3数据产生方式的变革1.4大数据的影响二、大数据的概念2.1大数据的特征2.2大数据关键技术2.3大数据计算模式、2.4大数据产业三、大数据与云计算、物联网3.1云计算3.2物联网3.3大数据与云计算、物联网的关系第二章大数据处理架构Hadoop一、概述1.1Hadoop简介1.2Hadoop特性1.3Hadoop版本问题

月望曦·2022-11-23 14:58

【大数据处理技术】第一篇大数据基础（持续更新）

文章目录第1章大数据概述1.1大数据时代1.2大数据的概念1.2.1数据量大1.2.2数据类型多1.2.3处理速度快1.2.4价值密度低1.3大数据的影响1.3.1大数据对科学研究的影响1.3.2大数据对思维方式的影响1.3.3大数据对社会发展的影响1.3.4大数据对就业市场的影响1.3.5大数据对人才培养的影响1.4大数据的应用1.5大数据关键技术1.6大数据计算模式1.6.1批处理计算1.6.

小手の冰凉·2022-11-20 15:18

大数据基础之java常用API二(数组元素排序，冒泡排序、Arrays类，包装类，Date类)

大数据基础之常用API二1.数组元素排序1.1冒泡排序1.2Arrays2.包装类2.1基本类型-->包装类3.自动拆装箱3.Date类1.数组元素排序1.1冒泡排序图解代码演示publicstaticvoidmain

chad__chang·2022-11-18 15:06

大数据基础之java异常处理

异常1.概述2.JVM的默认处理异常的方式3.自己处理异常3.1抛出异常:throws3.2捕获异常:try...catch...finally4.思考题1.概述观察如下的代码,看有无问题:@Testpublicvoidexception_demo(){inta=10;intb=0;System.out.println(a/b);}运行结果：我们发现,上述代码的第3行会报错,即:算术运算异常,因为

chad__chang·2022-11-18 15:06

从头学习Hadoop需要多久

因为不太喜欢大学所学的专业，后来在多方了解下，选择了来黑马程序员学习大数据，当然，hadoop是大数据中必学的，如果我记得没错的话，学习hadoop用了半个月左右，主要的学习内容就是Linux操作系统高级、大数据基础和硬件介绍以及

Itmastergo·2022-11-17 19:33

机器学习和大数据基础数据集--免费

对于一些初学者而言，在刚开始做实验的时候代码容易编写或者找到，但是数据集没有，一搜发现最普通的数据集都要收取积分或者钱特别的麻烦，此处我集成了一下之前用到过的一些关于机器学习和大数据的数据集在网盘之中，大家可以免费的自行提取，具体数据集包含以下这些：bank.xlsxigua.csviris.txtearthquake.csvsample_movielens_ratings.txtsample_l

醉翁之意不在酒~·2022-11-11 10:55

大数据基础课10 带你聊一聊标准化数据挖掘全流程

在上一个模块，我对大数据架构中最主要的工具进行了介绍，从数据获取，到数据存储，再到数据传输，最后是数据的计算。不知道你是否还记得我们在第一讲中说到的大数据的特点：数量庞大、种类众多、生产速度快以及价值密度低。公司都是追逐利益的，我们的公司兴师动众，耗费大量资源构建这么一套大数据体系，一定是期望这些数据能够给公司带来更大的价值，提升公司的收益。如果说大数据开发是在搭建戏台，那么接下来的数据挖掘与数据

办公模板库素材蛙·2022-11-05 14:31

自主创新、领先一代，星环科技成功登陆科创板

10月18日，“国产大数据基础软件”星环信息科技（上海）股份有限公司（简称“星环科技”，证券代码“688031”）在科创板上市，宣告正式开启新征程。

·2022-10-21 16:00

自研代码率超70%，国产大数据基础软件第一股星环科技成功上市！

星环科技成立于2013年，是一家企业级大数据基础软件开发商，公司致力于打造企业级大数据基础软件，围绕数据的集成、存储、治理、建模、分析、挖掘和流通

AI科技大本营·2022-10-20 22:36

SparkSQL on K8s 在网易传媒的落地实践

随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了一年多。

·2022-10-18 11:18

「Spark从入门到精通系列」1. Apache Spark简介：一个统一的分析引擎

LearningSparkLightning-FastDataAnalytics，SecondEdition作者|Damji，etal.翻译|吴邪大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研

数据与智能·2022-09-29 14:54

大数据基础之Hive（一）—— Hive概述

作者：duktig博客：https://duktig.cn（文章首发）优秀还努力。愿你付出甘之如饴，所得归于欢喜。更多文章参看github知识库：https://github.com/duktig666/knowledge背景学习完Hadoop，有没有感到编写一个MapReduce程序非常复杂，想要进行一次分析和统计需要很大的开发成本。那么不如就来了解了解Hadoop生态圈的另一名成员——Hive

Duktig丶·2022-09-28 09:27

大数据基础之Hadoop（四）——Yarn

本篇文章源码参看：https://github.com/duktig666/big-dataYarn资源调度器Hadoop系列大数据基础之Hadoop（一）——Hadoop概述大数据基础之Hadoop（

Duktig丶·2022-09-28 09:26

袋鼠云大数据基础平台EasyMR正式上线

7月28日，在袋鼠云2022产品发布会上，袋鼠云技术负责人思枢正式宣布旗下产品「大数据基础平台EasyMR」发布。

·2022-09-22 12:22

大数据就业前景如何？哪些公司需要大数据人才？

2017年大数据专业就业前景本文福利：关注薇信工宗号：程序员交流互动平台，回复【大数据】可获取大数据基础视频教程一套据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大

数据工程师金牛·2022-08-26 11:34

2022-02-09大数据学习日志——PySpark——Spark框架概述

#第1部分、离线分析（BatchProcessing）分布式协作服务框架Zookeeper大数据基础框架Hadoop（HDFS、MapReduce和YARN）大数据数仓框架Hive大数据辅助框架：FLUME

成长的小狮子·2022-08-24 15:11

干货 | 网易大数据平台运维实战

简单自我介绍一下，我叫金川，来自网易杭州研究院，目前所在的部门是大数据基础设施组，负责大数据平台SRE的相关

大数据技术架构·2022-08-21 15:05

数据中心网络设计方案,数据中心网络规划设计

Java：只要了解一些基础即可，做大数据不需要很深的Java技术，学javaSE就相当于有学习大数据基础。

小浣熊的技术·2022-08-20 11:08

有数大数据基础平台之智能运维平台EasyEagle介绍：集群队列篇

大数据基础平台发布会中提到的智能运维平台，他来啦！作为数据平台的用户们，下述问题一直困扰着我们：集群资源水位如何，利用率如何，是否需要扩容？队列为什么最近大量任务出现pending，什么原因造成？

·2022-07-22 17:03

大数据基础课第三课 spark_core、Spark_sql&Spark_streaming

spark入门课程目标：了解spark概念知道spark的特点（与hadoop对比）独立实现sparklocal模式的启动1.1spark概述1、什么是spark基于内存的计算引擎，它的计算速度非常快。但是仅仅只涉及到数据的计算，并没有涉及到数据的存储。2、为什么要学习sparkMapReduce框架局限性1，Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据2，任务调度和

办公模板库素材蛙·2022-07-16 15:28

红象云腾大数据基础平台与龙蜥社区操作系统再次完成联合测试

最近红象云腾大数据产品与生态伙伴的适配工作喜报频传，不久前，红象云腾企业大数据基础软件平台产品与龙蜥操作系统（AnolisOS）8AArch64完成了兼容测试，近日，红象云腾与龙蜥社区工作人员再次联合严格测试

·2022-07-15 15:26

【试用邀请】星环科技TDH社区版：让大数据分析触手可及

为了降低使用大数据技术的门槛与难度，普及大数据技术，赋能更多企业用户使其更具备竞争力，让更多的高校师生、科研机构，开发者等都能学习和使用大数据技术，日前，星环科技正式推出了集易安装、易使用，易管理，易运维，更轻量于一体的大数据基础平台

·2022-06-24 10:16

阿里云大数据ACP认证学习笔记

阿里云大数据ACP认证学习笔记1.大数据基础2.大数据计算服务Maxcompute2.1基础知识2.1.1购买Maxcompute并创建项目增加子用户2.1.2创建ODPS2.1.3maxcompute

dzdzdzdzdzdzdz·2022-06-10 16:36

数栈技术大牛分享：云原生大数据系统架构的实践和思考

本次演讲主要介绍袋鼠云基于数栈、结合数年大数据基础设施建设经验，打造云环境下的大数据基础设施的实践和案例，部分架构细节首次对外公布，以下内容整理自本次架构峰会。大家好，

数栈DTinsight·2022-06-10 07:42

第3期：零基础在校大学生应该如何学习大数据？

目录1）准备一个台式机或笔记本2）学习大数据基础编程语言——重点学习3）编程语言书籍推荐4）免费学习网站——保姆级教程5）学习Hadoop家族组件—建议作为了解部分6）分布式大数据处理框架S

老王随聊·2022-05-30 16:07

大数据基础——分布式协调服务（zookeeper）

分布式协调服务——zookeeper1:zookeeper概述:1.1:zookeeper简介:zookeeper是一个分布式的,开源的分布式应用程序协调服务,是对Google的Chubby组件的开源实现,为Hadoop和HBase的运行提供了相应的服务.他是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护(使得集群中的机器可以共享配置信息中的那些公共的部分)；命名服务（是指通过指定

我菜的要死·2022-05-28 02:39

写文章点击打开星环科技的主页星环科技多模型大数据基础平台TDH9.0：十种数据模型组合拳打通大数据业务全场景

星环科技大数据基础平台TranswarpDataHub（TDH）从2013年开始发布2.0版本至今，每年都会发布一个大版本，经过多次迭代和技术升级，到2021年TDH8.0发布，TDH已成为一个企业级大数据基础平台

·2022-05-10 14:04

星环科技TDH社区版：让大数据分析触手可及

日前，星环科技正式推出了企业级一站式大数据基础平台TDH社区版，社区版极大程度的降低了用户接触使用大数据技术的使用门槛以及使用成本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单

·2022-05-10 14:33

推荐频道

大数据基础