【大数据技术】第17页

一文读懂大数据开源生态圈

正是谷歌的这三驾马车掀开了大数据时代的序幕，谷歌也毋庸置疑的成为了当代大数据技术的始祖，可以说现今几乎所有的大数据技术都是由这三种技术发展而来的。谷歌的这三驾马车之所以能够奠定大数据技术的

麦田里的思考者·2023-10-01 02:46

大二下学期期末总结

当今社会，大数据技术正在逐渐成为各行各业所需的核心技能之一。因此，作为大数据专业的学生，不断学习和探索这个领域。同时，我也注意了自己在学习中的不足和弱点。

气质&末雨·2023-09-30 16:30

hadoop集群作用

Hadoop主要解决海量数据存储与计算的问题，是大数据技术中的基石。Hadoop具体是做：1、海量数据存储；2、资源管理，调度和分配；3、并行数据处理。

是草莓熊吖·2023-09-30 07:21

Scala

目前Spark是新一代的内存型大数据计算框架，是目前大数据技术生态圈中非常主流的一门技术。

_Levi__·2023-09-30 00:05

理想汽车 x JuiceFS：从 Hadoop 到云原生的演进与思考

理想汽车在Hadoop时代的技术架构首先简单回顾下大数据技术的发展，基于我个人的理解，将大数据的发展分了4个时期：第一个时期：2006年到2008年。

JuiceFS·2023-09-28 22:41

HBase详解（对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解）

所以才有了大数据技术的飞速发展

毫无感情的dj·2023-09-28 17:35

HBase详解

所以才有了大数据技术的飞速

吹老师个人app编程教学·2023-09-28 17:30

浅谈电气火灾监控系统在智慧消防建设中的应用与产品选型

目前在电气系统中已准入了智慧用电监控系统，该系统有机融合物联网、云载体及大数据技术等多元优势特征，可有效监控漏电等不良状况。

安科瑞王兰·2023-09-28 13:00

大数据技术之flink实现简单的wordcount

一.java版实现离线版本地运行pom文件4.0.0com.antgworldcount1.0-SNAPSHOT${project.artifactId}Mywonderfullscalaapp20181.81.8UTF-82.11.112.111.13.11.8org.apache.flinkflink-java${flink.version}providedorg.apache.flinkfl

Antg·2023-09-28 11:11

企业如何进行数据化管理，如何保证数据的安全？

随着互联网技术和大数据技术的快速发展，越来越多的企业开始重视数据化管理，将数据作为企业管理和决策的重要依据。

Datainside·2023-09-28 09:01

系统架构设计师-大数据

目录一、大数据1、大数据架构2、大数据技术生态3、Lambda架构4、Kappa架构5、Lambda架构与Kappa架构对比一、大数据1、大数据架构大数据是指其大小或复杂性无法通过现有常用的软件工具，以合理的成本并在可接受的时限内对其进行捕获

张瑞东·2023-09-28 08:57

一、大数据技术基础——分布式文件系统HDFS

目录1.引入1.1.传统存储系统面临的难题1.2.解决之道2.Hadoop集群架构3.HDFS1.03.1.概念3.2.Block块3.3.NameNode维护文件：fsimage与editlog3.4.DataNode3.5.HDFS1.0架构的局限性3.6.SecondaryNamenode4.HDFS2.04.1.HA架构4.2.联邦架构5.HDFS读写入数据流程5.1.写入数据流程5.2.

百颂伊·2023-09-28 02:48

大数据技术与实践学习笔记（1 of 3，from hitwh）

大数据技术与实践注意！

LotusCL·2023-09-27 22:20

大数据体系架构

最近由于即将要结课，老师要求写一篇基于大数据与系统思维来探讨现代计算理论与技术发展的论文来作为最终的考核，于是在博客上发现了一篇2015年发布的文章，我感觉写的很好，具体内容如下：开源（OpenSource）用之于大数据技术

AI_Frank·2023-09-27 22:06

【OpenCV/C++】KNN算法识别数字的实现原理与代码详解

zzzzMing-大数据技术-深入浅出KNN算

Half_A·2023-09-27 21:39

京东举办首届大数据峰会打造智能零售大数据“操作系统”

与英特尔合作建立数字化零售联合实验室、发布《京东大数据技术白皮书》、推出针对线下零售、区块链等领域的多款产品，联合行业内包括英特尔、谷歌、浪潮、联想等顶尖互联网企业，以及中国计算机协会、中关村多媒体软件园和清华大学等高等学府

数据工程师大牛·2023-09-27 15:17

大数据技术Hadoop笔试题

Hadoop有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上。以下是由应届毕业生网小编J.L为您整理推荐的面试笔试题目和经验，欢迎参考阅读。单项选择题1.下面哪个程序负责HDFS数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker2.HDfS中的block默认保存几份?a)3份b)2份c)1份

weixin_34235105·2023-09-27 07:51

大数据技术Hadoop面试题

大数据已经无处不在，随之而来的就是大数据技术人才的急需，以下是关于大数据技术的面试问题，大家可以再面试前参考。单项选择题1.下面哪个程序负责HDFS数据存储。

IT时代周刊·2023-09-27 07:19

集成IPFS星际文件系统，并基于WeBASE-Front发送交易接口实现文件类上链存证的方案

集成IPFS星际文件系统，并基于WeBASE-Front发送交易接口实现文件类上链存证的方案作者简介：孙运盛吉科软信息技术有限公司大数据技术研究院架构师。

·2023-09-26 17:08

【大数据毕设】基于Hadoop的音乐推荐系统的设计和实现(六)

博主介绍：✌全网粉丝6W+,csdn特邀作者、博客专家、大数据领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌文末获取项目联系,有偿部署文章目录基于

Maynor996·2023-09-26 16:52

线下Meetup：在数智化转型背景下，火山引擎VeDI的大数据技术揭秘

·2023-09-26 11:42

大数据工程师学习路线

转载来源：https://blog.csdn.net/GitChat/article/details/78341484申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径

苡~·2023-09-25 21:53

大数据工程师进阶学习

申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。

乐姐·2023-09-25 21:22

Flink双流join的3种方式及IntervalJoin源码分析

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料117篇原创内容公众号概述在数据库中的静态表上做OLAP分析时，两表join是非常常见的操作。

hyunbar·2023-09-25 06:22

大数据技术之Flume

Flume概述Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写到HDFS中Flume的版本更新相对稳定：Flume1.0:Flu

NiklausYu·2023-09-25 06:34

分布式日志采集工具技术选型方案

大数据的数据采集是大数据技术中非常重要、基础的部分，数据不会平白无故地跑到我们的数据平台中，我们得用什么东西把它从现有的设备（比如服务器，路由器、交换机、防火墙、数据库等）中采集过来，再传输到数据平台中

善思者_tin·2023-09-25 01:41

云计算和云服务是一样的吗？Linux云计算运维

随着互联网技术的迅速发展以及大数据技术的推动，云计算被越来越多的企业所接受。众多应用领域都与云计算紧密结合，那么云计算和云服务是一回事吗？云计算不等于云服务。云计算

老男孩Linux·2023-09-24 22:32

大数据开发工程师的面试题

大数据开发工程师的面试题通常包括：1.对大数据技术的理解；2.如何使用Hadoop构建大数据系统；3.如何使用MapReduce来处理大数据；4.如何使用Spark分析大数据；5.如何使用NoSQL数据库构建大数据系统

高天艳阳·2023-09-24 08:00

互联网数据的重要性

大数据分析：大数据技术可以处理海量的数据，并通过数据挖掘和分析发现问题、揭示规律、预测趋势，为

嵌入式新手小张·2023-09-24 08:54

大数据技术之Hadoop

1、Hadoop的优势1)高可靠性因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。2)高扩展性在集群间分配任务数据，可方便的扩展数以千计的节点。3)高效性在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4)高容错性自动保存多份副本数据，并且能够自动将失败的任务重新分配。2、Hadoop组成HDFS:一个

在远方的你等我·2023-09-24 08:48

大数据基础考试复习（考试前不停更）——《大数据技术与原理应用》

文章目录小题：选择：判断：填空：大题一、简答题1、Hadoop生态及各部分的作用2、HDFS的实现目标3、FsImage和EditLog的过程4、HDFS读数据的过程5、HBaseRegion的定位方式6、简述Map函数和Reduce函数的功能7、简述Map端和Reduce端的shuffle过程Map端Reduce端8、Hadoop1.0的局限和不足9、MapReduce1.0的缺陷——>导致Ya

Jeffrey_oWang·2023-09-23 21:21

人工智能机器学习深度学习

机器学习与深度学习都是需要大量数据来“喂”的，是大数据技术上的一个应用，同时深度学习还需要更高的运算能力支撑，如GPU。

-月光光-·2023-09-23 13:53

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

8月31日，华为云举办TechWave大数据专题日，围绕“大数据技术普惠创新，释放千行百业数据价值！”

数据湖洞见·2023-09-23 10:37

大数据之使用Flink处理Kafka中的数据到Redis

文章目录前言一、读题分析二、使用步骤1.导入配置文件到pom.xml2.代码部分三、重难点分析总结前言本题来源于全国职业技能大赛之大数据技术赛项赛题（其他暂不透露）题目：使用Flink消费Kafka中ProduceRecord

云梦泽·兮·2023-09-23 00:34

大数据技术周报第 009 期

程序员小陶·2023-09-23 00:59

Docker安装与镜像的使用

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料102篇原创内容公众号1、docker简介=============1.1什么是dockerdocker官网地址

hyunbar·2023-09-22 22:08

如何利用物联网技术打造新型智能餐饮连锁店

这里就为大家介绍基于智能路由器的餐饮连锁店综合管理方案，依托物联网、边缘计算、大数据技术，实现对海量连锁店的高效管理、安全运营、智慧营销。智慧连锁餐饮店解决方案基于BMR400工业智能路由器，

ianvtenr·2023-09-22 20:43

大数据技术学习：弹性分布式数据集RDD

今天给大家分享的技术学习是：浅谈弹性分布式数据集RDD。一、RDD定义RDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中基本的数据抽象，它代表一个不可变(数据和元数据)、可分区、里面的元素可并行计算的集合。其特点在于自动容错,位置感知性调度和可伸缩性。二、RDD的属性1、一组分片。即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，

QFdongdong·2023-09-22 12:17

大数据科普

大数据的特点大数据应用的挑战大数据技术大数据的发展前景什么是大数据？大数据是指规模巨大、增长快速、多样化的数据资源。

程序员三木·2023-09-22 08:02

变电所运维云平台在浙江固特成套设备有限公司的应用

AcrelCloud-1000变电站运维云平台采用互联网和大数据技术，为电力运维公司和配电销售公司提供变电站运维云平台。该平台采用B/S架构，可在不同的计算机端或移动应用端进行数据监控。

安科瑞华楠·2023-09-21 20:19

AcrelEMS企业微电网能效管理平台实现用户侧智能配电和智能用电管理-安科瑞黄安南

1、智能配电概述1.1概念：智能配电是在现有配电系统的基础上，通过引入先进的信息通信技术（ICT）、物联网技术和大数据技术，实现配电系统的实时监控、优化控制和自动运行，从而提高配电系统的

Acrelhuang·2023-09-21 17:17

程序员薪酬报告：过去1年大数据领域薪资有多高？

各行各业，大数据技术应用也越来越广泛，对于大数据人才的需求

8d75ff2a0f1b·2023-09-21 16:07

【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析（五）

博主介绍：✌全网粉丝6W+,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌文末获取项目联系基于Hadoop

Maynor996·2023-09-21 12:23

大数据技术---云数据库

一、云数据库概述云计算：通过网络以服务的方式为用户提供非常廉价的IT资源。元计算的八大优势：（1）按需服务（2）随时服务（3）通用性：满足各种不同的用户需求（4）高可靠性：集群中有机器出现故障时，会有一定机制启用备用机器。（5）极其廉价（6）超大规模：带宽、CPU、内存、磁盘等资源予取予求。（7）动态可扩展性（8）高可用性云数据库在云环境中提供这样的数据库服务。腾讯云数据库和自建数据库的比较：云数

asyouwish_lm·2023-09-20 22:05

mysql 查找相似数据_MySQL慢查询优化 | 联结原理

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！

weixin_39648492·2023-09-20 13:04

Hadoop技术生态简介

Hadoop可以说是第一代大数据技术框架的主流选择，很多早期开始搭建大数据系统平台的企业，都是从Hadoop

会飞的鱼go·2023-09-20 11:56

基于阿里云服务实现短信验证码功能

前言：阿里云短信服务是一项基于云计算和大数据技术的企业级短信平台服务。它能够为企业和开发者提供高可用、高性能、高稳定性的短信发送服务，可以快速地将各类业务通知、验证码、营销推广等信息发送给用户。

码农阿亮·2023-09-20 00:44

2023中国高校计算机大赛热度再刷新：2100+参赛队伍，获超480所国内知名高校关注！

本次大赛基于企业真实场景和实际数据，旨在通过竞技的方式，探索大数据的核心科学与技术问题，尝试创新大数据技术，推动大数据的产学研应用。

·2023-09-19 22:51

Flink 环境对象

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-09-19 12:04

推荐频道

【大数据技术】