【大数据技术】第17页

大数据技术与实践学习笔记（1 of 3，from hitwh）

大数据技术与实践注意！

LotusCL·2023-09-27 22:20

大数据体系架构

最近由于即将要结课，老师要求写一篇基于大数据与系统思维来探讨现代计算理论与技术发展的论文来作为最终的考核，于是在博客上发现了一篇2015年发布的文章，我感觉写的很好，具体内容如下：开源（OpenSource）用之于大数据技术

AI_Frank·2023-09-27 22:06

【OpenCV/C++】KNN算法识别数字的实现原理与代码详解

zzzzMing-大数据技术-深入浅出KNN算

Half_A·2023-09-27 21:39

京东举办首届大数据峰会打造智能零售大数据“操作系统”

与英特尔合作建立数字化零售联合实验室、发布《京东大数据技术白皮书》、推出针对线下零售、区块链等领域的多款产品，联合行业内包括英特尔、谷歌、浪潮、联想等顶尖互联网企业，以及中国计算机协会、中关村多媒体软件园和清华大学等高等学府

数据工程师大牛·2023-09-27 15:17

大数据技术Hadoop笔试题

Hadoop有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上。以下是由应届毕业生网小编J.L为您整理推荐的面试笔试题目和经验，欢迎参考阅读。单项选择题1.下面哪个程序负责HDFS数据存储。a)NameNodeb)Jobtrackerc)Datanoded)secondaryNameNodee)tasktracker2.HDfS中的block默认保存几份?a)3份b)2份c)1份

weixin_34235105·2023-09-27 07:51

大数据技术Hadoop面试题

大数据已经无处不在，随之而来的就是大数据技术人才的急需，以下是关于大数据技术的面试问题，大家可以再面试前参考。单项选择题1.下面哪个程序负责HDFS数据存储。

IT时代周刊·2023-09-27 07:19

集成IPFS星际文件系统，并基于WeBASE-Front发送交易接口实现文件类上链存证的方案

集成IPFS星际文件系统，并基于WeBASE-Front发送交易接口实现文件类上链存证的方案作者简介：孙运盛吉科软信息技术有限公司大数据技术研究院架构师。

·2023-09-26 17:08

【大数据毕设】基于Hadoop的音乐推荐系统的设计和实现(六)

博主介绍：✌全网粉丝6W+,csdn特邀作者、博客专家、大数据领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌文末获取项目联系,有偿部署文章目录基于

Maynor996·2023-09-26 16:52

线下Meetup：在数智化转型背景下，火山引擎VeDI的大数据技术揭秘

·2023-09-26 11:42

大数据工程师学习路线

转载来源：https://blog.csdn.net/GitChat/article/details/78341484申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径

苡~·2023-09-25 21:53

大数据工程师进阶学习

申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。

乐姐·2023-09-25 21:22

Flink双流join的3种方式及IntervalJoin源码分析

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料117篇原创内容公众号概述在数据库中的静态表上做OLAP分析时，两表join是非常常见的操作。

hyunbar·2023-09-25 06:22

大数据技术之Flume

Flume概述Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写到HDFS中Flume的版本更新相对稳定：Flume1.0:Flu

NiklausYu·2023-09-25 06:34

分布式日志采集工具技术选型方案

大数据的数据采集是大数据技术中非常重要、基础的部分，数据不会平白无故地跑到我们的数据平台中，我们得用什么东西把它从现有的设备（比如服务器，路由器、交换机、防火墙、数据库等）中采集过来，再传输到数据平台中

善思者_tin·2023-09-25 01:41

云计算和云服务是一样的吗？Linux云计算运维

随着互联网技术的迅速发展以及大数据技术的推动，云计算被越来越多的企业所接受。众多应用领域都与云计算紧密结合，那么云计算和云服务是一回事吗？云计算不等于云服务。云计算

老男孩Linux·2023-09-24 22:32

大数据开发工程师的面试题

大数据开发工程师的面试题通常包括：1.对大数据技术的理解；2.如何使用Hadoop构建大数据系统；3.如何使用MapReduce来处理大数据；4.如何使用Spark分析大数据；5.如何使用NoSQL数据库构建大数据系统

高天艳阳·2023-09-24 08:00

互联网数据的重要性

大数据分析：大数据技术可以处理海量的数据，并通过数据挖掘和分析发现问题、揭示规律、预测趋势，为

嵌入式新手小张·2023-09-24 08:54

大数据技术之Hadoop

1、Hadoop的优势1)高可靠性因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。2)高扩展性在集群间分配任务数据，可方便的扩展数以千计的节点。3)高效性在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4)高容错性自动保存多份副本数据，并且能够自动将失败的任务重新分配。2、Hadoop组成HDFS:一个

在远方的你等我·2023-09-24 08:48

大数据基础考试复习（考试前不停更）——《大数据技术与原理应用》

文章目录小题：选择：判断：填空：大题一、简答题1、Hadoop生态及各部分的作用2、HDFS的实现目标3、FsImage和EditLog的过程4、HDFS读数据的过程5、HBaseRegion的定位方式6、简述Map函数和Reduce函数的功能7、简述Map端和Reduce端的shuffle过程Map端Reduce端8、Hadoop1.0的局限和不足9、MapReduce1.0的缺陷——>导致Ya

Jeffrey_oWang·2023-09-23 21:21

人工智能机器学习深度学习

机器学习与深度学习都是需要大量数据来“喂”的，是大数据技术上的一个应用，同时深度学习还需要更高的运算能力支撑，如GPU。

-月光光-·2023-09-23 13:53

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

8月31日，华为云举办TechWave大数据专题日，围绕“大数据技术普惠创新，释放千行百业数据价值！”

数据湖洞见·2023-09-23 10:37

大数据之使用Flink处理Kafka中的数据到Redis

文章目录前言一、读题分析二、使用步骤1.导入配置文件到pom.xml2.代码部分三、重难点分析总结前言本题来源于全国职业技能大赛之大数据技术赛项赛题（其他暂不透露）题目：使用Flink消费Kafka中ProduceRecord

云梦泽·兮·2023-09-23 00:34

大数据技术周报第 009 期

程序员小陶·2023-09-23 00:59

Docker安装与镜像的使用

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料102篇原创内容公众号1、docker简介=============1.1什么是dockerdocker官网地址

hyunbar·2023-09-22 22:08

如何利用物联网技术打造新型智能餐饮连锁店

这里就为大家介绍基于智能路由器的餐饮连锁店综合管理方案，依托物联网、边缘计算、大数据技术，实现对海量连锁店的高效管理、安全运营、智慧营销。智慧连锁餐饮店解决方案基于BMR400工业智能路由器，

ianvtenr·2023-09-22 20:43

大数据技术学习：弹性分布式数据集RDD

今天给大家分享的技术学习是：浅谈弹性分布式数据集RDD。一、RDD定义RDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中基本的数据抽象，它代表一个不可变(数据和元数据)、可分区、里面的元素可并行计算的集合。其特点在于自动容错,位置感知性调度和可伸缩性。二、RDD的属性1、一组分片。即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，

QFdongdong·2023-09-22 12:17

大数据科普

大数据的特点大数据应用的挑战大数据技术大数据的发展前景什么是大数据？大数据是指规模巨大、增长快速、多样化的数据资源。

程序员三木·2023-09-22 08:02

变电所运维云平台在浙江固特成套设备有限公司的应用

AcrelCloud-1000变电站运维云平台采用互联网和大数据技术，为电力运维公司和配电销售公司提供变电站运维云平台。该平台采用B/S架构，可在不同的计算机端或移动应用端进行数据监控。

安科瑞华楠·2023-09-21 20:19

AcrelEMS企业微电网能效管理平台实现用户侧智能配电和智能用电管理-安科瑞黄安南

1、智能配电概述1.1概念：智能配电是在现有配电系统的基础上，通过引入先进的信息通信技术（ICT）、物联网技术和大数据技术，实现配电系统的实时监控、优化控制和自动运行，从而提高配电系统的

Acrelhuang·2023-09-21 17:17

程序员薪酬报告：过去1年大数据领域薪资有多高？

各行各业，大数据技术应用也越来越广泛，对于大数据人才的需求

8d75ff2a0f1b·2023-09-21 16:07

【大数据实训】基于Hadoop的2019年11月至2020年2月宁波天气数据分析（五）

博主介绍：✌全网粉丝6W+,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌文末获取项目联系基于Hadoop

Maynor996·2023-09-21 12:23

大数据技术---云数据库

一、云数据库概述云计算：通过网络以服务的方式为用户提供非常廉价的IT资源。元计算的八大优势：（1）按需服务（2）随时服务（3）通用性：满足各种不同的用户需求（4）高可靠性：集群中有机器出现故障时，会有一定机制启用备用机器。（5）极其廉价（6）超大规模：带宽、CPU、内存、磁盘等资源予取予求。（7）动态可扩展性（8）高可用性云数据库在云环境中提供这样的数据库服务。腾讯云数据库和自建数据库的比较：云数

asyouwish_lm·2023-09-20 22:05

mysql 查找相似数据_MySQL慢查询优化 | 联结原理

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！

weixin_39648492·2023-09-20 13:04

Hadoop技术生态简介

Hadoop可以说是第一代大数据技术框架的主流选择，很多早期开始搭建大数据系统平台的企业，都是从Hadoop

会飞的鱼go·2023-09-20 11:56

基于阿里云服务实现短信验证码功能

前言：阿里云短信服务是一项基于云计算和大数据技术的企业级短信平台服务。它能够为企业和开发者提供高可用、高性能、高稳定性的短信发送服务，可以快速地将各类业务通知、验证码、营销推广等信息发送给用户。

码农阿亮·2023-09-20 00:44

2023中国高校计算机大赛热度再刷新：2100+参赛队伍，获超480所国内知名高校关注！

本次大赛基于企业真实场景和实际数据，旨在通过竞技的方式，探索大数据的核心科学与技术问题，尝试创新大数据技术，推动大数据的产学研应用。

·2023-09-19 22:51

Flink 环境对象

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-09-19 12:04

从 Hadoop 到 Snowflake，2023年数据平台路在何方？

随着大数据技术的融合发展，企业对数据平台的要求越发多元：不仅要能够整合集成、存储、管理海量的多源异构数据，还要能够提供连通业务的多样化数据服务能力，并且能够支持不同应用、不同场景中的落地。

大数据技术架构·2023-09-18 23:36

数据仓库，数据湖

1.数据仓库早期系统采用数据库来管理和存放数据，但随着大数据技术的兴起，大家想要通过大数据技术来找到数据之间可能存在的关系，所以大家设计了一套新的数据存储管理系统，把所有的数据全部存储到数据仓库，然后统一对数据处理

乐十九·2023-09-18 23:06

大数据的概念

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

满龙林·2023-09-18 21:49

什么叫大数据大数据的概念

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

BLSPers·2023-09-18 21:16

大数据驱动业务增长：数据分析和洞察力的新纪元

文章目录大数据的崛起大数据的特点大数据技术大数据驱动业务增长1.洞察力和决策支持2.个性化营销3.风险管理4.产品创新大数据分析的新纪元1.云计算和大数据示例代码：使用AWS的ElasticMapReduce

IT·陈寒·2023-09-18 21:15

北京大学数据科学与大数据技术专业

北京大学数学科学学院数据科学与大数据技术专业一、专业简介数据科学是运用概率统计、分布式计算、现代软件等综合知识探索来自商业贸易，生物医疗，金融证券，社交网络等众多领域的较大规模或结构复杂数据集的高效存储

13351·2023-09-17 23:53

大数据技术实战---项目中遇到的问题及项目经验

问题导读：1、项目中遇到过哪些问题？2、Kafka消息数据积压，Kafka消费能力不足怎么处理？3、Sqoop数据导出一致性问题？4、整体项目框架如何设计？项目中遇到过哪些问题7.1Hadoop宕机（1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存

000X000·2023-09-17 15:12

职聊 | 315专场:你还在刷新简历？你一刷大家就都知道了！

另一面，随着移动互联网和大数据技术的普及，信息的产生与流动越来越快、越来越多。可是你知道吗？

颜师与高徒·2023-09-17 13:23

如何成为大数据全栈人才相关学习路线是什么

对于专业大数据技术的学习，需要先看看相关课程有哪些。具体大数据学习路线安排如下：阶段一是Java语言基础，此阶段是大数据刚入门阶段

web前端入门·2023-09-16 19:25

2022-04-16

信息与计算科学专业（2）计算数学方向（3）信息科学方向（4）数据科学与大数据技术专业2、元培学院北京大学元培学院数据科学与

50岁的失业中年·2023-09-16 15:33

五个步骤，搭建企业的“大数据视野”

但是，企业规模不同、数据应用的成熟度不同，大数据技术的发展更是一日千里。俗话说，“一口气吃不成胖子”，企业如何科学地搭建适合自己的大数据视野呢？

数据观数据分析平台·2023-09-16 09:08

什么是数据分析，你真的了解吗？

随着大数据技术的快速发展，人们对数据的价值越来越重视，数据采集、存储、安全技术也变得日益重要，数据分析技术得到了日益广泛的应用。

大话数据分析·2023-09-16 02:06

【codequ】Java学习路线整理（韩顺平）

提升编程能力3.分析需求，代码实现能力Java8新特性二、Java高级三、JavaWEB四、主流的框架和项目管理五、分布式微服务并行架构六、DevOps（开发运维一体化）自动化部分管理项目，解决CI/CD七、大数据技术

codequ·2023-09-15 21:28

推荐频道

【大数据技术】