大数据技术-Hadoop技术

大数据平台/大数据技术与原理-实验报告--实战HDFS

实验名称实战HDFS实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解HDFS体系架构。2.理解HDFS文件存储原理和数据读写过程。3.熟练掌握HDFSWebUI界面的使用。4.熟练掌握HDFSShell常用命令的使用
jakeonil·2023-11-28 16:25

Java到底能做什么事情呢？

1、大数据技术 Hadoop以及其他大数据处理技术都是用Java或者其他，例如Apache的基于Java 的HBase和Accumul
小宇java·2023-11-28 14:13

Uni-app智慧工地可视化信息云平台源码

同时，智慧工地还可以通过人工智能和大数据技术，对工地数据进行深度分析和挖掘，发现潜在问题和规律，提出优化建议和预测预警，
星辰大海里编程·2023-11-28 08:38

大数据和智能数据应用架构系列教程之：大数据与时间序列分析

作者：禅与计算机程序设计艺术1.背景介绍概述随着互联网、移动互联网和物联网的发展，越来越多的企业和组织通过大数据技术为自己的业务和决策提供支持。
禅与计算机程序设计艺术·2023-11-28 00:23

大数据技术原理与应用——练习题

第一章大数据概述1第三次信息化浪潮的标志是：A.互联网的普及B.云计算、大数据、物联网技术的普及C.个人电脑的普及D.虚拟现实技术的普及2就数据的量级而言，1PB数据是多少TB？A.1000B2048C.1024D.5123以下关于云计算、大数据和物联网之间的关系，论述错误的是：A.物联网可以借助于云计算实现海量数据的存储B.物联网可以借助于大数据实现海量数据的分析C.云计算侧重于数据分析D.云计
庄园特聘拆椅狂魔·2023-11-27 22:06

大数据下的密码技术挑战

采用了大数据技术的信息系统，称为大数据系统。大数据系统通常由大数据平台、大数据应用以及处理的数据集合构成，下图给出了大数据系统的模型。大数据系统构成大数据系统的特征是数据体量大、种类多、聚
yoku酱·2023-11-27 17:57

excel处理几十万行数据_大数据技术 POI读写大数据量excel如何解决超过几万行而导致内存溢出的问题...

本篇教程探讨了大数据技术POI读写大数据量excel如何解决超过几万行而导致内存溢出的问题，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。
weixin_39572794·2023-11-27 16:47

超实用:通过文字就可以操纵这款AI表格，不需要你懂Excel函数

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。
架构成长指南·2023-11-27 14:54

解密Spring Cloud微服务调用：如何轻松获取请求目标方的IP和端口

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。
架构成长指南·2023-11-27 14:17

2022金三银四Java开发课程看完不后悔

目前业内各大公司对服务端工程师的需求来说，尤其是对Java工程师，具有1~2年开发经验的工程师，在二线城市年薪可达8-10万，而在一线城市(北上广深)年薪可高达15万以上，而掌握大数据技术的Java工程师将
大老高程序员·2023-11-27 10:22

Graphviz online 绘制透明流程图

filled",fillcolor="transparent",color="#FDCA6F",fontcolor="#FDCA6F"];edge[color="#FDCA6F"];A[label="大数据技术四个特征
Unity3d青子·2023-11-27 06:38

基于Hadoop技术的智慧图书馆海量数据储存系统研究

点我完整下载：基于Hadoop技术的智慧图书馆海量数据储存系统研究.docx基于Hadoop技术的智慧图书馆海量数据储存系统研究Astudyontheintelligentlibrary'smassivedatastoragesystembasedonHadooptechnology
桃宝护卫队·2023-11-27 01:57

分布式计算、云计算与大数据 第十一章

分布式计算、云计算与大数据第十一章大数据技术大数据技术概述大数据存储平台HBash简介HBash的特性MongoDBMongoDB的功能MongoDB数据组织形式MapReduce执行流程MapReduce
铁灵龙QAQ·2023-11-26 15:03

大数据技术之数据安全与网络安全——CMS靶场(文章管理系统)实训

大数据技术之数据安全与网络安全——CMS靶场(文章管理系统)实训在当今数字化时代，大数据技术的迅猛发展带来了前所未有的数据增长，同时也催生了对数据安全和网络安全的更为迫切的需求。
星川皆无恙·2023-11-26 06:21

一篇文章入门 HBase 的 Java API

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2023-11-26 06:10

分类推荐&通俗易懂 ：数据科学与大数据技术专业领域的实用工具

数据科学与大数据技术是一门偏向应用的学科领域，因此工具就成为重要的组成部分。在工作中，数据科学家如果选择有效的工具会带来事半功倍的效果。
金光闪闪耶·2023-11-26 04:01

中小企业的真正痛点是什么?

大数据技术的出
曹博士·2023-11-25 19:58

大数据技术人员必看

很多大数据行业和跨境行业的用户都会使用到一个工具，就是代理IP工具，不过很多人对它的研究不深，其实在使用它时是有一些小技巧的，它不仅可以帮助我们隐蔽我们的真实IP地址，实现多账号矩阵运营，同时还能让我们实现更高效的数据采集。以下是一些小技巧和注意事项分享给大家：1.了解代理IP的工作原理：代理IP通常是通过一个或多个服务器来转发你的请求，从而达到隐蔽真实IP的效果，你可以理解为它像是你的网络替身。
IPIDEAHTTP·2023-11-25 15:56

基于CentOS7的CDH6.3.2完全分布式集群搭建【上】

主要参考：【CDH实战01】基于CentOS7的CDH6.3.2完全分布式集群搭建【上】【CDH实战02】基于CentOS7的CDH6.3.2完全分布式集群搭建【下】如何从0开始学习大数据技术2020年
HansBigData·2023-11-25 14:18

大数据面临的风险和现存问题（大数据行业必读）

关注WX公众号:：大数据技术工程师了解更多精彩资讯。复制代码“大数据”成为2018年的关键词汇，被认为将会带来生活、工作与思维的重大变革。
weixin_34253539·2023-11-25 08:20

创新研报｜顺应全球数字化，能源企业以“双碳”为目标的转型迫在眉睫

数字化技术赋能能源行业的场景1）大数据技术盘活电力领域海量原始数据2）5G
Runwise创新社区·2023-11-25 06:25

大数据技术平台

文章目录概要雾霾天气预测过程是一个较为复杂的过程，首先必须要准备一个平台来对气象数据作相应的处理，包括:数据存储、数据处理、数据分析和预测结果的展示。想要做好雾霾天气的预测，需要做一些准备工作，首先解决气象数据的获取，然后存储气象因素这样的大数据，之后利用数据分析技术和方法实施雾霾天气的预测。对于气象数据的获取，可以通过气象部门的地面传感器等工具进行采集，也可以通过卫星等采集卫星云图等数据;或者到
僖僖cc·2023-11-25 04:41

大数据预处理技术

文章目录前言大数据技术成为前沿专业也是现在甚至未来的朝阳产业，大数据有分别是数据预处理数据存储大数据处理和分析数据可视化部分组成，大数据行业有数据则称王，大数据的核心是数据本身怎么获取有价值的数据呢？
僖僖cc·2023-11-25 04:10

2023广东省职业院校技能大赛大数据技术与应用专业样题

2023广东省赛样题解析-数据采集：离线数据采集2023广东省赛样题解析-数据采集：实时数据采集_子任务12023广东省赛样题解析-数据采集：实时数据采集_子任务22023广东省赛样题解析-实时数据处理：实时数据清洗2023广东省赛样题解析-实时数据处理：实时指标计算_子任务12023广东省赛样题解析-实时数据处理：实时指标计算_子任务22023广东省赛样题解析-离线数据处理
xlw2003·2023-11-25 02:21

Spark on YARN运行过程，YARN-Client和YARN-Cluster

目前的大数据技术世界，大多数公司除了使用Spark来进行数据计算，由于历史原因或者单方面业务处理的性能考虑而使用着其他的计算框架，比如MapReduce、storm等计算框架。
高个子男孩·2023-11-25 01:17

配电室智慧运维

数据分析与预测：通过大数据技术，对配电室的运行数据进行实时分析，预测
电易云力安科技·2023-11-24 18:57

五个步骤，搭建企业的“大数据视野”

但是，企业规模不同、数据应用的成熟度不同，大数据技术的发展更是一日千里。俗话说，“一口气吃不成胖子”，企业如何科学地搭建适合自己的大数据视野呢？
数据观数据分析平台·2023-11-24 14:38

想基于AI变现吗，这个Star有1.8K的开源项目分享给你

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。
架构成长指南·2023-11-24 14:59

滚动更新和回滚部署在 Kubernetes 中的工作原理

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。在过去的几年中，Kubernetes在生产环境中被广泛使用，它通过其声明式API提供了大量解决方案，用于编排容器。
架构成长指南·2023-11-24 14:29

Java Stream中的API你都用过了吗？

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。在本教程中，您将通过大量示例来学习Java8StreamAPI。
架构成长指南·2023-11-24 14:29

生产实践：Redis与Mysql的数据强一致性方案

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。
架构成长指南·2023-11-24 14:25

大数据关键技术5—大数据应用

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。
智海观向·2023-11-24 14:37

大数据分析工具hive之udf 使用方法

>关注公众号：大数据技术派，回复`资料`，领取`1024G`资料。
大数据技术派·2023-11-24 11:09

大数据之使用Flink消费Kafka中topic为ods_mall_data的数据，根据数据中不同的表将数据分别分发至kafka的DWD层

目录前言题目：一、读题分析二、处理过程三、重难点分析总结前言本题来源于全国职业技能大赛之大数据技术赛项赛题-电商数据处理-实时数据处理注：由于设备问题，代码执行结果以及数据的展示无法给出，可参照我以往的博客其中有相同数据源展示题目
约定Da于配置·2023-11-24 11:49

大数据、人工智能与云计算的融合与应用

人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值；同时，大数据技术通过将传统机器学习算法分布式实现
ShuYunBIGDATA·2023-11-24 09:26

Hadoop原生态版安装

最近在学厦门大学的《大数据技术原理与应用》公开课，参考学习内容自己部署了一个Hadoop平台，整个分布式集群分一个Master服务器和两个Slave服务器，方便后面学习。
SMILE_NO_09·2023-11-24 09:27

大数据应用管理的模式和内容

随着大数据技术的发展，企业和组织越来越关注如何有效地管理和应用大数据。大数据应用管理涵盖了从数据采集、存储、处理到分析和应用的全过程。本文将介绍一种有效的大数据应用管理模式，并提供相应的源代码示例。
星光璀璨下的梦幻舞台·2023-11-24 06:08

大数据技术，Spark任务调度原理 四种集群部署模式介绍

一、spark-submit任务提交机制spark-submit\--classorg.apache.spark.examples.SparkPi\--masterspark://ns1.hadoop:7077\--executor-memory1G\--total-executor-cores2\/usr/local/spark/examples/jars/spark-examples_2.11
喵感数据·2023-11-24 06:01

免费图书教材配套资料：Spark大数据技术与应用（第2版）

《Spark大数据技术与应用（第2版）》课程内容全面介绍了Spark大数据技术的相关知识，内容包含包括Spark概述、Scala基础、Spark编程、Spark编程进阶、SparkSQL结构化数据文件处理
泰迪智能科技·2023-11-23 14:36

Hive on Spark调优（大数据技术3）

相关文章：HiveonSpark调优（大数据技术1）HiveonSpark调优（大数据技术2）HiveonSpark调优（大数据技术3）HiveonSpa
菜鸟Octopus·2023-11-23 12:43

分享一份京东大数据技术官私藏：Kafka核心设计与实践原理

什么是KafkaKafka起初是由LinkedIn公司采用Scala语言开发的一一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现已被捐献给Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、Flink等都支持与Kafk
m0_64926671·2023-11-23 09:53

API安全--使用OneAuth进行API加固的Checklist

传统的安全架构基于边界思维，假定企业内部是一个“内网”，然后假定存在一个边界对内外网进行隔离，但随着企业的数字化转型，企业大量采用了云计算和大数据技术，大量的业务和数据会通过API的方式对外去进行提供。
oneauth·2023-11-23 01:03

电脑监控软件解读

除监控功能外，还采用了大数据技术，可对产生的所有记录进行
绿虫效率提升工具·2023-11-22 09:47

【无标题】

尚硅谷大数据技术之高频面试题（作者：尚硅谷大数据研发部）版本：V8.0.9目录第1章项目涉及技术111.1Linux&Shell111.1.1Linux常用高级命令111.1.2Shell常用工具及写过的脚本
SKY_WU95·2023-11-22 09:47

Apache Airflow (十三) ：Airflow分布式集群搭建及使用-原因及

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-22 06:42

Apache Airflow (十二) ：PythonOperator

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-22 02:58

Apache Airflow (十一) ：HiveOperator及调度HQL

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-22 02:24

大数据学习路线图 让你轻松掌握大数据技术学习

大数据指不用随机分析法这样捷径，而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发，大数据开发课程采用真实商业数据源并融合云计算+机器学习，让学员有实力入职一线互联网企业。今天小编的技术分享详细学习大数据的精准路线图，学好大数据就还得靠专业的工具。大数据学习QQ群：957205962阶段一、Java语言基础
金光闪闪耶·2023-11-22 02:59

五分钟解读“大数据”

对于很多人来说，当他第一次听到“大数据”这个词，会自然而然从字面上去理解——认为大数据就是大量的数据，大数据技术就是大量数据的存储技术。但是，事实并非如此。大数据比想象中复杂。
csdn业界要闻·2023-11-21 16:33

基于Flink打造实时计算平台为企业赋能

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！
王知无(import_bigdata)·2023-11-21 10:40
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他