Hadoop应用案例

（十四）基于 Flink SQL 应用案例

在11.11购物节大促活动中，天猫、京东等商家会对外发布购物节对应的交易金额、单量等信息，下面我们以2023.11.11购物节大促为背景，完成如下任务的计算：实时统计购物节当日从零点开始，截止到当前时间总交易额。基于销售的商品，按照品牌分类，每小时统计对应品牌下的总订单量。基于上面的应用场景，结合FlinkSQL，完成技术方案设计，并输出实现代码。目录问题1详解问题2详解问题1详解基于问题一，主要
springk·2024-08-28 07:44

Ubuntu下部署Hadoop集群+Hive（三）

Hive部署准备环境apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar如果是离线安装的话，使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar，在线安装的话则不用；hive下载地址：Indexof/hive(apache.org)mysqlconnector下载地址：MySQL::DownloadConn
岩屿·2024-08-28 01:07

命令模式的实际应用案例：从电梯控制系统到文本编辑器

命令模式的实际应用案例：从电梯控制系统到文本编辑器引言设计模式是软件工程中解决特定问题的经典方案，它们提供了灵活、可扩展的代码结构，能够在应对复杂系统设计时发挥重要作用。
勤劳兔码农·2024-08-28 01:04

分享一个基于Spark的招聘数据可视化与分析系统Hadoop大数据源码（源码、调试、LW、开题、PPT）

作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
计算机源码社·2024-08-27 20:05

【区块链 + 智慧文旅】虎年春节数字藏品 | FISCO BCOS应用案例

近年来，区块链技术为数字藏品的发展带来了新的可能。厦门柠静科技有限公司基于FISCOBCOS打造微信小程序——朴树元宇宙，并推出了冬奥会和冬残奥会视觉艺术顾问林家卫先生创作的数字艺术藏品。本次数字藏品以虎年开春为主题，发行量仅10000份，每个藏品都拥有独一无二的证书号。整个发行流程在朴数元宇宙的小程序上完成，数字藏品信息记录在联盟链区块中，确保其可信度和稀缺性。这次发放验证了区块链技术的可靠性,
FISCO_BCOS·2024-08-27 14:24

【区块链 + 智慧文旅】南方航空：区块链数字资产管理平台 | FISCO BCOS应用案例

区块链数字资产管理平台基于FISCOBCOS区块链技术搭建航空商旅行业联盟链，实现企业间会员数字资产数字化确权和价值流转。所有参与数字资产价值流转的企业，均需要部署联盟链节点，在获得授权并成功加入数字资产联盟后，所有企业间数字资产相关的价值流转，都是以标准的DAPP模式，完全基于区块链节点间数据交换来实现。存储在区块链中的数据包括：企业会员基于区块链公私钥体系的身份数据、会员所持有的合法有效的数字
FISCO_BCOS·2024-08-27 14:54

【区块链 + 智慧文旅】厦门航空：区块链积分兑换平台 | FISCO BCOS应用案例

北京九鼎同泰科技有限公司为厦门航空搭建了一套基于FISCOBCOS区块链的积分平台。平台解决了乘客积分兑换困难、兑换场景单一等问题，减少航空公司积分维护成本，提高积分使用率，增加用户二次消费能力，对联盟中各个成员之间相互引流。
FISCO_BCOS·2024-08-27 14:54

【区块链 + 智慧文旅】唐卡区块链溯源平台 | FISCO BCOS应用案例

我国的唐卡文化已形成一定产业规模。据报道，西藏唐卡文化产业产值截至2016年年底已经突破一亿元，全区有2000余位专职唐卡画师，每年生产高端精品唐卡上千幅。而青海省黄南藏族自治州同仁县著名的“藏画之乡”吾屯村，2016年唐卡产值近3亿元，从事唐卡制作的有3875人。但是目前唐卡制作到流通过程存在原料质量参差不齐、产品质量难以保证、信息不对称、市场监管难等痛点。通过区块链搭建供应链全流程节点共同维护
FISCO_BCOS·2024-08-27 14:53

【区块链 + 智慧文旅】虎彩小虎智数营销平台 | FISCO BCOS应用案例

“我知道我的广告费至少浪费了一半，但我不知道是哪一半。”这是著名广告大师约翰·沃纳梅克提出的“哥德巴赫猜想”。当前互联网营销存在很多痛点：1、广告主与广告商之间难以建立信任关系，刷单、虚假数据等现象使广告主付出了大量营销推广费用，但效果却寥寥。2、消费者通过口碑传播、社交渠道传播、线上线下方式分享产品给其他用户，为广告主带来流量，应该获得对应贡献的奖励收益，但现有互联网营销模式不但不会给消费者带来
FISCO_BCOS·2024-08-27 14:53

【区块链 + 智慧文旅】版权链 | FISCO BCOS应用案例

区块链具有智能、真实不被篡改的特性，可以有效地完善数字版权的保护。通过区块链实现版权内容的登记、交易、授权分发以及监控报警，能够更好地对版权进行保护，让内容生产者利用版权内容赚取收益。版权链基于FISCOBCOS打造多群组多机构多链的联盟链网络，构建基于区块链技术的数字版权登记、交易、监控和分发平台。具体来讲，平台分为版权链、交易链、监测链和授权链四个模块。数字作品生产者能够将数字版权登录上链、挂
FISCO_BCOS·2024-08-27 14:53

【区块链 + 智慧文旅】可信元宇宙演唱会平台 | FISCO BCOS应用案例

传统线下演唱会举行受到疫情影响，近年来受到冲击较大，元宇宙演唱会应用掀起热点关注，演出发行方对此类三维场景的新应用较为关注。交互与互操作、远程临场感、可信数字社会是目前元宇宙应用场景中普遍需要解决的三类痛点问题，具体体现在用户能否通过便捷的方式与受保护的数字身份登录访问元宇宙空间，场景中的画质是否足够清晰、交互是否流畅，能否在元宇宙中开展必要的社交分享、体验消费、活动参加和创作生产等数字生活方式，
FISCO_BCOS·2024-08-27 13:46

【PL/pgSQL】华为数据库GaussDB及PostgreSQL 数据库系统的过程语言

变量声明3.控制结构4.循环存储过程与函数1.创建存储过程2.调用存储过程3.自定义函数触发器1.创建触发器函数2.创建触发器异常处理高级语法特性示例控制结构条件语句循环异常处理游标动态SQL复合类型实际应用案例案例
来一杯龙舌兰·2024-08-27 08:17

Hadoop：HA模式配置与实现

写的不到位的地方，欢迎评论指出不足之处一、检查系统环境1、HostName、Hosts、JDK、SSH、网络、防火墙、数据源二、集群角色分配表注：这只是实例服务器NameNodeNameNodeZookepperFailoverControllerDataNodeZookepperJournalNodeOneyes(NN2和其它节点免密)yesyesTwoyes(NN1和其它节点免密)yesyes
家道消乏·2024-08-27 08:14

大数据技术之Flume 企业开发案例——负载均衡和故障转移（6）

2）需求分析故障转移案例3）实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@hadoop12job]$c
大数据深度洞察·2024-08-27 05:58

MySQL表分区与分表：概念、规则及应用案例

MySQL表分区与分表：概念、规则及应用案例在大型业务系统中，随着数据量的急剧增加，优化数据库性能成为关键任务。
J老熊·2024-08-26 22:50

zookeeper+KAFKA 集群搭建

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
懵逼的运维弟弟·2024-08-26 16:28

（十五）Flink 内存管理机制

在大数据领域，很多开源框架（Hadoop、Spark、Storm）都是基于JVM运行，但是JVM的内存管理机制往往存在着诸多类似OutOfMemoryError的问题，主要是因为创建大量的实例，超过JVM
springk·2024-08-26 16:27

面试笔记8.24

正确答案：在我的项目中涉及大数据开发时，我通常会采用分布式的架构，比如使用Hadoop或者Spark等大数据处理框架。我会在集群中部署多台服务器，通过分布式计算和存储来处理大规模数据。
励志秃头码代码·2024-08-26 16:55

在linux机器中安装配置hadoop

1.首先我们要把hadoop包上传到我们的liunx机器中（运用外链软件上传如：Xshell+xftp）（用我们的外链软件连接成功后，进行hadoop包的上传）上传到我们想要的目录路径下，比如我的是上传到
BigData_C·2024-08-26 14:40

【MQTT协议与IoT通信】MQTT协议的使用和管理

协议的关键特性轻量级与高效性发布/订阅模式质量服务等级(QoS)持久会话安全性MQTT协议的使用方法设置MQTTBroker连接MQTTClient发布消息订阅主题断开连接MQTT协议的管理监控与维护优化性能确保安全MQTT协议的应用案例智能家居工业自动化智慧城市远程医疗结论引言随着物
爱技术的小伙子·2024-08-26 13:38

计算机毕业设计Hadoop+Spark知识图谱体育赛事推荐系统 体育赛事热度预测系统 体育赛事数据分析 体育赛事可视化 体育赛事大数据 机器学习 大数据毕业设计 大数据毕设 机器学习 人工智能

开发技术前端：vue.js、element-ui、echarts后端：springboot、mybatis大数据：spark、hadoop数据库：mysql关系型数据库、neo4j图数据库算法：协同过滤推荐算法
计算机毕业设计大全·2024-08-26 13:43

Kylin系列-入门

Kylin系列-入门ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力，以支持超大规模数据。
Dingdangr·2024-08-26 13:34

Mac Hadoop Yarn日志聚合出错

MacHadoopYarn日志聚合出错通过日志查看出现了下面的错误：java.lang.IllegalStateException:CannotcloseTFileinthemiddleofkey-valueinsertion.atorg.apache.hadoop.io.file.tfile.TFile
HHoao·2024-08-26 10:15

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

1.1开发环境二、系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark+hadoop
毕设木哥·2024-08-26 06:26

持续创新：AWS块存储的简史

订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！
新加坡内哥谈技术·2024-08-26 00:48

《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘

摘要：翟周伟，资深Hadoop技术专家，《Hadoop开源云计算平台》、《Hadoop核心技术》作者。
xytlwp·2024-08-25 21:27

（九）基于 Flink DataStream API 应用案例

在11.11购物节大促活动中，天猫、京东等商家会对外发布购物节对应的交易金额、单量等信息，下面我们以2023.11.11购物节大促为背景，完成如下任务的计算：问题1：每隔1秒统计购物节当日从零点开始，截止到当前时间总交易额。问题2：基于销售的商品，按照品牌分类，每小时统计对应品牌下的总订单量。基于上面的应用场景，结合DataStreamAPI，完成技术方案设计，并输出实现代码。目录问题1详解问题2
springk·2024-08-25 21:55

Tair分布式缓存

为什么不能像操作分布式数据库或者hadoop那样，增加一个中央节点，让它去代理所有事情。所以就开发了这个tai
kingkyrie·2024-08-25 18:38

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.Hadoop基本命令1.1查看版本信息hadoopversion用于检查Hadoop的版本信息以及编译信息。
william.zhang(张)·2024-08-25 15:52

HDFS的编程

一、HDFS原理HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分
卍king卐然·2024-08-25 07:02

Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）

NameNodemaster192.168.1.101DataNode1slave1192.168.1.102DataNode2slave2192.168.1.1032.软件要求操作系统：CentOS7或Ubuntu20.04JavaJDK：Hadoop
william.zhang(张)·2024-08-25 06:57

工厂模式与策略模式在Java中的应用案例分析

工厂模式与策略模式在Java中的应用案例分析在Java的设计模式中，工厂模式和策略模式都是非常常见且实用的模式。
范范0825·2024-08-25 00:48

Ubuntu下部署Hadoop集群+Hive（一）

配置主机Host在三台服务器上添加主机名与IP的映射，以方便在局域网内进行主机间的快速访问和后续的文件配置；配置方法：vi/etc/hosts为方便配置：我的三台主机取名为HadoopMaster、HadoopSlave01
岩屿·2024-08-24 17:41

Spring Boot 应用案例：打造股票价格自动通知平台

在本篇博文中，我们将构建一个简单的SpringBoot应用来演示如何创建一个股票价格更新系统，并在股票价格变动时自动通知订阅用户。这个示例将涵盖SpringBoot的核心功能，包括Web模块、数据持久化、消息队列以及简单的用户订阅机制。项目结构和依赖首先，我们需要创建一个新的SpringBoot项目，并添加必要的依赖。在pom.xml文件中加入以下依赖：xml深色版本123org.springfr
潘多编程·2024-08-24 17:36

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

基于Hadoop的海量图像检索

基于Hadoop的海量图像检索“MassiveImageRetrievalBasedonHadoop:AStudyinSoftwareEngineering”完整下载链接:基于Hadoop的海量图像检索文章目录基于
usp1994·2024-08-24 13:12

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

Kylin的工作原理及使用分享

Kylin提供了一个Hadoop之上的SQL查询接口及多维分析(OLAP)能力，能够支持大规模数据，处理TB乃至PB级别的分析任务，并且能够在亚秒级查询巨大的Hive表。
丁爸·2024-08-24 07:01

上位机程序设计：从入门到实践

目录一、上位机程序设计概述二、基础知识1.编程语言2.网络通信3.数据库管理4.用户界面设计三、开发环境搭建四、实际应用案例1.需求分析1.1选择编程语言和开发工具1.2设计用户界面1.3编写通信程序1.4
2022物联网应用技术梁世轩·2024-08-24 06:56

阿里云服务器内存型r7、r8a、r8y实例区别及最新活动价格参考

在阿里云目前的活动中，属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格，相比于活动内的经济型e和通用算力型u1等实例规格来说，这些实例规格等性能更强，适用于数据分析与挖掘，Hadoop
阿里云最新优惠和活动汇总·2024-08-23 22:23

Ubuntu下部署Hadoop集群+Hive（二）

Hadoop集群搭建准备环境hadoop-3.3.6.tar.gz，jdk-8u421-linux-x64.tar.gz根据自己的使用下载对的hadoop和jdk版本hadoop下载地址：ApacheHadoopJDK
岩屿·2024-08-23 14:46

计算机毕业设计hadoop+spark知识图谱美食推荐系统 美食价格预测 美团推荐系统 美团爬虫 大众点评爬虫 美食数据分析 美食可视化大屏 大数据毕设

创新点：1.支付宝沙箱支付2.支付邮箱通知(JavaMail)3.短信验证码修改密码4.知识图谱5.四种推荐算法(协同过滤基于用户、物品、SVD混合神经网络、MLP深度学习模型)6.线性回归算法预测房价7.Python爬虫采集大众点评美食数据8.AI短信识别9.百度地图API10.lstm情感分析11.spark大屏可视化开发技术：springbootvue.jspythonechartsspar
计算机毕业设计大全·2024-08-23 13:22

计算机毕业设计hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计

开发技术hadoopsparkspringbootvue.jsPython爬虫、机器学习、深度学习mybatis-plusneo4j知识图谱图数据库mysql协同过滤算法(基于物品、基于用户模式)MLP
计算机毕业设计大全·2024-08-23 11:05

基于Hadoop平台的电信客服数据的处理与分析④项目实现：任务16：数据采集/消费/存储

任务描述“数据生产”的程序启动后，会持续向callLog.csv文件中写入模拟的通话记录。接下来，我们需要将这些实时的数据通过Flume采集到Kafka集群中，然后提供给HBase消费。Flume：是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据
我非夏日·2024-08-23 06:28

构建大型语言模型（LLM）产品的实战指南

订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！
新加坡内哥谈技术·2024-08-22 23:12

《Linux运维总结：基于银河麒麟V10+ARM64架构CPU部署zookeeper 3.8.4二进制分布式集群》

它是Google的Chubby项目的开源实现之一，并且是Hadoop和HBase等项目的重要组成部分。ZooKeeper提供的功能包括配置维护
东城绝神·2024-08-22 16:35

【机器学习】探索数据矿藏：Python中的AI大模型与数据挖掘创新实践

与特征工程的结合2.模型训练与优化：构建智能的大脑2.1模型选择：大模型的基础构建2.2模型训练：从数据到智能的转化2.3⚙️模型优化：精益求精的智能化提升2.4模型解释与可视化：揭示黑盒的内部3实际应用案例
C_GUIQU·2024-08-22 10:55

自动驾驶系列—智能巡航辅助功能中的横向避让功能介绍

智能巡航辅助功能中的车道变换功能介绍自动驾驶系列—智能巡航辅助功能中的横向避让功能介绍自动驾驶系列—智能巡航辅助功能中的路口通行功能介绍文章目录1.背景介绍2.功能定义3.功能原理4.传感器架构5.实际应用案例
学步_技术·2024-08-22 07:05

Amazon EFS：云端弹性文件系统的多元化应用场景

应用：Hadoop、Spark等大数据框架优势：高
ivwdcwso·2024-08-22 04:51

Hadoop的概念

1.什么是大数据数据体量巨大：数据量规模庞大，通常以PB（拍字节）或EB（艾字节）来衡量，远远超出了传统数据库和数据处理工具的处理能力。数据类型多样：大数据包括结构化数据、半结构化数据和非结构化数据。其中，非结构化数据占据了相当大的比例，如文本、音频、视频、图片、地理位置信息等。价值密度低：在大量的数据中，真正有价值的信息可能只是很小的一部分。因此，如何从海量数据中快速提取有价值的信息是大数据处理
子非鱼　　　·2024-08-22 02:03
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他