数据技术

06选课支付模块之基于消息队列发送支付通知消息

消息队列发送支付通知消息需求分析订单服务作为通用服务，在订单支付成功后需要将支付结果异步通知给其他对接的微服务，微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端
echo 云清·2024-09-16 06:25

如何利用大数据与AI技术革新相亲交友体验

大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
h17711347205·2024-09-16 04:42

未来软件市场是怎么样的？做开发的生存空间如何？

云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
cesske·2024-09-16 01:19

架构评审的自动化与人工智能: 如何提高效率

随着大数据技术和人工智能的发展，自动化和人工智能技术已经开始应用于架构评审，从而提高评审的效率和准确性。在本文中，我们将讨论如何通过自动化和人工智能技术来提高架构评审的效率。
光剑书架上的书·2024-09-15 10:48

2020年10月国产数据库排行：GoldenDB跃升异军突起 PolarDB和GaussDB云化融合

数据技术嘉年华，十周年盛大开启，点我立即报名！大会以“自研·智能·新基建——云和数据促创新生态融合新十年”为主题，相邀数据英雄，总结过往十年历程与成绩，展望未来十年趋势与目标！
数据和云·2024-09-11 14:40

使用python实现微信小程序自动签到

学校：重庆财经职业学院学院：应用技术学院专业班级：大数据技术与应用05班名字：吴雨璇指导老师：张彤老师一：使用python实现微信小程序自动签到意义1.首先对于咱们的APP有很大的作用,那就是当用户点击签到以后
光头哥不光头·2024-09-11 02:43

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

MySQL数据库运维：深度解析与实践指南

⭐️全流程数据技术实战指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台和数据仓库的核心技术和方法。⭐
野老杂谈·2024-09-09 01:58

Pinterest：从 Druid 到 StarRocks，实现 6 倍成本效益比提升

导读：开源无国界，StarRocks自开源以来，近3年的时间里已在全球数据技术领域崭露头角。我们欣喜地发现，越来越多的海外用户正在使用并积极推广着StarRocks。
StarRocks_labs·2024-09-08 19:20

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。Hadoop生态1.2Hadoop发展历史（了解）Hadoop发展历史1）Hadoop创始人DougCutting，为了实现与Google类似
pauls·2024-09-08 16:30

Hive 的 SerDe 是什么？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2024-09-08 14:46

【大数据Big DATA】大数据解决方案，提供完整的大数据采集，大数据存储，大数据处理，具体业务应用解决方案

大数据解决方案是指利用大数据技术，结合企业实际业务需求，为企业提供数据采集、存储、处理、分析和报告等一站式服务，以帮助企业更好地利用大数据提高运营效率、优化决策制定。
_晓夏_·2024-09-07 13:22

Spark一些个人总结

文章目录前言一、Spark是什么二、Spark用来做什么三、Spark的优势是什么四、为什么用Spark五、Spark解决了什么问题总结前言随着大数据技术的发展，一些更加优秀的组件被提了出来，比如现在最常用的
易逑实战数据·2024-09-06 09:39

系统架构师考试学习笔记第三篇——架构设计高级知识（13）未来信息综合技术

本课时考点：第13课时主要学习信息物理系统技术、人工智能技术、机器人技术、边缘计算、数字孪生体技术以及云计算和大数据技术等内容。
SheldonK·2024-09-05 15:15

Mac 安装Hadoop教程（HomeBrew安装）

1.引言本教程旨在介绍在Mac电脑上安装Hadoop，便于编程开发人员对大数据技术的熟悉和掌握。2.前提条件2.1安装JDK想要在你的Mac电脑上安装Hadoop，你必须首先安装JDK。
追光天使·2024-09-04 22:21

2024年（第7届）“泰迪杯”数据分析技能赛通知

竞赛目的在于以赛促学、以赛促教、以赛促改、以赛促创，实现大数据技术技能人才培养的“岗课赛证”融通，深化教学标准与岗位标准、教学过程与生产过程的对接，培养更多升级版的高层次高素质技术技能人才。
泰迪智能科技01·2024-09-04 07:50

大数据技术之Flume 企业开发案例——自定义 Interceptor（8）

目录自定义Interceptor1）案例需求2）需求分析3）实现步骤创建一个Maven项目，并引入以下依赖。定义CustomInterceptor类并实现Interceptor接口。编辑flume配置文件分别在hadoop12，hadoop13，hadoop14上启动flume进程，注意先后顺序。在hadoop12使用netcat向localhost:44444发送字母和数字。观察hadoop13
大数据深度洞察·2024-09-03 03:50

大数据技术之HBase 与 Hive 集成(7)

目录使用场景HBase与Hive集成使用1）案例一2）案例二使用场景如果大量的数据已经存放在HBase上面，并且需要对已经存在的数据进行数据分析处理，那么Phoenix并不适合做特别复杂的SQL处理。此时，可以使用Hive映射HBase的表格，之后通过编写HQL进行分析处理。HBase与Hive集成使用Hive安装https://blog.csdn.net/qq_45115959/article/
大数据深度洞察·2024-09-03 00:03

大数据技术之Flume 数据流监控——Ganglia 的安装与部署（11）

目录Flume数据流监控Ganglia的安装与部署Ganglia组件介绍1）安装Ganglia2）在hadoop12修改配置文件/etc/httpd/conf.d/ganglia.conf3）在hadoop12修改配置文件/etc/ganglia/gmetad.conf4）在hadoop12,hadoop13,hadoop14修改配置文件/etc/ganglia/gmond.conf5）在hado
大数据深度洞察·2024-09-03 00:33

Hadoop 中的大数据技术：调优篇（3）

HDFS—故障排除NameNode故障处理需求NameNode进程崩溃且存储的数据丢失，如何恢复NameNode？故障模拟终止NameNode进程[lzl@hadoop12current]$kill-919886删除NameNode存储的数据[[email protected]]$rm-rf/opt/module/hadoop-3.1.3/data/dfs/name/*问题解决从Se
大数据深度洞察·2024-09-03 00:33

大数据技术之Flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。1.2Flume基础架构Flume组成架构如下图所示。1.2.1AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、Sink。1.2.2Sourc
okbin1991·2024-09-03 00:32

大数据技术之HBase API(3)

目录HBaseAPI环境准备创建连接单线程创建连接多线程创建连接DDLDMLHBaseAPI环境准备新建项目后，在pom.xml中添加如下依赖：org.apache.hbasehbase-server2.4.11org.glassfishjavax.elorg.glassfishjavax.el3.0.1-b06注意：javax.el包虽然会报错不存在，但这仅是一个测试用的依赖，不会影响实际使用。
大数据深度洞察·2024-09-02 14:07

大数据技术之HBase整合 Phoenix(6)

目录HBase整合PhoenixPhoenix简介Phoenix定义为什么使用PhoenixPhoenix快速入门安装1）官网地址2）Phoenix部署PhoenixShell操作Table表的映射数字类型说明PhoenixJDBC操作Phoenix二级索引二级索引配置文件全局索引（globalindex）包含索引（coveredindex）本地索引（localindex）HBase整合Phoen
大数据深度洞察·2024-09-02 14:32

大数据技术之Zookeeper概述（1）

目录Zookeeper入门概述Zookeeper的主要特点包括：Zookeeper的应用场景：Zookeeper的基本概念：架构：Zookeeper工作机制Zookeeper数据结构Znode（ZookeeperNode）Znode的类型Znode路径Znode属性Watcher监听器使用示例总结Zookeeper入门概述Zookeeper是一个分布式的、开放源码的协调服务，用于大型应用中管理和协
大数据深度洞察·2024-09-02 14:02

综合治税的发展前景

综合治税的发展前景较为广阔，主要体现在以下几个方面：-技术应用持续深化：-大数据与人工智能助力精准治税：随着大数据技术的不断发展，税务部门能够整合来自多部门、多渠道的海量数据，包括企业的财务数据、交易数据
alankuo·2024-09-02 06:16

Kylin的工作原理及使用分享操作指南

1.Kylin概述Kylin是一个开源项目，支持SQL查询，兼容与Hive和MapReduce等大数据技术的集成。
vvvae1234·2024-08-29 05:14

《未来二十年，AI、区块链、云与大数据技术引领全球变革》

摘要在未来二十年，全球社会与经济将深刻受到人工智能（AI）、区块链（Blockchain）、云计算（Cloud）和大数据（Data）四大核心技术的驱动。这些技术不仅从宏观上重塑产业结构，更在微观层面显著提升生活品质与效率。本文通过详尽的案例分析，结合国内外最新研究成果，深入剖析这四大技术如何在教育、智能家居、农业、金融等多个关键领域产生深远影响。关键字人工智能（AI）、区块链（Blockchain
久绊A·2024-08-29 03:25

向量数据库 Faiss 的搭建与使用

向量数据库Faiss的搭建与使用一、引言在人工智能和大数据技术飞速发展的今天，向量数据库作为处理高维数据检索的关键技术，越来越受到重视。
eqa11·2024-08-29 01:14

知识分享系列三：大数据技术（上）

本文系统地介绍了大数据技术的相关知识，由于篇幅比较长，分为上下两部分，其中上半部分先介绍基本概念、核心领域，下半部分介绍主要技术、平台架构，以及相关企业案例。
jinruimeng·2024-08-28 07:43

Distrii办伴：空间+科技+服务 解决企业办公全生命周期需求

随着人工智能、大数据技术的应用场景逐步扩大，更丰富、更落地的企业服务场景将在不远的未来不断涌现。
娱扒小公主·2024-08-27 19:11

大数据技术之Flume 企业开发案例——负载均衡和故障转移（6）

目录负载均衡和故障转移1）案例需求2）需求分析3）实现步骤负载均衡和故障转移1）案例需求使用Flume1监控一个端口，其sink组中的sink分别对接Flume2和Flume3，采用FailoverSinkProcessor，实现故障转移的功能。2）需求分析故障转移案例3）实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@hadoop12job]$c
大数据深度洞察·2024-08-27 05:58

Spring Boot实战：使用Spring Cloud Stream处理实时交易数据

随着金融市场的快速发展以及大数据技术的广泛应用，实时处理交易数据变得越来越重要。SpringBoot和SpringCloudStream为开发者提供了一个强大的工具组合来构建这样的系统。
潘多编程·2024-08-26 15:17

大数据技术之Zookeeper安装 （2）

目录下载地址本地模式安装1）安装前准备2）配置修改3）操作Zookeeper配置参数解读Zookeeper集群操作集群规划解压安装配置服务器编号配置zoo.cfg文件集群操作Zookeeper集群启动停止脚本创建脚本增加脚本执行权限Zookeeper集群启动脚本Zookeeper集群停止脚本Zookeeper选举机制（面试重点）首次启动选举非首次启动选举关键术语解释下载地址官网首页：ApacheZ
大数据深度洞察·2024-08-26 14:43

大数据技术之Flume事务及内部原理（3）

目录FlumeAgent架构概述FlumeAgent内部工作流程FlumeAgent的配置FlumeAgent内部重要组件ChannelSelectorSinkProcessorApacheFlume是一个分布式的、可靠的、可用的服务，用于有效地收集、聚合和移动大量日志数据。它具有简单灵活的架构，基于流式数据流动模型。Flume主要由三个核心组件组成：Source（源）、Channel（通道）和S
大数据深度洞察·2024-08-26 01:20

大数据技术——RDD编程初级实践

RDD编程初级实践1、需求描述2、环境介绍3、数据来源描述4、数据上传及上传结果查看5、数据处理过程描述1.pyspark交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题6、经验总结1、需求描述在当今社会，随着大数据的快速发展情况下，大数据已经完全融入到我们的生活中。为了适应各种信息化技术的快速发展，我作为计算机专业的学生，学习大数据这项技术是必不可少的。这次的实验是
@璿·2024-08-25 03:04

向量数据库 Milvus：智能检索新时代

基础维护环境搭建建立向量索引数据导入数据更新数据删除用户权限管理Milvus评估与调优性能评估调优技巧Milvus数据安全安全策略数据备份与恢复Milvus扩展性案例演示电影推荐在线广告投放结语随着人工智能和大数据技术的不断进步
三余知行·2024-08-24 11:31

大数据技术--实验03-HBase的安装与使用【实测可行】

1.配置Vmware虚拟机参考第2章的配置，配置好虚拟机。虚拟机配置好后，配置Hbase参考下表的服务分配来配置HBase。机器名主节点ZooKeeperRegionServermaster是是否slave1备份是是slave2否是是2.下载并配置HBase在HBase的官网http://mirrors.cnnic.cn/apache/hbase/下载HBase，其文件为：hbase-1.0.1.
doublexiao79·2024-08-24 08:08

一文详解大数据时代与低代码开发应用

在这个时代，数据成为了一种新的资源，大数据技术的应用成为了推动社会进步的关键力量。而在大数据技术的浪潮中，低代码开发应用也逐渐崭露头角，以其高效、灵活的特点，成为大数据时代的重要支撑。
快乐非自愿·2024-03-24 13:03

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄·2024-03-17 18:57

AI辅助研发：2024年的新趋势与未来展望

一、AI辅助研发的崛起随着计算能力的提升和大数据技术的进步，AI的能力已经达到了新的高度。在研发领域，
AI普惠行者·2024-03-10 22:22

大数据计算技术秘史（上篇）

其实在大数据技术兴起之前，对于用户来讲并没有存储和计算的区分，都是用一套数据库或数据仓库的产品来解决问题。而在数据量爆炸性增长后，情况就变得不一样了。
·2024-02-22 20:33

企业场景中大语言模型的应用实践探索丨Fabarta 技术专栏

01企业数据技术的演进数据技术演进过程首先，我们来看企业数据技术的演进。这张图总结了过去几十年企业数据相关的技术演进过程。从最早的文件系统到现在的分布式图
·2024-02-20 16:42

大数据技术之 Kafka

大数据技术之Kafka文章目录大数据技术之Kafka第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka快速入门
efzy·2024-02-20 07:26

医药零售企业运营BI解决方案 连锁药房大数据解决方案 药店大数据解决方案

通过大数据技术，连锁药店可以更好地了解消费者需求，提供个性化的服务，并优化供应链管理，提高运营效率。技术发展：近年来，大数据技术和人工智能的应用越来越广泛，为企业提供了更多的数据分析和决策支持工具。
Data-Miner·2024-02-20 05:40

学习大数据开发，需要满足哪些条件？学历，性别，专业有限制吗？

我是大专学历可以学习大数据技术吗？我没有计算机基础，可以学习大数据吗？大数据学习是不是很难，零基础能学会吗？我是女生，可以学习大数据技术吗？下面我们针对这些问题来一一作答！
yoku酱·2024-02-19 23:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

如何使用AIGC才能有利于创新能力的培养

人工智能和大数据技术在许多领域中发挥着越来越重要的作用，但过度依赖这些技术可能会对创新能力的培养产生负面影响。首先，过度依赖人工智能和大数据技术可能会导致我们失去独立思考和创新的能力。
人机与认知实验室·2024-02-15 08:06

黄东旭：“向量数据库”还是“向量搜索插件 + SQL 数据库”？丨我对 2024 年数据库发展趋势的思考

如果我们用一个词来总结2023年的数据技术领域，那个词无疑是“急速变革”。我们见
TiDB_PingCAP·2024-02-15 08:24

黄东旭：“向量数据库”还是“向量搜索插件 + SQL 数据库”？丨我对 2024 年数据库发展趋势的思考

如果我们用一个词来总结2023年的数据技术领域，那个词无疑是“急速变革”。我们见
·2024-02-15 03:26

黄东旭：“向量数据库”还是“向量搜索插件 + SQL 数据库”？丨我对 2024 年数据库发展趋势的思考

如果我们用一个词来总结2023年的数据技术领域，那个词无疑是“急速变革”。我们见
·2024-02-15 03:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他