040-大数据技术第3页

向量数据库 Faiss 的搭建与使用

向量数据库Faiss的搭建与使用一、引言在人工智能和大数据技术飞速发展的今天，向量数据库作为处理高维数据检索的关键技术，越来越受到重视。

eqa11·2024-08-29 01:14

知识分享系列三：大数据技术（上）

jinruimeng·2024-08-28 07:43

Distrii办伴：空间+科技+服务解决企业办公全生命周期需求

随着人工智能、大数据技术的应用场景逐步扩大，更丰富、更落地的企业服务场景将在不远的未来不断涌现。

娱扒小公主·2024-08-27 19:11

大数据技术之Flume 企业开发案例——负载均衡和故障转移（6）

目录负载均衡和故障转移1）案例需求2）需求分析3）实现步骤负载均衡和故障转移1）案例需求使用Flume1监控一个端口，其sink组中的sink分别对接Flume2和Flume3，采用FailoverSinkProcessor，实现故障转移的功能。2）需求分析故障转移案例3）实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@hadoop12job]$c

大数据深度洞察·2024-08-27 05:58

Spring Boot实战：使用Spring Cloud Stream处理实时交易数据

随着金融市场的快速发展以及大数据技术的广泛应用，实时处理交易数据变得越来越重要。SpringBoot和SpringCloudStream为开发者提供了一个强大的工具组合来构建这样的系统。

潘多编程·2024-08-26 15:17

大数据技术之Zookeeper安装（2）

目录下载地址本地模式安装1）安装前准备2）配置修改3）操作Zookeeper配置参数解读Zookeeper集群操作集群规划解压安装配置服务器编号配置zoo.cfg文件集群操作Zookeeper集群启动停止脚本创建脚本增加脚本执行权限Zookeeper集群启动脚本Zookeeper集群停止脚本Zookeeper选举机制（面试重点）首次启动选举非首次启动选举关键术语解释下载地址官网首页：ApacheZ

大数据深度洞察·2024-08-26 14:43

大数据技术之Flume事务及内部原理（3）

目录FlumeAgent架构概述FlumeAgent内部工作流程FlumeAgent的配置FlumeAgent内部重要组件ChannelSelectorSinkProcessorApacheFlume是一个分布式的、可靠的、可用的服务，用于有效地收集、聚合和移动大量日志数据。它具有简单灵活的架构，基于流式数据流动模型。Flume主要由三个核心组件组成：Source（源）、Channel（通道）和S

大数据深度洞察·2024-08-26 01:20

大数据技术——RDD编程初级实践

RDD编程初级实践1、需求描述2、环境介绍3、数据来源描述4、数据上传及上传结果查看5、数据处理过程描述1.pyspark交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题6、经验总结1、需求描述在当今社会，随着大数据的快速发展情况下，大数据已经完全融入到我们的生活中。为了适应各种信息化技术的快速发展，我作为计算机专业的学生，学习大数据这项技术是必不可少的。这次的实验是

@璿·2024-08-25 03:04

向量数据库 Milvus：智能检索新时代

基础维护环境搭建建立向量索引数据导入数据更新数据删除用户权限管理Milvus评估与调优性能评估调优技巧Milvus数据安全安全策略数据备份与恢复Milvus扩展性案例演示电影推荐在线广告投放结语随着人工智能和大数据技术的不断进步

三余知行·2024-08-24 11:31

大数据技术--实验03-HBase的安装与使用【实测可行】

1.配置Vmware虚拟机参考第2章的配置，配置好虚拟机。虚拟机配置好后，配置Hbase参考下表的服务分配来配置HBase。机器名主节点ZooKeeperRegionServermaster是是否slave1备份是是slave2否是是2.下载并配置HBase在HBase的官网http://mirrors.cnnic.cn/apache/hbase/下载HBase，其文件为：hbase-1.0.1.

doublexiao79·2024-08-24 08:08

一文详解大数据时代与低代码开发应用

在这个时代，数据成为了一种新的资源，大数据技术的应用成为了推动社会进步的关键力量。而在大数据技术的浪潮中，低代码开发应用也逐渐崭露头角，以其高效、灵活的特点，成为大数据时代的重要支撑。

快乐非自愿·2024-03-24 13:03

linux安装单机版spark3.5.0

一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0

爱上雪茄·2024-03-17 18:57

AI辅助研发：2024年的新趋势与未来展望

一、AI辅助研发的崛起随着计算能力的提升和大数据技术的进步，AI的能力已经达到了新的高度。在研发领域，

AI普惠行者·2024-03-10 22:22

大数据计算技术秘史（上篇）

其实在大数据技术兴起之前，对于用户来讲并没有存储和计算的区分，都是用一套数据库或数据仓库的产品来解决问题。而在数据量爆炸性增长后，情况就变得不一样了。

·2024-02-22 20:33

040-安全开发-JavaEE应用&SpringBoot框架&JWT身份鉴权&打包部署JAR&WAR

040-安全开发-JavaEE应用&SpringBoot框架&JWT身份鉴权&打包部署JAR&WAR#知识点：1、JavaEE-SpringBoot-身份鉴权-JWT技术2、JavaEE-SpringBoot

wusuowei2986·2024-02-20 13:09

大数据技术之 Kafka

大数据技术之Kafka文章目录大数据技术之Kafka第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka快速入门

efzy·2024-02-20 07:26

医药零售企业运营BI解决方案连锁药房大数据解决方案药店大数据解决方案

通过大数据技术，连锁药店可以更好地了解消费者需求，提供个性化的服务，并优化供应链管理，提高运营效率。技术发展：近年来，大数据技术和人工智能的应用越来越广泛，为企业提供了更多的数据分析和决策支持工具。

Data-Miner·2024-02-20 05:40

学习大数据开发，需要满足哪些条件？学历，性别，专业有限制吗？

我是大专学历可以学习大数据技术吗？我没有计算机基础，可以学习大数据吗？大数据学习是不是很难，零基础能学会吗？我是女生，可以学习大数据技术吗？下面我们针对这些问题来一一作答！

yoku酱·2024-02-19 23:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，

hyunbar·2024-02-19 13:39

如何使用AIGC才能有利于创新能力的培养

人工智能和大数据技术在许多领域中发挥着越来越重要的作用，但过度依赖这些技术可能会对创新能力的培养产生负面影响。首先，过度依赖人工智能和大数据技术可能会导致我们失去独立思考和创新的能力。

人机与认知实验室·2024-02-15 08:06

可怕？机器可能比你自己更了解你——《魔鬼统计学》告诉你原因

如果你也是和数据打交道的人，你可能知道，在这些应用的背后，大数据技术和人工智能技术正在主导着一切。但对于

书山指路侠·2024-02-15 01:12

【读书笔记】《大数据技术体系详解：原理，架构与实践》06.大数据计算引擎篇

批处理引擎MapReduceMapReduce是一个经典的分布式批处理计算引擎，被广泛应用于搜索引擎索引构建、大规模数据处理等场景中，具有易于编程、良好的扩展性与容错性以及高吞吐率等特点。它主要由两部分组成：编程模型和运行时环境。其中，编程模型为用户提供了非常易用的编程接口，用户只需像编写串行程序一样实现几个简单的函数即可实现一个分布式程序，而其他比较复杂的工作，如节点间的通信、节点失效、数据切分

粥一样温柔·2024-02-14 15:01

家政小程序系统源码开发：引领智能生活新篇章

一、家政小程序的发展趋势1.智能化：借助人工智能和大数据技术，家政小程序能够为用户提供更加个性化、精准的家

weixin_17729722069·2024-02-14 10:42

Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践

一、前言随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。

yiyidsj·2024-02-14 07:08

【更新】企业数字化转型-年度报告175个词频、文本统计

参考管理世界中吴非（2021）的做法，对人工智能技术、大数据技术、云计算技术、区块链技术、数字技术运用五个维度76个数字化相关词频进行统计。

samLi0620·2024-02-13 07:40

基于大数据技术的用户日志数据分析及可视化平台搭建项目代码及数据集

目录大数据专业实习报告........................................................................................................11.项目概述..............................................................................

yushibing717·2024-02-12 17:44

大数据视频教程百度网盘下载

同时，人们又试图用深度学习这样新的思路去解决过去MapReduce和Spark已经解决的问题，这也意味着大数据技术开始进入3.0时代。在这个全新阶段，可以看到整个市场上已经可以提

QFdongdong·2024-02-12 16:42

Hadoop：认识MapReduce

总的来说，MapReduce是大数据技术中的一个重要概念，它在Ha

爱写代码的July·2024-02-12 06:41

大数据技术之 Flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。骚戴理解：注意这里是日志采集，也就是只能采集文本类型的数据！Flume的作用的特点就是可以实时采集！1.2Flume基础架构Flume组成架构如下图所示1.2.1AgentAgent是一个JVM进程，它以事件的形式将数据从源头送

骚戴·2024-02-11 09:34

报表任务治理计划

背景介绍近些年来，大数据技术得到了很广的应用，支撑了业务的快速发展。作为大数据的平台部门，提供了大数据相关的基础能力，业务同学借助于大数据的底层赋能完成更偏向业务的需求开发。

liujianhuiouc·2024-02-10 12:46

酷开科技AIGC技术：重塑多媒体内容与交互体验

同时，借助云计算和大数据技术，

京创尤品·2024-02-10 08:55

e5 服务器具备哪些性能特点？

随着云计算和大数据技术的不断发展，服务器作为数据中心的核心设备，其性能特点也日益受到关注。其中，E5服务器作为当前主流的服务器类型之一，具备许多优秀的性能特点。

恒创HengHost·2024-02-10 07:17

上海巡检app开发哪家好｜开发多少钱｜有哪些流程

开发-联系电话：13642679953（微信同号）上海巡检app是一款基于移动互联网和大数据技术的巡检软件，旨在为企业提供更快速、准确、便捷的巡检解决方案。

红匣子实力推荐·2024-02-09 17:14

使用 Kubernetes 部署 Flink 应用

作者:薄荷脑https://blog.csdn.net/zjerryj/article/details/100063858大数据技术与架构点击右侧关注，大数据开发领域最强公众号！

王知无(import_bigdata)·2024-02-09 06:38

大数据从何学起？大数据脑图+学习路线清晰的告诉你！

【大数据开发学习资料领取方式】：加入大数据技术学习交流扣扣群458345782，点击加入群聊，私信管理员即可免费领取第一阶段linux+搜索+hadoop体系Linux基础→sh

yoku酱·2024-02-08 18:16

深入理解Spark的前世今生

Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。

闲云野鹤~~~·2024-02-08 14:01

大数据技术闲侃之-鹰隼试翼风尘翕张

前言似乎是需要把一系列串起来，继走出校门、岗位选择之后，现在又开始卷职业规划了，有同学提出想了解了解职业规划的事情。写这篇文章也是因为之前做了个开头，后续持续很久放在记事本上面吃灰了。这段时间呢，组里有3位刚从校园的同学进来，组里年龄瞬间拉低了一个很大的水平，不管愿不愿意，反正生理年龄上来了一场风暴式的洗牌，主要找工作这个事情上如果相同水平的话，肯定越小的未来潜力越大嘛。我自己也是参与到了这些新鲜

敏叔V587·2024-02-08 11:41

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python

道-闇影·2024-02-08 06:07

大数据到底是干什么用的？

大数据这个词已经被炒的满天飞，还有的人说它是泡沫，现在什么东西即使没用大数据技术也要加个大数据概念，要不都觉得落伍了，当然这是迎合宣传的手段，不过搞虚假宣传还是不太好的。

web前端05·2024-02-08 01:46

基于新型存储的大数据存储管理

基于新型存储的大数据存储管理金培权1,21.中国科学技术大学计算机科学与技术学院，安徽合肥2300272.中国科学院电磁空间信息重点实验室，安徽合肥230027摘要：如何高效地存储大数据并支持实时大数据处理与分析是大数据技术发展面临的首要问题

唐名威·2024-02-07 21:21

学习大数据需要掌握哪些知识？

大数据技术体系庞大，包括的知识较多，系统的学习大数据可以让你全面掌握大数据技能。学习大数据需要掌握哪些知识？1、学习大数据首先要学习Java基础怎样进行大数据学习的快速入门？

大数据学习01·2024-02-07 15:16

Apache Iceberg 是什么？

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2024-02-07 10:57

otter,阿里巴巴分布式数据库同步系统

微信公众号：大数据左右手专注于大数据技术，人工智能和编程语言个人既可码代码也可以码文字。

大数据左右手·2024-02-07 09:04

数据湖与数据仓库

但是随着大数据技术的融合发展，数据湖不断演变，汇集了各种技术，包括数据仓

四月天03·2024-02-07 05:36

合肥工业大学2022大数据技术实验二

实验序号及名称：实验二在Hadoop平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在Hadoop平台上部署WordCount程序。二、实验任务∶该项任务请同学作为作业自行完成，并提交实验报告。脱离ide环境运行wordcount三、实验准备方案，包括以下内容：（硬件类实验：实验原理、实验线路、设计方案等）（软件类实验：所采用的系统、组件、工具、核心方法、

一头骇人鲸·2024-02-07 05:00

官宣|九章云极DataCanvas核心产品通过 “可信大数据”权威评测

“可信大数据”评估评测已经走过了7个年头，中国信通院紧跟大数据技术发

九章云极DataCanvas·2024-02-07 01:22

关于数字孪生，你了解多少？成品孪生风机的酷炫，欣赏一下～

随着3D建模技术、大数据技术等技术的提升，2014年DigitalTwin这个概念又重新回到了人们的视线里。简单来说，数字孪生就是对真实存在的物理系统的一个虚拟复制品，虚拟体

战未科技·2024-02-06 15:08

深度学习驱动下的自然语言处理进展及其应用前景

前言自然语言处理（NLP）是一项正在迅速发展的技术，它利用深度学习和大数据技术，让计算机能够更好地理解和生成人类语言。随着NLP的不断进步，我们对于计算机理解和应用语言的能力也取得了显著的提升。

想你依然心痛·2024-02-06 07:46

大数据时代的新型数据库 — 图数据库 Neo4j 的应用

概览微云数聚（北京）科技有限公司是一家实力雄厚的大数据技术公司，由移动互联网技术专家团队、大数据专业团队和建模博士团队组成。

weixin_33766805·2024-02-05 19:49

大数据技术应用场景

大数据技术产品大数据技术产品大数据技术分类：存储，计算，资源管理1.存储：(1)最基本的存储技术是HDFS:比如在企业应用中，会把通过各种渠道得到的数据，比如关系数据库的数据、日志数据、应用程序埋点采集的数据

大数据基础入门教程·2024-02-05 16:08

推荐频道

040-大数据技术