E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据—Hadoop
上海市闵行区数据局调研云轴科技ZStack,共探数智化转型新路径
区
大数据
中心主任李一及相关业务科室负责人参与调研。云轴科技ZStack详细介绍了其在智算平台的实践探索与成功案例,充分展现了企业
ZStack开发者社区
·
2025-03-06 19:15
人工智能
云计算
科技
大数据
学习Flink:一场
大数据
世界的奇妙冒险
学习Flink:一场
大数据
世界的奇妙冒险嘿,朋友们!
狮歌~资深攻城狮
·
2025-03-06 17:29
大数据
从数据中挖掘洞见:初探数据挖掘的艺术与科学
作为
大数据
领域的自媒体创作者,我笔名Echo_Wish,在这篇文章中,我将带领大家初探数据挖掘的奥秘,揭示如何从数据中寻找隐藏的模式。什么是数据挖掘?
Echo_Wish
·
2025-03-06 16:23
大数据
数据挖掘
人工智能
大数据
环境(单机版) Flume传输数据到Kafka
文章目录前言一、准备二、安装三、配置环境变量四、修改配置4.1、kafka配置4.2、Flume配置五、启动程序5.1、启动zk5.2、启动kafka5.3、启动flume六、测试6.1、启动一个kafka终端,用来消费消息6.2、写入日志其他前言flume监控指定目录,传输数据到kafka一、准备flume-1.10.1kafka_2.11-2.4.1zookeeper-3.4.13二、安装使用
凡许真
·
2025-03-06 11:44
大数据
flume
kafka
数据采集
hdfs HA 机制, 一台 namenode 宕机了, joualnode , namenode , edit.log fsimage 的 变 化?思维导图 代码示例(java 架构)
HDFS(
Hadoop
DistributedFileSystem)的高可用性(HA,HighAvailability)机制旨在解决单点故障问题,确保即使在NameNode出现故障的情况下,文件系统仍然可以继续正常工作
用心去追梦
·
2025-03-06 10:00
hdfs
java
架构
【
大数据
平台】
大数据
平台的云迁移策略
⭐️
大数据
平台建设指南:全面讲解从数据采集到数据可视化的整个过程,掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python:初识、了解与热恋》:涵盖了Pytho
野老杂谈
·
2025-03-06 06:01
大数据平台建设指南
大数据
大数据平台
云计算
云迁移
数据同步
IntelliJ IDEA + Maven环境编写第一个
hadoop
程序
1.新建IntelliJ下的maven项目点击File->New->Project,在弹出的对话框中选择Maven,JDK选择你自己安装的版本,点击Next2.填写Maven的GroupId和ArtifactId你可以根据自己的项目随便填,点击Next这样就新建好了一个空的项目这里程序名填写WordCount,我们的程序是一个通用的网上的范例,用来计算文件中单词出现的次数3.设置程序的编译版本打开
IT独白者
·
2025-03-06 06:00
hadoop
hadoop
hadoop
Hadoop
是一个用于分布式存储和处理大规模数据的开源框架,它的架构主要由以下几个核心组件组成:1.
Hadoop
生态系统核心组件
Hadoop
的核心架构主要包括HDFS(
Hadoop
DistributedFileSystem
百里自来卷
·
2025-03-06 06:00
hadoop
大数据
分布式
云上
大数据
平台的优化:提升效率与可靠性的实践
云上
大数据
平台的优化:提升效率与可靠性的实践随着云计算和
大数据
技术的快速发展,越来越多的企业选择将其数据处理和分析工作迁移到云上。
Echo_Wish
·
2025-03-06 05:54
大数据高阶实战秘籍
大数据
第一个
Hadoop
程序
编写和运行第一个
Hadoop
程序是学习
Hadoop
的重要步骤。以下是一个经典的“WordCount”程序示例,它统计文本文件中每个单词出现的次数。
lqlj2233
·
2025-03-06 05:53
hadoop
大数据
分布式
在虚拟机上安装
Hadoop
全攻略
在虚拟机上安装
Hadoop
是进入
大数据
处理和分析领域的重要一步。
麻芝汤圆
·
2025-03-06 05:22
spark大数据分析
hadoop
大数据
分布式
windows
linux
服务器
Mongodb数据库的基本语法及使用
数据库MongoDB(芒果数据库)数据存储阶段文件管理阶段(.txt.doc.xls)优点:数据可以长期保存可以存储大量的数据使用简单缺点:数据一致性差数据查找修改不方便数据冗余度可能比较
大数据
库管理阶段优点
璟*
·
2025-03-06 00:38
Python
132java ssm springboot基于
大数据
的吉林省农村产权交易数据分析可视化平台系统(源码+文档+运行视频+讲解视频)
文章目录系列文章目录目的前言一、详细视频演示二、项目部分实现截图三、技术栈后端框架springboot前端框架vue持久层框架MyBaitsPlus系统测试四、代码参考源码获取目的摘要:本文介绍了基于JavaSSM和SpringBoot开发的吉林省农村产权交易数据分析可视化平台系统,为农村产权交易市场提供决策支持。系统前端利用HTML、CSS和JavaScript构建直观的可视化界面,后端运用Ja
QQ2279239102
·
2025-03-05 23:36
spring
boot
大数据
数据分析
开发语言
maven
vue.js
系统对接方案_浅谈RPA系统
首先本文是有感而发,其次是我本身是
大数据
和人工智能领域产品多年从业者,并不局限于RPA领域,做过一些RPA项目也和客户沟通并且提供过顾问和咨询服务,所以有一定理解。
weixin_39881760
·
2025-03-05 23:34
系统对接方案
【自学笔记】
Hadoop
基础知识点总览-持续更新
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录
Hadoop
基础知识点总览1.
Hadoop
简介2.
Hadoop
生态系统3.HDFS(
Hadoop
DistributedFileSystem
Long_poem
·
2025-03-05 22:24
笔记
hadoop
大数据
一文揭秘!Java 如何与 Elasticsearch 完美 “牵手”?
在当今
大数据
和高并发的时代,高效的数据检索与分析变得愈发关键。Elasticsearch作为一款强大的分布式搜索和分析引擎,受到了广泛青睐。
程序员顾茗
·
2025-03-05 21:49
java
elasticsearch
【AI深度学习基础】Pandas完全指南入门篇:数据处理的瑞士军刀 (含完整代码)
Pandas系列文章导航入门篇进阶篇终极篇一、引言在
大数据
与AI驱动的时代,数据预处理和分析是深度学习与机器学习的基石。
arbboter
·
2025-03-05 20:08
人工智能
人工智能
深度学习
pandas
数据处理
数据分析
数据清洗
数据分析效率提升
对“预训练”的理解
在平常的任务或者项目中,我们可能并没有大量数据,只有少量数据,在这时我们就可以通过“借用”有
大数据
支持的模型的参数,作为基准,这样就能提高效率和准确率。
衣衣困
·
2025-03-05 18:59
深度学习
神经网络
自然语言处理
Java 大视界 -- Java
大数据
机器学习模型的可解释性增强技术与应用(107)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-05 18:55
大数据新视界
Java
大视界
大数据
java
可解释性
AI
SHAP
LIME
因果推理
可视化交互
Java 大视界 -- Java
大数据
在智慧环保污染源监测与预警中的应用(104)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-05 18:25
大数据新视界
Java
大视界
java
大数据
智慧环保
污染源监测
实时预警
Flink
LSTM
Java 大视界 -- Java
大数据
分布式文件系统的性能调优实战(101)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-05 18:25
大数据新视界
Java
大视界
java
大数据
Java
大数据
分布式文件系统
性能调优
HDFS
Impala
Java 大视界 -- 深入剖析 Java
大数据
实时 ETL 中的数据质量保障策略(97)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-05 18:25
大数据新视界
Java
大视界
Java大数据
实时ETL
数据质量保障
数据清洗
数据校验
机器学习算法
统计方法
Java 大视界 -- 绿色
大数据
:Java 技术在节能减排中的应用与实践(90)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-05 18:55
大数据新视界
Java
大视界
java
大数据
绿色大数据
节能减排
算法优化
分布式计算
资源管理
Java 大视界 --
大数据
伦理与法律:Java 技术在合规中的作用与挑战(87)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-05 18:25
大数据新视界
Java
大视界
java
大数据
大数据伦理
大数据法律
数据加密
访问控制
应对策略
Java 大视界 -- 区块链赋能 Java
大数据
:数据可信与价值流转(84)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-05 18:24
大数据新视界
Java
大视界
java
大数据
数据可信
价值流转
智能合约
共识机制
区块链
Java 大视界 -- 基于 Java 的
大数据
流处理容错机制与恢复策略(113)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-05 17:50
大数据新视界
Java
大视界
java
大数据
流处理
容错机制
Checkpoint
Exactly-Once
故障恢复
大智能:
大数据
+大模型+大算力_大算力
大数据
大模型
在近日举行的“2022中国人工智能产业年会”主论坛上,中国人工智能学会监事长、中国工程院院士蒋昌俊在报告中表示,人工智能的发展已经历了数十年的过程,大模型ChatGPT在今年春节前后突然出现,大家还没有来得及深度思考就已经“扑面而来”。蒋昌俊大智能的研究进展科学技术的研究约分为两大范式,一是牛顿力学奠定了理论计算的范式,二是开普勒开启数据的范式。之后经历了实验归纳、理论的逻辑推演,以及计算模拟、最
AI学习不迷路
·
2025-03-05 14:13
大数据
大模型
人工智能
语言模型
ai
产品经理
算力
场景题:有40亿个QQ号如何去重?仅1GB内存
仅1GB内存场景题也有一些套路可以考虑,比如去重、判断给定数据是否存在1.
大数据
去重1.1现在有40亿个QQ号如何去重?
·
2025-03-05 11:11
后端java面试
spark hdfs 常用命令
lsrmgettext以下按照使用频率和使用先后顺序排序(纯个人习惯)ls列出hdfs文件系统路径下的目录和文件hdfsdfs-ls列出hdfs文件系统路径下所有的目录和文件hdfsdfs-ls-Rrm
hadoop
fs-rm
毛球饲养员
·
2025-03-05 11:19
spark
spark
hdfs
国产化替代 | 星环科技TDH替代IBM数仓,助力城商行构建湖仓一体平台
某城市商业银行在此背景下,启动数据仓库系统升级项目,将数据仓库从IBMNetezza迁移到星环科技
大数据
基础平台TDH,不但成功实现了数据仓库的国产化替代,还建设了新一代的湖仓一体平台,为银行业务发展提供新
·
2025-03-05 11:08
ibm
Spark详解二
masterlocal[2](local[2]是说,执行Application需要用到CPU的2个核)2、Standalone独立模式:Spark自带的一种集群模式Spark自己管理集群资源,此时只需要将
Hadoop
卢子墨
·
2025-03-05 11:13
Spark原理
实战
总结
spark
Spark基本命令
一、spark所在目录cdusr/local/spark二、启动spark/usr/local/spark/sbin/start-all.sh启动
Hadoop
以及Spark:bash.
chenworeng5605
·
2025-03-05 10:42
大数据
scala
shell
大数据
与网络安全讲座
点击文末小卡片,免费获取网络安全全套资料,资料在手,涨薪更快
大数据
的价值为大家公认。
黑客Jack
·
2025-03-05 10:10
大数据
web安全
单例模式
FlinkCEP社区资源指南:学习与交流平台
FlinkCEP社区资源指南:学习与交流平台1.背景介绍ApacheFlink是一个开源的分布式
大数据
处理引擎,支持有状态计算和准确一次的流处理语义。
AI大模型应用之禅
·
2025-03-05 10:09
DeepSeek
R1
&
AI大模型与大数据
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
深入探秘FlinkCDC:实时数据处理的新利器
一、写在前面在
大数据
领域持续蓬勃发展的当下,数据的实时处理与分析变得愈发关键。
lucky_syq
·
2025-03-05 10:08
大数据
大数据
flink
Spark是什么?可以用来做什么?
它最初由加州大学伯克利分校开发,现已成为
大数据
处理领域的核心工具之一。相比传统的
Hadoop
MapReduce,Spark在速度、易用性和功能多样性上具有显著优势。
Bugkillers
·
2025-03-05 10:37
大数据
spark
大数据
分布式
遨游防爆智能终端“问诊”工业制造,开出数据采集“良方”
在数据驱动的时代,唯有采集足够规模的工业数据,方能支撑起基于工业
大数据
的深度分析与智能决策,从而驱动传统产业的蜕变与升级。但是,数据采集之路并非坦途,面临着设备协议多样、接口不一等挑战。
AORO_BEIDOU
·
2025-03-05 00:51
制造
Elasticsearch冷热分离与索引生命周期管理
背景信息当今
大数据
时代,数据时刻在更新变化。尤其是随着时间的积累,存储在Elasticsearch中的数据会越来越多,当数据达到一
Cloud_Tech
·
2025-03-04 23:44
elasticsearch
大数据
数据分析
数据库
阿里云
什么是预训练?
一、介绍预训练模型诞生背景:对于某种特殊任务只存在少量的相关训练数据,以至于模型不能从中学习到有用的规律(标注资源稀缺,无
大数据
支持)举例:想对一批法律领域的文件进行关系抽取,就需要投入大量的精力(意味着时间和金钱的大量投入
卡卡大怪兽
·
2025-03-04 23:44
自然语言处理
如何使用DeepSeek进行高效数据挖掘与分析
##摘要随着
大数据
时代的到来,数据挖掘与分析技术在各行各业中扮演着越来越重要的角色。DeepSeek作为一种先进的数据挖掘工具,能够帮助用户从海量数据中提取有价值的信息。
Small踢倒coffee_氕氘氚
·
2025-03-04 22:09
笔记
经验分享
迭代器模式
大数据
面试临阵磨枪不知看什么?看这份心理就有底了-
大数据
常用技术栈常见面试100道题
目录1描述
Hadoop
的架构和它的主要组件。2MapReduce的工作原理是什么?3什么是YARN,它在
Hadoop
中扮演什么角色?4Spark和
Hadoop
MapReduce的区别是什么?
大模型大数据攻城狮
·
2025-03-04 21:59
大数据
面试
职场和发展
面试题
数据仓库
算法
Spark使用Parqute存储方式有什么好处
列式存储:压缩效率和查询效率谓词下推存储层:查询数据块生态兼容性高:Spark,
hadoop
等都兼容
冰火同学
·
2025-03-04 21:27
Spark
spark
2023年上海市浦东新区网络安全管理员决赛理论题样题
正确(1)保护对象改变等保1.0保护的对象是信息系统,等保2.0增加为网络和信息系统,增加了云计算、
大数据
、工业控制系统、物联网、移动物联技术、网络基础设施等保护对象,实现了全方面的覆盖。
afei00123
·
2025-03-04 20:50
网络安全&云安全
考证狂魔
web安全
安全
网络安全
阿里云
基于springboot+vue在线小说阅读平台系统(源码+lw+部署文档+讲解等)
等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌主要内容:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、
大数据
QQ3295391197
·
2025-03-04 20:16
Java毕业设计项目
spring
boot
vue.js
后端
《DataWorks:为人工智能算法筑牢高质量数据根基》
阿里巴巴的DataWorks,作为一款强大的
大数据
开发治理平台,在
·
2025-03-04 19:16
人工智能深度学习
基于Generator生成器的分离式导出CSV
在这个过程中,我发现了PHP中的生成器(Generator),这是一个非常强大的工具,特别适合处理
大数据
场景。本文将详细介绍生成器的概念、工作原理、优势以及如何利用生成器
·
2025-03-04 18:15
DAMA数据管理知识体系全接触-数据治理-
大数据
第1章数据管理1.1引言数据管理的定义:是为了交付、控制、保护并提升数据和信息资产的价值,在其整个生命周期中制定计划、制度、规程和实践活动,并执行和监督的过程。数据管理专业人员的定义:是指从事数据管理各方面的工作(从数据全生命周期的技术管理工作,到确保数据的合理利用及发挥作用),并通过其工作1.1.1业务驱动因素数据管理的主要驱动力:使组织能够从其数据资产中获取价值。1.1.2目标1)理解并支撑企
我思故我在6789
·
2025-03-04 18:38
运维专栏
架构师专栏
大数据专栏
架构
安全
【
大数据
专题】Flink题库
1.简述什么是ApacheFlink?ApacheFlink是一个开源的基于流的有状态计算框架。它是分布式地执行的,具备低延迟、高吞吐的优秀性能,并且非常擅长处理有状态的复杂计算逻辑场景2.简述Flink的核心概念?Flink的核心概念主要有四个:EventStreams、State、Time和Snapshots。(1)EventStreams:即事件流,事件流可以是实时的也可以是历史的。Flin
我思故我在6789
·
2025-03-04 18:37
大数据专栏
大数据
flink
工作流调度必看!2025年这四大核心趋势你不能不懂
而
大数据
工作流调度系统,就像是一位精准的指挥家,协调着数据处理流程中的各个环节,确保数据的高效流动与价值释放。那么,究竟什么是
大数据
工作流调度系统?它在当前的技术版图中处于何种地位?
·
2025-03-04 18:36
数据库
Java软件架构中的服务拆分与数据库分片实践
随着电商、金融等行业系统规模的不断扩大,传统的单体架构往往难以满足性能和扩展性要求,服务拆分与数据库分片已成为高并发、
大数据
场景下的核心解决方案。
省赚客app开发者
·
2025-03-04 16:50
java
数据库
开发语言
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他