E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据开发入门
如何设计高效的数据湖架构?
1.引言在
大数据
时代,数据湖(DataLake)逐渐成为企业存储和处理海量数据的重要基础设施。相比于传统数据仓库,数据湖能够支持结构化、半结构化和非结构化数据,同时提供更灵活的存储与计算能力。
晴天彩虹雨
·
2025-03-14 02:41
架构
大数据
数据仓库
2024年上半年系统架构设计师论文真题
一、论
大数据
lambda架构
大数据
处理架构是专门用于处理和分析巨量复杂数据集的软件架构。它通常包括数据收集、存储、处理、分析和可视化等多个层面,旨在从海量、多样化的数据中提取有价值的信息。
任铄
·
2025-03-14 02:07
软考2024年上半年真题
系统架构设计师
架构设计
软考
2024
论文
范文
真题
2024年5月份架构师考试论文真题完整版
三、论文1.关于
大数据
的,Lambda架构文老师押中了原题,几乎描述一致撰写关于Lambda架构的软考论文时,一个清晰且结构化的大纲是成功的关键。
Zoi Gil(学习)
·
2025-03-14 01:04
大数据
flink
hdfs
hadoop
python
2024架构设计师论文题目
论文1
大数据
lamda架构1、简要说明你参开发的软件项目,吸你所承担的主要作2、lamada体系架构将数据流分为批处理层(对应的英文、加速层文、服务层。
数字化信息化智能化解决方案
·
2025-03-14 01:01
2024架构
【系统架构设计师】2024年上半年真题论文: 论
大数据
lambda架构(包括解题思路和素材)
更多内容请见:备考系统架构设计师-专栏介绍和目录文章目录真题题目(2024年上半年试题1)解题思路论文素材参考真题题目(2024年上半年试题1)
大数据
处理架构是专门用于处理和分析巨量复杂数据集的软件架构
数据知道
·
2025-03-14 01:29
系统架构
架构
系统架构设计师
软考高级
论文
Java 大视界 -- Java
大数据
中的数据可视化大屏设计与开发实战(127)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-13 22:16
大数据新视界
Java
大视界
java
大数据
信息可视化
数据可视化大屏
跨平台性
类库
设计流程
Python爬虫学习笔记_DAY_26_Python爬虫之requests库的安装与基本使用【Python爬虫】_requests库ip
学习Python门槛很低,但它的晋级路线很多,通过它你能进入机器学习、数据挖掘、
大数据
,CS等更加高级的领域。
苹果Android开发组
·
2025-03-13 21:06
程序员
python
爬虫
学习
【C#】VS2019怎么能无论是Debug还是Release模式,生成路径都在Release文件夹下?
⭐问题⭐解决标题详情作者JosieBook头衔CSDN博客专家资格、阿里云社区专家博主、软件设计工程师博客内容开源、框架、软件工程、全栈(,NET/Java/Python/C++)、数据库、操作系统、
大数据
JosieBook
·
2025-03-13 19:49
#
C#语言
vs
物联网-铁路局“管理工区一张图”实现方案
铁路局“管理公区一张图”实现方案“管理公区一张图”是指通过地理信息系统(GIS)、物联网(IoT)、
大数据
和可视化技术,将铁路局管辖范围内的所有公共区域(如车站、线路、设备、设施等)集成到一张数字化地图上
小赖同学啊
·
2025-03-13 17:36
智能硬件
物联网
算力租赁新趋势揭秘:如何高效利用云计算资源赋能未来
**算力——数字经济的“新石油”在人工智能、
大数据
、区块链等技术重塑全球经济的今天,算力已成为驱动创新的核心引擎。
·
2025-03-13 15:49
探秘Python电影票数据爬虫:Maoyan Spider
探秘Python电影票数据爬虫:MaoyanSpider去发现同类优质开源项目:https://gitcode.com/在
大数据
和数据分析的世界里,高效的数据获取是第一步。
仰北帅Bobbie
·
2025-03-13 11:53
通过 ElasticSearch的Python API和`curl` 命令获取Elasticsearch 所有索引名称
导言在
大数据
管理和实时搜索场景中,Elasticsearch是一款不可或缺的工具。无论是开发调试、数据维护,还是系统监控,快速列出所有索引名称都是一个高频需求。
BigBookX
·
2025-03-13 07:52
elasticsearch
jenkins
大数据
一文看懂web组态
web组态可视化编辑器为工程用户提供了二次开发的可能,不用编程、不用写代码,通过可视化界面即可生成web页面,开发出一个应用系统来,在电力、物联网、
大数据
平台有广泛的应用。
2501_90680076
·
2025-03-13 07:48
物联网
web
数学建模
前端
后端
DeepSeek对于普通打工人来说有什么帮助呢?
而DeepSeek,作为一款基于人工智能和
大数据
分析的职业发展工具,正在为普通打工人提供全新的解决方案。本文将从多个角度探讨DeepSeek对于普通打工人的帮助,分析它如何通过职业规划、
·
2025-03-13 06:32
人工智能
深入
大数据
世界:Kontext.TECH的Hadoop之旅
深入
大数据
世界:Kontext.TECH的Hadoop之旅winutils项目地址:https://gitcode.com/gh_mirrors/winut/winutils在
大数据
的浩瀚宇宙中,Hadoop
钱桦实Emery
·
2025-03-13 04:58
智慧农业平台与 DeepSeek 大模型的深度融合
智慧农业,作为农业现代化的重要发展方向,正借助人工智能、
大数据
等前沿技术,实现从传统到现代的跨越。
jingwang-cs
·
2025-03-13 01:05
人工智能
后端
EasyExcel 使用详解与示例
相比ApachePOI,EasyExcel在处理
大数据
量时表现更优,尤其适合处理百万行级别的Excel文件。2.主要特性高性能:采用流式读写模型,内存占用低,适合
大数据
量处理。
clownAdam
·
2025-03-12 23:24
Java
easyExcel
easyexcel
java
java操作EasyExcel
大数据
学习(61)-Impala与Hive计算引擎
&&
大数据
学习&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博主哦一、impala与yarn资源管理YARN是ApacheHadoop
viperrrrrrr
·
2025-03-12 21:38
学习
impala
hive
yarn
hadoop
大数据
学习(62)- Hadoop-yarn
&&
大数据
学习&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博主哦一、YARN概述1.YARN简介Hadoop-YARN是ApacheHadoop
viperrrrrrr
·
2025-03-12 21:38
大数据
yarn
大数据
学习(60)-HDFS文件结构
&&
大数据
学习&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博主哦一、体系结构HDFS是一个标准的主从(Master/Slave)
viperrrrrrr
·
2025-03-12 21:08
学习
hdfs
hadoop
大数据
面试之路 (三) mysql
将SparkSQL加工后的数据存入MySQL通常基于以下几个关键原因:1.数据应用场景适配OLTP与OLAP分工:SparkSQL擅长处理
大数据
量的OLAP(分析型)任务,而MySQL作为OLTP(事务型
愿与狸花过一生
·
2025-03-12 16:38
大数据
面试
职场和发展
【
大数据
入门】第三章·数据预处理
个人主页:十二月的猫-CSDN博客系列专栏:《小白读透AI原理》_十二月的猫的博客-CSDN博客十二月的寒冬阻挡不了春天的脚步,十二点的黑夜遮蔽不住黎明的曙光目录1.前言2.为什么要进行数据预处理2.1脏数据3.数据预处理分类4.数据清理4.1数据填充4.1.1数据缺失的类型1.完全随机缺失(MissingCompletelyatRandom,MCAR)2.随机缺失(MissingatRandom
十二月的猫
·
2025-03-12 16:35
《小白读透AI原理》
大数据
大数据入门
人工智能入门
数据处理
DeepSeek一键生成可视化看板
一、数据可视化的重要性在
大数据
时代,数据的价值不言而喻。但原始数据往往是繁杂无序
CodeJourney.
·
2025-03-12 13:17
数据库
算法
人工智能
能源
使用Java开发工具包会遇到哪些问题
哈喽,大家好呀,淼淼又来和大家见面啦,Java作为一门广泛应用于企业级应用、安卓开发、
大数据
处理等领域的编程语言,其强大的跨平台能力和丰富的类库支持吸引了无数开发者。
·
2025-03-12 13:58
ios
Hive实用小文件合并方案
#Hive常见故障#
大数据
#生产环境真实案例#Hive#离线数据库#整理#经验总结说明:此篇总结hive常见故障案例处理方案结合自身经历总结不易+关注+收藏欢迎留言Hive实用小文件合并方案请往下翻!!
500佰
·
2025-03-12 12:45
Hive线上问题处理方案
hive
hadoop
数据仓库
大数据
大数据
面试之路 (二) hive小文件合并优化方法
大量小文件容易在文件存储端造成瓶颈,影响处理效率。对此,您可以通过合并Map和Reduce的结果文件来处理。一、合并小文件的常见场景写入时产生小文件:Reduce任务过多或数据量过小,导致每个任务输出一个小文件。动态分区插入:分区字段基数高,每个分区生成少量数据,形成大量小文件。频繁追加数据:通过INSERTINTO多次追加数据,导致文件碎片化。二、合并小文件的核心方法方法1:调整Reduce任务
愿与狸花过一生
·
2025-03-12 12:11
大数据
大数据
hive
hadoop
第八课:Scrapy框架入门:工业级爬虫开发
在当今
大数据
时代,数据抓取已成为信息获取的重要手段。Scrapy作为一个基于Python的开源网络爬虫框架,凭借其高效、灵活的特性,在工业级爬虫开发中占据重要地位。
deming_su
·
2025-03-12 11:05
Python
scrapy
爬虫
python
flink(十一):Table&Sql实现窗口水印计算
文章目录分享说明实现讲解代码总结分享
大数据
博客列表说明本博客每周五更新一次。
羽落风起
·
2025-03-12 11:34
大数据
flink
flink
【愚公系列】2023年10月 WPF控件专题 Path控件详解
《博客内容》:.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、
大数据
、人
愚公搬代码
·
2025-03-12 09:18
wpf
51-53 CVPR 2024 | DriveWorld:通过自动驾驶世界模型进行 4D 预训练场景理解 (含模型数据流梳理)
DriveWorld在UniAD的基础上又有所成长,提升了自动驾驶目标检测、目标追踪、3D占用、运动预测及规划的性能,后期扩
大数据
集和调整骨干网络大小应该会
深圳季连AIgraphX
·
2025-03-12 08:43
aiXpilot
智驾大模型1
自动驾驶
人工智能
AIGC
stable
diffusion
计算机视觉
智慧城市
智能制造中的工业
大数据
分析实践
智能制造中的工业
大数据
分析实践关键词:智能制造,工业
大数据
,数据分析,机器学习,深度学习,预测性维护,质量控制,生产优化文章目录智能制造中的工业
大数据
分析实践1.背景介绍1.1问题的由来1.2研究现状1.3
AI天才研究院
·
2025-03-12 08:12
LLM大模型落地实战指南
AI大模型应用入门实战与进阶
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
Java 大视界 -- 基于 Java 的
大数据
可视化交互设计与实现技巧(105)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-12 07:07
大数据新视界
Java
大视界
java
信息可视化
可视化交互
ECharts
Three.js
实时渲染
AR
可视化
Java 大视界 -- Java
大数据
中的时间序列数据异常检测算法对比与实践(103)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-03-12 07:07
大数据新视界
Java
大视界
java
大数据
算法
时间序列分析
异常检测
孤立森林
LSTM
实施一套先进的智能摄像头服务系统。
一、项目背景随着物联网、人工智能和
大数据
技术的飞速发展,智能摄像头已成为家庭、企业以及公共安全领域的重要设备。其便捷、高效、智能的特点,使得市场需求日益增长。
合方圆~小文
·
2025-03-12 07:04
4G低功耗
模块
A-I智能
人工智能
硬件工程
大数据
记一次多线程导入问题排查过程
记一次多线程导入问题排查过程1.需求2.遇到问题3.排查解决问题1.需求
大数据
量的核对:现在有1000个excel文件,每个excel文件内有21个sheet页,现在要对这些数据进行核对,需要先将这些数据导入到库中
程序辕日记
·
2025-03-12 04:07
java
MySql
java
spring
boot
【
大数据
】
大数据
处理-Lambda架构-Kappa架构
大数据
处理-Lambda架构-Kappa架构elasticsearch-headElasticsearch-sqlclientNLPchina/elasticsearch-sql:UseSQLtoqueryElasticsearch360
weixin_33884611
·
2025-03-12 04:37
大数据
系统架构
2024年
大数据
技术4:Lambda和Kappa架构区别_lambda架构和kappa架构区别,2024年最新你花了多久弄明白架构设计
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上
大数据
知识点,真正体系化!
2401_84182146
·
2025-03-12 03:32
程序员
大数据
面试
学习
大数据
技术4:Lambda和Kappa架构区别_lambda架构和kappa架构区别(3)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!Lambda架构总共由三层系统组成:批处理层(Batc
2301_76348014
·
2025-03-12 03:32
程序员
大数据
面试
学习
mySQL和Hive的区别
Mysql将数据存储在设备或本地系统中;2、数据更新:Hive不支持数据的改写和添加,是在加载的时候就已经确定好了;数据库可以CRUD;3、索引:Hive无索引,每次扫描所有数据,底层是MR,并行计算,适用于
大数据
量
iijik55
·
2025-03-12 00:41
面试
学习路线
阿里巴巴
hive
mysql
大数据
tomcat
面试
【时间序列聚类】从数据中发现隐藏的模式
在
大数据
时代,时间序列数据无处不在。无论是股票市场的价格波动、天气的变化趋势,还是用户的点击行为,这些数据都随着时间推移而产生。然而,面对海量的时间序列数据,我们如何从中提取有价值的信息?
T-I-M
·
2025-03-11 22:45
机器学习
人工智能
时间序列
家居巨头的觉醒,永洪科技为林氏家居开启一站式智慧决策
永洪科技与林氏家居的合作,是共同开发了一个企业级的一站式
大数据
分析平台。在合作多年的积累下,已逐步成为家居行业数字化转型的代表性案例。
永洪科技
·
2025-03-11 19:53
科技
大数据
人工智能
数据分析
数据可视化
报表
Hive在
大数据
集群下的部署
hive安装1)把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下2)解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面tar-zxvf/opt/software/apache-hive-3.1.3-bin.tar.gz-C/opt/module/3)修改apache-hive-3.1.3-bin
正在绘制中
·
2025-03-11 18:47
大数据
大数据
hive
搭建分布式Hive集群
title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-
大数据
搭建分布式Hive集群本次实验环境:Centos7-2009、Hadoop
逸曦玥泱
·
2025-03-11 18:17
大数据运维
分布式
hive
hadoop
斐波拉契数列
大数据
版:斐波拉契数列-
大数据
版输入描述一个正整数n(1≤n≤104)。输出描述斐波那契数列的第n项F(n)。由于结果可能很大,因此将结果对10007取模后输出。样例1输入1输出1解释边界定义:F
RichardK.
·
2025-03-11 17:10
c++
学习
大数据
技术生态圈:Hadoop、Hive、Spark的区别和关系
大数据
技术生态圈:Hadoop、Hive、Spark的区别和关系在
大数据
领域中,Hadoop、Hive和Spark是三个常用的开源技术,它们在
大数据
处理和分析方面发挥着重要作用。
雨中徜徉的思绪漫溢
·
2025-03-11 17:07
大数据
hadoop
hive
flink+kafka实现流数据处理学习
1、概念介绍flink:是一个分布式、高可用、高可靠的
大数据
处理引擎,提供了一种高效、可靠、可扩展的方式来处理和分析实时数据。
上海研博数据
·
2025-03-11 17:06
java
大数据
面试之路 (一) 数据倾斜
记录
大数据
面试历程数据倾斜
大数据
岗位,数据倾斜面试必问的一个问题。一、数据倾斜的表现与原因表现某个或某几个Task执行时间过长,其他Task快速完成。
愿与狸花过一生
·
2025-03-11 17:34
大数据
面试
职场和发展
Zookeeper与Kafka学习笔记
同步等元数据采用层次化数据模型(Znode树结构),每个节点可存储<1MB数据典型应用场景:HadoopNameNode高可用HBase元数据管理Kafka集群选举与状态管理2.设计限制内存型存储,不适合
大数据
量场景数据变更通过版本号
上海研博数据
·
2025-03-11 15:51
zookeeper
kafka
学习
一文理清:阿里系数据中台-数据治理工具集(傻傻也能分清楚)
阿里云提供的
大数据
与数据分析产品种类较多,各产品的定位和核心功能有所不同。
Debug_Snail
·
2025-03-11 14:09
Hadoop
Big
Data
技术工具
人工智能
hadoop
数据仓库
使用LangChain访问个人数据第一章-简介
需要学习提示词工程的同学请看面向开发者的提示词工程需要学习ChatGPT的同学请查看搭建基于ChatGPT的问答系统需要学习LangChian开发的同学请查看基于LangChain开发应用程序正文在
大数据
时代
明志刘明
·
2025-03-11 12:24
大模型学习手册
langchain
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他