E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark大数据云原生
Python 操作
大数据
使用 Hadoop
参考:https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client=InsecureClient("http://localhost:9000",user="xiaokkk")#测试连接print(hdfs_client.status("/")){'access
静听山水
·
2024-09-07 17:47
Hadoop
hadoop
pyflink 滚动窗口实例
写在前头:更多
大数据
相关精彩内容请进我的知识星球,每周定期更新正篇技术路线:模拟kafka生产者发送数据——>flink对kafka数据实时计算处理——>处理后的数据发送到kafka1、模拟客流数据的生产者
菜鸟社长
·
2024-09-07 15:31
菜鸟的大数据进阶之路
大数据进阶之路
kafka
big
data
python
flink
【
大数据
Big DATA】
大数据
解决方案,提供完整的
大数据
采集,
大数据
存储,
大数据
处理,具体业务应用解决方案
大数据
解决方案是指利用
大数据
技术,结合企业实际业务需求,为企业提供数据采集、存储、处理、分析和报告等一站式服务,以帮助企业更好地利用
大数据
提高运营效率、优化决策制定。
_晓夏_
·
2024-09-07 13:22
JAVA大数据
大数据解决方案
大数据BIG
DATA
大数据采集
大数据存储
大数据处理
大数据分析
HiveSQL一本通 - 案例实操,2024年最新
大数据
开发编程基础班
count(stu_id)stu_countfromscore_infogroupbycourse_idhavingstu_count>=15;(3)查询结果。course_idstu_count0119021903196.3.4查询结果排序和分组指定条件1.查询学生的总成绩并按照总成绩降序排序(1)思路分析。本题主要考查分组聚合和orderby关键字的使用。(2)查询语句。hive>select
疯狂的石头。
·
2024-09-07 13:47
程序员
大数据
Apache Flink 替换
Spark
Stream的架构与实践( bilibili 案例解读)_stream
spark
flink加载udf(1)
bilibili早期使用的引擎是
Spark
Streaming,后期扩展了Flink,在开发架构中预留了一部分引擎层的扩展。最下层是状态存储
2401_84165953
·
2024-09-07 12:44
程序员
flink
spark
架构
【K8S】K8S架构及相关组件
文章目录1K8S总体架构2相关组件2.1控制面板组件2.2节点组件2.3附加组件写在最后1K8S总体架构K8S,全称Kubernetes,是一个开源的容器部署和管理平台,由Google开发,后捐献给
云原生
计算基金会
兴趣使然黄小黄
·
2024-09-07 12:43
测试开发知识库
Kubernetes
kubernetes
架构
容器
大数据
测试
大数据
测试主要测试的点涵盖了多个方面,以确保
大数据
系统能够正常运行并满足业务需求。
这不巧了
·
2024-09-07 10:32
大数据
测试工具
hadoop
MySQL 子查询与复杂查询的优化
⭐️
大数据
平台建设指南:全面讲解从数据采集到数据可视化的整个过程,掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python:初识、了解与热恋
野老杂谈
·
2024-09-07 09:23
mysql
数据库
子查询
复杂查询
查询优化
性能提升
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd
DataFrame.show()使用格式:df.show()df.show(1)+---+---+-------+----------+-------------------+|a|b|c|d|e|+---+---+-------+----------+-------------------+|1|2.0|string1|2000-01-01|2000-01-0112:00:00|+---+---
2401_84187537
·
2024-09-07 08:47
数据分析
数据挖掘
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd(1)
dfDataFrame[a:bigint,b:double,c:string,d:date,e:timestamp]####通过由元组列表组成的RDD创建rdd=
spark
.
spark
Context.parallelize
2401_84181368
·
2024-09-07 08:46
程序员
数据分析
数据挖掘
Py
Spark
数据分析基础:Py
Spark
基础功能及DataFrame操作基础语法详解_py
spark
rdd(2)
轻松切换到pandasAPI和Py
Spark
API上下文,无需任何开销。有一个既适用于pandas(测试,较小的数据集)又适用于
Spark
(分布式数据集)的代码库。
2401_84181403
·
2024-09-07 08:46
程序员
数据分析
数据挖掘
Py
spark
DataFrame常用操作函数和示例
针对类型:py
spark
.sql.dataframe.DataFrame目录1.打印前几行1.1show()函数1.2take()函数2.读取文件2.1
spark
.read.csv3.获取某行某列的值(
还是那个同伟伟
·
2024-09-07 08:15
Spark
人工智能
机器学习
pandas
pyspark
spark
游卡,三七互娱,得物,顺丰,快手,oppo,康冠科技,途游游戏,埃科光电25秋招内推
游卡,三七互娱,得物,顺丰,快手,oppo,康冠科技,途游游戏,埃科光电25秋招内推①顺丰【招聘岗位】研发、算法、
大数据
、产品、项管、设计、人资等【官方内推码】4FOLXH【一键内推】https://sourl.cn
weixin_53585422
·
2024-09-07 08:43
求职招聘
算法
java
python
科技
c++
大数据
大数据
系列 | Kafka架构分析及应用
大数据
系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka
降世神童
·
2024-09-07 07:42
大数据技术专栏
大数据
kafka
架构
Python处理
大数据
,如何提高处理速度
Python处理
大数据
,如何提高处理速度?
RS&
·
2024-09-07 07:08
#
python
python
大数据
pandas
Vatee万腾平台:技术赋能,驱动产业升级新动力
通过云计算、
大数据
、人工智能等前沿技术的深度融合与应
自媒体经济说
·
2024-09-07 07:07
vatee万腾
生活
Vatee万腾平台:智慧引领,赋能企业未来
Vatee万腾平台凭借深厚的技术积淀和丰富的行业经验,成功打造了一个集
大数据
、云计算、人工智能等先进技术于一体的综合性平台。
自媒体经济说
·
2024-09-07 07:07
vatee万腾
其他
【AI大模型】使用AI大模型进行企业数据分析与决策支持
引言随着
大数据
时代的到来,企业面临
季风泯灭的季节
·
2024-09-07 07:36
AI大模型应用技术二
人工智能
数据分析
数据挖掘
Python Pandas
大数据
处理
pandas处理过
大数据
时间太长或者没有响应可以使用chunksize将数据分段处理并拼接importpandasaspddf=pd.DataFrame()forchunkinpd.read_csv('
艾杰Hydra
·
2024-09-07 07:05
Python
pandas
python
数据分析
微信年度大会
这就是
大数据
时代吧!后面会分析一下,从微信总结里面我看到的内容!
sydMobile
·
2024-09-07 06:28
邀您一起编写《架构演进之路》
笔者介绍二、写书起源1.B站讲课2.编辑邀约三、书籍申报信息1书籍目录2书籍简介3选题和特色四、谈一谈为什么要发起合力写书这件事1定位2目标3作用4当前坑位五、提示六、结束语前言本书技术栈涉及前后端、
大数据
猿脑2.0
·
2024-09-07 05:57
架构演进之路
架构
大数据
webgl
vue
ai
java
后端
Apache APISIX 介绍
ApacheAPISIX是一个动态、实时、高性能的
云原生
API网关,属于Apache软件基金会旗下的项目。
D哈迪斯
·
2024-09-07 05:54
服务器
apache
Spark
概念知识笔记
最近总结了个人的各项能力,发现在
大数据
这方面几乎没有涉及,因此想补充这方面的知识,丰富自己的知识体系,
大数据
生态主要包含:Hadoop和
Spark
两个部分,
Spark
作用相当于MapReduceMapReduce
kuntoria
·
2024-09-07 05:21
Vue-技巧
V-bind="$attrs",V-bon="listeners"来获取到没有定义的props以及方法3.Object.freeze:1.
大数据
的时候,如果有一些数据不需要响应式变化,既可以拆分组件,做
菜鸟出动大神让路
·
2024-09-07 04:58
基于知名微服务框架go-micro开发gRPC应用程序
一个延续了go-micro,只不过转到了其公司CEO的个人Github仓库中,访问地址:asim/go-micro:AGomicroservicesframework(github.com)一个转向了
云原生
方向
萤火架构
·
2024-09-06 22:05
基于Echarts+HTML5可视化数据大屏展示—新能源车联网综合
大数据
平台_新能源汽车
大数据
分析网站代码
主要代码实现:主页HTML布局:新能源车联网综合
大数据
平台实时统计<divclass="info-text
2401_84181070
·
2024-09-06 21:38
程序员
echarts
html5
大数据
使用深度学习TensorFlow框架进行图片识别
ApsaraClouder
大数据
专项技能认证:使用深度学习TensorFlow框架进行图片识别本认证系统的介绍了深度学习的一些基础知识,以及Tensorflow的工作原理。
开发者社区小百科
·
2024-09-06 20:59
TensorFlow
阿里云大学
阿里云大学
TensorFlow
【车辆轨迹处理】python实现轨迹点的聚类(一)——DBSCAN算法
文章目录前言一、单辆车轨迹的聚类与分析1.引入库2.聚类3.聚类评价二、整个数据集多辆车聚类1.聚类2.整体评价前言 空间聚类是基于一定的相似性度量对空间
大数据
集进行分组的过程。
空之箱大战春日影
·
2024-09-06 20:28
车辆轨迹数据处理
算法
python
聚类
Python自动化:Python操作Excel的多种方式Pandas+openpyxl+xlrd
博客主页:长风清留扬-CSDN博客每天更新
大数据
相关方面的技术,分享自己的实战工作经验和学习总结,尽量帮助大家解决更多问题和学习更多新知识,欢迎评论区分享自己的看法感谢大家点赞收藏⭐评论推荐阅读:Python
长风清留扬
·
2024-09-06 19:56
Python
excel
python
pandas
自动化
Python办公自动化
数据分析
开发语言
【python】懂车帝字体反爬逐层解密案例(附完整代码)
《博客》:Python全栈,PyQt5和Tkinter桌面应用开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi,flask等框架,
云原生
k8s,l
景天科技苑
·
2024-09-06 19:56
爬虫副业实战
零基础
进阶教学
python
开发语言
字体反爬
懂车帝
python字体反爬
大数据
系列之:OutOfMemoryError: unable to create new native thread
大数据
系列之:OutOfMemoryError:unabletocreatenewnativethread问题:环境:原因:解决问题:有时候当Java尝试创建一个新的线程时,操作系统会阻止它。
快乐骑行^_^
·
2024-09-06 19:55
大数据
大数据
OutOfMemory
Error
unable
native
thread
Kubectl:Kubernetes 的强大命令行工具
Kubernetes以其高度的可扩展性和灵活性,成为了现代
云原生
应用开发和部署的首选平台。而kubectl作为与K
编程点滴
·
2024-09-06 19:55
云原生
kubernetes
容器
云原生
大数据
秋招面经之
spark
系列
文章目录前言
spark
高频面试题汇总1.
spark
介绍2.
spark
分组取TopN方案总结:方案2是最佳方案。
wq17629260466
·
2024-09-06 19:54
大数据
spark
云原生
| 在 Kubernetes 中使用 Cilium 替代 Calico 网络插件实践指南!
[知识是人生的灯塔,只有不断学习,才能照亮前行的道路]0x00简述介绍什么是Cilium?Cilium是一款开源软件,它基于一种名为eBPF的新的Linux内核技术提供动力,用于透明地保护使用Docker和Kubernetes等Linux容器管理平台中部署的应用程序服务之间的网络连接,Cilium主要使用场景是在Kubernetes中,但Cilium的优势并不仅限于Kubernetes环境。在Ku
全栈工程师修炼指南
·
2024-09-06 19:21
企业IT运维实践
云原生
kubernetes
网络
容器
经验笔记:NoSQL数据库及其缓存方法实践
NoSQL数据库及其缓存方法实践经验笔记随着
大数据
时代的到来,传统的关系型数据库在处理大规模数据时面临诸多挑战,如扩展性不足、性能瓶颈等问题。
漆黑的莫莫
·
2024-09-06 19:50
数据库
笔记
nosql
缓存
如何做
大数据
测试
测试流程及测试方法没有太大的区别,重点说一下
大数据
测试相比传统测试的区别:1、数据规模:
大数据
测试所涉及的数据规模通常是海量级别的,而普通测试所涉及的数据规模较小。
测试界潇潇
·
2024-09-06 18:47
软件测试
软件测试
功能测试
自动化测试
程序人生
职场和发展
2024数学建模美赛ABC题参考思路论文
摘要:随着世界医疗卫生行业和科技的不断发展,我国医疗
大数据
发展迅速,康复工程日趋成熟,脑电信号分析和判别是面向康复工程的重要研究方向之一。
2024年数学建模国赛
·
2024-09-06 15:53
2024数学建模(持续更新
耐心等待
不代写论文)
python
2024
数学建模
代码
2024美赛
数学建模美赛
每天一个数据分析题(五百一十四)- 决策树算法
D.叶结点(leafnode)数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-09-06 15:20
数据分析题库
算法
数据分析
决策树
【Kafka专栏 11】深入理解Kafka的网络线程模型:是谁在幕后“操纵”数据流?
作者名称:夏之以寒作者简介:专注于Java和
大数据
领域,致力于探索技术的边界,分享前沿的实践和洞见文章专栏:夏之以寒-kafka专栏专栏介绍:本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景
夏之以寒
·
2024-09-06 14:16
夏之以寒-kafka专栏
kafka
网络
分布式
网络模型
【Java那些年系列-启航篇 01】史上最强JavaSE学习路线图 & 知识图谱
【Java那些年系列-启航篇01】史上最强JavaSE学习路线图&知识图谱作者名称:纸飞机-暖阳作者简介:专注于Java和
大数据
领域,致力于探索技术的边界,分享前沿的实践和洞见文章专栏:Java那些年专栏专栏介绍
夏之以寒
·
2024-09-06 14:46
Java那些年专栏
Java
JavaSE
Java学习路线
Java知识图谱
浙江省某市监局 API 敏感数据保护与全链路数据安全管控实践
背景随着政务服务数字化转型的加速,政府信息化建设、
大数据
分析应用以及智慧监管建设等现代化、智能化转型持续推进,新的数据安全风险也暗藏其中。
原点安全
·
2024-09-06 13:42
数据安全
“内鬼”是泄露公民个人信息主要源头!涉及信托、运营商、航空公司三起典型案例
大数据
时代下,公民个人信息与保护问题越来越被社会广泛关注。8月23日,北京高院召开新闻通报会,发布侵犯公民个人信息犯罪案件审判情况。
原点安全
·
2024-09-06 13:42
数据安全
行测资料分析:有效数字法的应用技巧
在我们的历年的各类公考中对于资料分析的考察,越来越注重考生对于材料和题干的理解,对于计算能力要求并不高,但是作为考生,面对资料分析中的
大数据
运算,想要在最短的时间内选出最准确的答案,还是需要一定的估算技巧的
wuli小小白
·
2024-09-06 13:24
【Java那些年系列-启航篇 04】Java程序架构:深入理解类与对象的设计原则
作者名称:纸飞机-暖阳作者简介:专注于Java和
大数据
领域,致力于探索技术的边界,分享前沿的实践和洞见文章专栏:Java那些年专栏专栏介绍:本专栏涵盖了JavaSE从基础语法到面向对象编程,从异常处理到集合框架
夏之以寒
·
2024-09-06 13:05
Java那些年专栏
java
架构
类
对象
数据结构
梧桐数据库(WuTongDB):存算分离和存算一体架构的分布式数据库技术分析
一、引言在
大数据
时代,数据的存储和处理成为了企业面临的重要挑战。传统的单机数据库已经无法满
鲁鲁517
·
2024-09-06 11:27
梧桐数据库
数据库
架构
分布式
梧桐数据库
【
Spark
高级应用】使用
Spark
进行高级数据处理与分析
Spark
高级应用使用
Spark
进行高级数据处理与分析引言在
大数据
时代,快速处理和分析海量数据是每个企业面临的重大挑战。
爱技术的小伙子
·
2024-09-06 10:47
大数据
spark
ajax
大数据
spark
读取csv文件
测试
spark
读取本地和hdfs文件frompy
spark
.sqlimport
Spark
Session
spark
=
Spark
Session.builder\.appName("ExamplePy
Spark
Script
静听山水
·
2024-09-06 10:44
Spark
spark
Spark
Streaming业务逻辑处理的一些高级算子
packagecom.
spark
scala.streamingimportorg.apache.log4j.{Level,Logger}impor
看见我的小熊没
·
2024-09-06 09:43
sparkStreaming
scala
spark
big
data
scala
Spark
一些个人总结
文章目录前言一、
Spark
是什么二、
Spark
用来做什么三、
Spark
的优势是什么四、为什么用
Spark
五、
Spark
解决了什么问题总结前言随着
大数据
技术的发展,一些更加优秀的组件被提了出来,比如现在最常用的
易逑实战数据
·
2024-09-06 09:39
大数据
spark
big
data
scala
spark
任务优化参数整理
以下参数中有sql字眼的一般只有
spark
-sql模块生效,例外的时候会另行说明,此外由于总结这些参数是在不同时间段,当时使用的
spark
版本也不一样,因此要注意是否有效,如果本博主已经试过的会直接说明
尘世壹俗人
·
2024-09-06 09:08
大数据Spark技术
spark
大数据
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他