E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
python使用spark
学成网html+css案例
商业预测>云计算&大数据>运维&测试>UI设计>产品>我的课程表继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象全部课程精品推荐JQuery
Spark
MySQLJavaWebMyS
倒霉娃不要倒霉
·
2024-02-11 15:33
案例
html
css
Spark
使用之操作Hudi表
Hudi
Spark
使用本篇为大家带来通过
Spark
shell和
Spark
SQL操作Hudi表的方式。
AlienPaul
·
2024-02-11 14:52
【Python】_del_方法
Python使用
自动引用计数(ARC)来回收对象所占用的内存,当一个对象的引用计数为0后,说明程序中不再需要该对象,Python就会自动回收该对象。
specialxj79
·
2024-02-11 11:08
Python
离线数仓(一)【数仓概念、需求架构】
前言今天开始学习数仓的内容,之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、
Spark
、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会
·
2024-02-11 11:58
离线数仓
大数据
Hive与ClickHouse的区别
Hive的存储引擎使用HDFS,计算引擎使用MapReduce或
Spark
。Hive本质上是一个元数据管理平台,通过对存储于HDFS上的数据文件附加元数据,赋予HDFS上的文件以数据库表的语义。
晓之以理的喵~~
·
2024-02-11 08:18
Hadoop
大数据
hive
hive
clickhouse
hadoop
Spark
编程题
数据格式如下:张三|男|23|未婚|北京|海淀李四|女|25|已婚|河北|石家庄求:1.数据中所有人的平均年龄2.数据中所有男性未婚的人数和女性未婚人数3.数据中20-30已婚数量前3的省份答案:package
spark
08importorg.apache.
spark
.rdd.RDDimportorg.apache.spa
不愿透露姓名的李某某
·
2024-02-11 07:09
死磕
spark
中的job、stage、task
写在前面台风夜的电话面试里被问到了
spark
运行任务的过程中stage的划分依据。一下子就给整懵了,支支吾吾答非所问。从事大数据的开发也有一年半光景,
spark
任务的运行原理依旧知之甚少。
NikolasNull
·
2024-02-11 06:11
如何把idaapi模块在外部给
python使用
使用ida都知道idapython插件,提供idc.pyidaapi.pyidautils.py,可以直接import进来,可以在ida运行时使用内部python插件运行然而这几个函数在不使用ida上下文的时候是无法使用的,会提示找不到_idaapi模块,那么_idaapi又是哪里来的呢,通过搜索可以发现是ida\plugin\python.plw中声明的,因此把该文件放到%PYTHONROOT%
lichao890427
·
2024-02-11 06:48
国外现代并行计算课程CMU-15-418/15-618: Parallel Computer Architecture and Programming
这是与计算物理最相关的CS课程,计算物理方向很容易吃透作为项目写到简历上这部分主要包括多核计算OpenMPSIMD集群计算MPIGPU计算CUDA分布式计算MapReduce
Spark
互联网主要重视分布式计算
wwxy261
·
2024-02-11 05:03
算法
python使用
wget下载网络文件
wget是一个从网络上自动下载文件的自由工具。它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。ubuntu安装wgetpipinstallwget从网络或本地硬盘下载文件(并解压)#-*-coding:utf-8-*-importwget,tarfileimportos#网络地址DATA_URL='http://www.robots.ox.ac.uk/~ankush/data.tar
wit92
·
2024-02-11 05:35
使用docker搭建
spark
(2.3.1)集群
使用Docker快速搭建
Spark
集群。
zealscott
·
2024-02-11 01:12
大数据毕业设计django+vue.js+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop
spark
58同城租房爬虫 房源推荐系统 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。文章包含:项目选题+项目展示图片(必看)计算机毕业设计吊
B站计算机毕业设计超人
·
2024-02-10 20:52
大数据毕业设计
大数据
课程设计
scrapy
hadoop
大数据毕业设计
计算机毕业设计
爬虫
在Windows中利用Python的venv和virtualenv创建虚拟环境
所以,
Python使用
虚拟环境。虚拟环境相当于Python原生环境的副本,所使用标准库
临风.
·
2024-02-10 18:38
Python
windows
python
开发语言
virtualenv
Mac配置cx_oracle连接远程数据库(python3)
本机:Mac64位
python使用
的是Anaconda3=>Python3.8.5cx_oracle是直接通过pip3installcx_oracle下载的具体版本号我也不知道怎么看。。。
Mrceel
·
2024-02-10 15:46
数据库
oracle
python
报表任务治理计划
先给大家介绍我们我们公司的报表产出组件图:报表产出图底层平台由HDFS、Yarn分别提供存储和计算支持在这之上我们提供了一套支持MR、
Spark
任务开发、依赖执行的调度系统BI业务同学利用调
liujianhuiouc
·
2024-02-10 12:46
计算机毕业设计Python+
Spark
+LSTM微博大屏情感分析 微博大数据分析 微博情感分析 微博爬虫可视化 微博数据分析 微博采集分析平台
开发技术前端:vue.jsechartswebsocket后端API:springboot+
spark
+mybatis爬虫/算法:python、lstm情感分析(python实现)数据库:mysql创新点
计算机毕业设计大神
·
2024-02-10 12:42
spark
键值对的链接
join连接frompy
spark
import
Spark
Contextif__name__=="__main__":master="local"iflen(sys.argv)==2:master=sys.argv
yanghedada
·
2024-02-10 09:27
横扫
Spark
之 - 9个常见的行动算子
水善利万物而不争,处众人之所恶,故几于道文章目录1.collect()2.count()3.first()4.take()5.takeOrdered()6.countByKey()7.saveAS...()8.foreach()9.foreachPartition()***1.collect() 收集RDD每个分区的数据以数组封装之后发给Driver 如果RDD数据量比较大,Driver内存默
阿年、嗯啊
·
2024-02-10 06:04
Spark
spark
大数据
分布式
行动算子
横扫
Spark
之 - 22个常见的转换算子
水善利万物而不争,处众人之所恶,故几于道文章目录1.map()2.flatMap()3.filter()4.mapPartitions()5.mapPartitionsWithIndex()6.groupBy()7.distinct()8.coalesce()9.repartition()10.sortBy()11.intersection()12.union()13.subtract()14.z
阿年、嗯啊
·
2024-02-10 06:01
Spark
spark
大数据
转换算子
Python 使用 pymssql 连接 SQL Server 报错:DB-Lib error message 20002, severity 9
文章目录版本说明排查过程参考个人简介版本说明Python3.8SQLServer2008pymssql2.2.11排查过程最近给一个学妹看一个
Python使用
pymssql连接SQLServer报错问题
Lorin 洛林
·
2024-02-10 04:16
python
数据库
新人数据技术如何快速提升
对于数据平台和工具而言,一般情况下都是在Hadoop生态下做开发,但对于一些有特殊要求的团队,
Spark
和Flink已经得
晓阳的数据小站
·
2024-02-09 23:46
数据开发
数据
毕业设计:基于python的反爬虫系统
目录前言设计思路一、课题背景与意义二、算法理论技术2.1
spark
技术2.2反爬虫设计2.3黑名单设计三、检测的实现3.1数据集3.2实验环境最后前言大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备
Krin_IT
·
2024-02-09 22:54
毕业设计
毕设
python
网络爬虫
PyQT5环境搭建与入门操作(超详细图解安装)
PyQt5最新版需要配合
Python使用
,是QtC++跨平台应用程序框架和跨平台解释语言Python的结合,支持Windows、OSX、Linux、iOS和Android平台运行。
Stitch .
·
2024-02-09 20:47
我的大学笔记
Python
python
人工智能
linux
笔记
pyqt
ClickHouse-简谈OLAP与ClickHouse
在第一届易观OLAP大赛中,在用户行为分析转化漏斗场景里,ClickHouse比
Spark
快了近10倍。在随后几年的
adson1987
·
2024-02-09 18:00
Database
ClickHouse
OLAP
海量数据分析
初识kafka
目前越来越多的开源分布式处理系统如Cloudera、Storm、
Spark
、Flink等都支持与Kafka集成。
tracy_668
·
2024-02-09 14:07
69.Kudu、
Spark
2、Kafka安装—CDH
69.1演示环境介绍CDH集群运行正常操作系统版本为:CentOS6.5CM和CDH版本为:5.12.1CM管理员为:admin用户操作系统用户为:root用户69.2操作演示Kudu安装Kudu的Parcel部署下载Kudu的Parcel包:http://archive.cloudera.com/kudu/parcels/5.12.1/KUDU-1.4.0-1.cdh5.12.1.p0.10-e
大勇任卷舒
·
2024-02-09 14:55
spark
开发中的Zip算子灵活使用
本人开发中,需要聚合的文段举个栗子:RDD中有如下元素kv((a,b),List(7,8,9))((a,b),List(1,2,3))((a,b),List(4,5,6))((c,d),List(4,5,6))。。。。。。reducebyke后要对v操作原理将v中的list前后zip再map每个元素进行逐个元组元素(口,口)的累加。a代表v的前一个元素,b代表v的后一个元素如vala=List(7
Hero.Lin
·
2024-02-09 13:35
spark
scala
开发
spark-core
Spark
是什么?与MapReduce的对比
Spark
是一个基于内存的集群计算系统,是一个分布式的计算框架。
Spark
可以将计算任务分发到多个机器并行计算。
Tim在路上
·
2024-02-09 10:27
spark
资源动态释放
通过
spark
-submit会固定占用一占的资源,有什么办法,在任务不运作的时候将资源释放,让其它任务使用呢,yarn新版本默认已经支持了,我们使用的是HDP。
kikiki2
·
2024-02-09 09:54
macos安装local模式
spark
文章目录配置说明安装hadoop安装
Spark
测试安装成功配置说明Scala-3.18+
Spark
-3.5.0Hadoop-3.3.6安装hadoop从这里下载相应版本的hadoop下载后解压,配置系统环境变量
SparklingTheo
·
2024-02-09 08:52
大数据-linux
macos
spark
大数据
基于Python实现的协同过滤商品推荐系统购物商城电商项目源码PHP案例源代码APP大作业nodejs程序设计微信小程序计算机
的协同过滤商品推荐系统》该项目采用技术Python的django框架、mysql数据库,项目含有源码、文档、PPT、配套开发软件、软件安装教程、项目发布教程、核心代码介绍视频等软件开发环境及开发工具:开发语言:
python
IT实战课堂
·
2024-02-09 08:46
phthon毕业设计
微信小程序
小程序
SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25
目录0需求分析1数据准备3数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041
spark
1351flink2661kafka1471oozie108
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL——条件判断语句嵌套windows子句的应用
0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041
spark
1351flink2661kafka1471oozie108
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
Spark
SQL(十一):与
Spark
Core整合
每日top3热点搜索词统计Demo1、数据格式:日期用户搜索词城市平台版本2、需求:1、筛选出符合查询条件(城市、平台、版本)的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数,倒序排序4、将数据保存到hive表中3、实现思路:1、针对原始数据(HDFS文件),获取输入的RDD2、使用filter算子,去针对输入RDD中的数据,进行数据过滤,过滤出符合查询条件
雪飘千里
·
2024-02-09 06:34
大数据 -
Spark
系列《五》-
Spark
常用算子
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-09 05:25
spark
大数据
spark
分布式
SQL、Hive中的SQL和
Spark
中的SQL三者联系与区别
SQL、Hive中的SQL和
Spark
中的SQL(即
Spark
SQL)都是用于处理和分析数据的查询语言,但它们在实现、性能、应用场景等方面存在一些明显的区别和联系。
大数据SQLboy
·
2024-02-09 05:20
数据库
Spark
Hive
数据库
py
spark
操作示例
前置pipinstallpy
spark
为了支持py4j的使用,需要进行如下设置,并修改了java_gateway.py中的env['_PY
SPARK
_DRIVER_CALLBACK_HOST']='127.0.0.1
佛系小懒
·
2024-02-09 05:15
spark
从入门到放弃二十八:
Spark
Sql (1)Data Set
文章地址:http://www.haha174.top/article/details/257834项目源码:https://github.com/haha174/
spark
.git1.简介
Spark
Sql
意浅离殇
·
2024-02-09 03:17
再聊阴影裁剪与高性能视锥剔除
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
UWA
·
2024-02-09 03:24
厚积薄发
Unity优化
阴影
unity
spark
原理总体介绍
拿到系统后,部署系统是第一件事,那么系统部署成功以后,各个节点都启动了哪些服务?部署图image.png从部署图中可以看到整个集群分为Master节点和Worker节点,相当于Hadoop的Master和Slave节点。Master节点上常驻Master守护进程,负责管理全部的Worker节点。Worker节点上常驻Worker守护进程,负责与Master节点通信并管理executors。Driv
tracy_668
·
2024-02-09 03:48
python使用
nltk进行中文语料库的词频分布统计
文章目录问题描述构建语料库统计字数统计词频分布问题描述根据给定的语料库,统计其中共包含多少字、平均每个词使用了多少次以及常用词的分布以及累计分布情况。本文就以大秦帝国第一部小说为例进行实验本文可以使用在毕业设计中,如果有帮助采用请点赞关注下呗,欢迎大家交流技术,也可以私聊毕设题目交流解决方法构建语料库因为我们要处理的语言是中文,部分方法NLTK是针对英文语料的,中文语料不通用(典型的就是分词)。这
Love _YourSelf_CS
·
2024-02-09 02:19
自然语言处理
python
自然语言处理
nlp
Python程序流程控制语句:while循环
文章目录while循环while循环的基本结构嵌套使用while循环无限while循环循环控制语句break语句continue语句while循环
Python使用
while循环来处理满足一定条件进行的循环
Mr李小四
·
2024-02-09 00:16
python程序设计
python
Python:变量和简单类型
Python有两种注释方式:(1)单行注释(2)多行注释
python使用
#表示当行注释的开始,跟在#号后面知道
Sɪʟᴇɴᴛ໊ོ235
·
2024-02-09 00:14
python
python
基础
PDF如何页面插入
操作软件:旋风PDF编辑器下载地址:http://www.679
spark
le.com/pdfeditor1.运行旋风PDF编辑器,打开你想要编辑的文件。
六号_db7a
·
2024-02-09 00:18
Flink状态编程
Spark
Streaming在状态管理这块做的不好,很多时候需要借助于外部存储(例如Redis)来手动管理状态,增加了编程的难度.访问redis需要通过网络访问,增大处理时间状态一致性问题,可能会造成数据的不一致
万事万物
·
2024-02-08 22:41
7.0 MapReduce编程实例教程
MapReduce主要是依靠开发者通过
Spark
来实现功能的,开发者可以通过实现Map和Reduce相关的方法来进行数据处理。为了简单的展示这个过程,我们将手工编写一个字数统计程序。
二当家的素材网
·
2024-02-08 18:11
Hadoop
教程
mapreduce
eclipse
大数据
Python使用
回调函数或async/await关键字、协程实现异步编程
异步编程是一种编程模式,它允许程序在执行某个任务时,能够同时执行其他任务而不需要等待当前任务完成。在传统的同步编程中,程序执行一个任务后必须等待该任务完成后才能继续执行下一个任务。而在异步编程中,程序可以发起一个任务后立即执行其他任务,当原先的任务完成后,会通过回调函数或者其他方式通知程序,并处理任务的结果。异步编程在处理网络请求、文件读写、数据库访问等耗时操作时特别有用。它能够提高程序的性能和响
Lightning-py
·
2024-02-08 17:54
Python
python
Spark
经典案例之非结构数据处理
需求:根据tomcat日志计算url访问了情况,具体的url如下,要求:区别统计GET和POSTURL访问量结果为:访问方式、URL、访问量测试数据集:在CODE上查看代码片派生到我的代码片196.168.2.1--[03/Jul/2014:23:36:38+0800]“GET/course/detail/3.htmHTTP/1.0”200384350.038182.131.89.195--[03
张明洋_4b13
·
2024-02-08 15:57
深入理解
Spark
的前世今生
文章来源:https://blog.csdn.net/qq_42107047/article/details/80239094感谢大神分享~~~~~一:大数据的概述1.1
Spark
是什么?
闲云野鹤~~~
·
2024-02-08 14:01
Spark
【
Spark
重点难点】你以为的Shuffle和真正的Shuffle
我们的【
Spark
重点难点】系列继续更新。以往的系列:我们在学习
Spark
的时候,到底在学习什么?
王知无(import_bigdata)
·
2024-02-08 14:00
大数据
spark
java
python
数据库
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他