PySpark

anaconda pyspark 用着用着在终端出现错误ERROR SparkContext: Error initializing SparkContext

之前一直是可以使用anacondapyspark,今天重新运行原来已有的模块时，出现错误：“spark"模块没有定义。于是用sc.master试试有没有出错，仍旧出错。
小白programmer·2020-08-03 11:09

jupyter-notebook 以yarn模式运行出现的问题及解决

yarn模式运行出现的问题及解决原创小白programmer最后发布于2018-11-2110:53:01阅读数519收藏展开jupyter-notebook以yarn模式运行的出现的问题及解决方法之前用pyspark
bruce__ray·2020-08-03 10:36

spark中的Dataset和DataFrame

从结构化数据文件中读取#pysparkdf=spark.read.parquet("xxx.p
YangJianShuai·2020-08-03 09:17

pyspark之MLlib学习【数据统计】(2)

pyspark系列文章是本人根据《PySpark实战指南》学习pyspark中学习笔记，这本书是一本译文，有些地方感觉有点小问题，不过在本人的这些笔记中都是亲自测试跑通后的小例子。仅作参考和学习。
爱数星星的小H·2020-08-03 08:16

pyspark map,reduce接收参数

查看spark官方档，发现map,reduce的方法都指定只能代如固定一个参数（map）或者两个参数（reduce）现在工作发现，想要多把代入参数到map,和reduce的方法里面.查了下，发现以下方法。先定义一个函数：deffunc(a,extra_para):k=a+extra_parareturnk然后map的时候：rdd=rd.map(lambdarow:func(1,2))这样就能代入另
willdeamon·2020-08-03 08:42

pyspark的dataframe的单条件、多条件groupBy用法agg

pysparkgroupBy方法中用到的知识点智能搜索引擎实战中用到的pyspark知识点总结sum和udf方法计算平均得分avg方法计算平均得分count方法计算资源个数collect_list()将
头发又黑又密·2020-08-03 07:50

pyspark Window 窗口函数

参考：IntroducingWindowFunctionsinSparkSQL窗口函数Atitscore,awindowfunctioncalculatesareturnvalueforeveryinputrowofatablebasedonagroupofrows,calledtheFrame.Everyinputrowcanhaveauniqueframeassociatedwithit.Th
NoOne-csdn·2020-08-03 07:30

【机器学习】pyspark中RDD的若干操作

1，读取文件frompysparkimportSparkContextsc=SparkContext('local','pyspark')a，text=sc.textFile(“file:///d:/test.txt
huaibei_北·2020-08-03 06:22

【spark】五 RDD、DataFrame.write 存储API的使用与区别

主要翻译自官网pyspark2.3.1文档https://spark.apache.org/docs/2.3.1/api/python/pyspark.html#pyspark.RDD一pyspark.RDD
百物易用是苏生·2020-08-03 05:00

【spark】二 reduceByKey、reduceByKeyLocally、groupByKey、combineByKey、aggregateByKey 区别 [待补充]

DataFramepyspark只有groupByKey，容易在shuff中爆掉，改用RDD的reduceByKey、aggregateByKey相关算子对类似实现sql的groupby的相关算子进行区别分析一
百物易用是苏生·2020-08-03 05:00

常用PySpark API（一）： parallelize, collect, map, reduce等API的简单用法

参考：1.https://www.cnblogs.com/sharpxiajun/p/5506822.html2.https://blog.csdn.net/wc781708249/article/details/782281170.RDD数据类型RDD（ResilientDistributedDataSet）是一种弹性分布式数据集，是Spark的核心，其可以有由稳定存储中的数据通过转换（tran
tensory.online·2020-08-03 04:11

【Pyspark 】GroupBy分组排序

分组排序：https://blog.csdn.net/weixin_40161254/article/details/88817225df_spark_hotpoi=spark.sql("selectrouteid,cityid,row_number()over(partitionbyrouteidorderbysortnoasc)asrankfromtablewheresortno0")
sunflower_sara·2020-08-03 04:45

springboot2.0 操作 spark2.x

二、话说，python也要引入pyspark，还有下载spark的lib,也挺麻烦的。只有scala可以直接调用spark-shell,还算好用。
snetlogon20·2020-08-03 04:02

[pyspark] pyspark使用记录

以下不定时记录一些pyspark使用过程中的心得、备忘、注意事项等。
Panghu26·2020-08-03 04:09

spark python初学（一）对于reduceByKey的理解

#-*-coding:UTF-8-*-from__future__importprint_functionfrompysparkimportSparkContextfrompysparkimportSparkConfconf
rifengxxc·2020-08-03 04:24

pyspark的DataFrame的groupBy方法实践

coding:utf-8-*-#@Time:9/2/1912:03PM#@Author:Damon#@Software:PyCharmfrom__future__importprint_functionfrompysparkimportSparkConf
追枫萨·2020-08-03 01:28

pyspark-combineByKey详解

最近学习Spark，我主要使用pysparkapi进行编程，网络上中文的解释不是很多，api官方文档也不是很容易明白，我结合自己的理解记录下来，方便别人参考，也方便自己回顾吧本文介绍的是pyspark.RDD.combineByKeycombineByKey
TaoTao Yu·2020-08-03 00:32

PySpark算子处理空间数据全解析（16）： reduceByKey算子简介（1）

前面的文章，讲了各种map，同学也都发现了，map后面老是跟着一个叫做reduceByKey的算子，是干嘛的呢？或者说，如何去理解它的运行原理呢？正如名称所言：MapReduce算法，reduceByKey也是始祖级的算法。那么今天来说说这个reduceByKey算子的运行原理。reduce从名字上看，就知道，主要是用来做聚合，比如下面的例子：看看代码：reduceByKey，做核心的操作，就是这
大虾卢·2020-08-02 22:37

想学习Spark？先带你了解一些基础的知识

IndexSpark的核心概念Spark的基本特性Spark生态系统——BDASSpark-Shell的简单使用Pyspark的简单使用Spark服务的启动流程之前也学习过一阵子的Spark了，是时候先输出一些知识内容了
Pysamlam·2020-08-02 22:35

pyspark中combineByKey的两种理解方法

Spark1.6以前一直模模糊糊的，现在搞一下比较清楚combineByKey(createCombiner,mergeValue,mergeCombiners,numPartitions=None,partitionFunc=)它是一个泛型函数，主要完成聚合操作，将输入RDD[(K,V)]转化为结果RDD[(K,C)]输出在数据分析中，处理Key，Value的Pair数据是极为常见的场景，例如我
哈士奇说喵·2020-08-02 22:34

pyspark-Rdd-groupby-groupByKey-cogroup-groupWith用法

一、groupBy()groupBy(f,numPartitions=None,partitionFunc=)ReturnanRDDofgroupeditems.代码：rdd=sc.parallelize([1,42,3,4,5,1,4,5,0])res=rdd.groupBy(lambdax:x%2).collect()print(res)拿到迭代器的具体值：forx,yinres:print(
NoOne-csdn·2020-08-02 21:01

[pyspark] 尽量用reduceByKey而不用groupByKey

最近工作的时候写了一小段用python操作spark的代码，主要流程是先读取一个较大的数据表，然后根据部分字段分组，统计每组的行数。简而言之就是一个wordcount的工作。但是写的代码单机跑很慢，即使放到集群上在10个节点上跑也花了1小时。代码给老大一看就发现写的不行。一个关键问题就是用在分组的时候用了groupByKey,然后再count。老大推荐我用reduceByKey。改完代码之后果然快
Panghu26·2020-08-02 20:03

PysparkNote001---Mac下JupyterNoteBook配置pyspark

所以本地安装pyspark，以便学习所用。
维格堂406小队·2020-08-01 06:51

pyspark-降维

spark/tree/v2.2.03、http://spark.apache.org/docs/latest/mllib-dimensionality-reduction.htmlSVDExamplefrompyspark.mlli
风吴痕·2020-08-01 03:26

如何将PySpark导入Python

如何将PySpark导入Python问题1、ImportError:Nomodulenamedpyspark现象：已经安装配置好了PySpark，可以打开PySpark交互式界面；在Python里找不到
Lauhoman·2020-08-01 00:15

【Pyspark】Map、FlatMap、filter、union等常用

参考https://www.iteblog.com/archives/1395.html#map[Map]#map#sc=sparkcontext,parallelizecreatesanRDDfromthepassedobjectx=sc.parallelize([1,2,3])y=x.map(lambdax:(x,x**2))#collectcopiesRDDelementstoaliston
chongjiapi1753·2020-07-30 19:07

pandas处理数据最多是M级？还是G？还是亿？极限数量是多少呢？

我今天用pyspark读取2~3G日志文件时，居然报OOM！
chongjiapi1753·2020-07-30 19:07

pyspark连hbase报org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter

ERRORpython.Converter:Failedtoloadconverter:org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverterTraceback(mostrecentcalllast):File"",line1,inFile"/var/lib/spark/cspark/py
我怀念的是_无话不说·2020-07-30 15:52

kafka+spark streaming代码实例(pyspark+python)

一、系统准备1.启动zookeeper：bin/zkServer.cmdstart2.启动kafka：bin/kafka-server-start.sh-daemonconfig/server.properties3.启动spark：sbin/start-all.sh数据来源：http://files.grouplens.org/datasets/movielens/ml-100k.zip流程：k
lxb1022·2020-07-30 15:58

pyspark系列--日期函数

日期格式转换4.字符转日期5.获取日期中的年月日6.获取时分秒7.获取日期对应的季度8.日期加减9.月份加减10.日期差,月份差11.计算下一个日子的日期12.本月的最后一个日期1.获取当前日期frompyspark.sql.functionsimportcurrent_datespark.range
打个大西瓜77·2020-07-30 09:43

Error executing Jupyter command 'WordCount.py': [Errno 2] No such file or directory

问题描述：搭建了pycharm+pyspark环境之后，想测试下上传测试文件到HDFS目录，输入命令HADOOP_CONF_DIR=/root/app/hadoop/etc/hadoopspark-submit
树街猫·2020-07-30 09:14

DataFrame的去重，none值填充及异常值处理2018-05-23

spark数据建模准备去重#初始化sparkfrompyspark.sqlimportSparkSessionspark=SparkSession.builder.master("local[*]").
AntFish·2020-07-30 06:27

用jupyter notebook 打开pyspark

在~/.bash_profile中添加PYTHONPATH环境变量exportPYTHONPATH="/Users/yikunqin/Spark/spark-2.2.0-bin-hadoop2.7/python:$PYTHONPATH"exportPYTHONPATH="/Users/yikunqin/Spark/spark-2.2.0-bin-hadoop2.7/python/lib/py4j-
woshiqinyikun·2020-07-30 05:20

pyspark 使用时环境设置

在脚本中导入pyspark的流程importosimportsysspark_name=os.environ.get('SPARK_HOME',None)#SPARK_HOME即spark的安装目录，不用到
weixin_30675247·2020-07-30 02:39

pyspark-快速开始

参考地址：1、http://spark.apache.org/docs/latest/quick-start.html2、https://github.com/apache/spark/tree/v2.2.0快速开始InteractiveAnalysiswiththeSparkShellBasicsMoreonDatasetOperationsCachingSelf-ContainedApplic
风吴痕·2020-07-30 02:56

pyspark-Spark编程指南

参考：1、http://spark.apache.org/docs/latest/rdd-programming-guide.html2、https://github.com/apache/spark/tree/v2.2.0Spark编程指南OverviewLinkingwithSparkInitializingSparkUsingtheShellResilientDistributedDatas
风吴痕·2020-07-30 02:56

Pyspark以DataFrame格式读写Hbase

Pyspark以DataFrame格式读写Hbase本文代码参考了__miss的博客，特别感谢，原文地址如下链接:https://blog.csdn.net/u011412768/article/details
隔壁村的老王·2020-07-30 02:38

pycharm中使用pyspark

pycharm中使用pyspark1.在pycharm上的projectinterpreter上下载py4j2.进入Run菜单——》选择EdictConfiguration——》点击下图红圈处的…3.点击下图中的
jeppen·2020-07-30 01:17

【Pyspark】Spark导入zip文件/上传zip文件

Spark上传zip文件步骤一、启动spark的时候addfilezip文件#zip文件原始路径file_path="./filename.zip"#启动sparkspark=SparkSession.builder.appName("space_name").enableHiveSupport().getOrCreate()sc=spark.sparkContext#添加文件到spark的空间,
sunflower_sara·2020-07-30 00:06

pyspark写入hbase2.*的坑

：找不到方法:org.apache.hadoop.hbase.client.Put.add([B[B[B)Lorg/apache/hadoop/hbase/client/Put参考前言日前笔者尝试使用pyspark2.4.3
chensongjian·2020-07-30 00:19

PySpark写入数据到Hbase的辛酸经历

Pyspark+Hbase环境配置：Python:3.7.4Spark:2.4.4Hbase:2.2.3前言：首先，本人建议使用scala来做有关spark的开发，这是和前辈讨论他们给的建议，或者你们可以参考一下这篇文章
铲子挖数据·2020-07-29 21:02

[Spark版本更新]--Spark-2.3.1发布说明

08ApacheSpark官方发布了Spark2.3的小版本--2.3.1，ReleaseNotes如下：Sub-task[SPARK-23706]-spark.conf.get（value，default=None）应该在PySpark
highfei2011·2020-07-29 19:57

pyspark 众数填充空值

转自：https://medium.com/@aieeshashafique/exploratory-data-analysis-using-pyspark-dataframe-in-python-bd55c02a2852
dj_wings空杯·2020-07-29 17:10

【pyspark】jieba 中文分词

pipinstalljieba：测试importjiebaseg_list=jieba.cut("我来到北京清华大学",cut_all=True)print("FullMode:"+"/".join(seg_list))：启动pysparkbin
baibaiw5·2020-07-29 17:46

pyspark集群环境中jdk版本不兼容，python无相应模块的包的解决办法

问题：在某些情况下，我们会用到其他厂商的大数据平台，而我们是没有相关管理权限的，但是集群和我们已有的代码所需要的环境存在差异，所以我们要向集群设置我们自己的运行环境的参数等，主要解决方案如下1、对于pyspark
maketubu7·2020-07-29 14:53

pyspark 与hbase的读写

在读取hbase的时候，由于hbase存储的是16进制的字节码，我这里用了各种方法，都无法在转换为df的时候，将其转换为中文，看了很多方法，各种decode,encode都没有找到合适的方法，如果有哪位同学，在看到这篇文章并解决了这个问题，麻烦告知我一声，谢谢读取hbase需将hbase下lib的几个常用包，软连接到spark的jars目录下出现无法读取hive.sql的问题，将hive-site
maketubu7·2020-07-29 14:53

pyspark 与es的交互

Dengwenxing#-*-coding:utf-8-*-#@Time:2019/12/3015:09#@Site:#@fILE:esReader.py#@Software:importsys,osfrompysparkimportSparkConffrompyspark.sqlimportSparkSessionfrompyspark.sqlimportfunctionsasf
maketubu7·2020-07-29 14:53

pyspark命令行打印日志问题

在使用spark-submit运行工程jar包时常常会出现一下两个问题：1.在程序中手打的log（如print（“***testRdd.count=”+testRdd.count()）常常会因被下一个Job的执行日志覆盖掉而无法查看日志；，或执行日志过多，不好查看print的内容。2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭，程序便终止运行。其中，第一个问题可以通过将运行日志重定位到文件中来
Marho11·2020-07-29 03:37

Windows下Anaconda安装pyspark

可能大多数人和我一一样，使用笔记本，一般是windows系统，但想学习spark，不想装Linux或虚拟机，其实windows也可以直接用spark，然后百度查询出很多spark在windows安装的教程，绝大多数是先让安装Java，然后是scala，接着是spark，最后还有Hadoop，还要注意Java和scala的版本兼容问题，还要注意scala与spark版本兼容问题，还要注意Java和s
yyxyyx10·2020-07-29 02:12

pyspark 实践汇总2

今天继续汇总一下在使用pyspark中使用到的知识，想与我交流的话可以加群Python&Spark636866908，或者加群R语言＆大数据分析456726635。1.数据框添加一列全是0的值。
yepeng2007fei·2020-07-29 01:15
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他