weixin_34281477
weixin_34281477

DataFrames入门指南：创建和操作DataFrame

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、从csv文件创建DataFrame

　　本文将介绍如何从csv文件创建DataFrame。

如何做？
　　从csv文件创建DataFrame主要包括以下几步骤：
　　1、在build.sbt文件里面添加spark-csv支持库；
　　2、创建SparkConf对象，其中包括Spark运行所有的环境信息；
　　3、创建SparkContext对象，它是进入Spark的核心切入点，然后我们可以通过它创建SQLContext对象；
　　4、使用SQLContext对象加载CSV文件；
　　5、Spark内置是不支持解析CSV文件的，但是Databricks公司开发了一个类库可以支持解析CSV文件。所以我们需要把这个依赖文件加载到依赖文件中（pom.xml或者是build.sbt）
如果你是SBT工程，请加入以下依赖到build.sbt文件中：

libraryDependencies += "com.databricks" % "spark-csv_2.10" % "1.3.0"  

 

如果你是Maven工程，请加入以下依赖到pom.xml文件中：

  
    com.databricks  
    spark-csv_2.10  
    1.3.0  
  

        6、SparkConf持有所有运行Spark程序的信息，在这个实例中，我们将以本地的方式运行这个程序，而且我们打算使用2个核（local[2]），部分代码片段如下：

import org.apache.spark.SparkConf  
val conf = new SparkConf().setAppName("csvDataFrame").setMaster("local[2]")  

        7、使用SparkConf初始化SparkContext对象，SparkContext是进入Spark的核心切入点：

val sc = new SparkContext(conf)   

在Spark中查询数据最简单的一种方式就是使用SQL查询，所以我们可以定义一个SQLContext对象：

val sqlContext=new SQLContext(sc)   

        8、现在我们就可以加载事先准备好的数据了：

import com.databricks.spark.csv._   
val students=sqlContext.csvFile(filePath="StudentData.csv", useHeader=true, delimiter='|') 

  其中，students对象的类型是org.apache. spark.sql.DataFrame。

如何工作的
　　csvFile方法接收需要加载的csv文件路径filePath，如果需要加载的csv文件有头部信息，我们可以将useHeader设置为true，这样就可以将第一行的信息当作列名称来读；delimiter指定csv文件列之间的分隔符。

　　除了使用csvFile函数，我们还可以使用sqlContext里面的load来加载csv文件：

val options = Map("header" -> "true", "path" -> "E:\\StudentData.csv")  
val newStudents = sqlContext.read.options(options).format("com.databricks.spark.csv").load()  

附录
为了方便大家测试，我提供了StudentData.csv文件的部分数据集：

id|studentName|phone|email  
1|Burke|1-300-746-8446|[email protected]  
2|Kamal|1-668-571-5046|[email protected]  
3|Olga|1-956-311-1686|[email protected]  
4|Belle|1-246-894-6340|[email protected]  
5|Trevor|1-300-527-4967|[email protected]  
6|Laurel|1-691-379-9921|[email protected]  
7|Sara|1-608-140-1995|[email protected]  
8|Kaseem|1-881-586-2689|[email protected]  
9|Lev|1-916-367-5608|[email protected]  
10|Maya|1-271-683-2698|[email protected]  
11|Emi|1-467-270-1337|[email protected]  
12|Caleb|1-683-212-0896|[email protected]  
13|Florence|1-603-575-2444|[email protected]  
14|Anika|1-856-828-7883|[email protected]  
15|Tarik|1-398-171-2268|[email protected]  
16|Amena|1-878-250-3129|[email protected]  
17|Blossom|1-154-406-9596|[email protected]  
18|Guy|1-869-521-3230|[email protected]  
19|Malachi|1-608-637-2772|[email protected]  
20|Edward|1-711-710-6552|[email protected]  

 

二、从Scala case class中创建DataFrame

　　在这篇文章中，你将学到如何从Scala case class中创建DataFrame。

如何做？
　　1、我们首先创建一个case class，名为Employee，并且定义id和name两个参数，如下：

  1. case class Employee(id: Int, name: String)  

和先前一样，我们分别定义SparkConf、SparkContext以及SQLContext：

  1. val conf = new SparkConf().setAppName("colRowDataFrame"). setMaster("local[2]")   
  2. val sc = new SparkContext(conf)  
  3. val sqlContext = new SQLContext(sc)   

2、我们可以通过很多方式来初始化Employee类，比如从关系型数据库中获取数据以此来定义Employee类。但是在本文为了简单起见，我将直接定义一个Employee类的List，如下：

  1. val listOfEmployees = List(Employee(1, "iteblog"), Employee(2, "Jason"), Employee(3, "Abhi"))  

3、我们将listOfEmployees列表传递给SQLContext类的createDataFrame 函数，这样我们就可以创建出DataFrame了！然后我们可以调用DataFrame的printuSchema函数，打印出该DataFrame的模式，我们可以看出这个DataFrame主要有两列：name和id，这正是我们定义Employee的两个参数，并且类型都一致。

  1. val empFrame = sqlContext.createDataFrame(listOfEmployees)  
  2. empFrame.printSchema  
  3. root  
  4.  |-- id: integer (nullable = false)  
  5.  |-- name: string (nullable = true)  

之所以DataFrame打印出的模式和Employee类的两个参数一致，那是因为DataFrame内部通过反射获取到的。

4、如果你对默认反射获取到的模式名称不感兴趣，你可以通过withColumnRenamed函数来指定列名：

  1. val empFrameWithRenamedColumns = sqlContext.createDataFrame(listOfEmployees).withColumnRenamed("id", "empId")  
  2. empFrameWithRenamedColumns.printSchema  
  3.   
  4. root  
  5.  |-- empId: integer (nullable = false)  
  6.  |-- name: string (nullable = true)  

5、我们可以使用Spark支持的SQL功能来查询相关的数据。在使用这个功能之前，我们必须先对DataFrame注册成一张临时表，我们可以使用registerTempTable函数实现，如下：

  1. empFrameWithRenamedColumns.registerTempTable("employeeTable")  

6、现在我们就可以使用SQL语句来查询DataFrame里面的数据了：

  1. val sortedByNameEmployees = sqlContext.sql("select * from employeeTable order by name desc")  
  2. sortedByNameEmployees.show()  
  3. +-----+-------+  
  4. |empId|   name|  
  5. +-----+-------+  
  6. |    1|iteblog|  
  7. |    2|  Jason|  
  8. |    3|   Abhi|  
  9. +-----+-------+  

它如何工作的
　　createDataFrame函数可以接收一切继承scala.Product类的集合对象:

  1. def createDataFrame[A <: Product : TypeTag](rdd: RDD[A]): DataFrame  

而case class类就是继承了Product。我们所熟悉的TupleN类型也是继承了scala.Product类的，所以我们也可以通过TupleN来创建DataFrame：

  1. val mobiles=sqlContext.createDataFrame(Seq((1,"Android"), (2, "iPhone"))) mobiles.printSchema mobiles.show()  
  2.   
  3. root  
  4.  |-- _1: integer (nullable = false)  
  5.  |-- _2: string (nullable = true)  
  6.   
  7. +---+-------+  
  8. | _1|     _2|  
  9. +---+-------+  
  10. |  1|Android|  
  11. |  2| iPhone|  
  12. +---+-------+  

我们知道，Tuple2的默认两个参数名字分别是_1和_2,同样，我们如果对这个默认的名字不是特别喜欢，我们也是可以通过withColumnRenamed函数对默认反射的列名进行重命名。

三、操作DataFrame

　　在前面的文章中，我们介绍了如何创建DataFrame。本文将介绍如何操作DataFrame里面的数据和打印出DataFrame里面数据的模式

打印DataFrame里面的模式
　　在创建完DataFrame之后，我们一般都会查看里面数据的模式，我们可以通过printSchema函数来查看。它会打印出列的名称和类型：

 

 

  1. students.printSchema   
  2. root  
  3.  |-- id: string (nullable = true)  
  4.  |-- studentName: string (nullable = true)  
  5.  |-- phone: string (nullable = true)  
  6.  |-- email: string (nullable = true)  

 

如果采用的是load方式参见DataFrame的，students.printSchema的输出则如下：

 

  1. root  
  2.  |-- id|studentName|phone|email: string (nullable = true)  

对DataFrame里面的数据进行采样
　　打印完模式之后，我们要做的第二件事就是看看加载进DataFrame里面的数据是否正确。从新创建的DataFrame里面采样数据的方法有很多种。我们来对其进行介绍。

　　最简单的就是使用show方法，show方法有四个版本：
　　（1）、第一个需要我们指定采样的行数def show(numRows: Int)；
　　（2）、第二种不需要我们指定任何参数，这种情况下，show函数默认会加载出20行的数据def show()；
　　（3）、第三种需要指定一个boolean值，这个值说明是否需要对超过20个字符的列进行截取def show(truncate: Boolean)；
　　（4）、最后一种需要指定采样的行和是否需要对列进行截断def show(numRows: Int, truncate: Boolean)。实际上，前三个函数都是调用这个函数实现的。

　　Show函数和其他函数不同的地方在于其不仅会显示需要打印的行，而且还会打印出头信息，并且会直接在默认的输出流打出(console)。来看看怎么使用吧：

  1. students.show()  //打印出20行  
  2. +---+-----------+--------------+--------------------+  
  3. | id|studentName|         phone|               email|  
  4. +---+-----------+--------------+--------------------+  
  5. |  1|      Burke|1-300-746-8446|ullamcorper.velit...|  
  6. |  2|      Kamal|1-668-571-5046|pede.Suspendisse@...|  
  7. |  3|       Olga|1-956-311-1686|Aenean.eget.metus...|  
  8. |  4|      Belle|1-246-894-6340|vitae.aliquet.nec...|  
  9. |  5|     Trevor|1-300-527-4967|dapibus.id@acturp...|  
  10. |  6|     Laurel|1-691-379-9921|adipiscing@consec...|  
  11. |  7|       Sara|1-608-140-1995|Donec.nibh@enimEt...|  
  12. |  8|     Kaseem|1-881-586-2689|cursus.et.magna@e...|  
  13. |  9|        Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  
  14. | 10|       Maya|1-271-683-2698|accumsan.convalli...|  
  15. | 11|        Emi|1-467-270-1337|        [email protected]|  
  16. | 12|      Caleb|1-683-212-0896|Suspendisse@Quisq...|  
  17. | 13|   Florence|1-603-575-2444|sit.amet.dapibus@...|  
  18. | 14|      Anika|1-856-828-7883|euismod@ligulaeli...|  
  19. | 15|      Tarik|1-398-171-2268|[email protected]|  
  20. | 16|      Amena|1-878-250-3129|lorem.luctus.ut@s...|  
  21. | 17|    Blossom|1-154-406-9596|Nunc.commodo.auct...|  
  22. | 18|        Guy|1-869-521-3230|senectus.et.netus...|  
  23. | 19|    Malachi|1-608-637-2772|Proin.mi.Aliquam@...|  
  24. | 20|     Edward|1-711-710-6552|lectus@aliquetlib...|  
  25. +---+-----------+--------------+--------------------+  
  26. only showing top 20 rows  
  27. students.show(15)  
  28. +---+-----------+--------------+--------------------+  
  29. | id|studentName|         phone|               email|  
  30. +---+-----------+--------------+--------------------+  
  31. |  1|      Burke|1-300-746-8446|ullamcorper.velit...|  
  32. |  2|      Kamal|1-668-571-5046|pede.Suspendisse@...|  
  33. |  3|       Olga|1-956-311-1686|Aenean.eget.metus...|  
  34. |  4|      Belle|1-246-894-6340|vitae.aliquet.nec...|  
  35. |  5|     Trevor|1-300-527-4967|dapibus.id@acturp...|  
  36. |  6|     Laurel|1-691-379-9921|adipiscing@consec...|  
  37. |  7|       Sara|1-608-140-1995|Donec.nibh@enimEt...|  
  38. |  8|     Kaseem|1-881-586-2689|cursus.et.magna@e...|  
  39. |  9|        Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  
  40. | 10|       Maya|1-271-683-2698|accumsan.convalli...|  
  41. | 11|        Emi|1-467-270-1337|        [email protected]|  
  42. | 12|      Caleb|1-683-212-0896|Suspendisse@Quisq...|  
  43. | 13|   Florence|1-603-575-2444|sit.amet.dapibus@...|  
  44. | 14|      Anika|1-856-828-7883|euismod@ligulaeli...|  
  45. | 15|      Tarik|1-398-171-2268|[email protected]|  
  46. +---+-----------+--------------+--------------------+  
  47. only showing top 15 rows  
  48.   
  49. students.show(true)  
  50. +---+-----------+--------------+--------------------+  
  51. | id|studentName|         phone|               email|  
  52. +---+-----------+--------------+--------------------+  
  53. |  1|      Burke|1-300-746-8446|ullamcorper.velit...|  
  54. |  2|      Kamal|1-668-571-5046|pede.Suspendisse@...|  
  55. |  3|       Olga|1-956-311-1686|Aenean.eget.metus...|  
  56. |  4|      Belle|1-246-894-6340|vitae.aliquet.nec...|  
  57. |  5|     Trevor|1-300-527-4967|dapibus.id@acturp...|  
  58. |  6|     Laurel|1-691-379-9921|adipiscing@consec...|  
  59. |  7|       Sara|1-608-140-1995|Donec.nibh@enimEt...|  
  60. |  8|     Kaseem|1-881-586-2689|cursus.et.magna@e...|  
  61. |  9|        Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  
  62. | 10|       Maya|1-271-683-2698|accumsan.convalli...|  
  63. | 11|        Emi|1-467-270-1337|        [email protected]|  
  64. | 12|      Caleb|1-683-212-0896|Suspendisse@Quisq...|  
  65. | 13|   Florence|1-603-575-2444|sit.amet.dapibus@...|  
  66. | 14|      Anika|1-856-828-7883|euismod@ligulaeli...|  
  67. | 15|      Tarik|1-398-171-2268|[email protected]|  
  68. | 16|      Amena|1-878-250-3129|lorem.luctus.ut@s...|  
  69. | 17|    Blossom|1-154-406-9596|Nunc.commodo.auct...|  
  70. | 18|        Guy|1-869-521-3230|senectus.et.netus...|  
  71. | 19|    Malachi|1-608-637-2772|Proin.mi.Aliquam@...|  
  72. | 20|     Edward|1-711-710-6552|lectus@aliquetlib...|  
  73. +---+-----------+--------------+--------------------+  
  74. only showing top 20 rows  
  75.   
  76. students.show(false)  
  77. +---+-----------+--------------+-----------------------------------------+  
  78. |id |studentName|phone         |email                                    |  
  79. +---+-----------+--------------+-----------------------------------------+  
  80. |1  |Burke      |1-300-746-8446|[email protected]|  
  81. |2  |Kamal      |1-668-571-5046|[email protected]        |  
  82. |3  |Olga       |1-956-311-1686|[email protected]   |  
  83. |4  |Belle      |1-246-894-6340|[email protected]            |  
  84. |5  |Trevor     |1-300-527-4967|[email protected]           |  
  85. |6  |Laurel     |1-691-379-9921|[email protected]         |  
  86. |7  |Sara       |1-608-140-1995|[email protected]        |  
  87. |8  |Kaseem     |1-881-586-2689|[email protected]              |  
  88. |9  |Lev        |1-916-367-5608|[email protected]              |  
  89. |10 |Maya       |1-271-683-2698|[email protected] |  
  90. |11 |Emi        |1-467-270-1337|[email protected]                             |  
  91. |12 |Caleb      |1-683-212-0896|[email protected]                  |  
  92. |13 |Florence   |1-603-575-2444|[email protected]   |  
  93. |14 |Anika      |1-856-828-7883|[email protected]                 |  
  94. |15 |Tarik      |1-398-171-2268|[email protected]                     |  
  95. |16 |Amena      |1-878-250-3129|[email protected]          |  
  96. |17 |Blossom    |1-154-406-9596|[email protected]        |  
  97. |18 |Guy        |1-869-521-3230|[email protected]       |  
  98. |19 |Malachi    |1-608-637-2772|[email protected]             |  
  99. |20 |Edward     |1-711-710-6552|[email protected]               |  
  100. +---+-----------+--------------+-----------------------------------------+  
  101. only showing top 20 rows  
  102.   
  103. students.show(10,false)  
  104.   
  105. +---+-----------+--------------+-----------------------------------------+  
  106. |id |studentName|phone         |email                                    |  
  107. +---+-----------+--------------+-----------------------------------------+  
  108. |1  |Burke      |1-300-746-8446|[email protected]|  
  109. |2  |Kamal      |1-668-571-5046|[email protected]        |  
  110. |3  |Olga       |1-956-311-1686|[email protected]   |  
  111. |4  |Belle      |1-246-894-6340|[email protected]            |  
  112. |5  |Trevor     |1-300-527-4967|[email protected]           |  
  113. |6  |Laurel     |1-691-379-9921|[email protected]         |  
  114. |7  |Sara       |1-608-140-1995|[email protected]        |  
  115. |8  |Kaseem     |1-881-586-2689|[email protected]              |  
  116. |9  |Lev        |1-916-367-5608|[email protected]              |  
  117. |10 |Maya       |1-271-683-2698|[email protected] |  
  118. +---+-----------+--------------+-----------------------------------------+  
  119. only showing top 10 rows  

我们还可以使用head(n: Int)方法来采样数据，这个函数也需要输入一个参数标明需要采样的行数，而且这个函数返回的是Row数组，我们需要遍历打印。当然，我们也可以使用head()函数直接打印，这个函数只是返回数据的一行，类型也是Row。

  1. students.head(5).foreach(println)  
  2. [1,Burke,1-300-746-8446,[email protected]]  
  3. [2,Kamal,1-668-571-5046,[email protected]]  
  4. [3,Olga,1-956-311-1686,[email protected]]  
  5. [4,Belle,1-246-894-6340,[email protected]]  
  6. [5,Trevor,1-300-527-4967,[email protected]]  
  7. println(students.head())  
  8. [1,Burke,1-300-746-8446,[email protected]]  

除了show、head函数。我们还可以使用first和take函数，他们分别调用head()和head(n)

  1. println(students.first())  
  2. [1,Burke,1-300-746-8446,[email protected]]  
  3. students.take(5).foreach(println)  
  4. [1,Burke,1-300-746-8446,[email protected]]  
  5. [2,Kamal,1-668-571-5046,[email protected]]  
  6. [3,Olga,1-956-311-1686,[email protected]]  
  7. [4,Belle,1-246-894-6340,[email protected]]  
  8. [5,Trevor,1-300-527-4967,[email protected]]  

查询DataFrame里面的列
　　正如你所看到的，所有的DataFrame里面的列都是有名称的。Select函数可以帮助我们从DataFrame中选择需要的列，并且返回一个全新的DataFrame，下面我将此进行介绍。

　　1、只选择一列。假如我们只想从DataFrame中选择email这列，因为DataFrame是不可变的(immutable)，所以这个操作会返回一个新的DataFrame：

  1. val emailDataFrame: DataFrame = students.select("email")  


现在我们有一个名叫emailDataFrame全新的DataFrame，而且其中只包含了email这列，让我们使用show来看看是否是这样的：

 

 

  1. emailDataFrame.show(3)   
  2. +--------------------+  
  3. |               email|  
  4. +--------------------+  
  5. |ullamcorper.velit...|  
  6. |pede.Suspendisse@...|  
  7. |Aenean.eget.metus...|  
  8. +--------------------+  
  9. only showing top 3 rows  

2、选择多列。其实select函数支持选择多列。

  1. val studentEmailDF = students.select("studentName", "email")  
  2. studentEmailDF.show(5)  
  3. +-----------+--------------------+  
  4. |studentName|               email|  
  5. +-----------+--------------------+  
  6. |      Burke|ullamcorper.velit...|  
  7. |      Kamal|pede.Suspendisse@...|  
  8. |       Olga|Aenean.eget.metus...|  
  9. |      Belle|vitae.aliquet.nec...|  
  10. |     Trevor|dapibus.id@acturp...|  
  11. +-----------+--------------------+  
  12. only showing top 5 rows  

需要主要的是，我们select列的时候，需要保证select的列是有效的，换句话说，就是必须保证select的列是printSchema打印出来的。如果列的名称是无效的，将会出现org.apache.spark.sql.AnalysisException异常，如下：

  1. val studentEmailDF = students.select("studentName", "iteblog")  
  2. studentEmailDF.show(5)  
  3.   
  4. Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'iteblog' given input columns id, studentName, phone, email;  

根据条件过滤数据
　　现在我们已经知道如何在DataFrame中选择需要的列，让我们来看看如何根据条件来过滤DataFrame里面的数据。对应基于Row的数据，我们可以将DataFrame看作是普通的Scala集合，然后我们根据需要的条件进行相关的过滤，为了展示清楚，我在语句没后面都用show函数展示过滤的结果。

  1. students.filter("id > 5").show(7)   
  2. +---+-----------+--------------+--------------------+  
  3. | id|studentName|         phone|               email|  
  4. +---+-----------+--------------+--------------------+  
  5. |  6|     Laurel|1-691-379-9921|adipiscing@consec...|  
  6. |  7|       Sara|1-608-140-1995|Donec.nibh@enimEt...|  
  7. |  8|     Kaseem|1-881-586-2689|cursus.et.magna@e...|  
  8. |  9|        Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  
  9. | 10|       Maya|1-271-683-2698|accumsan.convalli...|  
  10. | 11|        Emi|1-467-270-1337|        [email protected]|  
  11. | 12|      Caleb|1-683-212-0896|Suspendisse@Quisq...|  
  12. | 13|   Florence|1-603-575-2444|sit.amet.dapibus@...|  
  13. | 14|      Anika|1-856-828-7883|euismod@ligulaeli...|  
  14. | 15|      Tarik|1-398-171-2268|[email protected]|  
  15. +---+-----------+--------------+--------------------+  
  16. only showing top 10 rows  
  17.   
  18. students.filter("studentName =''").show(7)   
  19. +---+-----------+--------------+--------------------+  
  20. | id|studentName|         phone|               email|  
  21. +---+-----------+--------------+--------------------+  
  22. | 21|           |1-598-439-7549|consectetuer.adip...|  
  23. | 32|           |1-184-895-9602|accumsan.laoreet@...|  
  24. | 45|           |1-245-752-0481|Suspendisse.eleif...|  
  25. | 83|           |1-858-810-2204|sociis.natoque@eu...|  
  26. | 94|           |1-443-410-7878|Praesent.eu.nulla...|  
  27. +---+-----------+--------------+--------------------+  

注意看第一个过滤语句，虽然id被解析成String了，但是程序依然正确地做出了比较。我们也可以对多个条件进行过滤：

  1. students.filter("studentName ='' OR studentName = 'NULL'").show(7)   
  2. +---+-----------+--------------+--------------------+  
  3. | id|studentName|         phone|               email|  
  4. +---+-----------+--------------+--------------------+  
  5. | 21|           |1-598-439-7549|consectetuer.adip...|  
  6. | 32|           |1-184-895-9602|accumsan.laoreet@...|  
  7. | 33|       NULL|1-105-503-0141|[email protected]|  
  8. | 45|           |1-245-752-0481|Suspendisse.eleif...|  
  9. | 83|           |1-858-810-2204|sociis.natoque@eu...|  
  10. | 94|           |1-443-410-7878|Praesent.eu.nulla...|  
  11. +---+-----------+--------------+--------------------+  

我们还可以采用类SQL的语法对数据进行过滤：

  1. students.filter("SUBSTR(studentName,0,1) ='M'").show(7)   
  2. +---+-----------+--------------+--------------------+  
  3. | id|studentName|         phone|               email|  
  4. +---+-----------+--------------+--------------------+  
  5. | 10|       Maya|1-271-683-2698|accumsan.convalli...|  
  6. | 19|    Malachi|1-608-637-2772|Proin.mi.Aliquam@...|  
  7. | 24|    Marsden|1-477-629-7528|Donec.dignissim.m...|  
  8. | 37|      Maggy|1-910-887-6777|facilisi.Sed.nequ...|  
  9. | 61|     Maxine|1-422-863-3041|aliquet.molestie....|  
  10. | 77|      Maggy|1-613-147-4380| [email protected]|  
  11. | 97|    Maxwell|1-607-205-1273|metus.In@musAenea...|  
  12. +---+-----------+--------------+--------------------+  
  13. only showing top 7 rows  

对DataFrame里面的数据进行排序
使用sort函数我们可以对DataFrame中指定的列进行排序：

  1. students.sort(students("studentName").desc).show(7)   
  2. +---+-----------+--------------+--------------------+  
  3. | id|studentName|         phone|               email|  
  4. +---+-----------+--------------+--------------------+  
  5. | 50|      Yasir|1-282-511-4445|eget.odio.Aliquam...|  
  6. | 52|       Xena|1-527-990-8606|in.faucibus.orci@...|  
  7. | 86|     Xandra|1-677-708-5691|libero@arcuVestib...|  
  8. | 43|     Wynter|1-440-544-1851|amet.risus.Donec@...|  
  9. | 31|    Wallace|1-144-220-8159| [email protected]|  
  10. | 66|      Vance|1-268-680-0857|pellentesque@netu...|  
  11. | 41|     Tyrone|1-907-383-5293|non.bibendum.sed@...|  
  12. +---+-----------+--------------+--------------------+  
  13. only showing top 7 rows  

也可以对多列进行排序：

  1. students.sort("studentName", "id").show(10)   
  2. +---+-----------+--------------+--------------------+  
  3. | id|studentName|         phone|               email|  
  4. +---+-----------+--------------+--------------------+  
  5. | 21|           |1-598-439-7549|consectetuer.adip...|  
  6. | 32|           |1-184-895-9602|accumsan.laoreet@...|  
  7. | 45|           |1-245-752-0481|Suspendisse.eleif...|  
  8. | 83|           |1-858-810-2204|sociis.natoque@eu...|  
  9. | 94|           |1-443-410-7878|Praesent.eu.nulla...|  
  10. | 91|       Abel|1-530-527-7467|    [email protected]|  
  11. | 69|       Aiko|1-682-230-7013|turpis.vitae.puru...|  
  12. | 47|       Alma|1-747-382-6775|    [email protected]|  
  13. | 26|      Amela|1-526-909-2605| [email protected]|  
  14. | 16|      Amena|1-878-250-3129|lorem.luctus.ut@s...|  
  15. +---+-----------+--------------+--------------------+  
  16. only showing top 10 rows  

从上面的结果我们可以看出，默认是按照升序进行排序的。我们也可以将上面的语句写成下面的：

  1. students.sort(students("studentName").asc, students("id").asc).show(10)   

这两个语句运行的效果是一致的。

对列进行重命名
　　如果我们对DataFrame中默认的列名不感兴趣，我们可以在select的时候利用as对其进行重命名，下面的列子将studentName重命名为name，而email这列名字不变：

  1. students.select(students("studentName").as("name"), students("email")).show(10)  
  2. +--------+--------------------+  
  3. |    name|               email|  
  4. +--------+--------------------+  
  5. |   Burke|ullamcorper.velit...|  
  6. |   Kamal|pede.Suspendisse@...|  
  7. |    Olga|Aenean.eget.metus...|  
  8. |   Belle|vitae.aliquet.nec...|  
  9. |  Trevor|dapibus.id@acturp...|  
  10. |  Laurel|adipiscing@consec...|  
  11. |    Sara|Donec.nibh@enimEt...|  
  12. |  Kaseem|cursus.et.magna@e...|  
  13. |     Lev|Vivamus.nisi@ipsu...|  
  14. |    Maya|accumsan.convalli...|  
  15. +--------+--------------------+  
  16. only showing top 10 rows  

将DataFrame看作是关系型数据表
　　DataFrame的一个强大之处就是我们可以将它看作是一个关系型数据表，然后在其上运行SQL查询语句，只要我们进行下面两步即可实现：
　　（1）、将DataFrame注册成一张名为students的表：

  1. students.registerTempTable("students")   

（2）、然后我们在其上用标准的SQL进行查询：

  1. sqlContext.sql("select * from students where studentName!='' order by email desc").show(7)  
  2.   
  3. +---+-----------+--------------+--------------------+  
  4. | id|studentName|         phone|               email|  
  5. +---+-----------+--------------+--------------------+  
  6. | 87|      Selma|1-601-330-4409|vulputate.velit@p...|  
  7. | 96|   Channing|1-984-118-7533|viverra.Donec.tem...|  
  8. |  4|      Belle|1-246-894-6340|vitae.aliquet.nec...|  
  9. | 78|       Finn|1-213-781-6969|vestibulum.massa@...|  
  10. | 53|     Kasper|1-155-575-9346|velit.eget@pedeCu...|  
  11. | 63|      Dylan|1-417-943-8961|vehicula.aliquet@...|  
  12. | 35|     Cadman|1-443-642-5919|ut.lacus@adipisci...|  
  13. +---+-----------+--------------+--------------------+  
  14. only showing top 7 rows  

对两个DataFrame进行Join操作
　　前面我们已经知道如何将DataFrame注册成一张表，现在我们来看看如何使用普通的SQL对两个DataFrame进行Join操作。

　　1、内联：内联是默认的Join操作，它仅仅返回两个DataFrame都匹配到的结果，来看看下面的例子：

  1. val students1 = sqlContext.csvFile(filePath = "E:\\StudentPrep1.csv", useHeader = true, delimiter = '|')  
  2. val students2 = sqlContext.csvFile(filePath = "E:\\StudentPrep2.csv", useHeader = true, delimiter = '|')  
  3. val studentsJoin = students1.join(students2, students1("id") === students2("id"))  
  4. studentsJoin.show(studentsJoin.count.toInt)  
  5.   
  6. +---+-----------+--------------+--------------------+---+------------------+--------------+--------------------+  
  7. | id|studentName|         phone|               email| id|       studentName|         phone|               email|  
  8. +---+-----------+--------------+--------------------+---+------------------+--------------+--------------------+  
  9. |  1|      Burke|1-300-746-8446|ullamcorper.velit...|  1|BurkeDifferentName|1-300-746-8446|ullamcorper.velit...|  
  10. |  2|      Kamal|1-668-571-5046|pede.Suspendisse@...|  2|KamalDifferentName|1-668-571-5046|pede.Suspendisse@...|  
  11. |  3|       Olga|1-956-311-1686|Aenean.eget.metus...|  3|              Olga|1-956-311-1686|Aenean.eget.metus...|  
  12. |  4|      Belle|1-246-894-6340|vitae.aliquet.nec...|  4|BelleDifferentName|1-246-894-6340|vitae.aliquet.nec...|  
  13. |  5|     Trevor|1-300-527-4967|dapibus.id@acturp...|  5|            Trevor|1-300-527-4967|dapibusDifferentE...|  
  14. |  6|     Laurel|1-691-379-9921|adipiscing@consec...|  6|LaurelInvalidPhone|     000000000|adipiscing@consec...|  
  15. |  7|       Sara|1-608-140-1995|Donec.nibh@enimEt...|  7|              Sara|1-608-140-1995|Donec.nibh@enimEt...|  
  16. |  8|     Kaseem|1-881-586-2689|cursus.et.magna@e...|  8|            Kaseem|1-881-586-2689|cursus.et.magna@e...|  
  17. |  9|        Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  9|               Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  
  18. | 10|       Maya|1-271-683-2698|accumsan.convalli...| 10|              Maya|1-271-683-2698|accumsan.convalli...|  
  19. +---+-----------+--------------+--------------------+---+------------------+--------------+--------------------+  

2、右外联：在内连接的基础上，还包含右表中所有不符合条件的数据行，并在其中的左表列填写NULL ，来看看下面的实例：

  1. val studentsRightOuterJoin = students1.join(students2, students1("id") === students2("id"), "right_outer")  
  2. studentsRightOuterJoin.show(studentsRightOuterJoin.count.toInt)  
  3. +----+-----------+--------------+--------------------+---+--------------------+--------------+--------------------+  
  4. |  id|studentName|         phone|               email| id|         studentName|         phone|               email|  
  5. +----+-----------+--------------+--------------------+---+--------------------+--------------+--------------------+  
  6. |   1|      Burke|1-300-746-8446|ullamcorper.velit...|  1|  BurkeDifferentName|1-300-746-8446|ullamcorper.velit...|  
  7. |   2|      Kamal|1-668-571-5046|pede.Suspendisse@...|  2|  KamalDifferentName|1-668-571-5046|pede.Suspendisse@...|  
  8. |   3|       Olga|1-956-311-1686|Aenean.eget.metus...|  3|                Olga|1-956-311-1686|Aenean.eget.metus...|  
  9. |   4|      Belle|1-246-894-6340|vitae.aliquet.nec...|  4|  BelleDifferentName|1-246-894-6340|vitae.aliquet.nec...|  
  10. |   5|     Trevor|1-300-527-4967|dapibus.id@acturp...|  5|              Trevor|1-300-527-4967|dapibusDifferentE...|  
  11. |   6|     Laurel|1-691-379-9921|adipiscing@consec...|  6|  LaurelInvalidPhone|     000000000|adipiscing@consec...|  
  12. |   7|       Sara|1-608-140-1995|Donec.nibh@enimEt...|  7|                Sara|1-608-140-1995|Donec.nibh@enimEt...|  
  13. |   8|     Kaseem|1-881-586-2689|cursus.et.magna@e...|  8|              Kaseem|1-881-586-2689|cursus.et.magna@e...|  
  14. |   9|        Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  9|                 Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  
  15. |  10|       Maya|1-271-683-2698|accumsan.convalli...| 10|                Maya|1-271-683-2698|accumsan.convalli...|  
  16. |null|       null|          null|                null|999|LevUniqueToSecondRDD|1-916-367-5608|Vivamus.nisi@ipsu...|  
  17. +----+-----------+--------------+--------------------+---+--------------------+--------------+--------------------+  

3、左外联：在内连接的基础上，还包含左表中所有不符合条件的数据行，并在其中的右表列填写NULL ，同样我们来看看下面的实例：

  1. val studentsLeftOuterJoin = students1.join(students2, students1("id") === students2("id"), "left_outer")  
  2. studentsLeftOuterJoin.show(studentsLeftOuterJoin.count.toInt)  
  3. +---+-----------+--------------+--------------------+----+------------------+--------------+--------------------+  
  4. | id|studentName|         phone|               email|  id|       studentName|         phone|               email|  
  5. +---+-----------+--------------+--------------------+----+------------------+--------------+--------------------+  
  6. |  1|      Burke|1-300-746-8446|ullamcorper.velit...|   1|BurkeDifferentName|1-300-746-8446|ullamcorper.velit...|  
  7. |  2|      Kamal|1-668-571-5046|pede.Suspendisse@...|   2|KamalDifferentName|1-668-571-5046|pede.Suspendisse@...|  
  8. |  3|       Olga|1-956-311-1686|Aenean.eget.metus...|   3|              Olga|1-956-311-1686|Aenean.eget.metus...|  
  9. |  4|      Belle|1-246-894-6340|vitae.aliquet.nec...|   4|BelleDifferentName|1-246-894-6340|vitae.aliquet.nec...|  
  10. |  5|     Trevor|1-300-527-4967|dapibus.id@acturp...|   5|            Trevor|1-300-527-4967|dapibusDifferentE...|  
  11. |  6|     Laurel|1-691-379-9921|adipiscing@consec...|   6|LaurelInvalidPhone|     000000000|adipiscing@consec...|  
  12. |  7|       Sara|1-608-140-1995|Donec.nibh@enimEt...|   7|              Sara|1-608-140-1995|Donec.nibh@enimEt...|  
  13. |  8|     Kaseem|1-881-586-2689|cursus.et.magna@e...|   8|            Kaseem|1-881-586-2689|cursus.et.magna@e...|  
  14. |  9|        Lev|1-916-367-5608|Vivamus.nisi@ipsu...|   9|               Lev|1-916-367-5608|Vivamus.nisi@ipsu...|  
  15. | 10|       Maya|1-271-683-2698|accumsan.convalli...|  10|              Maya|1-271-683-2698|accumsan.convalli...|  
  16. | 11|    iteblog|        999999| [email protected]|null|              null|          null|                null|  
  17. +---+-----------+--------------+--------------------+----+------------------+--------------+--------------------+  

将DataFrame保存成文件
　　下面我来介绍如何将DataFrame保存到一个文件里面。前面我们加载csv文件用到了load函数，与之对于的用于保存文件可以使用save函数。具体操作包括以下两步：

　　1、首先创建一个map对象，用于存储一些save函数需要用到的一些属性。这里我将制定保存文件的存放路径和csv的头信息。

  1. val saveOptions = Map("header" -> "true", "path" -> "iteblog.csv")  

为了基于学习的态度，我们从DataFrame里面选择出studentName和email两列，并且将studentName的列名重定义为name。

  1. val copyOfStudents = students.select(students("studentName").as("name"), students("email"))  

2、下面我们调用save函数保存上面的DataFrame数据到iteblog.csv文件夹中

  1. copyOfStudents.write.format("com.databricks.spark.csv").mode(SaveMode.Overwrite).options(saveOptions).save()  

mode函数可以接收的参数有Overwrite、Append、Ignore和ErrorIfExists。从名字就可以很好的理解，Overwrite代表覆盖目录下之前存在的数据；Append代表给指定目录下追加数据；Ignore代表如果目录下已经有文件，那就什么都不执行；ErrorIfExists代表如果保存目录下存在文件，那么抛出相应的异常。

　　需要注意的是，上述path参数指定的是保存文件夹，并不是最后的保存文件名。

转载于:https://my.oschina.net/u/2935389/blog/1439021

你可能感兴趣的:(DataFrames入门指南：创建和操作DataFrame)

  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • git常用命令笔记 咩酱-小羊 git笔记
    ###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"[email protected]"基本操作克隆远程仓库gitclone查看
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • 如何部分格式化提示模板:LangChain中的高级技巧 nseejrukjhad langchainjava服务器python
    标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。LangChain提供了强大的提示模板功能,让我们能更灵活地构建和管理提示。本文将介绍LangChain中一个高级特性-部分格式化提示模板,这个技巧可以让你的提示管理更加高效和灵活。什么是部分格式化提示模板?部分格式化提
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript 二挡起步 web前端期末大作业javascripthtmlcss旅游风景
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动 二挡起步 web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • 基于CODESYS的多轴运动控制程序框架：逻辑与运动控制分离，快速开发灵活操作 GPJnCrbBdl python开发语言
    基于codesys开发的多轴运动控制程序框架，将逻辑与运动控制分离，将单轴控制封装成功能块，对该功能块的操作包含了所有的单轴控制（归零、点动、相对定位、绝对定位、设置当前位置、伺服模式切换等等）。程序框架由主程序按照状态调用分归零模式、手动模式、自动模式、故障模式，程序状态的跳转都已完成，只需要根据不同的工艺要求完成所需的动作即可。变量的声明、地址的规划都严格按照C++的标准定义，能帮助开发者快速
  • EIO国际确定性的交易（3/10）资管 ， 资金委托安全吗？ 古城鹏哥
    大家可能都知道资金托管，账户是自己开，钱在自己的账户上，密码是由自己掌控，别人提不走你账户的资金，每天可以看下到自己的账户，也可以看到交易流水。现金只能提到自己的银行卡中。账户由技术人员或操作人员，或者是机构团队帮你操作账户，产生盈利和收入，以获得的利润来分配盈利，技术强硬和做的时间久了过硬技术团队，会保证你的资金本金，不会让你的本金亏损的按照一定比例分配收入。所以在这个过程当中一定要看清楚技术的
  • OPENAIGC开发者大赛企业组AI黑马奖 | AIGC数智传媒解决方案 RPA中国 人工智能AIGC传媒
    在第二届拯救者杯OPENAIGC开发者大赛中，涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到，我们特意开设了优秀作品报道专栏，旨在展示其独特之处和开发者的精彩故事。无论您是技术专家还是爱好者，希望能带给您不一样的知识和启发。让我们一起探索AIGC的无限可能，见证科技与创意的完美融合！创未来AI应用赛-企业组AI黑马奖作品名称：AIGC数智传媒解决方案参赛团队：深圳市三象智能技术
  • Shell、Bash、Zsh这都是啥啊 小白码上飞 bashlinux开发语言
    Zsh和Bash都是我们常用的Shell，那先搞明白啥是shell吧。Shell作为一个单词，他是“壳”的意思，蛋壳坚果壳。之所以叫壳，是为了和计算机的“核”来区分，用它表示“为使用者提供的操作界面”。所以这个命名其实很形象，翻译成中文，直译过来叫“壳层”。个人认为这个叫法很奇怪，意译貌似也没有什么好的词汇来匹配。就还是叫shell吧。维基百科给的定义是：Incomputing,ashellisa
  • ios GCD _Waiting_
    1.GCD任务和队列学习GCD之前，先来了解GCD中两个核心概念：任务和队列。任务：就是执行操作的意思，换句话说就是你在线程中执行的那段代码。在GCD中是放在block中的。执行任务有两种方式：同步执行（sync）和异步执行（async）。两者的主要区别是：是否等待队列的任务执行结束，以及是否具备开启新线程的能力。同步执行（sync）：同步添加任务到指定的队列中，在添加的任务执行结束之前，会一直等
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
  • 2.2.6 通知类控件 Toast、Menu 常思行
    本文例程下载：WillFlow_Toast、WillFlowMenu一、什么是Toast？Toast也被叫做吐司，是Android系统提供的一种非常好的提醒方式，在程序中可以使用它将一些短小的信息通知给用户，它有如下两个特点：Toast是没有焦点的Toast显示的时间有限过一定的时间就会自动消失所以一般来讲Toast的使用并不会影响我们的正常操作，并且它通常不会占用太大的屏幕空间，有着良好的用户体
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • linux 发展史 种树的猴子 内核java操作系统linux大数据
    linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
  • K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习K近邻
    importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
  • 2024.9.6 Python，华为笔试题总结，字符串格式化，字符串操作，广度优先搜索解决公司组织绩效互评问题，无向图 RaidenQ python华为leetcode算法力扣广度优先无向图
    1.字符串格式化name="Alice"age=30formatted_string="Name:{},Age:{}".format(name,age)print(formatted_string)或者name="Alice"age=30formatted_string=f"Name:{name},Age:{age}"print(formatted_string)2.网络健康检查第一行有两个整数m
  • 2024.9.14 Python，差分法解决区间加法，消除游戏，压缩字符串 RaidenQ python游戏开发语言算法力扣
    1.区间加法假设你有一个长度为n的数组，初始情况下所有的数字均为0，你将会被给出k个更新的操作。其中，每个操作会被表示为一个三元组：[startIndex,endIndex,inc]，你需要将子数组A[startIndex…endIndex]（包括startIndex和endIndex）增加inc。请你返回k次操作后的数组。示例:输入:length=5,updates=[[1,3,2],[2,4,
  • java观察者模式 3213213333332132 java设计模式游戏观察者模式
    观察者模式——顾名思义，就是一个对象观察另一个对象，当被观察的对象发生变化时，观察者也会跟着变化。 在日常中，我们配java环境变量时，设置一个JAVAHOME变量,这就是被观察者，使用了JAVAHOME变量的对象都是观察者，一旦JAVAHOME的路径改动，其他的也会跟着改动。 这样的例子很多，我想用小时候玩的老鹰捉小鸡游戏来简单的描绘观察者模式。 老鹰会变成观察者，母鸡和小鸡是
  • TFS RESTful API 模拟上传测试 ronin47
           TFS RESTful API 模拟上传测试。 　　 细节参看这里：https://github.com/alibaba/nginx-tfs/blob/master/TFS_RESTful_API.markdown 模拟POST上传一个图片： curl --data-binary @/opt/tfs.png http
  • PHP常用设计模式单例, 工厂, 观察者, 责任链, 装饰, 策略,适配,桥接模式 dcj3sjt126com 设计模式PHP
    // 多态, 在JAVA中是这样用的, 其实在PHP当中可以自然消除, 因为参数是动态的, 你传什么过来都可以, 不限制类型, 直接调用类的方法 abstract class Tiger { public abstract function climb(); } class XTiger extends Tiger { public function climb()
  • hibernate 171815164 Hibernate
    main,save Configuration conf =new Configuration().configure(); SessionFactory sf=conf.buildSessionFactory(); Session sess=sf.openSession(); Transaction tx=sess.beginTransaction(); News a=new
  • Ant实例分析 g21121 ant
            下面是一个Ant构建文件的实例，通过这个实例我们可以很清楚的理顺构建一个项目的顺序及依赖关系，从而编写出更加合理的构建文件。           下面是build.xml的代码： <?xml version="1
  • [简单]工作记录_接口返回405原因 53873039oycg 工作
             最近调接口时候一直报错，错误信息是:       responseCode:405 responseMsg:Method Not Allowed        接口请求方式Post.
  • 关于java.lang.ClassNotFoundException 和 java.lang.NoClassDefFoundError 的区别 程序员是怎么炼成的
       真正完成类的加载工作是通过调用 defineClass来实现的；  而启动类的加载过程是通过调用 loadClass来实现的；  就是类加载器分为加载和定义   protected Class<?> findClass(String name) throws ClassNotFoundExcept
  • JDBC学习笔记-JDBC详细的操作流程 aijuans jdbc
    所有的JDBC应用程序都具有下面的基本流程：　　1、加载数据库驱动并建立到数据库的连接。　　2、执行SQL语句。　　3、处理结果。　　4、从数据库断开连接释放资源。 下面我们就来仔细看一看每一个步骤： 其实按照上面所说每个阶段都可得单独拿出来写成一个独立的类方法文件。共别的应用来调用。 1、加载数据库驱动并建立到数据库的连接：   Html代码  St
  • rome创建rss antonyup_2006 tomcatcmsxmlstrutsOpera
    引用 1.RSS标准 RSS标准比较混乱，主要有以下3个系列 RSS 0.9x / 2.0 : RSS技术诞生于1999年的网景公司(Netscape)，其发布了一个0.9版本的规范。2001年，RSS技术标准的发展工作被Userland Software公司的戴夫 温那(Dave Winer)所接手。陆续发布了0.9x的系列版本。当W3C小组发布RSS 1.0后，Dave W
  • html表格和表单基础 百合不是茶 html表格表单meta锚点
    第一次用html来写东西,感觉压力山大,每次看见别人发的都是比较牛逼的 再看看自己什么都还不会,   html是一种标记语言,其实很简单都是固定的格式   _----------------------------------------表格和表单 表格是html的重要组成部分,表格用在body里面的 主要用法如下; <table> &
  • ibatis如何传入完整的sql语句 bijian1013 javasqlibatis
            ibatis如何传入完整的sql语句？进一步说，String str ="select * from test_table"，我想把str传入ibatis中执行，是传递整条sql语句。         解决办法： <
  • 精通Oracle10编程SQL(14)开发动态SQL bijian1013 oracle数据库plsql
    /* *开发动态SQL */ --使用EXECUTE IMMEDIATE处理DDL操作 CREATE OR REPLACE PROCEDURE drop_table(table_name varchar2) is sql_statement varchar2(100); begin sql_statement:='DROP TABLE '||table_name;
  • 【Linux命令】Linux工作中常用命令 bit1129 linux命令
    不断的总结工作中常用的Linux命令   1.查看端口被哪个进程占用   通过这个命令可以得到占用8085端口的进程号，然后通过ps -ef|grep 进程号得到进程的详细信息   netstat -anp | grep 8085   察看进程ID对应的进程占用的端口号   netstat -anp | grep 进程ID &
  • 优秀网站和文档收集 白糖_ 网站
    集成 Flex, Spring, Hibernate 构建应用程序   性能测试工具-JMeter   Hmtl5-IOCN网站   Oracle精简版教程网站   鸟哥的linux私房菜   Jetty中文文档   50个jquery必备代码片段   swfobject.js检测flash版本号工具
  • angular.extend boyitech AngularJSangular.extendAngularJS API
    angular.extend 复制src对象中的属性去dst对象中. 支持多个src对象. 如果你不想改变一个对象，你可以把dst设为空对象{}: var object = angular.extend({}, object1, object2). 注意: angular.extend不支持递归复制. 使用方法: angular.extend(dst, src); 参数:
  • java-谷歌面试题-设计方便提取中数的数据结构 bylijinnan java
    网上找了一下这道题的解答，但都是提供思路，没有提供具体实现。其中使用大小堆这个思路看似简单，但实现起来要考虑很多。 以下分别用排序数组和大小堆来实现。 使用大小堆： import java.util.Arrays; public class MedianInHeap { /** * 题目：设计方便提取中数的数据结构 * 设计一个数据结构，其中包含两个函数，1.插
  • ajaxFileUpload 针对 ie jquery 1.7+不能使用问题修复版本 Chen.H ajaxFileUploadie6ie7ie8ie9
    jQuery.extend({ handleError: function( s, xhr, status, e ) { // If a local callback was specified, fire it if ( s.error ) { s.error.call( s.context || s, xhr, status, e ); }
  • [机器人制造原则]机器人的电池和存储器必须可以替换 comsci 制造
           机器人的身体随时随地可能被外来力量所破坏,但是如果机器人的存储器和电池可以更换,那么这个机器人的思维和记忆力就可以保存下来,即使身体受到伤害,在把存储器取下来安装到一个新的身体上之后,原有的性格和能力都可以继续维持.....        另外,如果一
  • Oracle Multitable INSERT 的用法 daizj oracle
    转载Oracle笔记-Multitable INSERT 的用法 http://blog.chinaunix.net/uid-8504518-id-3310531.html 一、Insert基础用法 语法：     Insert Into 表名 (字段1,字段2,字段3...）     Values (值1,
  • 专访黑客历史学家George Dyson datamachine on
    20世纪最具威力的两项发明——核弹和计算机出自同一时代、同一群年青人。可是，与大名鼎鼎的曼哈顿计划（第二次世界大战中美国原子弹研究计划）相 比，计算机的起源显得默默无闻。出身计算机世家的历史学家George Dyson在其新书《图灵大教堂》（Turing’s Cathedral）中讲述了阿兰·图灵、约翰·冯·诺依曼等一帮子天才小子创造计算机及预见计算机未来
  • 小学6年级英语单词背诵第一课 dcj3sjt126com englishword
    always 总是 rice 水稻，米饭 before 在...之前 live 生活，居住   usual 通常的 early 早的 begin 开始 month 月份   year 年 last 最后的 east 东方的 high 高的   far 远的 window 窗户 world 世界 than 比...更  
  • 在线IT教育和在线IT高端教育 dcj3sjt126com 教育
    codecademy  http://www.codecademy.com codeschool  https://www.codeschool.com teamtreehouse  http://teamtreehouse.com lynda http://www.lynda.com/ Coursera https://www.coursera.
  • Struts2 xml校验框架所定义的校验文件 蕃薯耀 Struts2 xml校验Struts2 xml校验框架Struts2校验
      >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年7月11日 15:54:59 星期六 http://fa
  • mac下安装rar和unrar命令 hanqunfeng mac
    1.下载：http://www.rarlab.com/download.htm 选择 RAR 5.21 for Mac OS X 2.解压下载后的文件 tar -zxvf rarosx-5.2.1.tar 3.cd rar sudo install -c -o $USER unrar /bin #输入当前用户登录密码 sudo install -c -o $USER rar
  • 三种将list转换为map的方法 jackyrong list
      在本文中，介绍三种将list转换为map的方法： 1） 传统方法 假设有某个类如下    class Movie { private Integer rank; private String description; public Movie(Integer rank, String des
  • 年轻程序员需要学习的5大经验 lampcy 工作PHP程序员
    在过去的7年半时间里，我带过的软件实习生超过一打，也看到过数以百计的学生和毕业生的档案。我发现很多事情他们都需要学习。或许你会说，我说的不就是某种特定的技术、算法、数学，或者其他特定形式的知识吗？没错，这的确是需要学习的，但却并不是最重要的事情。他们需要学习的最重要的东西是“自我规范”。这些规范就是：尽可能地写出最简洁的代码；如果代码后期会因为改动而变得凌乱不堪就得重构；尽量删除没用的代码，并添加
  • 评“女孩遭野蛮引产致终身不育 60万赔偿款1分未得”医腐深入骨髓 nannan408
    先来看南方网的一则报道： 再正常不过的结婚、生子，对于29岁的郑畅来说，却是一个永远也无法实现的梦想。从2010年到2015年，从24岁到29岁，一张张新旧不一的诊断书记录了她病情的同时，也清晰地记下了她人生的悲哀。 　　粗暴手术让人发寒 　　2010年7月，在酒店做服务员的郑畅发现自己怀孕了，可男朋友却联系不上。在没有和家人商量的情况下，她决定堕胎。 　　12月5日，
  • 使用jQuery为input输入框绑定回车键事件 VS 为a标签绑定click事件 Everyday都不同 jspinput回车键绑定clickenter
    假设如题所示的事件为同一个，必须先把该js函数抽离出来，该函数定义了监听的处理：   function search() { //监听函数略...... }   为input框绑定回车事件，当用户在文本框中输入搜索关键字时，按回车键，即可触发search():   //回车绑定 $(".search").keydown(fun
  • EXT学习记录 tntxia ext
      1. 准备   （1） 官网：http://www.sencha.com/   里面有源代码和API文档下载。   EXT的域名已经从www.extjs.com改成了www.sencha.com ，但extjs这个域名会自动转到sencha上。   （2）帮助文档：   想要查看EXT的官方文档的话，可以去这里h
  • mybatis3的mapper文件报Referenced file contains errors xingguangsixian mybatis
    最近使用mybatis.3.1.0时无意中碰到一个问题： The errors below were detected when validating the file "mybatis-3-mapper.dtd" via the file "account-mapper.xml". In most cases these errors can be d
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他