SongpingWang

基于PySpark的航天日志分析(SQL分析)

文章目录

1、导入PySpark包
2、创建SparkSession实例对象
3、读取数据（Schema()信息）

读取数据方法1
读取数据方法2

4、查看DataFrame数据信息（显示完整【列名】不省略）
6、SparkSQL模块中，结构化数据分析：DSL和SQL(filter)
7、分组聚合（groupBy Rename）
8、可视化展示（SparkSQL中DataFrame转换为Pandas中DataFrame）

基于PySpark的航天日志 ——运行环境`jupyter notebook`

1、导入PySpark包

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import os
import time
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession
-----------------------------------------------------------
#设置环境变量
os.environ['JAVA_HOME'] = 'C:/Java/jdk1.8.0_91'
#hadoop安装目录
os.environ['HADOOP_HOME'] = 'C:/Java/hadoop-2.6.0-cdh5.7.6'
#设置spark安装目录
os.environ['SPARK_HOME'] = 'C:/Java/spark-2.2.0-bin-2.6.0-cdh5.7.6'

2、创建SparkSession实例对象

#创建spark实例：local[2]本地模式两个线程。
spark = SparkSession.builder\
    .appName('Python_Spark_test')\
    .master('local[2]')\
    .getOrCreate()
------------------------------------------------------------------
# 读取数据
print type(spark)
print spark
输出：
    <class 'pyspark.sql.session.SparkSession'>
    <pyspark.sql.session.SparkSession object at 0x000000000670BD68>

3、读取数据（Schema()信息）

读取数据方法1

#读取csv格式文件
df = spark.read.csv("flights.csv",header = True)
df.head(5)
输出：
    [Row(year=u'2014', month=u'1', day=u'1', dep_time=u'1', dep_delay=u'96', arr_time=u'235', arr_delay=u'70', carrier=u'AS', tailnum=u'N508AS', flight=u'145', origin=u'PDX', dest=u'ANC', air_time=u'194', distance=u'1542', hour=u'0', minute=u'1'),
     Row(year=u'2014', month=u'1', day=u'1', dep_time=u'4', dep_delay=u'-6', arr_time=u'738', arr_delay=u'-23', carrier=u'US', tailnum=u'N195UW', flight=u'1830', origin=u'SEA', dest=u'CLT', air_time=u'252', distance=u'2279', hour=u'0', minute=u'4'),
     Row(year=u'2014', month=u'1', day=u'1', dep_time=u'8', dep_delay=u'13', arr_time=u'548', arr_delay=u'-4', carrier=u'UA', tailnum=u'N37422', flight=u'1609', origin=u'PDX', dest=u'IAH', air_time=u'201', distance=u'1825', hour=u'0', minute=u'8'),
     Row(year=u'2014', month=u'1', day=u'1', dep_time=u'28', dep_delay=u'-2', arr_time=u'800', arr_delay=u'-23', carrier=u'US', tailnum=u'N547UW', flight=u'466', origin=u'PDX', dest=u'CLT', air_time=u'251', distance=u'2282', hour=u'0', minute=u'28'),
     Row(year=u'2014', month=u'1', day=u'1', dep_time=u'34', dep_delay=u'44', arr_time=u'325', arr_delay=u'43', carrier=u'AS', tailnum=u'N762AS', flight=u'121', origin=u'SEA', dest=u'ANC', air_time=u'201', distance=u'1448', hour=u'0', minute=u'34')]

# 查看DataFrame的Schema信息
df.printSchema()

输出：
    root
     |-- year: string (nullable = true)
     |-- month: string (nullable = true)
     |-- day: string (nullable = true)
     |-- dep_time: string (nullable = true)
     |-- dep_delay: string (nullable = true)
     |-- arr_time: string (nullable = true)
     |-- arr_delay: string (nullable = true)
     |-- carrier: string (nullable = true)
     |-- tailnum: string (nullable = true)
     |-- flight: string (nullable = true)
     |-- origin: string (nullable = true)
     |-- dest: string (nullable = true)
     |-- air_time: string (nullable = true)
     |-- distance: string (nullable = true)
     |-- hour: string (nullable = true)
     |-- minute: string (nullable = true)

读取数据方法2

# 指定程序自定推断Schema数据
df2 = spark.read.csv('flights.csv', header=True, inferSchema=True)
df2.printSchema()

输出：
    root
     |-- year: integer (nullable = true)
     |-- month: integer (nullable = true)
     |-- day: integer (nullable = true)
     |-- dep_time: string (nullable = true)
     |-- dep_delay: string (nullable = true)
     |-- arr_time: string (nullable = true)
     |-- arr_delay: string (nullable = true)
     |-- carrier: string (nullable = true)
     |-- tailnum: string (nullable = true)
     |-- flight: integer (nullable = true)
     |-- origin: string (nullable = true)
     |-- dest: string (nullable = true)
     |-- air_time: string (nullable = true)
     |-- distance: integer (nullable = true)
     |-- hour: string (nullable = true)
     |-- minute: string (nullable = true)

4、查看DataFrame数据信息（显示完整【列名】不省略）

df.printSchema()         # 查看Schame信息
输出：
    root
     |-- year: string (nullable = true)
     |-- month: string (nullable = true)
     |-- day: string (nullable = true)
     |-- dep_time: string (nullable = true)
     |-- dep_delay: string (nullable = true)
     |-- arr_time: string (nullable = true)
     |-- arr_delay: string (nullable = true)
     |-- carrier: string (nullable = true)
     |-- tailnum: string (nullable = true)
     |-- flight: string (nullable = true)
     |-- origin: string (nullable = true)
     |-- dest: string (nullable = true)
     |-- air_time: string (nullable = true)
     |-- distance: string (nullable = true)
     |-- hour: string (nullable = true)
     |-- minute: string (nullable = true)

df.schema
输出： 
StructType(List(StructField(year,StringType,true),StructField(month,StringType,true),
StructField(day,StringType,true),StructField(dep_time,StringType,true),
StructField(dep_delay,StringType,true),StructField(arr_time,StringType,true),
StructField(arr_delay,StringType,true),StructField(carrier,StringType,true),
StructField(tailnum,StringType,true),StructField(flight,StringType,true),
StructField(origin,StringType,true),StructField(dest,StringType,true),
StructField(air_time,StringType,true),StructField(distance,StringType,true),
StructField(hour,StringType,true),StructField(minute,StringType,true)))

df.show()   # 显示前N条数据, 默认显示前20条数据
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    |year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|air_time|distance|hour|minute|
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    |2014|    1|  1|       1|       96|     235|       70|     AS| N508AS|   145|   PDX| ANC|     194|    1542|   0|     1|
    |2014|    1|  1|       4|       -6|     738|      -23|     US| N195UW|  1830|   SEA| CLT|     252|    2279|   0|     4|
    |2014|    1|  1|       8|       13|     548|       -4|     UA| N37422|  1609|   PDX| IAH|     201|    1825|   0|     8|
    |2014|    1|  1|      28|       -2|     800|      -23|     US| N547UW|   466|   PDX| CLT|     251|    2282|   0|    28|
    |2014|    1|  1|      34|       44|     325|       43|     AS| N762AS|   121|   SEA| ANC|     201|    1448|   0|    34|
    |2014|    1|  1|      37|       82|     747|       88|     DL| N806DN|  1823|   SEA| DTW|     224|    1927|   0|    37|
    |2014|    1|  1|     346|      227|     936|      219|     UA| N14219|  1481|   SEA| ORD|     202|    1721|   3|    46|
    |2014|    1|  1|     526|       -4|    1148|       15|     UA| N813UA|   229|   PDX| IAH|     217|    1825|   5|    26|
    |2014|    1|  1|     527|        7|     917|       24|     UA| N75433|  1576|   SEA| DEN|     136|    1024|   5|    27|
    |2014|    1|  1|     536|        1|    1334|       -6|     UA| N574UA|   478|   SEA| EWR|     268|    2402|   5|    36|
    |2014|    1|  1|     541|        1|     911|        4|     UA| N36476|  1569|   PDX| DEN|     130|     991|   5|    41|
    |2014|    1|  1|     549|       24|     907|       12|     US| N548UW|   649|   PDX| PHX|     122|    1009|   5|    49|
    |2014|    1|  1|     550|        0|     837|      -12|     DL| N660DL|  1634|   SEA| SLC|      82|     689|   5|    50|
    |2014|    1|  1|     557|       -3|    1134|      -16|     AA| N3JLAA|  1094|   SEA| DFW|     184|    1660|   5|    57|
    |2014|    1|  1|     557|       -3|     825|      -25|     AS| N562AS|    81|   SEA| ANC|     188|    1448|   5|    57|
    |2014|    1|  1|     558|       -2|     801|       -2|     AS| N402AS|   200|   SEA| SJC|     100|     697|   5|    58|
    |2014|    1|  1|     559|       -1|     916|       -9|     F9| N210FR|   796|   PDX| DEN|     125|     991|   5|    59|
    |2014|    1|  1|     600|        0|    1151|      -19|     AA| N3JFAA|  2240|   SEA| ORD|     206|    1721|   6|     0|
    |2014|    1|  1|     600|      -10|     842|       -8|     AS| N786AS|   426|   SEA| LAX|     125|     954|   6|     0|
    |2014|    1|  1|     602|       -3|     943|        5|     F9| N201FR|   144|   SEA| DEN|     129|    1024|   6|     2|
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    only showing top 20 rows

# 显示前5条数据, 显示每列字段的所有内容，不进行省略
df.show(n=5, truncate=False)
输出：
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    |year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|air_time|distance|hour|minute|
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    |2014|1    |1  |1       |96       |235     |70       |AS     |N508AS |145   |PDX   |ANC |194     |1542    |0   |1     |
    |2014|1    |1  |4       |-6       |738     |-23      |US     |N195UW |1830  |SEA   |CLT |252     |2279    |0   |4     |
    |2014|1    |1  |8       |13       |548     |-4       |UA     |N37422 |1609  |PDX   |IAH |201     |1825    |0   |8     |
    |2014|1    |1  |28      |-2       |800     |-23      |US     |N547UW |466   |PDX   |CLT |251     |2282    |0   |28    |
    |2014|1    |1  |34      |44       |325     |43       |AS     |N762AS |121   |SEA   |ANC |201     |1448    |0   |34    |
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    only showing top 5 rows

df.columns    # 获取所有列的名称
输出：
    ['year',
     'month',
     'day',
     'dep_time',
     'dep_delay',
     'arr_time',
     'arr_delay',
     'carrier',
     'tailnum',
     'flight',
     'origin',
     'dest',
     'air_time',
     'distance',
     'hour',
     'minute']

df.count()  # 统计条目数
输出：
    52535
----------------------------------------------------------------------------
df.cache()  # 缓存数据

"""
对RDD数据缓存到内存中，DataFrame = RDD + schema（字段类型、字段名称）也可以缓存到内存中，
但是cache()是一个Lazy 懒惰性操作，必须RDD/DataFrame使用Action函数触发
"""
print df.count()
输出：
	52535

6、SparkSQL模块中，结构化数据分析：DSL和SQL(filter)

# 注册DataFrame为视图
df.createOrReplaceTempView("view_tmp_flights")

# 编写并执行SQL语句，95%类似于MySQL中SQL
sql_str = "SELECT dest, arr_delay FROM view_tmp_flights"
dest_df = spark.sql(sql_str)

# 查看分析结果
dest_df.show(n=10)
输出：
    +----+---------+
    |dest|arr_delay|
    +----+---------+
    | ANC|       70|
    | CLT|      -23|
    | IAH|       -4|
    | CLT|      -23|
    | ANC|       43|
    | DTW|       88|
    | ORD|      219|
    | IAH|       15|
    | DEN|       24|
    | EWR|       -6|
    +----+---------+
    only showing top 10 rows

# 上述语句可以使用DSL分析，类似Pandas分析
df.select(df['dest'], df['arr_delay']).show(n=10)
输出：
    +----+---------+
    |dest|arr_delay|
    +----+---------+
    | ANC|       70|
    | CLT|      -23|
    | IAH|       -4|
    | CLT|      -23|
    | ANC|       43|
    | DTW|       88|
    | ORD|      219|
    | IAH|       15|
    | DEN|       24|
    | EWR|       -6|
    +----+---------+
    only showing top 10 rows

# 过滤
help(df.filter)
>>> df.filter(df.age > 3).collect()
[Row(age=5, name=u'Bob')]
>>> df.where(df.age == 2).collect()
[Row(age=2, name=u'Alice')]

jfk_df = df.filter(df['dest'] == 'JFK')
jfk_df.show(n=3)

print jfk_df.count()
输出：
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    |year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|air_time|distance|hour|minute|
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    |2014|    1|  1|     654|       -6|    1455|      -10|     DL| N686DA|   418|   SEA| JFK|     273|    2422|   6|    54|
    |2014|    1|  1|     708|       -7|    1510|      -19|     AA| N3DNAA|   236|   SEA| JFK|     281|    2422|   7|     8|
    |2014|    1|  1|     708|       -2|    1453|      -20|     DL| N3772H|  2258|   PDX| JFK|     267|    2454|   7|     8|
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    only showing top 3 rows
    
    932

# 上述可以使使用如下SQL表示
spark.sql("SELECT * FROM view_tmp_flights WHERE dest = 'JFK'").show(n=3)
输出：
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    |year|month|day|dep_time|dep_delay|arr_time|arr_delay|carrier|tailnum|flight|origin|dest|air_time|distance|hour|minute|
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    |2014|    1|  1|     654|       -6|    1455|      -10|     DL| N686DA|   418|   SEA| JFK|     273|    2422|   6|    54|
    |2014|    1|  1|     708|       -7|    1510|      -19|     AA| N3DNAA|   236|   SEA| JFK|     281|    2422|   7|     8|
    |2014|    1|  1|     708|       -2|    1453|      -20|     DL| N3772H|  2258|   PDX| JFK|     267|    2454|   7|     8|
    +----+-----+---+--------+---------+--------+---------+-------+-------+------+------+----+--------+--------+----+------+
    only showing top 3 rows

7、分组聚合（groupBy Rename）

"""
  使用DataFrame对象中groupBy函数实现分组统计，agg函数实现聚合
      -1. groupBy(self, *cols)
          接收一个列表作为参数，用于分组依据
      -2. agg(self, *exprs) 
          接收一个 字典作为参数，其中Key表示的是列名称，Value表示的是对列进行操作的函数名称，比如max，min，avg等等
"""

daily_delay_df = df.groupBy(df.day).agg({'dep_delay': 'mean', 'arr_delay': 'mean'})
print daily_delay_df.count()
输出：
	31

daily_delay_df.show(n=10,  truncate=False)
输出：
    +---+--------------------+------------------+
    |day|avg(arr_delay)      |avg(dep_delay)    |
    +---+--------------------+------------------+
    |7  |0.025215252152521524|5.243243243243243 |
    |15 |1.0819155639571518  |4.818353236957888 |
    |11 |5.749170537491706   |7.250661375661376 |
    |29 |6.407451923076923   |11.32174955062912 |
    |3  |5.629350893697084   |11.526241799437676|
    |30 |9.433526011560694   |12.31663788140472 |
    |8  |0.52455919395466    |4.555904522613066 |
    |22 |-1.0817571690054912 |6.10231425091352  |
    |28 |-3.4050632911392404 |4.110270951480781 |
    |16 |0.31582125603864736 |4.2917420132610005|
    +---+--------------------+------------------+
    only showing top 10 rows

# 重命名DataFrame中各个字段的名称

daily_delay_df.withColumnRenamed?

"""
>>> df.withColumnRenamed('age', 'age2').collect()
[Row(age2=2, name=u'Alice'), Row(age2=5, name=u'Bob')]
"""

# 重命名
daily_delay_df2 = daily_delay_df.withColumnRenamed('avg(arr_delay)', 'avg_arr_delay')

daily_delay_df2.printSchema()
输出：
    root
     |-- day: string (nullable = true)
     |-- avg_arr_delay: double (nullable = true)
     |-- avg(dep_delay): double (nullable = true)

daily_delay_df3 = daily_delay_df2.withColumnRenamed('avg(dep_delay)', 'avg_dep_delay')
daily_delay_df3.show(n=5)


    +---+--------------------+------------------+
    |day|       avg_arr_delay|     avg_dep_delay|
    +---+--------------------+------------------+
    |  7|0.025215252152521524| 5.243243243243243|
    | 15|  1.0819155639571518| 4.818353236957888|
    | 11|   5.749170537491706| 7.250661375661376|
    | 29|   6.407451923076923| 11.32174955062912|
    |  3|   5.629350893697084|11.526241799437676|
    +---+--------------------+------------------+
    only showing top 5 rows

8、可视化展示（SparkSQL中DataFrame转换为Pandas中DataFrame）

# 将SparkSQL中DataFrame转换为Pandas中DataFrame, 注意此时DataFrame中数据条目数很少
local_daily_delay_df = daily_delay_df3.toPandas()
local_daily_delay_df.head(10)

	day	avg_arr_delay	avg_dep_delay
0	7	0.025215	5.243243
1	15	1.081916	4.818353
2	11	5.749171	7.250661
3	29	6.407452	11.321750
4	3	5.629351	11.526242
5	30	9.433526	12.316638
6	8	0.524559	4.555905
7	22	-1.081757	6.102314
8	28	-3.405063	4.110271
9	16	0.315821	4.291742

# 使用matplotlib进行数据可视化，将图像内嵌 到Jupyter中如何操作
%matplotlib inline

RLHF技术应用探析：从安全任务到高阶能力提升 XianxinMao 人工智能 python 算法
标题：RLHF技术应用探析：从安全任务到高阶能力提升文章信息摘要：该分析探讨了RLHF技术在三个主要应用方向的发展现状和潜力。在安全性和结构化任务方面，RLHF已展现出成熟优势，特别是在内容审核和格式转换等领域。在增强模型高阶能力方面，虽然显示出提升逻辑推理和代码生成能力的潜力，但仍处于探索阶段，面临数据集缺乏等挑战。在风格转换方面，RLHF能够实现更细粒度的表达方式控制，对提升模型实用性具有重要
TCL小蓝翼新风空调亮相CES2025，斩获智慧新风技术创新大奖 TMT星球家电人工智能大数据
1月7日-11日，被称为“科技界春晚”的CES2025（国际消费类电子产品展览会）在美国拉斯维加斯举行。本届CES，TCL小蓝翼新风空调更是惊艳亮相TCL展区，以领先的健康新风及AI技术，斩获CES2025智慧新风技术创新奖（SmartFreshAirTechnologyInnovationAward）。全球刮起健康新风，TCL小蓝翼新风空调惊艳拉斯维加斯作为“科技届春晚”，每年的国际消费类电子产
奇墨FinOps云成本优化：创新架构攻克云成本优化难题奇墨 ITQM 云计算
企业的数字化转型已成为大势所趋，云服务作为推动企业数字化进程的关键力量，为企业带来了前所未有的便捷性与灵活性。同时，云成本的复杂性以及持续增长的趋势，不仅考验着企业的财务管理能力，更关乎企业的核心竞争力与可持续发展。奇墨FinOps创新框架为破局企业云成本优化挑战带来了崭新的希望。成本态势感知引擎赋能财务决策奇墨FinOps创新框架是专属于财务算法模型及策略库，智能评价与规划资源投入ROI，解决云
Julia语言的计算机基础 Code侠客行包罗万象 golang 开发语言后端
Julia语言的计算机基础引言随着数据科学、机器学习和高性能计算的快速发展，对编程语言的需求也日益增加。在众多编程语言中，Julia语言因其独特的设计理念和高性能而迅速崛起。本文将详细探讨Julia语言的基础知识，包括其历史背景、安装与环境配置、基本语法、数据结构、函数与模块、以及性能优化等方面，旨在为对Julia感兴趣的读者提供一份全面的入门指南。一、Julia语言简介1.1历史背景Julia是
C#中的设计模式：构建更加优雅的代码 Envyᥫᩣᩚ c#开发语言
C#在面向对象编程（OOP）方面的强大支持，我们可以探讨“C#中的设计模式”。这不仅有助于理解如何更好地组织代码，还能提高代码的可维护性和可扩展性。引言设计模式是软件工程中经过实践验证的解决方案模板，它们提供了一种标准化的方法来解决常见的开发问题。对于使用C#进行开发的程序员来说，理解和应用这些模式可以帮助创建结构良好、易于维护和扩展的应用程序。本文将介绍几种常用的设计模式，并展示如何用C#实现它
第十五届蓝桥杯软件赛C/C++大学A组个人省赛题解 2301_78234743 java
题解|#压缩字符串(一)#/***代码中的类名、方法名、参数名已经指定，请勿修改，直接返回方法规定的值即可***@4月末字节offer，51可以放松一下了从三月初开始零碎的投递，到三月底开始海投，三月的时候面试的机会其实很少，到4月初面试机会才逐渐多了起题解|#四则运算#importjava.util.*;//注意类名必须为Main,不要有任何package众远智慧离谱电话面2月底投的写完了笔试，
Android之权限架构向上_50358291 android 架构
1.权限简介：所有的权限定义在Android系统的源代码中，路径通常位于frameworks/base/core/res/AndroidManifest.xml。本篇文章以Android15原生源码来做的讲解。LI、LIF、LPr、LPw是什么？首先L代表Lock，I代表mInstall，P代表mPackages，F代表frozen，r代表读，w代表写。2.安装时权限：2.1普通权限（Normal
memcached的内存分配器是如何工作的？为什么不适用malloc/free！？为何要使用slabs？思维导图代码示例（java 架构) 用心去追梦 memcached java 架构
Memcached内存分配器工作原理Memcached使用了一种称为SlabAllocator的内存分配机制，它与传统的malloc/free不同。以下是关于为什么Memcached选择使用SlabAllocator而不是标准的内存分配方式的原因，以及其工作原理的关键点：1.SlabAllocator的优点减少碎片化：SlabAllocator通过预先分配固定大小的内存块（称为slabs），并将相
生数科技携手央视新闻《文博日历》，推动AI视频技术的创新应用 TMT星球人工智能人工智能科技大数据
近日，生数科技携手央视新闻《文博日历》栏目，借助其旗下AI视频大模型及应用产品Vidu，共同打造AI版2025年文博日历联欢晚会，全面推动AI视频生成技术在媒体中的创新实践。《文博日历》是央视新闻客户端联合各大博物馆推出的文博科普产品，以新媒体形式为观众呈现丰富多彩的文博知识和历史文化。据「TMT星球」了解，此次合作中，生数科技为《文博日历》量身定制了AI视频生成方案，让文物们“动”起来，共同出演
【Web3企业出海】奇墨科技为企业出海提供云安全、ITQM智能运维及云MSP一站式服务奇墨 ITQM 科技运维
1月15日，Web3嘉年华在四川成都成功举办。此次活动为探索企业出海的发展及创新机遇提供平台。活动现场，奇墨科技团队与在场嘉宾共商2025年企业出海的合作创新之道。奇墨科技，作为数字化领域的积极探索者与创新实践者，聚焦安全服务、奇墨ITQM智能运维、云MSP服务，为企业出海安全提供更具核心竞争力的技术支持。.云安全：极致性价比的企业云安全托底保障有底云安是奇墨科技旗下的云安全产品品牌，有底云安搭建
Scala语言的循环实现 Code侠客行包罗万象 golang 开发语言后端
Scala语言的循环实现在编程中，循环是一个非常重要的概念，它允许我们重复执行某些代码块。Scala作为一种现代化的编程语言，融合了函数式编程和面向对象编程的特点，提供了多种方式来实现循环。在本文中，我们将深入探讨Scala中的循环实现，包括基本的循环结构、使用集合与高阶函数、以及如何利用递归来实现循环。一、基础循环结构Scala提供了几种基础的循环结构，包括for循环、while循环和dowhi
python批量转化pdf图片为jpg图片不懂python不懂R python python pdf
1.把pdf图片批量转为jpg；需要注意的是，需要先安装poppler这个软件，具体安装教程放在下面代码中了2.代码#poppler安装教程参考：https://blog.csdn.net/wy01415/article/details/110257130#windows上poppler下载链接：https://github.com/oschwartz10612/poppler-windowsfr
golang中的包管理-下--详解网络风云后端开发语言 golang
继续Golang包管理，上节发布了包管理的简介和基本概念，接下来详细介绍包管理的常用工具以及最佳实践。帮助开发者有效地管理项目中的依赖关系、版本控制、以及模块化代码。Go的包管理系统在多个版本之间有过一些变革，从早期的GOPATH到当前的GoModules，其设计目标是简化开发流程、提高开发效率并避免版本冲突。1、Golang包管理的演变GOPATH模式在Go语言的早期，Go使用的是GOPATH作
基于matlab汽车定速巡航仿真,毕业设计论文汽车定速巡航控制系统的设计.doc weixin_40005437
汽车定速巡航控制系统的设计摘要：随着汽车工业和公路运输业的发展，汽车会越来越普及，人们将需要更加舒适、简便和安全的交通工具。汽车巡航控制系统是一种辅助驾驶系统，它不但可以减轻驾驶员的负担，还可以提高驾车的舒适性。汽车巡航控制系统具有非线性、时变不确定性，并受到外界扰动、复杂的运行工况等影响，采用传统PID控制很难取得满意的效果，本文介绍了一种基于模糊PID控制算法的汽车巡航控制系统。本文首先阐述了
想转行到人工智能领域，我该学什么，怎么学？张登杰踩人工智能 python
转行到人工智能（AI）领域需要系统的学习和实践，以下是详细的路径建议，涵盖基础知识、技能学习、项目实践和求职准备：一、明确目标和领域方向人工智能领域广泛，建议先了解细分方向（如机器学习、深度学习、计算机视觉、自然语言处理、强化学习等），结合兴趣和职业规划选择切入点。二、构建基础知识1.数学基础线性代数：矩阵运算、特征值、向量空间。微积分：导数、梯度、优化理论。概率与统计：贝叶斯定理、分布、假设检验
基于Uniapp+SpringBoot实现微信小程序授权登录请你喝杯Java⁡ 微信小程序开发指南前端之旅 1024程序员节微信小程序交互 spring boot 小程序
手把手教你做微信小程序授权登录交互一、uni.login请求临时code二、uni.request向后台交换数据三、源代码前台：在GetUserInfo中添加接口后台：SpringBoot后台数据处理四、实现效果开发需求：我们团队在开发微信小程序过程中，需要绑定微信用户的信息到数据库里，那么就需要获得用户的唯一标识openid,而微信为了安全，是禁止小程序直接访问该接口,因此我们不能直接拿到用户的
WPF拖拽交互全攻略及实现自定义拖拽控件及数据交换技巧解析 Nita. WPF WPF自定义控件 .NET wpf .NET c#1024程序员节
目录1.基本概念2.实现拖拽功能概述需要要实现基本的拖放，完成以下任务：其他操作示例3.1设置拖拽源，拖拽开始3.2设置拖拽效果DragDropEffects3.3设置放置目标，处理拖拽数据拖拽输入DragEnter事件DragOver事件拖拽离开DragLeave事件拖拽结束Drop事件3.其他实际使用中遇到的问题实现拖拽交换数据的自定义控件效果思路解析具体实现参考1.基本概念拖拽（Dragan
算法随笔_20:区间子数组个数程序趣谈算法
上一篇:算法随笔_19:数组中的最长山脉-CSDN博客=====================题目描述如下:给你一个整数数组nums和两个整数：left及right。找出nums中连续、非空且其中最大元素在范围[left,right]内的子数组，并返回满足条件的子数组的个数。生成的测试用例保证结果符合32-bit整数范围。示例1：输入：nums=[2,1,4,3],left=2,right=3输
Java面试题及答案汇总（二，马士兵Java全套百度云 Java独家笑程序员后端 java 面试
常用容器的图录：19.Collection和Collections有什么区别？java.util.Collection是一个集合接口（集合类的一个顶级接口）。它提供了对集合对象进行基本操作的通用接口方法。Collection接口在Java类库中有很多具体的实现。Collection接口的意义是为各种具体的集合提供了最大化的统一操作方式，其直接继承接口有List与Set。Collections则是集
【EXCEL_VBA_实战】多工作薄合并深入理解南子98 软件应用 excel
工作背景：多个工作薄存在冲突的名称，需快速合并困难点：工作表移动复制时，若有冲突的名称，会不断弹出对话框待人工确认思路：利用代码确认弹出的对话框关键代码：Application.DisplayAlerts=FalseSubMerge_WB()'文件合并DimWBs_SourceAsVariant'工作薄序列DimsAsInteger'工作薄序列下标'选择工作薄（）WBs_Source=Applic
基于RBF神经网络的在线学习算法 fanxbl957 人工智能理论与实践神经网络学习算法
基于RBF神经网络的在线学习算法一、引言随着信息技术的飞速发展，数据的产生速度日益加快，传统的批量学习算法在处理大规模、实时更新的数据时面临着诸多挑战。在线学习算法作为一种可以实时更新模型的学习方式，逐渐受到广泛关注。RBF（径向基函数）神经网络作为一种强大的神经网络模型，以其良好的函数逼近能力和非线性处理能力，为在线学习提供了一种有效的工具。本文将深入探讨基于RBF神经网络的在线学习算法，包括其
【Day1 Leetcode 】二分查找和双指针银河梦想家 leetcode 算法
一、二分查找1.1二分查找704这题比较简单，是二分查找的入门题，主要是要注意二分区间的写法，我个人是比较喜欢左闭右闭的写法。代码如下：classSolution{public:intsearch(vector&nums,inttarget){intleft=0,right=nums.size()-1;while(lefttarget)right=mid-1;elseleft=mid+1;}ret
系统相关类——java.lang.Math （三）（案例详细拆解小白友好）励志去大厂的菜鸟 Java思想和方法 Java学习白话拆解Java java 开发语言服务器深度学习学习方法
前言：小编打算近期更俩三期类的专栏，一些常用的专集类，给大家分好类别总结和详细的代码举例解释。今天是第三个java.lang.Math类我们一直都是以这样的形式，让新手小白轻松理解复杂晦涩的概念，把Java代码拆解的清清楚楚，每一步都知道他是怎么来的，为什么用这串代码关键字，对比同类型的代码，让大家真正看完以后融会贯通，举一反三，实践应用！！！！①官方定义和大白话拆解对比②举生活中常见贴合例子、图
2024年大数据最全数据仓库｜数据库面试题总结_面试题数据仓库 2301_82243558 程序员大数据数据仓库数据库
这里值得注意的是不要想着为每个字段建立索引，因为优先使用索引的优势就在于其体积小。索引有哪几种类型？主键索引:数据列不允许重复，不允许为NULL，一个表只能有一个主键。唯一索引:数据列不允许重复，允许为NULL值，一个表允许多个列创建唯一索引。可以通过ALTERTABLEtable_nameADDUNIQUE(column);创建唯一索引可以通过ALTERTABLEtable_nameADDUNI
ARM下汇编语言编程 Kylin77626 arm开发
一、ARM汇编语言程序格式ARM汇编语言是以段(section)为单位来组织源文件的。段是相对独立的、具有特定名称的、不可分割的指令或者数据序列。段又可以分为代码段和数据段，代码段存放执行代码，数据段存放代码运行时需要用到的数据。一个ARM源程序至少需要一个代码段，大的程序可以包含多个代码段和数据段。二、ARM汇编语言中常用的伪操作例如：areareset，code，readonly;声明了一个名
华为OD机试E卷 --选修课--24年OD统一考试（Java & JS & Python & C & C++）飞码创造者最新华为OD机试题库2024 华为od java javascript python js c语言
文章目录题目描述输入描述输出描述用例题目解析JS算法源码Java算法源码python算法源码c算法源码题目描述现有两门选修课，每门选修课都有一部分学生选修，每个学生都有选修课的成绩，需要你找出同时选修了两门选修课的学生，先按照班级进行划分，班级编号小的先输出，每个班级按照两门选修课成绩和的降序排序，成绩相同时按照学生的学号升序排序。输入描述第一行为第一门选修课学生的成绩，第二行为第二门选修课学生的
Python调用open ai接口蓝天星空编程人工智能 python
要使用Python调用OpenAI的接口，您需要完成以下几个步骤：1.**注册并获取API密钥**2.**安装OpenAI的Python库**3.**编写Python代码以调用API**以下是详细的步骤说明：---###1.注册并获取API密钥首先，您需要在[OpenAI官方网站](https://beta.openai.com/signup/)注册一个账户。注册完成后，您需要创建一个API密钥：
2025春招 SpringCloud 面试题汇总威哥爱编程（马剑威） V哥原创技术栈 spring cloud spring 后端
大家好，我是V哥。SpringCloud在面试中属于重灾区，不仅是基础概念、组件细节，还有高级特性、性能优化，关键是项目实践经验的解决方案，都是需要掌握的内容，正所谓打有准备的仗，秒杀面试官，如果你正在准备这一块内容，V哥整理的以下面试题及答案，可能在2025年SpringCloud面试中出现，有备无患。先赞再看后评论，腰缠万贯财进门。一、基础概念部分什么是SpringCloud？SpringCl
把markdown转换为pdf的方法 hunter206206 经验 Markdown pdf
将Markdown文件转换为PDF有多种方法，以下是几种常见的方式：1.使用VSCode和Markdown插件VSCode是一款流行的代码编辑器，支持通过插件将Markdown转换为PDF。步骤：安装VSCode：下载地址：VSCode官网安装Markdown插件：打开VSCode，点击左侧扩展图标（或按Ctrl+Shift+X）。搜索并安装MarkdownAllinOne和MarkdownPDF
python strip() 函数和 split() 函数的详解 xinyuerr java python python java 数据库
本文主要介绍了pythonstrip()函数和split()函数的详解及实例的相关资料,需要的朋友可以参考下pythonstrip()函数和split()函数的详解及实例一直以来都分不清楚strip和split的功能，实际上strip是删除的意思；而split则是分割的意思。因此也表示了这两个功能是完全不一样的，strip可以删除字符串的某些字符，而split则是根据规定的字符将字符串进行分割。下
jsonp 常用util方法 hw1287789687 jsonp jsonp常用方法 jsonp callback
jsonp 常用java方法 (1)以jsonp的形式返回:函数名(json字符串) /*** * 用于jsonp调用 * @param map : 用于构造json数据 * @param callback : 回调的javascript方法名 * @param filters : <code>SimpleBeanPropertyFilter theFilt
多线程场景 alafqq 多线程
0 能不能简单描述一下你在java web开发中需要用到多线程编程的场景？0 对多线程有些了解，但是不太清楚具体的应用场景，能简单说一下你遇到的多线程编程的场景吗？ Java多线程 2012年11月23日 15:41 Young9007 Young9007 4 0 0 4 Comment添加评论关注(2) 3个答案按时间排序按投票排序 0 0 最典型的如： 1、
Maven学习——修改Maven的本地仓库路径 Kai_Ge maven
安装Maven后我们会在用户目录下发现.m2 文件夹。默认情况下，该文件夹下放置了Maven本地仓库.m2/repository。所有的Maven构件(artifact)都被存储到该仓库中，以方便重用。但是windows用户的操作系统都安装在C盘，把Maven仓库放到C盘是很危险的，为此我们需要修改Maven的本地仓库路径。
placeholder的浏览器兼容 120153216 placeholder
【前言】自从html5引入placeholder后，问题就来了，不支持html5的浏览器也先有这样的效果，各种兼容，之前考虑，今天测试人员逮住不放，想了个解决办法，看样子还行，记录一下。【原理】不使用placeholder，而是模拟placeholder的效果，大概就是用focus和focusout效果。【代码】 <scrip
debian_用iso文件创建本地apt源 2002wmj Debian
1.将N个debian-506-amd64-DVD-N.iso存放于本地或其他媒介内，本例是放在本机/iso/目录下 2.创建N个挂载点目录如下： debian:~#mkdir –r /media/dvd1 debian:~#mkdir –r /media/dvd2 debian:~#mkdir –r /media/dvd3 …. debian:~#mkdir –r /media
SQLSERVER耗时最长的SQL 357029540 SQL Server
对于DBA来说，经常要知道存储过程的某些信息： 1. 执行了多少次 2. 执行的执行计划如何 3. 执行的平均读写如何 4. 执行平均需要多少时间列名 &
com/genuitec/eclipse/j2eedt/core/J2EEProjectUtil 7454103 eclipse
今天eclipse突然报了com/genuitec/eclipse/j2eedt/core/J2EEProjectUtil 错误，并且工程文件打不开了，在网上找了一下资料，然后按照方法操作了一遍，好了，解决方法如下：错误提示信息： An error has occurred.See error log for more details. Reason: com/genuitec/
用正则删除文本中的html标签 adminjun java html 正则表达式去掉html标签
使用文本编辑器录入文章存入数据中的文本是HTML标签格式，由于业务需要对HTML标签进行去除只保留纯净的文本内容，于是乎Java实现自动过滤。如下： public static String Html2Text(String inputString) { String htmlStr = inputString; // 含html标签的字符串 String textSt
嵌入式系统设计中常用总线和接口 aijuans linux 基础
嵌入式系统设计中常用总线和接口任何一个微处理器都要与一定数量的部件和外围设备连接，但如果将各部件和每一种外围设备都分别用一组线路与CPU直接连接，那么连线
Java函数调用方式——按值传递 ayaoxinchao java 按值传递对象基础数据类型
Java使用按值传递的函数调用方式，这往往使我感到迷惑。因为在基础数据类型和对象的传递上，我就会纠结于到底是按值传递，还是按引用传递。其实经过学习，Java在任何地方，都一直发挥着按值传递的本色。首先，让我们看一看基础数据类型是如何按值传递的。 public static void main(String[] args) { int a = 2;
ios音量线性下降 bewithme ios音量
直接上代码吧 //second 几秒内下降为0 - (void)reduceVolume:(int)second { KGVoicePlayer *player = [KGVoicePlayer defaultPlayer]; if (!_flag) { _tempVolume = player.volume;
与其怨它不如爱它 bijian1013 选择理想职业规划
抱怨工作是年轻人的常态，但爱工作才是积极的心态，与其怨它不如爱它。一般来说，在公司干了一两年后，不少年轻人容易产生怨言，除了具体的埋怨公司“扭门”，埋怨上司无能以外，也有许多人是因为根本不爱自已的那份工作，工作完全成了谋生的手段，跟自已的性格、专业、爱好都相差甚远。
一边时间不够用一边浪费时间 bingyingao 工作时间浪费
一方面感觉时间严重不够用，另一方面又在不停的浪费时间。每一个周末，晚上熬夜看电影到凌晨一点，早上起不来一直睡到10点钟，10点钟起床，吃饭后玩手机到下午一点。精神还是很差，下午像一直野鬼在城市里晃荡。为何不尝试晚上10点钟就睡，早上7点就起，时间完全是一样的，把看电影的时间换到早上，精神好，气色好，一天好状态。控制让自己周末早睡早起，你就成功了一半。有多少个工作
【Scala八】Scala核心二：隐式转换 bit1129 scala
Implicits work like this: if you call a method on a Scala object, and the Scala compiler does not see a definition for that method in the class definition for that object, the compiler will try to con
sudoku slover in Haskell (2) bookjovi haskell sudoku
继续精简haskell版的sudoku程序，稍微改了一下，这次用了8行，同时性能也提高了很多，对每个空格的所有解不是通过尝试算出来的，而是直接得出。 board = [0,3,4,1,7,0,5,0,0, 0,6,0,0,0,8,3,0,1, 7,0,0,3,0,0,0,0,6, 5,0,0,6,4,0,8,0,7,
Java-Collections Framework学习与总结-HashSet和LinkedHashSet BrokenDreams linkedhashset
本篇总结一下两个常用的集合类HashSet和LinkedHashSet。它们都实现了相同接口java.util.Set。Set表示一种元素无序且不可重复的集合；之前总结过的java.util.List表示一种元素可重复且有序
读《研磨设计模式》-代码笔记-备忘录模式-Memento bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; /* * 备忘录模式的功能是，在不破坏封装性的前提下，捕获一个对象的内部状态，并在对象之外保存这个状态，为以后的状态恢复作“备忘”
《RAW格式照片处理专业技法》笔记 cherishLC PS
注意，这不是教程！仅记录楼主之前不太了解的一、色彩（空间）管理作者建议采用ProRGB（色域最广），但camera raw中设为ProRGB，而PS中则在ProRGB的基础上，将gamma值设为了1.8（更符合人眼）注意：bridge、camera raw怎么设置显示、输出的颜色都是正确的（会读取文件内的颜色配置文件），但用PS输出jpg文件时，必须先用Edit->conv
使用 Git 下载 Spring 源码编译 for Eclipse crabdave eclipse
使用 Git 下载 Spring 源码编译 for Eclipse 1、安装gradle，下载 http://www.gradle.org/downloads 配置环境变量GRADLE_HOME，配置PATH %GRADLE_HOME%/bin，cmd，gradle -v 2、spring4 用jdk8 下载 https://jdk8.java.
mysql连接拒绝问题 daizj mysql 登录权限
mysql中在其它机器连接mysql服务器时报错问题汇总一、[running][email protected]:~$mysql -uroot -h 192.168.9.108 -p //带-p参数，在下一步进行密码输入 Enter password: //无字符串输入 ERROR 1045 (28000): Access
Google Chrome 为何打压 H.264 dsjt apple html5 chrome Google
Google 今天在 Chromium 官方博客宣布由于 H.264 编解码器并非开放标准，Chrome 将在几个月后正式停止对 H.264 视频解码的支持，全面采用开放的 WebM 和 Theora 格式。 Google 在博客上表示，自从 WebM 视频编解码器推出以后，在性能、厂商支持以及独立性方面已经取得了很大的进步，为了与 Chromium 现有支持的編解码器保持一致，Chrome
yii 获取控制器名和方法名 dcj3sjt126com yii framework
1. 获取控制器名在控制器中获取控制器名: $name = $this->getId(); 在视图中获取控制器名: $name = Yii::app()->controller->id; 2. 获取动作名在控制器beforeAction()回调函数中获取动作名: $name =
Android知识总结（二） come_for_dream android
明天要考试了，速速总结如下 1、Activity的启动模式 standard：每次调用Activity的时候都创建一个（可以有多个相同的实例，也允许多个相同Activity叠加。） singleTop：可以有多个实例，但是不允许多个相同Activity叠加。即，如果Ac
高洛峰收徒第二期：寻找未来的“技术大牛” ——折腾一年，奖励20万元 gcq511120594 工作项目管理
高洛峰，兄弟连IT教育合伙人、猿代码创始人、PHP培训第一人、《细说PHP》作者、软件开发工程师、《IT峰播》主创人、PHP讲师的鼻祖！首期现在的进程刚刚过半，徒弟们真的很棒，人品都没的说，团结互助，学习刻苦，工作认真积极，灵活上进。我几乎会把他们全部留下来，现在已有一多半安排了实际的工作，并取得了很好的成绩。等他们出徒之日，凭他们的能力一定能够拿到高薪，而且我还承诺过一个徒弟，当他拿到大学毕
linux expect heipark expect
1. 创建、编辑文件go.sh #!/usr/bin/expect spawn sudo su admin expect "*password*" { send "13456\r\n" } interact 2. 设置权限 chmod u+x go.sh 3.
Spring4.1新特性——静态资源处理增强 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
idea ubuntuxia 乱码 liyonghui160com
1.首先需要在windows字体目录下或者其它地方找到simsun.ttf 这个字体文件。 2.在ubuntu 下可以执行下面操作安装该字体： sudo mkdir /usr/share/fonts/truetype/simsun sudo cp simsun.ttf /usr/share/fonts/truetype/simsun fc-cache -f -v
改良程序的11技巧 pda158 技巧
有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。让我们看一些基本的编程技巧：尽量保持方法简短永远永远不要把同一个变量用于多个不同的
300个涵盖IT各方面的免费资源（下）——工作与学习篇 shoothao 创业免费资源学习课程远程工作
工作与生产效率: A. 背景声音 Noisli:背景噪音与颜色生成器。 Noizio:环境声均衡器。 Defonic:世界上任何的声响都可混合成美丽的旋律。 Designers.mx:设计者为设计者所准备的播放列表。 Coffitivity:这里的声音就像咖啡馆里放的一样。 B. 避免注意力分散 Self Co
深入浅出RPC uule rpc
深入浅出RPC-浅出篇深入浅出RPC-深入篇 RPC Remote Procedure Call Protocol 远程过程调用协议它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发

基于PySpark的航天日志分析(SQL分析)

文章目录

1、导入PySpark包

2、创建SparkSession实例对象

3、读取数据（Schema()信息）

读取数据方法1

读取数据方法2

4、查看DataFrame数据信息（显示完整【列名】不省略）

6、SparkSQL模块中，结构化数据分析：DSL和SQL(filter)

7、分组聚合（groupBy Rename）

8、可视化展示（SparkSQL中DataFrame转换为Pandas中DataFrame）

你可能感兴趣的:(大数据,机器学习—算法及代码,pyspark数据分析)