深度学习的奋斗者
深度学习的奋斗者

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）

一.代码流程（运行效果：短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_哔哩哔哩_bilibili

模型流程：

  1. 导入所需的库，包括NumPy、Pandas、Matplotlib、Seaborn等。

  2. 读取发电数据和天气传感器数据，将它们存储在df_plt1_gen和df_plt1_weather中。

  3. 数据预处理：

    • 对发电数据进行了一些处理，包括删除不需要的列、将日期时间列转换为日期时间类型，并根据逆变器创建了新的逆变器列。
    • 天气数据也被处理，删除了不需要的列，将日期时间列转换为日期时间类型。

  4. 确保数据完整性：

    • 创建了一个完整的日期时间序列，以确保数据中没有缺失值。
    • 初始化一个空列表，用于存储处理后的发电数据。

  5. 遍历每个逆变器：

    • 选择特定逆变器的数据。
    • 使用完整的日期时间序列合并数据，以确保没有缺失值。
    • 添加逆变器列并将数据附加到列表中。

  6. 合并所有逆变器的数据，创建了一个完整的数据集df。

  7. 提取并映射日期时间特征，计算特征之间的相关性，并检查是否有负值。

  8. 创建一个新的数据集df_eda，用于探索性数据分析（EDA）。

  9. 处理异常值：

    • 创建用于统计异常值的数据集，包括低异常值、高异常值和标准差范围内的数据点。
    • 绘制散点图可视化数据点。

  10. 统计低异常值的数量，包括低异常值且AC功率为0的数量。

  11. 绘制逆变器异常值计数的条形图，包括AC功率为0的部分。

  12. 定义一个函数outliers用于处理异常值，并绘制散点图可视化处理后的数据。

  13. 处理DAILY_YIELD特征的异常值，包括将夜间时间段的发电功率设为0。

  14. 插补缺失值：

    • 使用KNNImputer插补缺失值。
    • 使用时间插值、线性插值和多项式插值方法插补缺失值。

  15. 计算每天的总发电量，并将目标变量向后移动一天，以便进行预测。

  16. 使用季节性分解方法对目标变量进行分解，以查看趋势和季节性成分。

  17. 创建基准模型，计算基准模型的RMSE（均方根误差）。

  18. 准备数据用于机器学习模型和深度学习模型的训练和测试。

  19. 使用XGBoost模型进行训练和测试，评估模型的性能，并绘制预测结果。

  20. 最后，绘制了模型的特征重要性图表。

二.数据集（68779条数据）

这些数据是在印度的两个太阳能发电厂收集的，时间跨度为34天。每对文件包含一个电力发电数据集和一个传感器读数数据集。电力发电数据集是在逆变器级别收集的，每个逆变器都连接着多行太阳能电池板。传感器数据是在发电厂级别收集的，是单个传感器阵列在发电厂中的最佳放置。

  • DATE_TIME: 表示日期和时间的时间戳，记录数据采集的具体时间点。
  • PLANT_ID: 发电厂的唯一标识符，用于区分不同的太阳能发电厂。
  • SOURCE_KEY: 太阳能发电设备的唯一标识符，用于区分不同的发电设备。
  • DC_POWER: 直流功率的测量值，表示从太阳能电池板产生的直流电功率。
  • AC_POWER: 交流功率的测量值，表示从逆变器转换后的交流电功率。
  • DAILY_YIELD: 每天的发电量，表示在给定日期内生成的总电量。
  • TOTAL_YIELD: 总发电量，表示从安装以来生成的总电量。

这些列提供了关于太阳能发电厂的重要信息，包括发电设备的功率输出、每天的发电量以及总发电量。通过这些数据，可以进行发电量的分析、设备性能的评估以及故障检测等任务。

开始时间

DATE_TIME PLANT_ID SOURCE_KEY DC_POWER AC_POWER DAILY_YIELD TOTAL_YIELD
15-05-2020 00:00 4135001 1BY6WEcLGh8j5v7 0 0 0 6259559
15-05-2020 00:00 4135001 1IF53ai7Xc0U56Y 0 0 0 6183645
15-05-2020 00:00 4135001 3PZuoBAID5Wc2HD 0 0 0 6987759
15-05-2020 00:00 4135001 7JYdWkrLSPkdwr4 0 0 0 7602960
15-05-2020 00:00 4135001 McdE0feGgRqW7Ca 0 0 0 7158964
15-05-2020 00:00 4135001 VHMLBKoKgIrUVDU 0 0 0 7206408
15-05-2020 00:00 4135001 WRmjgnKYAwPKWDb 0 0 0 7028673
15-05-2020 00:00 4135001 ZnxXDlPa8U1GXgE 0 0 0 6522172
15-05-2020 00:00 4135001 ZoEaEvLYb1n2sOq 0 0 0 7098099
15-05-2020 00:00 4135001 adLQvlD726eNBSB 0 0 0 6271355
15-05-2020 00:00 4135001 bvBOhCH3iADSZry 0 0 0 6316803
15-05-2020 00:00 4135001 iCRJl6heRkivqQ3 0 0 0 7177992
15-05-2020 00:00 4135001 ih0vzX44oOqAx2f 0 0 0 6185184
15-05-2020 00:00 4135001 pkci93gMrogZuBj 0 0 0 7169102
15-05-2020 00:00 4135001 rGa61gmuvPhdLxV 0 0 0 7111493
15-05-2020 00:00 4135001 sjndEbLyjtCKgGv 0 0 0 7016832
15-05-2020 00:00 4135001 uHbuxQJl8lW7ozc 0 0 0 7038681
15-05-2020 00:00 4135001 wCURE6d3bPkepu2 0 0 0 6782598
15-05-2020 00:00 4135001 z9Y9gH1T5YWrNuG 0 0 0 7007866
15-05-2020 00:00 4135001 zBIq5rxdHJRwDNY 0 0 0 6339380
15-05-2020 00:00 4135001 zVJPv84UY57bAof 0 0 0 7116151
15-05-2020 00:15 4135001 1BY6WEcLGh8j5v7 0 0 0 6259559
15-05-2020 00:15 4135001 1IF53ai7Xc0U56Y 0 0 0 6183645
15-05-2020 00:15 4135001 3PZuoBAID5Wc2HD 0 0 0 6987759
15-05-2020 00:15 4135001 7JYdWkrLSPkdwr4 0 0 0 7602960
15-05-2020 00:15 4135001 McdE0feGgRqW7Ca 0 0 0 7158964
15-05-2020 00:15 4135001 VHMLBKoKgIrUVDU 0 0 0 7206408
15-05-2020 00:15 4135001 WRmjgnKYAwPKWDb 0 0 0 7028673
15-05-2020 00:15 4135001 ZnxXDlPa8U1GXgE 0 0 0 6522172

中期时间段数据展示

20-05-2020 06:45 4135001 uHbuxQJl8lW7ozc 947.875 92.0875 40.25 7071238.25
20-05-2020 06:45 4135001 wCURE6d3bPkepu2 944.25 91.725 41.25 6815390.25
20-05-2020 06:45 4135001 z9Y9gH1T5YWrNuG 953.875 92.6625 40.375 7040505.375
20-05-2020 06:45 4135001 zBIq5rxdHJRwDNY 936.75 91 39.625 6372010.625
20-05-2020 06:45 4135001 zVJPv84UY57bAof 933.625 90.675 40.125 7148377.125
20-05-2020 07:00 4135001 1BY6WEcLGh8j5v7 1564.714286 152.9571429 68 6290165
20-05-2020 07:00 4135001 1IF53ai7Xc0U56Y 1790.375 175.2375 76.625 6216506.625
20-05-2020 07:00 4135001 3PZuoBAID5Wc2HD 1728.714286 169.1571429 73.71428571 7020585.714
20-05-2020 07:00 4135001 7JYdWkrLSPkdwr4 1690.571429 165.4285714 74.85714286 7635282.857
20-05-2020 07:00 4135001 McdE0feGgRqW7Ca 1628.714286 159.2571429 71.42857143 7192169.429
20-05-2020 07:00 4135001 VHMLBKoKgIrUVDU 1727.428571 169.0428571 76.57142857 7239618.571
20-05-2020 07:00 4135001 WRmjgnKYAwPKWDb 1700 166.3571429 72.57142857 7061004.571
20-05-2020 07:00 4135001 YxYtjZvoooNbGkE 1593.857143 155.7857143 70 7212546
20-05-2020 07:00 4135001 ZnxXDlPa8U1GXgE 1638.428571 160.1857143 59.57142857 6555195.571
20-05-2020 07:00 4135001 ZoEaEvLYb1n2sOq 1567 153.1857143 69.57142857 7130401.571
20-05-2020 07:00 4135001 adLQvlD726eNBSB 1818.125 178 79.125 6304592.125
20-05-2020 07:00 4135001 bvBOhCH3iADSZry 1535.714286 150 66.85714286 6346973.857
20-05-2020 07:00 4135001 iCRJl6heRkivqQ3 1568.857143 153.2857143 69.85714286 7210787.857
20-05-2020 07:00 4135001 ih0vzX44oOqAx2f 1584.142857 154.8571429 69 6217346
20-05-2020 07:00 4135001 pkci93gMrogZuBj 1550.571429 151.5 68.57142857 7201417.571
20-05-2020 07:00 4135001 rGa61gmuvPhdLxV 1542 150.6714286 68.57142857 7143880.571
20-05-2020 07:00 4135001 sjndEbLyjtCKgGv 1587.714286 155.2428571 69.57142857 7049353.571
20-05-2020 07:00 4135001 uHbuxQJl8lW7ozc 1588.571429 155.3 69.71428571 7071267.714
20-05-2020 07:00 4135001 wCURE6d3bPkepu2 1578.571429 154.3 70 6815419

截止时间的数据展示

17-06-2020 23:30 4135001 wCURE6d3bPkepu2 0 0 5883 7028601
17-06-2020 23:30 4135001 z9Y9gH1T5YWrNuG 0 0 5819 7251204
17-06-2020 23:30 4135001 zBIq5rxdHJRwDNY 0 0 5817 6583369
17-06-2020 23:30 4135001 zVJPv84UY57bAof 0 0 5910 7363272
17-06-2020 23:45 4135001 1BY6WEcLGh8j5v7 0 0 5521 6485319
17-06-2020 23:45 4135001 1IF53ai7Xc0U56Y 0 0 6034 6433566
17-06-2020 23:45 4135001 3PZuoBAID5Wc2HD 0 0 6052 7237425
17-06-2020 23:45 4135001 7JYdWkrLSPkdwr4 0 0 5856 7846821
17-06-2020 23:45 4135001 McdE0feGgRqW7Ca 0 0 5992 7408587
17-06-2020 23:45 4135001 VHMLBKoKgIrUVDU 0 0 6007 7456208
17-06-2020 23:45 4135001 WRmjgnKYAwPKWDb 0 0 5953 7273532
17-06-2020 23:45 4135001 YxYtjZvoooNbGkE 0 0 5886 7425442
17-06-2020 23:45 4135001 ZnxXDlPa8U1GXgE 0 0 5929 6770737
17-06-2020 23:45 4135001 ZoEaEvLYb1n2sOq 0 0 5871 7341753
17-06-2020 23:45 4135001 adLQvlD726eNBSB 0 0 5237.142857 6524508
17-06-2020 23:45 4135001 bvBOhCH3iADSZry 0 0 5460 6539009
17-06-2020 23:45 4135001 iCRJl6heRkivqQ3 0 0 5957 7426263
17-06-2020 23:45 4135001 ih0vzX44oOqAx2f 0 0 5758 6426129
17-06-2020 23:45 4135001 pkci93gMrogZuBj 0 0 5952 7415430
17-06-2020 23:45 4135001 rGa61gmuvPhdLxV 0 0 5950 7356897
17-06-2020 23:45 4135001 sjndEbLyjtCKgGv 0 0 5887 7261681
17-06-2020 23:45 4135001 uHbuxQJl8lW7ozc 0 0 5967 7287002
17-06-2020 23:45 4135001 wCURE6d3bPkepu2 0 0 5147.625 7028601
17-06-2020 23:45 4135001 z9Y9gH1T5YWrNuG 0 0 5819 7251204
17-06-2020 23:45 4135001 zBIq5rxdHJRwDNY 0 0 5817 6583369
17-06-2020 23:45 4135001 zVJPv84UY57bAof 0 0 5910 7363272

 三.效果图

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第1张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第2张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第3张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第4张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第5张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第6张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第7张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第8张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第9张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第10张图片

短期光伏发电量短期预测（Python代码，先对异常值处理，再基于XGBoost模型预测）_第11张图片

对项目感兴趣的，可以私信

你可能感兴趣的:(python,机器学习,人工智能)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首 张三叨
    你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • Maven Array_06 eclipsejdkmaven
    Maven Maven是基于项目对象模型(POM)， 信息来管理项目的构建，报告和文档的软件项目管理工具。 Maven 除了以程序构建能力为特色之外，还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性，所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Maven 的面向项目的方法，许多 Apache Jakarta 项目发文时使用 Maven，而且公司
  • ibatis的queyrForList和queryForMap区别 bijian1013 javaibatis
    一.说明         iBatis的返回值参数类型也有种：resultMap与resultClass，这两种类型的选择可以用两句话说明之：         1.当结果集列名和类的属性名完全相对应的时候，则可直接用resultClass直接指定查询结果类
  • LeetCode[位运算] - #191 计算汉明权重 Cwind java位运算LeetCodeAlgorithm题解
    原题链接：#191 Number of 1 Bits 要求： 写一个函数，以一个无符号整数为参数，返回其汉明权重。例如，‘11’的二进制表示为'00000000000000000000000000001011', 故函数应当返回3。 汉明权重：指一个字符串中非零字符的个数；对于二进制串，即其中‘1’的个数。 难度：简单 分析： 将十进制参数转换为二进制，然后计算其中1的个数即可。 “
  • 浅谈java类与对象 15700786134 java
          java是一门面向对象的编程语言，类与对象是其最基本的概念。所谓对象，就是一个个具体的物体，一个人，一台电脑，都是对象。而类，就是对象的一种抽象，是多个对象具有的共性的一种集合，其中包含了属性与方法，就是属于该类的对象所具有的共性。当一个类创建了对象，这个对象就拥有了该类全部的属性，方法。相比于结构化的编程思路，面向对象更适用于人的思维
  • linux下双网卡同一个IP 被触发 linux
    转自： http://q2482696735.blog.163.com/blog/static/250606077201569029441/ 由于需要一台机器有两个网卡，开始时设置在同一个网段的IP，发现数据总是从一个网卡发出，而另一个网卡上没有数据流动。网上找了下，发现相同的问题不少： 一、 关于双网卡设置同一网段IP然后连接交换机的时候出现的奇怪现象。当时没有怎么思考、以为是生成树
  • 安卓按主页键隐藏程序之后无法再次打开 肆无忌惮_ 安卓
    遇到一个奇怪的问题，当SplashActivity跳转到MainActivity之后，按主页键，再去打开程序，程序没法再打开（闪一下），结束任务再开也是这样，只能卸载了再重装。而且每次在Log里都打印了这句话"进入主程序"。后来发现是必须跳转之后再finish掉SplashActivity   本来代码：   // 销毁这个Activity fin
  • 通过cookie保存并读取用户登录信息实例 知了ing JavaScripthtml
    通过cookie的getCookies()方法可获取所有cookie对象的集合；通过getName()方法可以获取指定的名称的cookie；通过getValue()方法获取到cookie对象的值。另外，将一个cookie对象发送到客户端，使用response对象的addCookie()方法。 下面通过cookie保存并读取用户登录信息的例子加深一下理解。 （1）创建index.jsp文件。在改
  • JAVA 对象池 矮蛋蛋 javaObjectPool
    原文地址： http://www.blogjava.net/baoyaer/articles/218460.html Jakarta对象池       ☆为什么使用对象池   恰当地使用对象池化技术，可以有效地减少对象生成和初始化时的消耗，提高系统的运行效率。Jakarta Commons Pool组件提供了一整套用于实现对象池化
  • ArrayList根据条件+for循环批量删除的方法 alleni123 java
    场景如下： ArrayList<Obj> list Obj-> createTime, sid. 现在要根据obj的createTime来进行定期清理。（释放内存） ------------------------- 首先想到的方法就是 for(Obj o:list){ if(o.createTime-currentT>xxx){
  • 阿里巴巴“耕地宝”大战各种宝 百合不是茶 平台战略
    “耕地保”平台是阿里巴巴和安徽农民共同推出的一个 “首个互联网定制私人农场”，“耕地宝”由阿里巴巴投入一亿 ，主要是用来进行农业方面，将农民手中的散地集中起来 不仅加大农民集体在土地上面的话语权，还增加了土地的流通与 利用率，提高了土地的产量，有利于大规模的产业化的高科技农业的 发展，阿里在农业上的探索将会引起新一轮的产业调整，但是集体化之后农民的个体的话语权 将更少，国家应出台相应的法律法规保护
  • Spring注入有继承关系的类（1） bijian1013 javaspring
    一个类一个类的注入 1.AClass类 package com.bijian.spring.test2; public class AClass { String a; String b; public String getA() { return a; } public void setA(Strin
  • 30岁转型期你能否成为成功人士 bijian1013 成功
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • [Velocity三]基于Servlet+Velocity的web应用 bit1129 velocity
    什么是VelocityViewServlet 使用org.apache.velocity.tools.view.VelocityViewServlet可以将Velocity集成到基于Servlet的web应用中，以Servlet+Velocity的方式实现web应用   Servlet + Velocity的一般步骤 1.自定义Servlet，实现VelocityViewServl
  • 【Kafka十二】关于Kafka是一个Commit Log Service bit1129 service
    Kafka is a distributed, partitioned, replicated commit log service.这里的commit log如何理解？   A message is considered "committed" when all in sync replicas for that partition have applied i
  • NGINX + LUA实现复杂的控制 ronin47 lua nginx 控制
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-14.输入一个已经按升序排序过的数组和一个数字， 在数组中查找两个数，使得它们的和正好是输入的那个数字 bylijinnan java
    public class TwoElementEqualSum { /** * 第 14 题： 题目：输入一个已经按升序排序过的数组和一个数字， 在数组中查找两个数，使得它们的和正好是输入的那个数字。 要求时间复杂度是 O(n) 。如果有多对数字的和等于输入的数字，输出任意一对即可。 例如输入数组 1 、 2 、 4 、 7 、 11 、 15 和数字 15 。由于
  • Netty源码学习-HttpChunkAggregator-HttpRequestEncoder-HttpResponseDecoder bylijinnan javanetty
    今天看Netty如何实现一个Http Server org.jboss.netty.example.http.file.HttpStaticFileServerPipelineFactory： pipeline.addLast("decoder", new HttpRequestDecoder()); pipeline.addLast(&quo
  • java敏感词过虑-基于多叉树原理 cngolon 违禁词过虑替换违禁词敏感词过虑多叉树
    基于多叉树的敏感词、关键词过滤的工具包，用于java中的敏感词过滤 1、工具包自带敏感词词库，第一次调用时读入词库，故第一次调用时间可能较长，在类加载后普通pc机上html过滤5000字在80毫秒左右，纯文本35毫秒左右。   2、如需自定义词库，将jar包考入WEB-INF工程的lib目录，在WEB-INF/classes目录下建一个 utf-8的words.dict文本文件，
  • 多线程知识 cuishikuan 多线程
    T1，T2，T3三个线程工作顺序，按照T1，T2，T3依次进行 public class T1 implements Runnable{           @Override      
  • spring整合activemq dalan_123 java spring jms
    整合spring和activemq需要搞清楚如下的东东1、ConnectionFactory分：     a、spring管理连接到activemq服务器的管理ConnectionFactory也即是所谓产生到jms服务器的链接      b、真正产生到JMS服务器链接的ConnectionFactory还得
  • MySQL时间字段究竟使用INT还是DateTime？ dcj3sjt126com mysql
      环境：Windows XPPHP Version 5.2.9MySQL Server 5.1 第一步、创建一个表date_test（非定长、int时间） CREATE TABLE `test`.`date_test` (`id` INT NOT NULL AUTO_INCREMENT ,`start_time` INT NOT NULL ,`some_content`
  • Parcel: unable to marshal value dcj3sjt126com marshal
    在两个activity直接传递List<xxInfo>时，出现Parcel: unable to marshal value异常。   在MainActivity页面（MainActivity页面向NextActivity页面传递一个List<xxInfo>）：   Intent intent = new Intent(this, Next
  • linux进程的查看上（ps） eksliang linux pslinux ps -llinux ps aux
    ps:将某个时间点的进程运行情况选取下来 转载请出自出处：http://eksliang.iteye.com/admin/blogs/2119469 http://eksliang.iteye.com         ps 这个命令的man page 不是很好查阅，因为很多不同的Unix都使用这儿ps来查阅进程的状态，为了要符合不同版本的需求，所以这个
  • 为什么第三方应用能早于System的app启动 gqdy365 System
    Android应用的启动顺序网上有一大堆资料可以查阅了，这里就不细述了，这里不阐述ROM启动还有bootloader，软件启动的大致流程应该是启动kernel -> 运行servicemanager 把一些native的服务用命令启动起来（包括wifi, power, rild, surfaceflinger, mediaserver等等）-> 启动Dalivk中的第一个进程Zygot
  • App Framework发送JSONP请求(3) hw1287789687 jsonp跨域请求发送jsonpajax请求越狱请求
    App Framework 中如何发送JSONP请求呢? 使用jsonp,详情请参考:http://json-p.org/ 如何发送Ajax请求呢? (1)登录 /*** * 会员登录 * @param username * @param password */ var user_login=function(username,password){ // aler
  • 发福利，整理了一份关于“资源汇总”的汇总 justjavac 资源
    觉得有用的话，可以去github关注：https://github.com/justjavac/awesome-awesomeness-zh_CN 通用 free-programming-books-zh_CN 免费的计算机编程类中文书籍 精彩博客集合 hacke2/hacke2.github.io#2 ResumeSample 程序员简历
  • 用 Java 技术创建 RESTful Web 服务 macroli java编程WebREST
    转载：http://www.ibm.com/developerworks/cn/web/wa-jaxrs/   JAX-RS (JSR-311) 【 Java API for RESTful Web Services 】是一种 Java™ API，可使 Java Restful 服务的开发变得迅速而轻松。这个 API 提供了一种基于注释的模型来描述分布式资源。注释被用来提供资源的位
  • CentOS6.5-x86_64位下oracle11g的安装详细步骤及注意事项 超声波 oraclelinux
    前言： 这两天项目要上线了，由我负责往服务器部署整个项目，因此首先要往服务器安装oracle，服务器本身是CentOS6.5的64位系统，安装的数据库版本是11g，在整个的安装过程中碰到很多的坑，不过最后还是通过各种途径解决并成功装上了。转别写篇博客来记录完整的安装过程以及在整个过程中的注意事项。希望对以后那些刚刚接触的菜鸟们能起到一定的帮助作用。   安装过程中可能遇到的问题（注
  • HttpClient 4.3 设置keeplive 和 timeout 的方法 supben httpclient
    ConnectionKeepAliveStrategy kaStrategy = new DefaultConnectionKeepAliveStrategy() { @Override public long getKeepAliveDuration(HttpResponse response, HttpContext context) { long keepAlive
  • Spring 4.2新特性-@Import注解的升级 wiselyman spring 4
    3.1 @Import @Import注解在4.2之前只支持导入配置类 在4.2,@Import注解支持导入普通的java类,并将其声明成一个bean 3.2 示例 演示java类 package com.wisely.spring4_2.imp; public class DemoService { public void doSomethin
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他