飞扬的梦(´-ω-`)
飞扬的梦(´-ω-`)

python爬虫实战1：1980~2020年世界各国GDP数据获取

以下内容均为个人理解，如有错误，请评论留言，会尽快修改，谢谢！！！

1980~2020年世界各国GDP数据获取

  • 数据爬取的过程
    • 1.单页爬取
    • 2.单页数据提取
  • 爬虫完整代码
    • 结果展示：

数据爬取的过程

数据来源：http://www.8pu.com/gdp/ranking_2020.html，http://www.8pu.com/gdp/ranking_2019.html，…
python爬虫实战1：1980~2020年世界各国GDP数据获取_第1张图片
通过分析页面源代码，可知要爬取的数据并不是后期渲染，只要获取页面源代码就可以获得想要的数据

1.单页爬取

import requests 

url = 'http://www.8pu.com/gdp/ranking_2020.html'
resp = requests.get(url= url)
resp.encoding = 'utf-8'
print(resp.text)

爬取结果部分：
python爬虫实战1：1980~2020年世界各国GDP数据获取_第2张图片
可以看出爬取结果中确实有我们想要的数据

2.单页数据提取

这里采用的解析方法是xpath，导入解析模块：from lxml import etree
python爬虫实战1：1980~2020年世界各国GDP数据获取_第3张图片

通过分析源代码，我们想要的数据被放在

表格中，xpath路径是：/html/body/div[4]/div[1]/div[4]/table，表格的标题储存在中，表格的每一行数据储存在中，xpath解析方法和解析原则可以参考：https://www.w3school.com.cn/xpath/index.asp

tree = etree.HTML(resp.text)#以HTML的方式解析响应
countries = tree.xpath('/html/body/div[4]/div[1]/div[4]/table/tbody/tr')#获取的是一个存储了每一行数据的列表
for country in countries:#遍历列表
        rank = country.xpath('.//td[1]/font/font/text()')[0]
        country_name = country.xpath('./td[2]/a/font/text()')[0]
        GDP = country.xpath('./td[3]/font/text()')[0]
        total_GDP = country.xpath('./td[4]/font/text()')[0]
        area = country.xpath('./td[6]/font/font/text()')[0]#提取相应的元素

结果如下：
python爬虫实战1：1980~2020年世界各国GDP数据获取_第4张图片
在爬取过程中，由于数据并不规整，出现了一些问题：
python爬虫实战1：1980~2020年世界各国GDP数据获取_第5张图片
进行异常处理：

try:
	area = country.xpath('./td[6]/font/font/text()')[0]
except:
	area = 'NAN'
else:
	pass

成功爬取单页数据后，构造url，循环多次调用函数，传入url就可以爬取所有的数据

def get_oneyear(url,year):
	...
for year in range(2021,1979,-1):#循环遍历获取1980~2020年的数据
    url = 'http://www.8pu.com/gdp/ranking_'+str(year )+'.html' #构造url
    get_oneyear(url,year)#调用函数，传入参数

爬虫完整代码

#获取各国历年GDP数据
import requests 
from lxml import etree
import pandas as pd


def get_oneyear(url,year):
    resp = requests.get(url= url)
    resp.encoding = 'utf-8'
        
    print('----------------------------------------')#分割线
    print('{}年数据如下：'.format(year))
    
    tree = etree.HTML(resp.text)
    countries = tree.xpath('/html/body/div[4]/div[1]/div[4]/table/tbody/tr')
    ranks  = []
    countries_name  = []
    GDPs = []
    total_GDPs = []
    areas  = []#建立空列表，便于传入数据，使用Dataframe
    for country in countries:
        #/html/body/div[4]/div[1]/div[4]/table/tbody/tr[1]/td[1]/font/font
        rank = country.xpath('.//td[1]/font/font/text()')[0]
        ranks.append(rank)#list.append()追加到列表中
        #/html/body/div[4]/div[1]/div[4]/table/tbody/tr[1]/td[2]/a/font
        country_name = country.xpath('./td[2]/a/font/text()')[0]
        countries_name.append(country_name)
        #/html/body/div[4]/div[1]/div[4]/table/tbody/tr[1]/td[3]/font/text()
        GDP = country.xpath('./td[3]/font/text()')[0]
        GDPs.append(GDP)
        #/html/body/div[4]/div[1]/div[4]/table/tbody/tr[1]/td[4]/font
        total_GDP = country.xpath('./td[4]/font/text()')[0]
        total_GDPs.append(total_GDP)
        #/html/body/div[4]/div[1]/div[4]/table/tbody/tr[1]/td[6]/font/font
        try:#异常处理
            area = country.xpath('./td[6]/font/font/text()')[0]
        except:
            area = 'NAN'
        else:
            pass
        areas.append(area)
    dic = {'rank':ranks,'GDP':GDPs,'total_GDP':total_GDPs,'area':areas}#创建字典
    frame = pd.DataFrame(dic,index = countries_name)#创建多维数据表
    frame.to_csv("./data/{}_year's_GDP.csv".format(year),index=True,header=True)#储存到csv文件中
    print(frame)
        
for year in range(2021,1979,-1):#循环遍历获取1980~2020年的数据
    url = 'http://www.8pu.com/gdp/ranking_'+str(year )+'.html' #构造url
    get_oneyear(url,year)#调用函数，传入参数

结果展示：

python爬虫实战1：1980~2020年世界各国GDP数据获取_第6张图片
python爬虫实战1：1980~2020年世界各国GDP数据获取_第7张图片

你可能感兴趣的:(python实战——项目展示,python,开发语言,后端)

  • Jfinal +Swagger zhanghe687 javajava
    使用Jfinal[版本3.6]+Swagger实现前后端开发时接口文档管理步骤1:1.下载jfinal-swagger-1.0.0.jar下载地址:live.autujfinal-swagger1.0.0步骤2:2.下载swagger-ui,放入项目中,存放目录如下:下载地址:https://gitee.com/zhanghe687/jfinal_swagger_ui.git步骤3:修改jfina
  • Python 模块化编程全解析：模块、包与第三方库管理指南 xw3373409564 java前端数据库
    模块与包模块化编程是什么？用生活例子秒懂想象你在搭乐高积木：每个小积木块都有特定功能（比如轮子、窗户、墙壁）——这就像模块（一个.py文件，封装了函数或类）。把相关的积木块装进一个盒子里，方便分类和取用——这就像包（一个文件夹，里面装多个模块和子包，带__init__.py标识）。模块化编程的核心思想是：把复杂代码拆成小而独立的"积木"，需要时直接拿来用，不用重复造轮子。1.模块的概念模块就是一个
  • leetcode 搜索二维矩阵 II python 四分法 DaydayHoliday
    利用矩阵左上角元素总是最小，右下角总是最大的特性，将矩阵分成四部分，分别递归。请各位大佬多多提意见。classSolution(object):defsearchMatrix(self,matrix,target):""":typematrix:List[List[int]]:typetarget:int:rtype:bool"""row_num=len(matrix)ifrow_num==0:r
  • 项目平台哪个靠谱？推荐5个真实靠谱且赚钱的软件app！ U客直谈APP
    对于想要创业赚钱的朋友来说，能够对接到优质项目是提升收益的重要因素，有关项目对接的渠道方式有很多，利用平台软件是便捷且高效的一种。因此，项目平台哪个靠谱是大家一直较为关注的问题。现如今赚钱的软件app席卷市面，也可以看做是一个个项目平台，为大家提供了丰富的赚钱机会。今天我将和大家分享5个真实靠谱且赚钱的软件app，希望能够帮助大家顺利找到靠谱的项目平台。1：抖音极速版app抖音极速版app是抖音旗
  • JFinal项目demo，实现多数据源，数据迁移，从一张表，将数据添加到另外的一张表 苦荞_ java开发语言
    一、废话今天项目经理给了我一个任务，就是需要将一个数据库中字典表的数据，相对应的添加到另外一张表中，这里将有数据的字典表成为dict嘛，需要添加数据的表为test表，我写的demo中表名也是这样的。当然呢，最开始我也是手动写SQL语句添加数据，搞了一两个字典数据，就着不住了，实际项目中的字典表数据是非常多的。一个字典类型有的就上千条数据，我一想，像我楞个加，得加到什么时候去。先想到的就是在原项目中
  • 2024年app拉新渠道怎么找？app拉新一手渠道商是最佳选择吗？ U客直谈APP
    2024年赚钱还有哪些好项目？app拉新就是其中一个不错的项目选择。而对于刚接触app拉新行业的新手小白来说，弄清楚项目咋样再下手去做就十分重要。比如，app拉新渠道怎么找？传得神乎其神的App拉新一手渠道商是最佳选吗？本篇文章集中了一些相关问题的解答，如果你也想做app拉新项目赚钱，那么就快来阅读文章了解信息吧~2024年app拉新渠道怎么找？app拉新一手渠道商是最佳选择吗？一、app拉新项目
  • sqlite加密问题：怎么样打开这个通过sha512加密的sqlite数据库文件？ bug菌¹ 全栈Bug调优(实战版)sqlitec++sqlite加密数据库文件
    本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！全文目录：问题描述解决方案1.**理解SQLite的加密扩展**2.**确认加密实现方式**3.**根据SHA-512的加密逻辑调整代码**4.**解决方案步骤****方
  • python 类 实例_Python类的实例详解 weixin_39997173 python类实例
    类(class)是一个用户自定义类型，开发者可以将其实例化以获得实例（instance），实例表示这种类型的对象。在Python中，类就是对象，开发者可以像对其他对象那样处理函数，可以在调用函数时传递一个类作为参数，也可以返回一个类作为函数调用的结果。任何对象，即使是一个类对象，都有一个类型。在Python中，类型和类也都是第一类对象。类对象的类型也被称为该类的元类（metaclass）。对象的行
  • python的signal weixin_33690963 python
    今天在使用python的signal时，发现第二个传的函数必须是拥有两个函数参数变量的1importsignal2importtime3flag=True4deffunc1(a,b):5print"recieveSIGTERM"6globalflag7print"flag%s"%flag8flag=False9print"flag%s"%flag101112defmain():13signal.s
  • python字符串前面加字母_Python基础字符串前加u,r,b,f含义 果呀哎呀妈呀哦呀 python字符串前面加字母
    1、字符串前加u例：u"我是含有中文字符组成的字符串。"作用：后面字符串以Unicode格式进行编码，一般用在中文字符串前面，防止因为源码储存格式问题，导致再次使用时出现乱码。2、字符串前加r例：r"\n\n\n\n”#表示一个普通生字符串\n\n\n\n，而不表示换行了。作用：去掉反斜杠的转移机制。(特殊字符：即那些，反斜杠加上对应字母，表示对应的特殊含义的，比如最常见的”\n”表示换行，”\t
  • Python 轻量化环境管理利器 UV 入门与 Windows 下安装实战 wangjinjin180 pythonuvwindows
    https://www.52runoob.com/index.php/2025/06/19/python-轻量化环境管理利器-uv-入门与-windows-下安装实战/Python轻量化环境管理利器UV入门与Windows下安装实战一、什么是UV（UnikernelVirtualization）UV是一种轻量化的虚拟化技术，能够将应用程序与操作系统内核打包为一个单一的运行镜像，极大减少系统资源占用
  • JSON全面解析：轻量级数据交换的核心技术 新人码农11111 jsonpython
    目录JSON的本质特征⚙️序列化：数据到字符串的转换反序列化：字符串到数据的还原实际应用场景⚠️常见陷阱与解决方案最佳实践建议在当今数据驱动的时代，JSON（JavaScriptObjectNotation）已成为最流行的轻量级数据交换格式。本文将深入剖析JSON的核心特性及其在Python中的应用，帮助开发者高效处理数据序列化与反序列化。JSON的本质特征JSON采用纯文本格式，具有跨平台、易读
  • 后仿之debug记录 风之子npu 后仿单片机嵌入式硬件
    在此记录一下在实际工作中碰到的在后仿过程中碰见的一些问题：1.数据采样失败原因1：iodelay增加不足；解决办法：根据sdc修正iodelay数值，同时参考后端PR的timingreport，修正delay；原因2：glitch导致采样失败，zerodelay期间，虽然在波形中看到信号变化时瞬时的，但是同一个timingslot中因为器件自身的原因，导致信号在同一个timingslot中其实变化
  • 51单片机 定时器时钟 微芬 51单片机51单片机单片机
    本章博客实现在LCD1602上展示定时器时钟部分1.main.c注：Sec,Min,Hour可不进行赋值#include#include"Delay.h"#include"LCD1602.h"#include"Timer0.h"unsignedcharSec=55,Min=59,Hour=23;voidmain(){LCD_Init();Timer0Init();LCD_ShowString(1,
  • React 开发（一）：入门 - 从 0 到 1 的学习之旅 全栈探索者chen reactreact.js学习前端前端框架程序人生开发语言javascript
    React开发（一）：入门-从0到1的学习之旅1.前言在前端开发领域，React是一个备受推崇的JavaScript库，广泛应用于构建用户界面。它的组件化架构、虚拟DOM和高效的更新机制使得开发复杂的应用变得更加简洁和高效。在这篇文章中，我们将从零开始学习React，了解它的基本概念和如何搭建第一个项目。2.什么是React？React是一个用于构建用户界面的JavaScript库，由Facebo
  • NFL的React GPT项目使用指南 吕岚伊
    NFL的ReactGPT项目使用指南一、项目目录结构及介绍ReactGPT是由NFL团队开发的一个尝试性项目，旨在创建一个自主的React开发者工具，利用AI辅助进行React代码的生成与修改。以下是本项目的主要目录结构和各部分功能简介：├──env#环境变量配置文件所在目录│└──.env#存放OPENAI_API_KEY等敏感信息的环境变量文件├──example#可能包含示例代码或配置的目录
  • hamburger-react项目安装与使用指南 毕腾鉴Goddard
    hamburger-react项目安装与使用指南项目简介本指南旨在帮助开发者了解并快速上手hamburger-react项目。该项目托管在GitHub上，可通过此链接访问。它是一个基于React的组件库，专注于实现汉堡菜单效果，为Web应用提供简洁易用的导航解决方案。1.项目目录结构及介绍hamburger-react/│├──public/-包含index.html以及可能的静态资源，如图标或初
  • VSCode WebView React 开源项目实战指南 廉珏俭Mercy
    VSCodeWebViewReact开源项目实战指南本指南旨在帮助您了解并快速上手vscode-webview-react开源项目，该项目提供了一个基于React和TypeScript的起点，用于在VisualStudioCode的Webview中开发扩展。以下是核心模块的详细介绍：1.项目目录结构及介绍├──package.json//项目配置文件，包括依赖、scripts命令等├──publi
  • React-Python项目安装与使用指南
    React-Python项目安装与使用指南一、项目目录结构及介绍通常情况下，在克隆了https://github.com/facebookarchive/react-python.git仓库之后，你会看到以下的目录结构：├──README.md#项目的说明文档├──src#源码目录│├──components#React组件存放位置│├──App.py#应用主入口文件│└──index.js#引入
  • AI+Python赋能！长时序植被遥感动态分析全攻略：从物候提取到生态评估 梦想的初衷~ 土壤植被遥感人工智能遥感植被土壤
    在遥感技术与人工智能深度融合的2025年，AI大模型正重塑长时序植被遥感数据分析范式。从Landsat/Sentinel卫星数据的智能化去云处理，到MODIS植被产品的AI辅助质量控制，以ChatGPT、DeepSeeK为代表的大模型技术已成为提升遥感数据处理效率与精度的核心工具——尤其在长时序植被动态监测、物候期精准提取、时空变异归因分析及生态环境质量评估等领域，展现出传统方法难以企及的技术优势
  • Vue4进阶指南：从零到项目实战（上）
    本书全卷Vue4进阶指南：从零到项目实战（上）Vue4进阶指南：从零到项目实战（中）Vue4进阶指南：从零到项目实战（下）目录前言：开启Vue的优雅之旅致读者：Vue的魅力与本书愿景Vue演进哲学：从Vue2到Vue4的蜕变之路环境准备：现代化开发栈配置第一部分：筑基篇-初识Vue的优雅世界第1章：Hello,Vue!1.1Vue核心思想：渐进式框架、声明式渲染、组件化1.2快速上手：CDN引入与
  • Python你不知道的二三事（Python基础知识） 日暮凡尘 python开发语言
    在上一篇中，我们介绍了Python解释器与编辑器的安装与使用，本次我们这是在进行Python程序的编译。我会根据我个人的学习进度进行更新，如有遗漏或错误，欢迎指正。变量与常量变量创建一个新的py文件，我们就可以开始编程了。关于变量，就是一些我们自定义的值，如a=10num=100其中a，num就是我所定义的变量，变量的命名较为自由，但也有一些规则需要遵守：1.变量由数字、字母、下划线（_）组成。n
  • 三步解锁.NET Conf Student Zone：免费资源+实战项目全攻略！学生党必看！
    关注墨瑾轩，带你探索编程的奥秘！超萌技术攻略，轻松晋级编程高手技术宝库已备好，就等你来挖掘订阅墨瑾轩，智趣学习不孤单即刻启航，编程之旅更有趣.NETConfStudentZone三步称王第一步：注册与资源获取——“领取你的魔法钥匙”目标：用StudentZone的免费资源，告别“资源散落”困境。步骤1：注册账号（1分钟搞定！）//模拟注册流程（伪代码，实际需访问官网）stringemail="yo
  • 全栈Todo应用实战：从零到一的本地部署与深度解析
    全栈Todo应用实战：从零到一的本地部署与深度解析前言在现代Web开发中，全栈应用已成为主流。本文将以一个经典的Todo（待办事项）应用为例，详细记录从项目下载、环境配置、后端启动、数据库交互到前端运行的完整流程。我们将深入探讨在此过程中遇到的一个典型问题——CORS与API请求失败，并提供从“快速修复”到“最佳实践”的解决方案。这不仅是一份操作指南，更是一次宝贵的实战经验总结。你将从本博客中学到
  • React 项目环境变量使用指南 啃火龙果的兔子 开发DEMOreact.js前端前端框架
    在React项目中正确使用环境变量是管理不同环境配置的关键技术。以下是完整的解决方案：1.创建环境变量文件React项目支持以下环境变量文件（按优先级从高到低）：.env.development.local(本地开发环境).env.development(开发环境).env.production.local(生产环境本地覆盖).env.production(生产环境).env(所有环境)示例文件内
  • 飞算JavaAI：Java开发者的智能革命，从代码生成到架构重塑
    目录一、Java开发困局：效率与质量的双重挑战二、技术架构解析：三层智能引擎驱动开发革命1.智能语义理解层2.代码智能生成层3.运行时智能优化层三、核心功能矩阵：从需求到部署的全流程覆盖1.智能需求分析2.自动化软件设计3.工程化代码输出4.智能重构引擎四、实战场景解析：从初创项目到老系统改造场景1：初创项目快速验证场景2：老系统迭代升级场景3：高并发系统优化五、开发者价值重构：从代码工人到系统设
  • pytest-bdd 行为驱动自动化测试 东汉末年出bug pytestpythonpytest-bdd
    引言pytest-bdd是一个专为Python设计的行为驱动开发（BDD）测试框架，它允许开发人员使用自然语言（如Gherkin）来编写测试用例，从而使测试用例更易于理解和维护。安装通过pip安装pipinstallpytest-bdd介绍特性文件（FeatureFile）：定义了要测试的系统功能。通常以.feature为扩展名，并使用Gherkin语言编写。特性文件包含特性名称、描述以及一个或多
  • 拼多多纸巾群赚钱秘诀：简单步骤，丰厚收益等你来 氧惠好项目
    拼多多是一个非常受欢迎的电商平台，它提供了各种类型的商品。最近，拼多多上的纸巾群非常火热，吸引了很多人的关注。本文将介绍在拼多多从事纸巾群的步骤和教程，帮助您轻松获得几百元收益。来，我们先上干货，看完可以少走很多弯路大家好，我是破局。经过对数十个拼多多纸巾群进行研究，我发现了一些拼多多纸巾群的奥秘，今天就和大家一起分享下。很多人都希望通过撸纸项目赚到自己的第一桶金，我今天可以很直接告诉你，只要你坚
  • vue中is属性搭配vuedraggable插件实现可拖动可视化大屏展示组件的自定义配置功能 吃西瓜不吐籽_ vue.js前端javascript
    最近有这样一个需求，将大屏上展示的东西都封装成独立的组件让用户自己可以自定义配置自己的组件位置及想要展示的组件，第一个我就想到通过is来实现，分享下我的思路及部分代码供大家参考。先看下大概布局：如图通过上方的组件拖拽的配置卡片来进行动态渲染组件，拖拽用了draggable插件，这样拖拽后直接传数据即可首先先看拖动卡片的部分代码（切换多个个性布局及如何默认展示，是否有配置过布局没有则怎么展示这些逻辑
  • uniapp下拉选择组件 王旭晨 uni-app
    目录背景实现思路代码实现配置项使用尾巴背景最近遇到一个这样的需求，在输入框中输入关键字，通过接口查询到结果之后，以下拉框列表形式展现供用户选择。查询了下uni-app官网和项目中使用的uv-ui库，没找到符合条件的组件。唯一一个有点类似的就是uni官方下拉框组件，但是不支持input组件，所以我们自己来实现一个。实现思路那么实现这样一个组件要有哪些注意点了？我大概罗列了一下：1、下拉框默认是不显示
  • Linux的Initrd机制 被触发 linux
    Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin
  • maven本地仓库路径修改 bitcarter maven
    默认maven本地仓库路径：C:\Users\Administrator\.m2 修改maven本地仓库路径方法：     1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml     2.找到        
  • XSD和XML中的命名空间 darrenzhu xmlxsdschemanamespace命名空间
    http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml http://blog.csdn.net/wanghuan203/article/details/9203621 http://blog.csdn.net/wanghuan203/article/details/9204337 http://www.cn
  • Java 求素数运算 周凡杨 java算法素数
    网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。 第一种：   原理: 6N(+-)1法         任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)   
  • java 单例模式 g21121 java
    想必单例模式大家都不会陌生，有如下两种方式来实现单例模式：   class Singleton { private static Singleton instance=new Singleton(); private Singleton(){} static Singleton getInstance() { return instance; }
  • Linux下Mysql源码安装 510888780 mysql
    1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz (1)创建mysql的安装目录及数据库存放目录       解压缩下载的源码包，目录结构，特殊指定的目录除外：           
  • 32位和64位操作系统 墙头上一根草 32位和64位操作系统
    32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了
  • 我的spring学习笔记10-轻量级_Spring框架 aijuans Spring 3
    一、问题提问：     → 请简单介绍一下什么是轻量级？     轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。  
  • mongodb 环境搭建及简单CURD antlove WebInstallcurdNoSQLmongo
    一 搭建mongodb环境 1. 在mongo官网下载mongodb 2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\
  • 数据字典和动态视图 百合不是茶 oracle数据字典动态视图系统和对象权限
    数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭   数据字典中包含   数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 数据库为一
  • 多线程编程一般规则 bijian1013 javathread多线程java多线程
           如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。        不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。
  • 将文件或目录拷贝到另一个Linux系统的命令scp bijian1013 linuxunixscp
    一.功能说明        scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下：        scp 远程用户名@IP地址：文件的绝对路径
  • 【持久化框架MyBatis3五】MyBatis3一对多关联查询 bit1129 Mybatis3
    以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。   示例数据：   地址表：   CREATE TABLE ADDRESSES ( ADDR_ID INT(11) NOT NULL AUTO_INCREMENT, STREET VAR
  • cookie状态判断引发的查找问题 bitcarter formcgi
    先说一下我们的业务背景： 1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 2.form中action是一个cgi服务 3.后台cgi服务同时供PC，H5，APP 4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题） 问题：（折腾两天。。。。） 1.PC端cgi服务正常调用，cookie判断没
  • 通过Nginx,Tomcat访问日志(access log)记录请求耗时 ronin47
    一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 nginx.conf使用配置方式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r
  • java-67- n个骰子的点数。 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 bylijinnan java
    public class ProbabilityOfDice { /** * Q67 n个骰子的点数 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 * 在以下求解过程中，我们把骰子看作是有序的。 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况 */ private stati
  • 看别人的博客，觉得心情很好 Cb123456 博客心情
       以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客:    职业规划:    http://www.iteye.com/blogs/subjects/zhiyeguihua      android学习:    1.http://byandby.i
  • [JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析 comsci 工作流
        我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误      在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到
  • JS常用的事件及方法 cwqcwqmax9 js
    事件 描述 onactivate 当对象设置为活动元素时触发。 onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 onbeforeactivate 对象要被设置为当前元素前立即触发。 onbeforecut 当选中区从文档中删除之前在源对象触发。 onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即
  • 正则表达式验证日期格式 dashuaifu 正则表达式IT其它java其它
    正则表达式验证日期格式 function isDate(d){ var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i); if(!v) { this.focus(); return false; } } <input value="2000-8-8" onblu
  • Yii CModel.rules() 方法 、validate预定义完整列表、以及说说验证 dcj3sjt126com yii
    public array rules () {return} array 要调用 validate() 时应用的有效性规则。 返回属性的有效性规则。声明验证规则，应重写此方法。 每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation
  • UITextAttributeTextColor = deprecated in iOS 7.0 dcj3sjt126com ios
    In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." Ins
  • 判断一个数是质数的几种方法 EmmaZhao Mathpython
    质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。 判断一个数是质数的最简单的方法如下： def isPrime1(n): for i in range(2, n): if n % i == 0: return False return True 但是在上面的方法中有一些冗余的计算，所以
  • SpringSecurity工作原理小解读 坏我一锅粥 SpringSecurity
      SecurityContextPersistenceFilter   ConcurrentSessionFilter   WebAsyncManagerIntegrationFilter   HeaderWriterFilter   CsrfFilter   LogoutFilter   Use
  • JS实现自适应宽度的Tag切换 ini JavaScripthtmlWebcsshtml5
    效果体验：http://hovertree.com/texiao/js/3.htm   该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 HTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"
  • Hbase Rest API : 数据查询 kane_xie RESThbase
    hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。   启动命令：./bin/hbase rest s
  • JQuery实现鼠标拖动元素移动位置（源码+注释） 明子健 jqueryjs源码拖动鼠标
    欢迎讨论指正！   print.html代码： <!DOCTYPE html> <html> <head> <meta http-equiv=Content-Type content="text/html;charset=utf-8"> <title>发票打印</title> &l
  • Postgresql 连表更新字段语法 update qifeifei PostgreSQL
    下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： UPDATE tops_visa.visa_order SET op_audit_abort_pass_date = now() FROM tops_visa.visa_order as t1 INNER JOIN tops_visa.visa_visitor as t2 ON t1.
  • 将redis,memcache结合使用的方案? tcrct rediscache
    公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi
  • 开发中遇到的诡异的bug wudixiaotie bug
    今天我们服务器组遇到个问题： 我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key