Smilecoc
Smilecoc

利用Dataframe.read_html函数爬取表格型数据

在爬虫中我们经常需要爬取一些表格型数据，例如：
利用Dataframe.read_html函数爬取表格型数据_第1张图片

针对这样的表格型数据，我们可以通过Pandas模块中的.read_html函数进行快速的抓取。

在使用.read_html函数前需要满足两个条件：

  • 网页为静态网页
  • 表格为HTML 表格样式

对于第一个条件，我们需要右键-查看源代码，并选取一个表格中的数据查找。如果在源代码中找到即可说明是静态网页格式

对于第二个条件我们同样需要在源代码中查找table class确定是否有table表格样式。一般table类型的表格网页结构大致如下：

<table class="..." id="...">
    <thead>
    <tr>
    <th>...th>
    tr>
    thead>
    <tbody>
        <tr>
            <td>...td>
        tr>
        <tr>...tr>
        <tr>...tr>
        <tr>...tr>
        <tr>...tr>
        ...
        <tr>...tr>
        <tr>...tr>
        <tr>...tr>
        <tr>...tr>        
    tbody>
table>

先来简单解释一下上文出现的几种标签含义：

    : 定义表格
    : 定义表格的页眉
    : 定义表格的主体
    : 定义表格的行

    : 定义表格的表头
    : 定义表格单元


这样的表格数据，就可以利用pandas模块里的read_html函数方便快捷地抓取。


现在我们来抓取虎扑NBA球星的数据.登录网站并查看网页源码，可以确定这是一个静态网页并且含有HTML表格样式，同时网页后的数字为页数，所以直接构造一个循环进行抓取
 https://nba.hupu.com/stats/players/pts/1


table = []
for i in range(1,4):
    table.append(pd.read_html('https://nba.hupu.com/stats/players/pts/%d' %i)[0])
print(table)



爬取后结果为


[    0             1     2      3   ...           8      9   10     11
0   排名            球员    球队     得分  ...        命中-罚球  罚球命中率  场次   上场时间
1    1       多诺万-米切尔    爵士  36.30  ...    7.90-8.30  94.8%   7  37.70
2    2        卢卡-东契奇   独行侠  31.00  ...   7.00-10.70  65.6%   6  35.80
3    3        乔尔-恩比德   76人  30.00  ...  12.00-14.80  81.4%   4  36.30
4    4        科怀-伦纳德    快船  29.80  ...    6.80-7.90  86.2%  11  38.70
5    5        詹姆斯-哈登    火箭  29.50  ...   8.60-10.20  83.9%  11  36.80
6    6       安东尼-戴维斯    湖人  29.20  ...    7.10-9.60  74.4%   9  35.00
7    7      尼古拉-武切维奇    魔术  28.00  ...    2.00-2.20  90.9%   5  37.00
8    8     扬尼斯-阿德托昆博    雄鹿  26.70  ...    5.20-9.00    58%   9  30.80
9    9        贾马尔-默里    掘金  26.50  ...    3.00-3.20  92.3%  12  38.50
10  10       勒布朗-詹姆斯    湖人  26.30  ...    5.20-7.30  71.2%   9  34.60
.........



可以看到已经抓取了全部数据，只需要再进行数据清洗即可


#连接所有数据
players = pd.concat(table)
# 更改列名
columns=['排名','球员','球队','得分','命中-出手','命中率','命中-三分','三分命中率','命中-罚球','罚球命中率','场次','上场时间']
players.columns=columns

# 删除行标签为0的记录
players.drop(0,inplace=True)

#保存文件
players.to_csv('hupu_players_info.csv',index=None,encoding='utf_8_sig')



这样我们就爬取了虎扑NBA球员的得分情况，同样也可以根据其他数据的URL去爬取投篮，三分，助攻等数据。


源代码与结果数据文件：
 https://github.com/smilecoc/python_spider_allproject/tree/master/hupu_playersinfo_readhtml


更多文章请关注个人公众号：Smilecoc的杂货铺
 利用Dataframe.read_html函数爬取表格型数据_第2张图片

























你可能感兴趣的:(python爬虫,python,html)






    

  • 理解Gunicorn：Python WSGI服务器的基石
范范0825
ipythonlinux运维

    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
    

    • 

  • swagger访问路径
igotyback
swagger

    Swagger2.x版本访问地址：http://{ip}:{port}/{context-path}/swagger-ui.html{ip}是你的服务器IP地址。{port}是你的应用服务端口，通常为8080。{context-path}是你的应用上下文路径，如果应用部署在根路径下，则为空。Swagger3.x版本对于Swagger3.x版本（也称为OpenAPI3）访问地址：http://{ip
    

    • 

  • html 中如何使用 uniapp 的部分方法
某公司摸鱼前端
htmluni-app前端

    示例代码：Documentconsole.log(window);效果展示：好了，现在就可以uni.使用相关的方法了
    

    • 

  • Python数据分析与可视化实战指南
William数据分析
pythonpython数据

    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    

    • 

  • python os.environ
江湖偌大
python深度学习

    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
    

    • 

  • Python中os.environ基本介绍及使用方法
鹤冲天Pro
#Pythonpython服务器开发语言

    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
    

    • 

  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验
我的运维人生
信息可视化数据分析数据挖掘运维开发技术共享

    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
    

    • 

  • Python教程：一文了解使用Python处理XPath
旦莫
Python进阶python开发语言

    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
    

    • 

  • python os.environ_python os.environ 读取和设置环境变量
weixin_39605414
pythonos.environ

    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
    

    • 

  • 四章-32-点要素的聚合
彩云飘过

    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
    

    • 

  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业

    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    

    • 

  • 使用Faiss进行高效相似度搜索
llzwxh888
faisspython

    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
    

    • 

  • python是什么意思中文-在python中%是什么意思
编程大乐趣

    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
    

    • 

  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
二挡起步
web前端期末大作业javascripthtmlcss旅游风景

    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    

    • 

  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端

    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    

    • 

  • Day1笔记-Python简介&标识符和关键字&输入输出
~在杰难逃~
Pythonpython开发语言大数据数据分析数据挖掘

    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
    

    • 

  • python八股文面试题分享及解析(1)
Shawn________
python

    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
    

    • 

  • 每日算法&面试题，大厂特训二十八天——第二十天（树）
肥学
⚡算法题⚡面试题每日精进java算法数据结构

    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
    

    • 

  • Python快速入门 —— 第三节：类与对象
孤华暗香
Python快速入门python开发语言

    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
    

    • 

  • pyecharts——绘制柱形图折线图
2224070247
信息可视化pythonjava数据可视化

    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
    

    • 

  • Python 实现图片裁剪（附代码） | Python工具
剑客阿良_ALiang

    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    

    • 

  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4)
算法大师
华为od面试python

    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    

    • 

  • python os 环境变量
CV矿工
python开发语言numpy

    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    

    • 

  • Python爬虫解析工具之xpath使用详解
eqa11
python爬虫开发语言

    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    

    • 

  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）
算法大师
华为od面试python

    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
    

    • 

  • nosql数据库技术与应用知识点
皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库

    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    

    • 

  • 《Python数据分析实战终极指南》
xjt921122
python数据分析开发语言

    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
    

    • 

  • Python中深拷贝与浅拷贝的区别
yuxiaoyu.

    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
    

    • 

  • Python开发常用的三方模块如下：
换个网名有点难
python开发语言

    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
    

    • 

  • Python编译器
鹿鹿~
Python编译器Pythonpython开发语言后端

    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
    

    • 

  • Nginx负载均衡
510888780
nginx应用服务器

    Nginx负载均衡一些基础知识:
nginx 的 upstream目前支持 4 种方式的分配
1)、轮询（默认）
      每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。
2)、weight
      指定轮询几率，weight和访问比率成正比
    

    • 

  • RedHat 6.4 安装 rabbitmq
bylijinnan
erlangrabbitmqredhat

    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功
机器版本：
[root@redhat1 rabbitmq]# lsb_release
LSB Version: :base-4.0-amd64:base-4.0-noarch:core
    

    • 

  • FilenameUtils工具类
eksliang
FilenameUtilscommon-io

    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述
这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。 
    

    • 

  • xml文件解析SAX
不懂事的小屁孩
xml

    xml文件解析:xml文件解析有四种方式，
1.DOM生成和解析XML文档(SAX是基于事件流的解析)
2.SAX生成和解析XML文档(基于XML文档树结构的解析)
3.DOM4J生成和解析XML文档
4.JDOM生成和解析XML
本文章用第一种方法进行解析，使用android常用的DefaultHandler
import org.xml.sax.Attributes;

    

    • 

  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区
酷的飞上天空
mysql

    使用python脚本作为命令脚本，linux的定时任务来每天定时执行
#!/usr/bin/python
# -*- coding: utf8 -*-
import pymysql
import datetime
import calendar
#要分区的表
table_name = 'my_table'
#连接数据库的信息
host,user,passwd,db = 
    

    • 

  • 如何搭建数据湖架构？听听专家的意见
蓝儿唯美
架构

    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据
 “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
    

    • 

  • spring学习——控制反转与依赖注入
a-john
spring

           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。
 

    

    • 

  • 用spool+unixshell生成文本文件的方法
aijuans
xshell

    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下:
　　set pages 50000;
　　set lines 200;
　　set trims on;
　　set heading off;
　　spool /oracle_backup/log/test/dept.lst;
　　select deptno||','||dname||','||loc 
    

    • 

  • 1、基础--名词解析(OOA/OOD/OOP)
asia007
学习基础知识

    OOA:Object-Oriented Analysis（面向对象分析方法）
是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。
　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
    

    • 

  • 浅谈java转成json编码格式技术
百合不是茶
json编码java转成json编码

    json编码;是一个轻量级的数据存储和传输的语言
  
   在java中需要引入json相关的包,引包方式在工程的lib下就可以了
 
JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非
 
常适合于服务器与 JavaScript 之间的数据的交
    

    • 

  • web.xml之Spring配置(基于Spring+Struts+Ibatis)
bijian1013
javaweb.xmlSSIspring配置

    指定Spring配置文件位置
<context-param>
<param-name>contextConfigLocation</param-name>
<param-value>
/WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml,
/WEB-INF/
    

    • 

  • Installing SonarQube（Fail to download libraries from server）
sunjing
InstallSonar

    1.  Download and unzip the SonarQube distribution
2.  Starting the Web Server
The default port is "9000" and the context path is "/". These values can be changed in &l
    

    • 

  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查
bit1129
mongodb

    一、创建复本集
 
假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令：
 
mongod --port 27017 --dbpath data1 --replSet rs0
mongod --port 27018 --dbpath data2 --replSet rs0
mongod --port 27019 -
    

    • 

  • Anychart图表系列二之执行Flash和HTML5渲染
白糖_
Flash

    今天介绍Anychart的Flash和HTML5渲染功能
 
HTML5
Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。
这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
    

    • 

  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa
bozch
laravel

    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误：
ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
    

    • 

  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜
bylijinnan
编程之美

    
import java.util.Arrays;
import java.util.Random;
public class Nim {
/**编程之美 NIM游戏分析
问题：
有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头，
能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
    

    • 

  • lunce创建索引及简单查询
chengxuyuancsdn
查询创建索引lunce

    import java.io.File;
import java.io.IOException;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Docume
    

    • 

  • [IT与投资]坚持独立自主的研究核心技术
comsci
it

    
       和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....
       所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
    

    • 

  • flashback transaction闪回事务查询
daizj
oraclesql闪回事务

      
闪回事务查询有别于闪回查询的特点有以下3个：
（1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。
（2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。
（3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
    

    • 

  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件
游其是你
FilenameFilter

    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 
    

    • 

  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题
dcj3sjt126com
c

    # include <stdio.h>
int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型
{
return 10; //向主调函数返回10
}
void g(void) //函数名前面的void表示该函数没有返回值
{
//return 10; //error 与第8行行首的void相矛盾
}
in
    

    • 

  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl
dcj3sjt126com
centos

    今天在测试环境使用yum安装，遇到一个问题：
Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again
 
处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。
&n
    

    • 

  • 单例模式
shuizhaosi888
单例模式

    单例模式      懒汉式
public class RunMain {
/**
* 私有构造
*/
private RunMain() {
}
/**
* 内部类，用于占位，只有
*/
private static class SingletonRunMain {
priv
    

    • 

  • Spring Security（09）——Filter
234390216
Spring Security

    Filter
目录
1.1     Filter顺序
1.2     添加Filter到FilterChain
1.3     DelegatingFilterProxy
1.4     FilterChainProxy
1.5
    

    • 

  • 公司项目NODEJS实践0.1
逐行分析JS源代码
mongodbnginxubuntunodejs

     
一、前言
        前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。
        网上有很多nod
    

    • 

  • java.lang.Math
liuhaibo_ljf
javaMathlang

    System.out.println(Math.PI);
System.out.println(Math.abs(1.2));
System.out.println(Math.abs(1.2));
System.out.println(Math.abs(1));
System.out.println(Math.abs(111111111));
System.out.println(Mat
    

    • 

  • linux下时间同步
nonobaba
ntp

    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
    

    • 

  • ZooKeeper3.4.6的集群部署
roadrunners
zookeeper集群部署

    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。
 
1、准备工作
我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。
 
数据存储目录
    

    • 

  • Java高效读取大文件
tomcat_oracle
java

    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： 　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
    

    • 

  • 微信支付api返回的xml转换为Map的方法
xu3508620
xmlmap微信api

    举例如下：
<xml>
   <return_code><![CDATA[SUCCESS]]></return_code>
   <return_msg><![CDATA[OK]]></return_msg>
   <appid><
    

    •