- Nginx gzip压缩、expires缓存时间
Sunrise清风
Nginxlinux
原理:浏览器---请求---->声明可以接受gzip压缩或deflate压缩或compress或sdch压缩从http协议的角度看--请求头声明acceopt-encoding:gzipdeflatesdch(是指压缩算法,其中sdch是google倡导的一种压缩方式,目前支持的服务器尚不多)服务器-->回应---把内容用gzip方式压缩---->发给浏览器浏览80字节,而且压缩也是耗费CPU资源
- Python解析html的几种操作方式
?????
python
解析html是爬虫后的重要的一个处理数据的环节。一下记录解析html的几种方式。先介绍基础的辅助函数,主要用于获取html并输入解析后的结束#把传递解析函数,便于下面的修改defget_html(url,paraser=bs4_paraser):headers={'Accept':'*/*','Accept-Encoding':'gzip,deflate,sdch','Accept-Languag
- Request Headers 里面的 Accept 属性
monica888888
jsp浏览器httpweb服务器servletRequestHeaders里面的
文章来源:https://tools.ietf.org/html/rfc7231#section-1.1例子:Accept:text/html,application/xhtm+xml,application/xml;q=0.9,image/webp,*/*;q=0.8Accept-Encoding:gzip,deflate,sdch,brAccept-Language:zh-CN,zh;q=0.
- 从python爬虫引发出的gzip,deflate,sdch,br压缩算法分析
asiwuy9180
今天在使用python爬虫时遇到一个奇怪的问题,使用的是自带的urllib库,在解析网页时获取到的为b'\x1f\x8b\x08\x00\x00\x00\x00...等十六进制数字,尝试使用chardet来检查编码格式时发现encoding为None,因为以前一直用的是requests库,所以没有仔细注意过这个问题,经过详细搜索后分析如下(下面代码是修改后加入gzip的):转载注明http://w
- 用requests爬虫拒绝301/302页面的重定向而拿到Location(重定向页面URL)的方法
Mao_code
python爬虫笔记
defyunsite():'url'headers={'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8','Accept-Encoding':'gzip,deflate,sdch,br','Accept-Language':'zh-CN,zh;q=0.8','Connection
- 05_nginx之gzip压缩
对方不想理你并向你抛出一个异常
gizp压缩官方文档http://nginx.org/en/docs/http/ngx_http_gzip_module.html网页内容的压缩编码与传输速度优化,我们观察news.163.com的头信息请求:Accept-Encoding:gzip,deflate,sdch响应:Content-Encoding:gzipContent-Length:36093再把页面另存下来,观察,约10W字节
- 如何将一个非ASCII编码的字典格式数据按照中文输入一个文件
Philosopher_
注意json的dump方法中的ensure_ascii参数的值:默认为True,这样输出所有非ASCII编码的时候,就会采用"u\xxxxx"的形式若改为False,则非ASCII编码的字符就会按照原本的字符形式输入importrequestsimportjsonheaders={'Pragma':'no-cache','Accept-Encoding':'gzip,deflate,sdch','
- Ajax中的setRequestHeader设置请求头
小※兽
Ajax中的setRequestHeader设置请求头1、问题引发点:前不久发现一个问题:前端并没有设置请求头信息里面的Accept-Encoding:gzip...但是在请求头中可以明显的看到Accept-Encoding:gzip,deflate,sdch,并且我尝试修改这个请求头,发现不生效;2、XMLHttpRequest对象提供了一个设置请求头的方法:setRequestHeader,对
- 对Python3 解析html的几种操作方式小结
极客点儿
解析html是爬虫后的重要的一个处理数据的环节。一下记录解析html的几种方式。先介绍基础的辅助函数,主要用于获取html并输入解析后的结束#把传递解析函数,便于下面的修改defget_html(url,paraser=bs4_paraser):headers={'Accept':'*/*','Accept-Encoding':'gzip,deflate,sdch','Accept-Languag
- Nginx中gzip配置
Fe_cow丿
Nginx
Nginx中gzip配置:一、作用:减少从服务器下载的文件和请求的资源大小,大幅提高页面加载速度。二、原理:浏览器------请求------->声明可以接收gzip压缩;或者deflate压缩;或compress压缩;或sdch压缩从http协议的角度看----请求头声明:acceopt-encoding:gzipdeflatesdch[是指压缩算法,其中sdch是google倡导的一种压缩方式
- ajax中的setRequestHeader设置请求头
hong2511
原文地址为:ajax中的setRequestHeader设置请求头1、问题引发点:前不久发现一个问题:前端并没有设置请求头信息里面的Accept-Encoding:gzip...但是在请求头中可以明显的看到Accept-Encoding:gzip,deflate,sdch,并且我尝试修改这个请求头,发现不生效;2、XMLHttpRequest对象提供了一个设置请求头的方法:setRequestHe
- python requests用url爬妹子套图保存在文件夹
杀手binsen
python爬虫
参考文章:http://cuiqingcai.com/3179.html代码可封装成函数,此仅为学习第一种:importrequestsheaders={'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8','Accept-Encoding':'gzip,deflate,sdch'
- Http--Header
zlcook
Encoding请求:Accept-Encoding响应:Content-Encoding取值:gzip、deflate、sdch作用:对请求体和响应体进行压缩,压缩文本数据能减少带宽并加快显示速度。压缩的时间会远小于传输的时间,所以不用担心压缩。请求头响应头Connection请求:Connection响应:Connection取值范围:Keep-Alive、Close作用:Keep-Alive
- 使用Brotli提高网站访问速度
icyfire
前端优化前端性能
使用Brotli提高网站访问速度在优化网站打开速度上,我们有很多的方法,而其中一个就是减少诸如Javascript和CSS等资源文件的大小,而减少文件大小的方法除了在代码上下功夫外,最常用的方法就是使用压缩算法对文件进行压缩。目前,网站普遍使用的是gzip压缩算法,当然你可能还知道deflate和sdch算法,但是最近两年新兴了一个新的压缩算法:Brotli,下面我将会对这个算法进行简单的介绍。什
- Python的验证码识别,模拟ajax请求,爬取优酷会员(滑稽)
Recar
Python爬虫
首先想写一个爬取一个网站的优酷会员分享,但是是要输入验证码。首先,我用谷歌分析其验证码的请求。然后拼接url去访问发现做了限制那么应该是做了检测对请求头。复制刷新验证码图片的请求头。自己构造个请求,并写出图片defgetyzm():headers={'Accept-Encoding':'gzip,deflate,sdch','Accept-Language':'zh-CN,zh;q=0.8','C
- Nginx启用GZIP压缩网页传输方法(推荐)
kwinH
原理:浏览器―请求―->声明可以接受gzip压缩或deflate压缩或compress或sdch压缩从http协议的角度看�C请求头声明acceopt-encoding:gzipdeflatesdch(是指压缩算法,其中sdch是google倡导的一种压缩方式,目前支持的服务器尚不多)服务器�C>回应―把内容用gzip方式压缩―->发给浏览器浏览80字节,而且压缩也是耗费CPU资源的.比较小的文件
- ajax中的setRequestHeader设置请求头
暗语321
1、问题引发点:前不久发现一个问题:前端并没有设置请求头信息里面的Accept-Encoding:gzip...但是在请求头中可以明显的看到Accept-Encoding:gzip,deflate,sdch,并且我尝试修改这个请求头,发现不生效;2、XMLHttpRequest对象提供了一个设置请求头的方法:setRequestHeader,对应的jQuery可以再beforeSend回调里面设置
- Python每日一练(3):爬取百度贴吧图片
weixin_30399821
python
importrequests,re#先把要访问URL和头部准备好url='http://tieba.baidu.com/p/2166231880'head={'Accept':'*/*','Accept-Encoding':'gzip,deflate,sdch','Accept-Language':'zh-CN,zh;q=0.8','Connection':'keep-alive'}#获取html
- HTTP 协议之压缩
rnZuoZuo
注意:请求头中写了Accept-Encoding:gzip,deflate,sdch不代表返回的数据就一定是GZIP压缩的,需要服务器那边处理才可以(测试结论)HTTP压缩是指:Web服务器和浏览器之间压缩传输的”文本内容“的方法。HTTP采用通用的压缩算法,比如gzip来压缩HTML,Javascript,CSS文件。能大大减少网络传输的数据量,提高了用户显示网页的速度。当然,同时会增加一点点服
- HTTP压缩算法SDCH
socket
程序设计中使用的那些共享方法或者技术
前段时间看了个paper是讲述谷歌浏览器使用的压缩方法SDCH,其实原理还是比较简单的。
看了论文后就想总结一下程序中使用的一些共享方法或者技术吧。
1.Google最近发明的HTTP压缩算法SDCH
SDCH的全称是Shared Dictionary Compression over HTTP的简写。
SDCH的基于以下的事实:
- 13 nginx gzip压缩提升网站速度
nginx
一:nginx gzip压缩提升网站速度
我们观察news.163.com的头信息
请求:
Accept-Encoding:gzip,deflate,sdch
响应:
Content-Encoding:gzip
Content-Length:36093
再把页面另存下来,观察,约10W字节,实际传输的36093字节
原因-------就在于gzip压缩上.
原理:
- 动态网站学习笔记(1)
学习笔记
1. 为什么给一个URL发送的http请求里会有host这一项
Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Charset:GBK,utf-8;q=0.7,*;q=0.3
Accept-Encoding:gzip,deflate,sdch
Accept-Language:zh-
- Python 3 之 Chrom 截获的Headers转成dict格式
kinglearnjava
如题,直接复制Chrom截获的Headers如下:Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Encoding:gzip,deflate,sdch
Accept-Language:zh-CN,zh;q=0.8
Connection:keep-alive
Cookie
- 扒一扒各大电商网站的m站都用的什么前端技术输入日志标题
前端
凡客首页使用Swiper和zepto,没有使用jquery , 静态首页+js交互, 资源加载使用 lazyLoad
X-AspNet-Version: 4.0.30319
X-AspNetMvc-Version: 3.0
X-Powered-By: ASP.NET
Accept-Encoding: gzip, deflate, sdch
- 程序设计中使用的那些共享方法或者技术
程序设计
前段时间看了个paper是讲述谷歌浏览器使用的压缩方法SDCH,其实原理还是比较简单的。
看了论文后就想总结一下程序中使用的一些共享方法或者技术吧。
1.Google最近发明的HTTP压缩算法SDCH
SDCH的全称是Shared Dictionary Compression over HTTP的简写。
SDCH的基于以下的事实:
(1)在HTTP的传输文件之间有大量重复冗余
- 高性能web网站优化原则4——利用gzip压缩组件
jobar
GZip
从HTTP/1.1开始,web客户端在http请求头Accept-Encoding里支持压缩技术
Accept-Encoding:gzip, deflate, sdch
如果服务器看到这个请求,就可以用客户端给定列表里面的压缩方法压缩响应数据,web服务器使用响应头Content-Encoding来通知客户端Conte
- nginx gzip压缩提升网站速度
freedomai
观察news.163.com的头信息请求:Accept-Encoding:gzip,deflate,sdch响应:Content-Encoding:gzipContent-Length:36093再把页面另存下来,观察,约10W字节,实际传输的36093字节原因-------就在于gzip压缩上.原理: 浏览器---请求---->声明可以接受gzip压缩或deflate压缩或compress或sd
- curl
ywc
curl"https://www.google.com/"-H"accept-encoding:gzip,deflate,sdch"-H"accept-language:zh-CN,zh;q=0.8"-H"user-agent:Mozilla/5.0(Linux;Android4.2.1;en-us;Nexus5Build/JOP40D)AppleWebKit/535.19(KHTML,likeG
- curl
ywc
curl"https://www.google.com/"-H"accept-encoding:gzip,deflate,sdch"-H"accept-language:zh-CN,zh;q=0.8"-H"user-agent:Mozilla/5.0(Linux;Android4.2.1;en-us;Nexus5Build/JOP40D)AppleWebKit/535.19(KHTML,likeG
- 还以为SDCH是什么高端的东西,
cteng
压缩httpsdch
原来不过是在服务器、客户端都存储一份相同的字典,用于压缩网站连续页面中相同的内容(比如header、footer、广告什么的)主要就是为了节省流程加快传输不过这实在没啥意思简直令人厌倦了
- jQuery 跨域访问的三种方式 No 'Access-Control-Allow-Origin' header is present on the reque
qiaolevip
每天进步一点点学习永无止境跨域众观千象
XMLHttpRequest cannot load http://v.xxx.com. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://localhost:63342' is therefore not allowed access. test.html:1
- mysql 分区查询优化
annan211
java分区优化mysql
分区查询优化
引入分区可以给查询带来一定的优势,但同时也会引入一些bug.
分区最大的优点就是优化器可以根据分区函数来过滤掉一些分区,通过分区过滤可以让查询扫描更少的数据。
所以,对于访问分区表来说,很重要的一点是要在where 条件中带入分区,让优化器过滤掉无需访问的分区。
可以通过查看explain执行计划,是否携带 partitions
- MYSQL存储过程中使用游标
chicony
Mysql存储过程
DELIMITER $$
DROP PROCEDURE IF EXISTS getUserInfo $$
CREATE PROCEDURE getUserInfo(in date_day datetime)-- -- 实例-- 存储过程名为:getUserInfo-- 参数为:date_day日期格式:2008-03-08-- BEGINdecla
- mysql 和 sqlite 区别
Array_06
sqlite
转载:
http://www.cnblogs.com/ygm900/p/3460663.html
mysql 和 sqlite 区别
SQLITE是单机数据库。功能简约,小型化,追求最大磁盘效率
MYSQL是完善的服务器数据库。功能全面,综合化,追求最大并发效率
MYSQL、Sybase、Oracle等这些都是试用于服务器数据量大功能多需要安装,例如网站访问量比较大的。而sq
- pinyin4j使用
oloz
pinyin4j
首先需要pinyin4j的jar包支持;jar包已上传至附件内
方法一:把汉字转换为拼音;例如:编程转换后则为biancheng
/**
* 将汉字转换为全拼
* @param src 你的需要转换的汉字
* @param isUPPERCASE 是否转换为大写的拼音; true:转换为大写;fal
- 微博发送私信
随意而生
微博
在前面文章中说了如和获取登陆时候所需要的cookie,现在只要拿到最后登陆所需要的cookie,然后抓包分析一下微博私信发送界面
http://weibo.com/message/history?uid=****&name=****
可以发现其发送提交的Post请求和其中的数据,
让后用程序模拟发送POST请求中的数据,带着cookie发送到私信的接入口,就可以实现发私信的功能了。
- jsp
香水浓
jsp
JSP初始化
容器载入JSP文件后,它会在为请求提供任何服务前调用jspInit()方法。如果您需要执行自定义的JSP初始化任务,复写jspInit()方法就行了
JSP执行
这一阶段描述了JSP生命周期中一切与请求相关的交互行为,直到被销毁。
当JSP网页完成初始化后
- 在 Windows 上安装 SVN Subversion 服务端
AdyZhang
SVN
在 Windows 上安装 SVN Subversion 服务端2009-09-16高宏伟哈尔滨市道里区通达街291号
最佳阅读效果请访问原地址:http://blog.donews.com/dukejoe/archive/2009/09/16/1560917.aspx
现在的Subversion已经足够稳定,而且已经进入了它的黄金时段。我们看到大量的项目都在使
- android开发中如何使用 alertDialog从listView中删除数据?
aijuans
android
我现在使用listView展示了很多的配置信息,我现在想在点击其中一条的时候填出 alertDialog,点击确认后就删除该条数据,( ArrayAdapter ,ArrayList,listView 全部删除),我知道在 下面的onItemLongClick 方法中 参数 arg2 是选中的序号,但是我不知道如何继续处理下去 1 2 3
- jdk-6u26-linux-x64.bin 安装
baalwolf
linux
1.上传安装文件(jdk-6u26-linux-x64.bin)
2.修改权限
[root@localhost ~]# ls -l /usr/local/jdk-6u26-linux-x64.bin
3.执行安装文件
[root@localhost ~]# cd /usr/local
[root@localhost local]# ./jdk-6u26-linux-x64.bin&nbs
- MongoDB经典面试题集锦
BigBird2012
mongodb
1.什么是NoSQL数据库?NoSQL和RDBMS有什么区别?在哪些情况下使用和不使用NoSQL数据库?
NoSQL是非关系型数据库,NoSQL = Not Only SQL。
关系型数据库采用的结构化的数据,NoSQL采用的是键值对的方式存储数据。
在处理非结构化/半结构化的大数据时;在水平方向上进行扩展时;随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。
在考虑数据库的成熟
- JavaScript异步编程Promise模式的6个特性
bijian1013
JavaScriptPromise
Promise是一个非常有价值的构造器,能够帮助你避免使用镶套匿名方法,而使用更具有可读性的方式组装异步代码。这里我们将介绍6个最简单的特性。
在我们开始正式介绍之前,我们想看看Javascript Promise的样子:
var p = new Promise(function(r
- [Zookeeper学习笔记之八]Zookeeper源代码分析之Zookeeper.ZKWatchManager
bit1129
zookeeper
ClientWatchManager接口
//接口的唯一方法materialize用于确定那些Watcher需要被通知
//确定Watcher需要三方面的因素1.事件状态 2.事件类型 3.znode的path
public interface ClientWatchManager {
/**
* Return a set of watchers that should
- 【Scala十五】Scala核心九:隐式转换之二
bit1129
scala
隐式转换存在的必要性,
在Java Swing中,按钮点击事件的处理,转换为Scala的的写法如下:
val button = new JButton
button.addActionListener(
new ActionListener {
def actionPerformed(event: ActionEvent) {
- Android JSON数据的解析与封装小Demo
ronin47
转自:http://www.open-open.com/lib/view/open1420529336406.html
package com.example.jsondemo;
import org.json.JSONArray;
import org.json.JSONException;
import org.json.JSONObject;
impor
- [设计]字体创意设计方法谈
brotherlamp
UIui自学ui视频ui教程ui资料
从古至今,文字在我们的生活中是必不可少的事物,我们不能想象没有文字的世界将会是怎样。在平面设计中,UI设计师在文字上所花的心思和功夫最多,因为文字能直观地表达UI设计师所的意念。在文字上的创造设计,直接反映出平面作品的主题。
如设计一幅戴尔笔记本电脑的广告海报,假设海报上没有出现“戴尔”两个文字,即使放上所有戴尔笔记本电脑的图片都不能让人们得知这些电脑是什么品牌。只要写上“戴尔笔
- 单调队列-用一个长度为k的窗在整数数列上移动,求窗里面所包含的数的最大值
bylijinnan
java算法面试题
import java.util.LinkedList;
/*
单调队列 滑动窗口
单调队列是这样的一个队列:队列里面的元素是有序的,是递增或者递减
题目:给定一个长度为N的整数数列a(i),i=0,1,...,N-1和窗长度k.
要求:f(i) = max{a(i-k+1),a(i-k+2),..., a(i)},i = 0,1,...,N-1
问题的另一种描述就
- struts2处理一个form多个submit
chiangfai
struts2
web应用中,为完成不同工作,一个jsp的form标签可能有多个submit。如下代码:
<s:form action="submit" method="post" namespace="/my">
<s:textfield name="msg" label="叙述:">
- shell查找上个月,陷阱及野路子
chenchao051
shell
date -d "-1 month" +%F
以上这段代码,假如在2012/10/31执行,结果并不会出现你预计的9月份,而是会出现八月份,原因是10月份有31天,9月份30天,所以-1 month在10月份看来要减去31天,所以直接到了8月31日这天,这不靠谱。
野路子解决:假设当天日期大于15号
- mysql导出数据中文乱码问题
daizj
mysql中文乱码导数据
解决mysql导入导出数据乱码问题方法:
1、进入mysql,通过如下命令查看数据库编码方式:
mysql> show variables like 'character_set_%';
+--------------------------+----------------------------------------+
| Variable_name&nbs
- SAE部署Smarty出现:Uncaught exception 'SmartyException' with message 'unable to write
dcj3sjt126com
PHPsmartysae
对于SAE出现的问题:Uncaught exception 'SmartyException' with message 'unable to write file...。
官方给出了详细的FAQ:http://sae.sina.com.cn/?m=faqs&catId=11#show_213
解决方案为:
01
$path
- 《教父》系列台词
dcj3sjt126com
Your love is also your weak point.
你的所爱同时也是你的弱点。
If anything in this life is certain, if history has taught us anything, it is
that you can kill anyone.
不顾家的人永远不可能成为一个真正的男人。 &
- mongodb安装与使用
dyy_gusi
mongo
一.MongoDB安装和启动,widndows和linux基本相同
1.下载数据库,
linux:mongodb-linux-x86_64-ubuntu1404-3.0.3.tgz
2.解压文件,并且放置到合适的位置
tar -vxf mongodb-linux-x86_64-ubun
- Git排除目录
geeksun
git
在Git的版本控制中,可能有些文件是不需要加入控制的,那我们在提交代码时就需要忽略这些文件,下面讲讲应该怎么给Git配置一些忽略规则。
有三种方法可以忽略掉这些文件,这三种方法都能达到目的,只不过适用情景不一样。
1. 针对单一工程排除文件
这种方式会让这个工程的所有修改者在克隆代码的同时,也能克隆到过滤规则,而不用自己再写一份,这就能保证所有修改者应用的都是同一
- Ubuntu 创建开机自启动脚本的方法
hongtoushizi
ubuntu
转载自: http://rongjih.blog.163.com/blog/static/33574461201111504843245/
Ubuntu 创建开机自启动脚本的步骤如下:
1) 将你的启动脚本复制到 /etc/init.d目录下 以下假设你的脚本文件名为 test。
2) 设置脚本文件的权限 $ sudo chmod 755
- 第八章 流量复制/AB测试/协程
jinnianshilongnian
nginxluacoroutine
流量复制
在实际开发中经常涉及到项目的升级,而该升级不能简单的上线就完事了,需要验证该升级是否兼容老的上线,因此可能需要并行运行两个项目一段时间进行数据比对和校验,待没问题后再进行上线。这其实就需要进行流量复制,把流量复制到其他服务器上,一种方式是使用如tcpcopy引流;另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行并发
- 电商系统商品表设计
lkl
DROP TABLE IF EXISTS `category`; -- 类目表
/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `category` (
`id` int(11) NOT NUL
- 修改phpMyAdmin导入SQL文件的大小限制
pda158
sqlmysql
用phpMyAdmin导入mysql数据库时,我的10M的
数据库不能导入,提示mysql数据库最大只能导入2M。
phpMyAdmin数据库导入出错: You probably tried to upload too large file. Please refer to documentation for ways to workaround this limit.
- Tomcat性能调优方案
Sobfist
apachejvmtomcat应用服务器
一、操作系统调优
对于操作系统优化来说,是尽可能的增大可使用的内存容量、提高CPU的频率,保证文件系统的读写速率等。经过压力测试验证,在并发连接很多的情况下,CPU的处理能力越强,系统运行速度越快。。
【适用场景】 任何项目。
二、Java虚拟机调优
应该选择SUN的JVM,在满足项目需要的前提下,尽量选用版本较高的JVM,一般来说高版本产品在速度和效率上比低版本会有改进。
J
- SQLServer学习笔记
vipbooks
数据结构xml
1、create database school 创建数据库school
2、drop database school 删除数据库school
3、use school 连接到school数据库,使其成为当前数据库
4、create table class(classID int primary key identity not null)
创建一个名为class的表,其有一