菜鸟学Python
菜鸟学Python

太厉害了！30行代码抓取上万个小姐姐跳舞视频，有点飘了~

点上方“菜鸟学Python”，选择“星标”
第481篇原创干货，第一时间送达

大家好，我是菜鸟哥！这个我第481篇原创！

今天又给大家带来一个有趣的Python案例分享！学好Python真的是太有用啦！

很多小伙伴在平时看视频的时候，都喜欢看小姐姐的舞蹈视频。今天，小编就和大家一起，通过30行代码，对了，只要30行代码就可以搞定！一起来抓取虎牙视频网站中小姐姐的舞蹈视频，火速来围观吧。

01.视频获取展示

大家在打开虎牙视频后，可以在“星秀/颜值”的类别下找到跳舞的视频，小编粗略的翻阅了一下，每页一共有20个视频，而且一共有500页，所以一共有一万个视频，如果能都下载下来，宅男估计要欢呼了。

太厉害了！30行代码抓取上万个小姐姐跳舞视频，有点飘了~_第1张图片

02.程序讲解

对于视频的获取，同图片获取相同，都需要得到视频的url地址。我们需要通过分析获取得到每个舞蹈视频的子网页链接，然后在子网页中获取得到视频的url链接。首先，我们来看一下如何获取每个子网页的链接地址。

1).获取子网页链接

通过分析网页的源代码，可以发现，主页当中的每个子网页的地址都可以从网页的源代码中获取得到。

太厉害了！30行代码抓取上万个小姐姐跳舞视频，有点飘了~_第2张图片

所以可以通过requests库来获取网页的源代码，并通过解析网页的源代码来获取得到当前页面中所有子网页的链接地址，程序如下图所示。

太厉害了！30行代码抓取上万个小姐姐跳舞视频，有点飘了~_第3张图片

程序当中，通过for循环的方式，来构建所有的主网页链接，通过请求并解析网页的源代码来抓取所有的子网页链接，并保存到self.video_urls列表当中。

2).下载视频

相对于子网页的链接地址获取，对于子网页中的视频链接的获取则更加麻烦，需要我们进行分析和解析，如下图所示：

太厉害了！30行代码抓取上万个小姐姐跳舞视频，有点飘了~_第4张图片

在子网页中，通过在开发者模式下解析网页元素，就可以找到视频的链接地址，接下来我们复制视频的链接地址，然后到network选项下，通过快捷键ctrl+F来搜索”//huya-w20.huya.com/“，就可以找到对应的请求接口链接。

太厉害了！30行代码抓取上万个小姐姐跳舞视频，有点飘了~_第5张图片

通过对于视频的请求链接分析，可以得到如下的数据链接地址：https://liveapi.huya.com/moment/getMomentContent?&videoId=468682371，上述的链接地址所返回的是json数据内容，我们通过分析json数据就可以找到真正的视频链接地址，其中参数videoId就是视频子网页的地址，例如子网页为https://v.huya.com/play/468682371.html，则videoId的数值为468682371。

下面的地址就是我们通过分析上述的json数据所得到的视频链接地址：

http://huya-w20.huya.com/2109/468682371/yuanhua/d1ab7c7919a1ce0560c2f34ffb8d11fc.mp4?bitrate=1677&client=22&definition=yuanhua&pid=1243890452&scene=vod&vid=468682371

明白了视频的链接地址的获取，接下来我们就可以通过程序来进行视频地址的获取。

太厉害了！30行代码抓取上万个小姐姐跳舞视频，有点飘了~_第6张图片

程序通过构造json数据的链接地址，然后分析json数据后，抓取视频的链接地址，通过self.SaveVideo来将视频保存到本地文件夹中。

通过运行程序，我们便可以不断的抓取小姐姐的跳舞视频。最后，我们附上一个小姐姐的舞蹈视频，一起来欣赏一下小姐姐的美妙舞姿吧。

其实整个的程序非常简单，有兴趣的小伙伴可以动手练习一下，爬虫只是Python里面的冰山一角，做办公自动化，后端开发，大数据分析，数据挖掘才是真正的发挥威力的地方，大家还是要多花时间在数据分析，数据挖掘上面，无论是找工作还是提升业务能力都大有裨益。所以还没有学Python的同学不要犹豫，赶紧上车吧！

推荐阅读:入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径干货:爬取豆瓣短评，电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街！唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 ｜用Python做个海量小姐姐素描图 ｜碟中谍这么火，我用机器学习做个迷你推荐系统电影趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火，我用机器学习做个迷你推荐系统电影小工具: Pdf转Word，轻松搞定表格和水印！ | 一键把html网页保存为pdf！|  再见PDF提取收费！ | 用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器！ ｜60行代码做了一个语音壁纸切换器天天看小姐姐！｜年度爆款文案1).卧槽！Pdf转Word用Python轻松搞定！2).学Python真香！我用100行代码做了个网站，帮人PS旅行图片，赚个鸡腿吃3).首播过亿，火爆全网，我分析了《乘风破浪的姐姐》，发现了这些秘密 4).80行代码！用Python做一个哆来A梦分身 5).你必须掌握的20个python代码，短小精悍，用处无穷 6).30个Python奇淫技巧集 7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货 8).再见Python！我要学Go了！2500字深度分析！9).发现一个舔狗福利！这个Python爬虫神器太爽了，自动下载妹子图片点阅读原文,领廖雪峰视频资料！

你可能感兴趣的:(数据挖掘,编程语言,数据分析,url,json)

  • 由于篇幅和复杂性限制，我无法在这里直接为你提供一个完整的、用多种编程语言实现的购物商城代码。但是，我可以为你概述如何使用几种流行的编程语言（如Python, JavaScript/Node.js, J NewmanEdwarda2 pythonjavascriptnode.js
    Python（后端，使用Flask或Django）Flask示例（后端API）gjijg.compythonfromflaskimportFlask,request,jsonifyapp=Flask(name)假设的数据库商品列表products=[{“id”:1,“name”:“苹果”,“price”:10.0},{“id”:2,“name”:“香蕉”,“price”:5.0},]@app.ro
  • 由于篇幅限制，我无法为每种编程语言都提供一个完整的游戏商城代码，但我可以为你提供几种常见编程语言的示例代码片段或概念性指导。 NewmanEdwarda2 游戏
    Python(使用Flask框架)yctsy.cnFlaskApp结构pythonfromflaskimportFlask,render_template,requestapp=Flask(name)假设有一个数据库或列表来存储商品games=[{“id”:1,“name”:“Game1”,“price”:9.99},#…其他游戏]@app.route(‘/’)defhome():returnre
  • 由于生成一个完整的游戏商城代码涉及很多细节和复杂性，我无法在这里直接给出完整的代码示例。但是，我可以为你提供一个简化版的游戏商城核心功能的概念性代码，用几种不同的编程语言来展示。 NewmanEdwarda2 游戏
    Python(伪代码)pythonclassGame:definit(self,name,price):tcjmbj.cnself.name=nameself.price=priceclassGameStore:definit(self):self.games=[]defadd_game(self,game):self.games.append(game)defbuy_game(self,game
  • Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linuxlinux运维服务器后端bashshell
    在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
  • 由于直接在回答中完整展示一个复杂如游戏商城的代码系统并不现实（会超出限制且难以维护），我将为你概述一个简化的游戏商城系统的架构，并提供关键部分的示例代码，这些代码将涵盖几种不同的编程语言。 NewmanEdwarda2 游戏架构
    架构概述pzswcc.cn前端：用于展示商品、处理用户交互（如查看商品详情、添加到购物车、结账等）。后端：处理业务逻辑（如商品库存管理、订单处理、用户认证等），与数据库交互。数据库：存储商品信息、用户信息、订单信息等。示例代码前端（HTML+JavaScript）HTML（简单页面布局）html游戏商城游戏商城JavaScript(使用FetchAPI调用后端API)javascript//假设后
  • 软件测试笔记｜web自动化测试｜Web 自动化测试中，有没有修改过页面元素的属性？如何修改？ 阳哥整理软件测试笔记 web自动化测试自动化
    在Web自动化测试中，可以修改页面元素的属性。通常可以使用JavaScript来实现修改元素属性。以下是使用Selenium结合JavaScript修改页面元素属性的方法：fromseleniumimportwebdriverdriver=webdriver.Chrome()#打开网页driver.get("your_url_here")#找到要修改属性的元素element=driver.find
  • 在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三） 不会编程的小孩子 elasticsearch大数据搜索引擎
    #在生产环境中部署Elasticsearch：最佳实践和故障排除技巧——聚合与搜索（三）前言文章目录前言-聚合和分析-执行聚合操作-1.使用JavaAPI执行聚合操作-2.使用CURL命令执行聚合操作-1.使用JavaAPI执行度量操作-2.使用CURL命令执行度量操作-使用缓存-调整分片大小和数量-使用搜索建议-结论-节点发现-负载均衡-故障转移-结论-访问控制-加密-身份验证-结论-RESTA
  • Rust 函数 lly202406 开发语言
    Rust函数Rust是一种系统编程语言，以其安全性、速度和并发性而闻名。在Rust中，函数是一等公民，是组织代码和实现功能的基本单位。本文将深入探讨Rust中的函数，包括其定义、特性、参数、返回值以及高级用法。函数定义在Rust中，函数使用fn关键字定义。函数可以有参数和返回值。下面是一个简单的函数定义示例：fngreet(name:&str)->String{format!("Hello,{}!
  • Eclipse 悬浮提示：提高编程效率的利器 lly202406 开发语言
    Eclipse悬浮提示：提高编程效率的利器引言在当今的软件开发领域，Eclipse是一款广受欢迎的集成开发环境（IDE）。它以其强大的功能和灵活性而著称，被全球的开发者用于各种编程语言和项目。Eclipse的一个显著特点是其丰富的插件生态系统，这些插件极大地增强了其核心功能。其中，悬浮提示（Hover）功能是一个看似简单，但实际上非常实用的特性，它能在编程时提供即时的信息反馈，从而显著提高开发效率
  • get请求与post请求的不同 苍墨穹天 pythonpython
    1、GET表示从指定的服务器中获取数据，POST表示提交数据给指定的服务器处理2、GET查询的字符串参数显示在地址栏的URL中，请求参数是可见的。POST查询字符串不会显示在地址栏中，请求参数是不可见的3、GET请求能够被缓存，P0ST请求不能被缓存下来4、GDT请求有长度限制，POST请求没有长度限制5、GET查询的字符串参数会显示在地址栏的URL中，不安全，不要使用GET请求提交敏感数据P0S
  • mybatis支持json，Spring boot配置 Knight_9
    mysql5.7版本以后支持原生json格式，基于Springboot进行配置说明。mybatis支持mysql的json格式mysql-connector，mysql的驱动版本要大于等于5.1.40，否则json字段查询会发生乱码。继承BaseTypeHandler自定义一个json类型处理器，放到一个handler包下，例：packagecom.c.config.handler;importc
  • Swift 基本语法 lly202406 开发语言
    Swift基本语法Swift是一种由苹果公司开发的编程语言，用于在iOS、macOS、watchOS和tvOS上开发应用程序。它是一种强类型语言，具有清晰的语法和现代特性，使得开发过程更加高效和易于维护。本文将介绍Swift的一些基本语法，帮助初学者快速上手。变量和常量在Swift中，使用let关键字来声明一个常量，使用var关键字来声明一个变量。常量的值在初始化后不能被改变，而变量的值可以随时更
  • 怎么修改pip源 纬领网络 pippythonlinux
    1.pipconfiglist命令用于列出当前pip的配置信息。pipconfiglist2.在全局配置中设置新的index-urlpipconfigsetglobal.index-urlhttps://pypi.tuna.tsinghua.edu.cn/simple3.如果你只想在当前项目中更改配置，你可以省略globalpipconfigsetindex-urlhttps://pypi.tun
  • 【数据结构】字符串与JSON字符串、JSON字符串及相应数据结构（如对象与数组）之间的相互转换 理想青年宁兴星 数据结构数据结构jsonjava
    前言：下面打印日志用的是FastJSON依赖库中的@Log4j2。依赖：com.alibabafastjson1.2.80目录普通字符串->json字符串json字符串->普通字符串java对象->json字符串json字符串->java对象普通字符串->json字符串代码：publicstaticvoidmain(String[]args){Strings="ningxingxing";Stri
  • 数据中台-建设思路：从理论到实践，打造企业数据驱动引擎 赛博不良人 大数据数据仓库
    数据中台-建设思路：从理论到实践，打造企业数据驱动引擎摘要：在数字化时代，数据已成为企业的核心资产。如何有效地管理和利用数据，是企业数字化转型的关键。数据中台作为一种新型的数据管理架构，应运而生。本文将从数据中台的建设方向、目标、策略、步骤、成熟度评估、应用场景等方面，为企业构建数据中台提供全面的指导。关键词：数据中台，数字化转型，数据管理，数据分析，业务中台一、引言随着企业数字化转型的不断深入，
  • golang文件相对路径问题 jzpfbpx golang开发语言后端
    目录结构2.具体代码：constdataFile="../data/data.json"_,fileName,_,_:=runtime.Caller(1)dataPath:=path.Join(path.Dir(fileName),dataFile)fmt.Println(dataPath)//openfilefile,err:=os.Open(dataPath)iferr!=nil{log.Fa
  • golang文件相对路径问题 jzpfbpx golang开发语言后端
    1.目录结构2.具体代码：constdataFile="../data/data.json"_,fileName,_,_:=runtime.Caller(1)dataPath:=path.Join(path.Dir(fileName),dataFile)fmt.Println(dataPath)//openfilefile,err:=os.Open(dataPath)iferr!=nil{log.
  • Vue Router push方法的使用 hzw0510 Vuevue.js前端javascript
    VueRouterpush方法的使用this.$router.push是VueRouter提供的一个方法，用于在Vue.js应用中进行编程式导航。它的作用是将用户导航到应用中的不同路由。基本作用this.$router.push方法会在浏览器历史记录中添加一个新的记录，并导航到指定的路由。它的工作方式类似于点击一个组件，或者在浏览器中手动输入URL后点击回车。使用示例以下是一些使用this.$ro
  • python http error 401 解决方案: codeuniverse http网络协议网络
    fromrequests.authimportHTTPBasicAuthuser='myuserID'password="mypassword"ip=sys.argv[1]url="http://www.websites.com/"+ipres=requests.get(url,auth=HTTPBasicAuth(user,password))printres.text
  • 【Java】Mybatis Druid连接池配置详细 beautiful_huang Java
    pom.xmlcom.alibabadruid1.0.18.propertiesspring.datasource.driver-class-name=com.mysql.jdbc.Driverspring.datasource.url=jdbc:mysql://localhost:3306/mybatis2?characterEncoding=utf-8&useSSL=truespring.da
  • WPF中的文件保存功能 Vae_Mars AI对话中的其他知识wpf
    1.解释说明-在设计wpf界面的时候，难免会有文件保存的需求，这时就需要添加文件下载功能-这个是调用的windows的api，所以兼容性比较强-可以根据返回值确定是否成功-使用时直接调用这个程序就行，url填写你的文件地址，name即为文件的默认名2.程序示例privateboolDownloadView(stringurl,stringname){boolfanhui=false;stringm
  • webpack - 五大核心概念和基本配置（打包一个简单HTML页面） 怕冷的火焰（~杰） nodejs和webpackwebpacknode.js
    //五大核心概念1.entry（入口）指示Webpack从哪个文件开始打包2.output（输出）指示Webpack打包完的文件输出到哪里去，如何命名等3.loader（加载器）webpack本身只能处理js，json等资源，其他资源如图片需要借助loader，webpack才能解析4.plugin（插件）扩展Webpack的功能5.mode（模式）主要有两种模式：开发模式（development
  • WPF中图片的宫格显示 Vae_Mars WPF-AI对话wpf
    1.解释说明-使用ScrollViewer控件来达到滑动的效果-使用WrapPanel的自动换行特性，保证图片在占满横向空间后自动往下排布-使用foreach的方法来游历所有的图片url2.xaml代码示例3.cs代码示例//加载url转换成BitmapImageprivateasyncTaskLoadImageFromUrl(stringurl){try{using(HttpClientclie
  • 小程序将图片保存到本地 前端-文龙刚 小程序小程序javascript开发语言
    wx.downloadFile({//先将图片下载下来url:canvasToTempFilePath,//图片地址success:function(res){//图片保存本地操作wx.saveImageToPhotosAlbum({filePath:res.tempFilePath,success:function(data){wx.hideLoading()wx.showToast({titl
  • c# json使用 wiseyao1219 c#json前端
    安装包用NuGet安装包：Newtonsoft.Json对象转为Json字符串publicclassPerson{publicstringName{get;set;}publicintAge{get;set;}}Personperson=newPerson{Name="JohnDoe",Age=30};stringjson2=JsonConvert.SerializeObject(person);
  • ES6+--》正则扩展_es6 正则扩展 2401_84170337 es6前端ecmascript
    //声明一个字符串letstr='百度'//提取url与标签文本constreg=/(.*)///执行constresult=reg.exec(str)console.log(result);console.log(result[1]);console.log(result[2]);//设置分组名constreg1=/.*)">(?.*)/constresult1=reg1.exec(str)co
  • vue前端根据接口返回的url 下载图片 爱心觉罗晓宇 java前端服务器
    downloadPicture(imgSrc,name){constimage=newImage();//解决跨域Canvas污染问题image.setAttribute("crossOrigin","anonymous");image.src=imgSrc;image.onload=()=>{constcanvas=document.createElement("canvas");canvas.
  • C语言几种判断语句简述 一杯烟火 C语言学习c语言开发语言
    C判断判断结构要求程序员指定一个或多个要评估或测试的条件，以及条件为真时要执行的语句（必需的）和条件为假时要执行的语句（可选的）。C语言把任何非零和非空的值假定为true，把零或null假定为false。下面是大多数编程语言中典型的判断结构的一般形式：C中的判断语句判断语句C语言提供了以下类型的判断语句。点击链接查看每个语句的细节。语句描述if语句一个if语句由一个布尔表达式后跟一个或多个语句组成
  • python的for语句有几种写法_Python中三元表达式的几种写法介绍 weixin_39835965
    要介绍Python的三元表达式，可以先看看其他编程语言比如C，JAVA中应用:publicclassjava{publicstaticvoidmain(String[]args){intx=100;inty=101;intMAX=(x>y)?x:y;System.out.println("MAX:"+MAX);}}上面的例子可以很好的说明了其他语言的格式：判段的条件?条件为真时的结果:条件为假时的
  • python语言程序设计教程-Python语言程序设计（视频教程） weixin_37988176
    ——为什么要学习计算机编程？——因为编程是件很有趣的事儿，能启迪思维，还有诗和远方...Python语言，由GuidovanRossum大牛在1990年发明，它是当今世界最受欢迎的计算机编程语言，也是一门对大多数人“学了能用、学了有用、学会能久用”的计算生态语言。本课程是一门体现大学水平的Python语言入门课程，采用“理解和运用计算生态”为教学理念，面向Python零基础学习者，不要求学习者有任
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他