[答网友问]传播和抽样
郑昀 20110306
集中回答一下网友对互联网信息监测的提问。
对于社区化信息挖掘、互联网海量信息挖掘,抽样是被迫的,但它仍然是一个好方法。
1.为什么被迫抽样?
即使是针对Twitter,做消息监控也是抽样。
也就是说,但凡是没有权限调用FireHose API(即Str...
文章
郑昀
2016-04-26
1559浏览量
webapp开发时问题的总结1
其实这个话题的答案本应该是:萝卜白菜个有所爱,欢迎有新浪微博的大家踩一下我的app:http://readgame.sinaapp.com/
但是,事实往往没有想象中的那么简单
服务器端
服务器端的程序你要调用,新浪和qq微博的api吧,那么你只有两个选择:1用现有的sdk(不管是官方的还是第三方...
文章
互联网fans
2012-09-23
553浏览量
新浪短链接api申请
接口1:
http://sina-t.cn/api?link=http://baidu.com
接口2:
http://tttool.cn/sina_api?url=http://baidu.com
接口3:
http://knurl.cn/tcnapi?url_long=http://baidu...
文章
散马游乡
2019-12-11
2031浏览量
带你读《Python Django Web典型模块 开发实战》之一:从新浪微博聊起多端应用
Python Django Web典型模块开发实战点击查看第二章点击查看第三章 寇雪松 编著
第1章 从新浪微博聊起多端应用
当人们听到“新浪”,脑海里第一个浮现的关联词是“新浪微博”,而不是“新浪博客”的时候,互联网已经发展到了多端应用的时代。如果一个互联网公司的业务数据,还只能通过PC...
文章
被纵养的懒猫
2019-11-17
802浏览量
2014年干了什么
年底了,按国际惯例该写点什么了, 不过我的国际惯例里没有年终总结这一说,微博上的牛人们开始晒总结了, 手痒痒也跟进吧。
先去evernote上翻了下这一年的技术研究记录,大致如下:
先钻研了古老的C10K问题,以前的前辈如何解决这个问题的,然后JVM的NIO与底层操作系统的联系,JVM需要调用操作...
文章
时序
2015-03-03
567浏览量
[python爬虫] Selenium爬取新浪微博内容及用户信息
在进行自然语言处理、文本分类聚类、推荐系统、舆情分析等研究中,通常需要使用新浪微博的数据作为语料,这篇文章主要介绍如果使用Python和Selenium爬取自定义新浪微博语料。因为网上完整的语料比较少,而使用Selenium方法有点简单、速度也比较慢,但方法可行,同时能够输入验证码。希望文章对你有...
文章
小珞珞
2016-02-23
8031浏览量
妈妈再也不用担心爬虫被封号了!手把手教你搭建Cookies池
很多时候,在爬取没有登录的情况下,我们也可以访问一部分页面或请求一些接口,因为毕竟网站本身需要做SEO,不会对所有页面都设置登录限制。
但是,不登录直接爬取会有一些弊端,弊端主要有以下两点。
设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源,某博客设置了登录才可查看全文等,这些页面都需...
文章
技术小能手
2018-06-25
2742浏览量
新浪微博Python3客户端接口OAuth2
Keyword: Python3 Oauth2 新浪微博
本接口基于廖雪峰的weibo python SDK修改完成,其sdk为新浪官方所推荐,原作者是用python2写的
经过一些修改,这里提供基于python3的 weibo SDK
#!/usr/bin/env python
# -...
文章
方倍工作室
2012-08-13
884浏览量
妈妈再也不用担心爬虫被封号了!手把手教你搭建Cookies池
很多时候,在爬取没有登录的情况下,我们也可以访问一部分页面或请求一些接口,因为毕竟网站本身需要做SEO,不会对所有页面都设置登录限制。
但是,不登录直接爬取会有一些弊端,弊端主要有以下两点。
● 设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源,某博客设置了登录才可查看全文等,这些...
文章
技术小能手
2018-11-08
1295浏览量
微博热点事件背后数据库运维的“功守道”
作者:张冬洪
背景&挑战
背景
正是图1这条微博动态,让一个平常的国庆假期变得不同寻常,微博刚一发出就引爆网络,它将明星CP动态推向了舆论的高潮,并霸占微博热搜榜好几天,也正是因为这个突发的流量,致使流量过大一度引发微博服务器瘫痪,而成为吃瓜群众热议的话题。微博拥有超过3.76亿月活用...
文章
zhangdh1113
2018-09-27
1173浏览量
新浪微博Python客户端接口OAuth2
Keyword: Python Oauth2 微博 sina weibo
#!/usr/bin/env python
# -*- coding: utf-8 -*-
__version__ = '1.04'
__author__ = 'Liao Xuefeng (askxuefeng@g...
文章
方倍工作室
2012-08-11
799浏览量
面向对象高级编程:定制类
看到类似__slots__这种形如__xxx__的变量或者函数名就要注意,这些在Python中是有特殊用途的。
__slots__我们已经知道怎么用了,__len__()方法我们也知道是为了能让class作用于len()函数。
除此之外,Python的class中还有许多这样有特殊用途的函数,可以...
文章
隐士2018
2018-01-26
1011浏览量
新浪微博OAuth详解以Python为例
让我先吐槽一下新浪微博的那个 OAuth 文档,写得就像个锤子一样!
1. 什么是OAuth
OAuth 是一套认证形式,并被逐渐推荐为一套标准,它的老家在 http://oauth.net 。
OAuth 实现的是一套三方委托认证的模式。
举例来说,有人想知道你新浪微博上的所有粉丝都有哪些,而...
文章
zephyr
2016-06-03
2701浏览量
elasticsearch 口水篇(1) 安装、插件