玩聚热点新发现--中国的techmeme!

<iframe align="center" marginwidth="0" marginheight="0" src="http://www.zealware.com/csdnblog.html" frameborder="0" width="728" scrolling="no" height="90"></iframe>

& Techmeme

编写者

日期

关键词

郑昀

<chsdate isrocdate="False" islunardate="False" day="15" month="6" year="2007" w:st="on"><span lang="EN-US" style="COLOR: gray; FONT-FAMILY: Verdana; mso-bidi-font-family: Arial">2007-6-15</span></chsdate>

Meme 热点 引爆点 techmeme

20059月,techmeme 的前身memeOrandum横空出世,在当时北美也算是刮起了一阵旋风,大家把它和slashdotdigg这些成名站点相提并论,并提出了slashdot效应类似的memeOrandum效应。

techmeme这款Gabe Rivera主导的热点计算引擎,对由他自己定义blog列表进行实时监测,通过追寻blog、新闻媒体url链接来挖掘blogger之间的对话线索,并以对话的形式展现在首页上,成为一个非常有效的内容过滤器,Tells us what's hot and what's not

这种链接挖掘热点的算法在中国并不适用,原因很简单:

中国博客很少在博文正文里嵌入URL链接

同样原因,GooglePageRank算法在博客上也发挥不了太大价值。

实际上,从2006年下半年开始,我们一直都在秘密研发Content Engine(内容引擎),其中“热点自动发现(hot point)”就涵盖了techmeme的方向。

转眼进入2007年,最近媒体上屡屡提及techmeme

<chsdate isrocdate="False" islunardate="False" day="25" month="5" year="2007" w:st="on"><span lang="EN-US" style="FONT-SIZE: 12pt; COLOR: black; LINE-HEIGHT: 200%; FONT-FAMILY: Verdana; mso-bidi-font-family: 宋体; mso-font-kerning: 0pt; mso-bidi-font-weight: bold">5</span><span style="FONT-SIZE: 12pt; COLOR: black; LINE-HEIGHT: 200%; FONT-FAMILY: 宋体; mso-ascii-font-family: Verdana; mso-hansi-font-family: Verdana; mso-bidi-font-family: 宋体; mso-font-kerning: 0pt; mso-bidi-font-weight: bold">月</span><span lang="EN-US" style="FONT-SIZE: 12pt; COLOR: black; LINE-HEIGHT: 200%; FONT-FAMILY: Verdana; mso-bidi-font-family: 宋体; mso-font-kerning: 0pt; mso-bidi-font-weight: bold">25</span><span style="FONT-SIZE: 12pt; COLOR: black; LINE-HEIGHT: 200%; FONT-FAMILY: 宋体; mso-ascii-font-family: Verdana; mso-hansi-font-family: Verdana; mso-bidi-font-family: 宋体; mso-font-kerning: 0pt; mso-bidi-font-weight: bold">日</span></chsdate>,新浪翻译Read/Write Web的文章《美著名科技博客:谷歌新闻与Techmeme大比拼》。

如经济观察报20076月出版的CEO经观商业评论刊载了《网络社区这些年》,其中说道“在第一轮互联网泡沫破灭之后,Slashdot的影响力开始逐渐变弱。近年来,新兴的Techmeme开始取代前者的地位。

曾经获评为Microsoft十大最热BloggerAlex Barnett也于<chsdate isrocdate="False" islunardate="False" day="23" month="5" year="2007" w:st="on"><span lang="EN-US" style="FONT-SIZE: 12pt; COLOR: black; LINE-HEIGHT: 200%; FONT-FAMILY: Verdana; mso-bidi-font-family: 宋体; mso-font-kerning: 0pt; mso-bidi-font-weight: bold">5</span><span style="FONT-SIZE: 12pt; COLOR: black; LINE-HEIGHT: 200%; FONT-FAMILY: 宋体; mso-ascii-font-family: Verdana; mso-hansi-font-family: Verdana; mso-bidi-font-family: 宋体; mso-font-kerning: 0pt; mso-bidi-font-weight: bold">月</span><span lang="EN-US" style="FONT-SIZE: 12pt; COLOR: black; LINE-HEIGHT: 200%; FONT-FAMILY: Verdana; mso-bidi-font-family: 宋体; mso-font-kerning: 0pt; mso-bidi-font-weight: bold">23</span><span style="FONT-SIZE: 12pt; COLOR: black; LINE-HEIGHT: 200%; FONT-FAMILY: 宋体; mso-ascii-font-family: Verdana; mso-hansi-font-family: Verdana; mso-bidi-font-family: 宋体; mso-font-kerning: 0pt; mso-bidi-font-weight: bold">日</span></chsdate>发表文章《How I find stuff I like》说techmeme是他的三个内容过滤器之一:The three main methods I use to find content I'll be interested in are: 2. Techmeme - two or three times daily. Tells me what's hot and what's not.

引子

20061月,我撰写并发布了《MemeEngine讨论集(点击此处下载完整PDF文档)。当时也注意到有几个人在媒体上宣布说要复制techmeme,但随后便没有了下文。也许正是因为techmeme的链接分析算法根本无法搬到中国来。

一直在路上

20063月,我开始寻找符合中国特色的meme engine之路,很快发现只有文本挖掘算法才能做这件事情。

博客内容的文本挖掘,在中国还有一个大问题要解决。博客比新闻要复杂得多得多:

l 文字风格:博客风格迥异,往往不按牌理出牌,天马行空,远远比规范书写的新闻要难分析。

l 涉及的范围:博客什么都谈论,大到国家大事,小到个人情感,甚至流水帐。

l 信息源分散:国内大大小小数百家BSP,数以百万计个博客发布文章,很难在第一时间收集起来并迅速展开大规模计算。

20069月,我和中科院软件所的张俊林张博士等一起创建了玩聚网,瞄准信息过滤器和人过滤器的未来大方向。

200610月,张博士推出了“热点自动发现”算法。但这时候,算法还不太成熟,在非事件驱动、非新闻驱动的分类中表现不佳,比如:互联网两性,在新闻驱动的明星社会表现则不错。这种情况下还不能对外开放。

在我们为了内容引擎而研发了“主题聚类聚合”“话题时间脉络”算法之后, 又回过头来重新优化了热点自动发现算法。这次的精度就上升到了一个新高度,真正可以做到:

从爬虫抓取到输出各个领域的热点,整个流程不用任何人工、不用编辑审核就能直接放出来给普通用户看。

郑昀

郑昀的相关阅读:

国内那么多新技术、新服务,根本没人试用、讨论、从中获得更好的开发启示。比方说,抓虾的好看、豆瓣的 9 点、郑昀正操作的玩聚( onejoo )这些都是新闻聚合的好例子

“由于以下三大原因,在中国,玩聚(OneJoo)将在信息过滤器上超越techmeme的成就

3:玩聚互联网热点新发现精度上升到了一个新高度


我们上星期优化了互联网热点新发现算法,确实精度提高了很多,基本可以直接放出来给普通用户看了。



你可能感兴趣的:(chm)