来自清华大学开源镜像站的公开信
首先对大家说一声对不起,作为 LT 编辑的我已经很久没为 LT 做贡献,这次却利用“职务之便”在 LinuxToy 发布这封公开信。但事关镜像站生死存亡,希望大家见谅。
概述
为广大清华师生提供科研支持的清华大学开源镜像站 mirrors.tuna.tsinghua.edu.cn 即将被清华大学网络中心关停。开源镜像站对于科研提供了巨大的支持,国外优秀的软件项目大多以开放源代码(开源 Open Source)的形式放出。使用开源软件,一方面不需交纳任何费用,另一方面也不存在使用盗版商业软件的道德和法律问题。
而开源镜像站则是将世界上优秀的开源项目收集到一起,方便同学和老师们高速地安装、更新、使用。并且国外许多优秀的理工类院校都有架设开源镜像站的传统。 从清华大学开源镜像站安装开源软件,下载速率为10MB/s量级,而从开源项目的官方网站下载,速率约为50KB-500KB/s,不旦浪费网络流量而且 加重校园网出口负担。按照统计数据估算,平均每月可为科研节约出校流量约5000GB。简而言之,开源镜像站是科研工作者的“软件管家”,拥有一个校内的 开源镜像站更是能让借助计算机完成的科研工作如虎添翼。
清华大学开源镜像站于2011年创立,在短短几年的时间内迅速聚集了一批热心且技术水平过硬的同学维护,目前已经在国际、国内有广泛的影响,多次被IT业 界新闻网站报道。目前已经收录44种开源项目镜像共计约5000GB,其中12种开源项目镜像已经被官方认可,官方服务器将来自中国甚至亚洲的访问请求直 接定向到清华大学、使用官方的子域名直接解析到清华大学、或者在官方网站显著处写明地址和学校名称,这对于开源镜像站以及清华大学是非常大的荣誉和肯定。
由于一直无法获得网络中心的正式支持,开源镜像站只能“四海为家”,经常被断网、断电、下架。每次搬迁都会导致服务长时间不可用,经常会因此收到国内用户以及国外开源组织的来信询问。
不久前,我们接到最后通知,清华大学开源镜像站将被限期下线并搬迁出校园网机房,届时,使用开源软件的同学和老师将不得不使用其它兄弟院校提供的镜像站或 者直接从软件项目的官方网站以较慢的速度下载、更新,不仅低效而且加重校园网出口负担。我们不希望这样的结果发生,期望得到大家的帮助使得这一决定被改 变。
如何帮助我们
请通过可能的一切途经分享我们的日志,并且参加联署来支持我们。
开源软件与开源镜像
开源软件
开源软件是由全世界各行各业的人共同开发,全世界的高水平程序员将他们自己的成果开放出来,供世界上任何人在相应的开源代码许可证的规范下自由地使用。开源软件是IT业界保持旺盛的生命力的重要组成部分。
开源软件镜像
很多成功的开源软件都采用灵活的“包”管理机制,将软件分成许多独立的功能模块,打包放在服务器上,方便用户下载使用。比如,在很多Linux发行版中,大部分应用都以“包”的形式发布,用户可以直接连接提供“包”的服务器来获取软件以及更新。
由于“包”的使用量很大,仅凭少数几个官方服务器完全无法满足世界各地开源软件使用者的需求。而且,这些服务器往往位于国外,清华师生如果想要访问,就会在校园网出口和国际出口上产生大量流量,不仅速度慢,还挤占了有限的网络资源。
解决这一问题的行之有效的方法是在离使用者更近的地方架设一些服务器,提供时刻维持与官方服务器一致的“包”。这些服务器就是一个开源镜像站的基础。有了开源镜像站的“中转”作用,用户就可以更快速、更便捷地获得研究、开发所需要的“包”资源。
全球的开源镜像站点
国内高校的开源镜像站
- 中国科学技术大学(debian.ustc.edu.cn)
- 上海交通大学(ftp.stju.edu.cn)
- 大连理工大学(mirror.dlut.edu.cn)
- 北京交通大学(mirror.bjtu.edu.cn)
- 北京理工大学(mirror.bit.edu.cn)
- 东北大学(mirror.neu.edu.cn)
- 厦门大学(mirrors.xmu.edu.cn)
- 兰州大学(mirror.lzu.edu.cn)
- 西安电子科技大学(linux.xidian.edu.cn)
- 哈尔滨工业大学(run.hit.edu.cn)
- 天津大学(mirror.tju.edu.cn)
- 东软信息学院(mirrors.neusoft.edu.cn)
- 电子科技大学(mirrors.stuhome.net)
国内其他机构的开源镜像站
- 中国互联网信息中心(mirrors.cnnic.cn) 只提供了Apache镜像
- 网易开源镜像站(mirrors.163.com)
- 搜狐(mirrors.sohu.com)
- 淘宝(ruby.taobao.org)
- 猫扑(labs.mop.com/apache-mirror) 只提供了Apache镜像
日本各大学的镜像站
- 北陆先端科学技术大学院大学JAIST(http://ftp.jaist.ac.jp/pub/)
美国各大学的镜像站
- 卡内基梅隆大学CMU(http://www.club.cc.cmu.edu/pub)
- 麻省理工学院MIT(http://mirrors.mit.edu/)
- 哥伦比亚大学(http://mirror.cc.columbia.edu/)
- 俄勒冈州立大学(http://ftp.osuosl.org/pub)
- 伊利诺伊大学厄巴纳-香槟分校(http://cosmos.cites.illinois.edu/)
- 杜克大学(http://archive.linux.duke.edu/)
- 约翰·霍普金斯大学 http://mirrors.acm.jhu.edu/
从 2009 年起,在 ftp3.tsinghua.edu.cn 系统得不到有效维护和更新之后,清华大学没有对外提供的稳定可靠的开源镜像服务。
清华大学开源镜像站简介
起源
2011年4月, 在原有的清华大学镜像站 ftp3.tsinghua.edu.cn 很久没有更新的情况下, 由一些热爱开源、热爱技术的同学们一起在 ftp3 的基础上组建了开源镜像站。遇到阻力
由于来自网络中心内部的支持力量远远小于网络中心内部的反对力量,整个开源镜像站随时都有被关停的危险。这不是我们第一次遇到这样的阻力:长期以来,清华 大学开源镜像站一直与服务器被关机、被断电、被断网、被下架作斗争,不得不打一枪换一个地方。这无谓地损耗了我们大量的精力,而最终结果是给广大热爱开源技术的同学们造成极大的不便。被迫迁移,四海为家
随着服务器得到越来越多的关注, 我们的 CERNET 出口仅有的 100Mbps 不堪重负.
2012 年 7 月,由于原所在网段丢包严重,带宽有限, 服务器被迁移到 DragonLab 中的一个虚拟机中. 虽然有了理论上的 1Gbps 的接入, 但是 CERNET 的网关出口一直不稳定, 处于疑似被封禁的状态. TUNET 的出口则被限速到 2Mbps。
2012 年 9 月,我们的 4TB nfs 存储服务器被强行搬出机房,前端服务器与存储服务器的通信链路非常不稳定,导致大量软件源失效。
2013 年 1 月,我们的前端服务器被迫迁出 DragonLab 放至原来所在旧镜像站(ftp3.tsinghua.edu.cn)的机房,前端服务器 与 nfs 存储之间的带宽进一步下降,导致很多源(如 debian, ubuntu, fedora, arch等等)陆续崩溃。
2013 年 3 月,开源镜像站正式被下达限期下线迁移的通知。
我们的成果
校内校外以及国际访问概况
下图为最近6个月内HTTP流量统计。
原始数据: http://mirror.tuna.tsinghua.edu.cn/webalizer/
国内兄弟院校以清华站为上游同步站点
服务稳定时期每个月流量可达近10TB。地质大学和浙大均以我校镜像作为上游做初始同步,促进了整个教育网的开源事业发展。
中国地质大学与我们的联系邮件
From: Zhang Jiaqi
您好,我们正在筹建中国地质大学(北京)的开源镜像站,
http://[2001:da8:214:1111:21b:11ff:fe0f:4d1f]/。
如果您能看到这封邮件,希望您能够回复一下,我们想请教您几个问题。
https://groups.google.com/d/msg/thu-opensource-mirror-admin/wiMwpVh_xng/TE-3FLeWF5AJ
浙江大学与我们的联系邮件
在 2012年10月30日 下午6:13,Hexcles Ma
> 清华大学学生网管会:
>
> 你们好!
>
> 我是浙江大学Linux User Group的负责人马宏菩(Hexcles Ma)。
>
> 首先感谢你们一直以来提供的稳定、齐全、高质量的开源镜像服务,我本人长期使用你们的服务,受益颇多!
>
> 浙江大学乃至整个浙江的高校至今为止一直没有自己的开源镜像。今年,随着我们浙大LUG(临时首页:http://lug.zjustu.org/)的成立,我们计划搭建并维护浙大自己的开源镜像。目前,我们已经向学校申请到了服务器资源。
>
> 由于校网中心的限制,我们的服务器目前只能使用IPV6连接外网(IPV4连接教育网也不行)。经过测试,IPV6连接清华镜像的速度是最快的,可以达到 平均8MB/S以上(远远超过中科大、北交等平均1MB/S的速度),而且清华镜像齐全、更新迅速,所以我们希望能够从清华镜像同步数据。不知可否?
>
> 如能同意,不胜感激!
>
> 当然,如果流量压力太大,我们也可以在同步时进行必要的限速。首次同步时暂定包括Debian、Ubuntu、CentOS三大发行版,数据量巨大,故如果能够从贵校同步,也可沟通一下首次同步时间,以免给你们的正常服务造成影响。
>
我已经把 rsyncd 限速在了 64Mbps,你们同步对我们应该不会造成大的影响。不过为了
尽量减小对用户的影响,建议选在用户较少的 3:00am~6:00am 时段进行同步。
> | 我们的IP:2001:da8:e000:1410:216:3eff:fe75:6c73
> | (域名正在申请中)
>
> 不论是否能够合作成功,都在此再次感谢你们对开源运动的无私贡献!
>
不客气。
> 祝好!
>
https://groups.google.com/d/msg/thu-opensource-mirror-admin/ZkSAwD7QxB0/Ky_IpZZOfoYJ
From: Hexcles Ma (2012/11/20)
To: 清华大学开源镜像维护组
你们好!
浙大开源镜像已经完成了首次同步,目前正在试运行。
为了能够更快地跟上上游更新,想要了解一下清华镜像各发行版的同步开始时间及大概完成时间(尤其是 Debian Ubuntu CentOS Fedora Archlinux等热门发行版)。
谢谢!
[... snip ...]
如题,从23:00开始,
浙大源通过ipv6线路从贵校镜像初始同步OpenSuSE(200GB+)。
社会上的反响
- {http://www.cnbeta.com/articles/194758.htm retrived on 2013-03-11}
- {http://bbs.51osos.com/thread-10549-1-1.html retrived on 2013-03-11}
无奈到官网下,看到了一个中国的镜像:http://mirrors.tuna.tsinghua.edu.cn/”
- {http://m.byr.cn/article/Linux/118738 retrived on 2013-03-11}
- {http://ruby-china.org/topics/6520 retrived on 2013-03-11}
国际上的影响力
清华大学开源镜像站是- 亚洲唯一的pypi官方镜像(e.pypi.python.org)
- 中国大陆唯一的raspbian,npm, archlinuxarm(cn.mirror.archlinuxarm.org), gentoo-portage-prefix (rsync.cn.prefix.freens.org)镜像站点
- 国内高校唯一的rubygems镜像站点