java-网络编程-大文件搬运

一切源于:

阿里搬砖头比赛说好是Client端线程级的同步阻塞请求,结果一帮人用了协程来完成这件事。其实吧,我想说就算用协程来完成,其实本质也和异步差不多(就网络通讯层),不过却激发了我的好奇心,因为比赛的结果是1G极限,只用了3秒!

3秒…如果我们将题目往对我有利的思考方向改变下,不再是Client端线程级的同步阻塞,只要求Server端请求应答同步即可。即:Server端在没收到一个请求之前,不能提前将下一个应答发出!如果我将题目修改为这样,我也不见得非常有信心能将时间控制在3秒以内!

所以这里立了个小项目来验证不同的实现方式下,对网络传输、CPU使用的开销。项目起名为镭射,取汇集小请求将能量集中爆发之意。

打算挑战下极限搬运的。

思路参考

穿越nat传输完整的文件,而且能自动重传丢失报文,采用UDP协议,在跨大洲之间进行完整的大文件(超过2GB)传输。
主要解决思路和技术点如下:
对每个报文进行文件任务标志。可以同时传输多个文件。
发送文件内容之前,先发送文件名。然后返回文件名收到后的确认,然后再开始传输。
对发送报文进行计数,每隔1000个报文(某个时间间隔),接收端发送一个计数报文,报告丢包率。采取降低发送速度等措施。
长期丢包率在99%以上,尝试提高发送速度一倍。如果丢包率超过10%就降速。
文件传输中断,有中断信息。接收端长期没有接受到文件报文,则终止任务。
发送完毕后,接收端发送完毕报文,结束发送。
10000个报文组成一个块的概念,接收端每收到10000个(某个数字)报文,发送接受块成功的消息。整个块不会重复发送。如果块出现某个报文发送失败,则重新发送报文。
每个UDP报文,大小是1464字节,其中64个字节用来标示任务。
采用java编写,在web端使用,在tomcat启动时,也就是servlet的contextlistener启动的时候,启动守护进程,监听udp的80端口。是否与servlet进行协同。为了支持子网,客户端只负责发送和上传数据,不能下载数据。所以计数和控制,可能需要tcp的参与。

首先是

你可能感兴趣的:(Java研究者,阿里云工程师的JAVA研究记录)