“小存储”玩转“大数据”

“小存储”玩转“大数据”


  中关村人才特区

  2011年3月,中组部、国家发改委等15个中央部门和北京市联合印发了《关于中关村国家自主创新示范区建设人才特区的若干意见》,中关村加快建设首个中国特色的人才特区。


  中关村是我国科教智力和人才资源最为密集的区域,拥有以北京大学、清华大学为代表的高等院校近41所,以中国科学院、中国工程院所属院所为代表的国家(市)科研院所206所;大学科技园26家,留学人员创业园34家。


  中关村留学归国创业人才超过1.5万人,累计创办企业超过6000家,是国内留学归国人员创办企业数量最多的地区。


  张春成的手机里有一张“神图”:大小不到1M的航拍图,放大一次,出现了山脉;再放大一次,出现了山脉间的河道;继续放大,又出现了河道旁星罗棋布的帐篷……触摸屏的手机就这样被他的两指划动了十几次,最后呈现在眼前的是帐篷旁的女人右脚上清晰可见的布鞋。


  他告诉记者,这张原始大小将近800M的“神图”之所以能够变成一张几百K的图片存储在手机里,并且放大这么多次画质丝毫不受影响,归功于无损压缩技术。


  从ZCC(无损耗压缩可检索彩色文档技术)到ZCV(无损耗压缩视频编码技术),这位北京黔龙泰达科技发展有限公司的创始人所用的全新算法将原有的图像与视频大幅度压缩,打破了国外在图形图像领域和视频压缩领域的技术垄断。


  “以前需要几万个字节描述的文件,用我们的技术只需要几十个字节就可以描述清楚,文件自然就"缩小"了。当图像压缩到原来的百分之一甚至千分之一时,就解决了传输、管理和利用的难题。”张春成就是在用他独门的“缩小术”玩转这个“大数据”时代。


  在日本京都大学留学时,勤奋的张春成没有花太多时间享受这座城市如画的风光,他整日奔波在实验室和图书馆。博士毕业后,他在日本日立公司找到一份助理研究员的工作,但他的目光却一直注视着国内的新兴市场,最终他放弃了日立稳定的工作,带着满心期许和在日本赚到的“这一桶金”归国创业。


  “当时觉得国内的经济发展很快,机遇也很多,所以决定回来试一试。一回国就看中了中关村创业园,这里的环境很好,大家都比较有共同语言,有什么问题大家可以相互借鉴,有什么经验大家可以一起分享,交流上没有障碍。”


  但是,一腔创业的热情投放到现实中时却遭遇了不小的打击。公司创立初期,没有接到任何业务,公司处于零盈利状态,招来的员工眼见公司老不接单陆陆续续地离开了公司。张春成说:“我们的技术尽管很有竞争力,但是回国之后不熟悉国内的市场,很多相关的国家政策以及市场用户的需求都没有摸透,常常碰壁。”


  他苦笑着讲述创业初期的受挫经历。他曾经带着自己的技术和产品跑了好多家档案馆,档案馆的工作人员看到他的技术演示之后都赞不绝口,但是一问到是否有购买意愿时,对方连连摆手说没有经费;有的档案馆负责人说虽然对这项技术十分感兴趣,但馆内已经有了一套系统,如果换新系统的话,对接和兼容是一个大问题,也无奈地表示不愿采用。


  “就是这样,一次次被拒绝。在市场这一块我们确实走了很多的弯路。” 张春成看着公司不见起色,他想到了放弃。但看看依旧留在身边坚定支持自己的员工,他决定再赌一回。


  经过他和几位技术员的不懈努力,公司团队独立研发出了国内外领先的无损耗高压缩可检索的彩色文档技术和无损耗高压缩可检索的视频技术,这一技术突破能够把工程图纸扫描文件压缩到原文件的千分之一,也让公司在最困难的时候接到了一个项目。


  “这个项目是做一个设计院的档案系统,技术演示的时候对方给了我一张184M的图纸,最终我们把它压到了180多K,客户非常吃惊。之后他们又提出一系列的要求,我们也不断修改技术方案,一直到用户满意。”


  这一次的接单经历,让张春成燃起了希望。后来经朋友介绍,公司在2009年年底接到了第一个“大项目”。


  下单的是贵州省交警总队。业务洽谈时,张春成还是按照惯例演示了自己的技术,“说实话,当时完全不知道我们能为对方做点什么,直到演示完毕,对方才提出了要求”。


  管档案的要求把几十年的档案压缩后建立数据库,便于检索;管事故处理的希望把事故证据压缩后建立一个资源库,方便随时查找;管车辆和驾驶员信息的希望通过数据压缩节约开支,暂缓购买新服务器……


  张春成悉心听取了对方的所有想法,开始调兵遣将,着手研发,“从招人到培训到建立流水线,我们用了3个月组建新的团队,又用了3个月把项目圆满完成”。


  可是,还没等张春成的完美答卷提交上去,对方又提出了新的需求:希望他们把实时的视频存储问题也解决一下。


  张春成突然意识到,与图片压缩技术相比,用户更加需要视频压缩技术,他马上和团队开会讨论,将研发重点调整到视频压缩技术上。“这个技术以前我们是不做的,但是用户既然提出这样的需求,我们就一定要满足。”张春成的团队鏖战了数不清的日夜,终于找到视频压缩技术的切入点,最终将用户提供的历史视频数据压缩到原来的十分之一。


  客户再下“战帖”,在解决了历史视频压缩问题的基础上,希望把这个压缩技术植入前端摄像头,这样就可以实时拍摄,实时压缩。张春成的团队按照要求完成任务,不仅解决了带宽问题,更为用户节约了巨额的资金。


  现在,这一全新的技术已经在全国范围逐步推广。


  看到公司的业务蒸蒸日上,张春成庆幸自己当初没有放弃,“每一个公司,不管你业务做多大,在这样一个"大数据"时代里都是极其微小的一分子,但是如果我们的技术帮助别人解决了"大数据"的存储问题,解决了数据传输的带宽问题,为人们节约了系统资源,那我们公司的技术就是有价值的”。


  张春成说:“我梦想着有一天可以看到压缩存储技术走进每个人的生活,改变大家的观念,通过给这个"大数据"时代减负,让人们真正迎来一个环保高效的"绿色数据"时代!”




 

大数据培训进修班第二期来临,更强的师资阵容,全新的课程安排,多面的大数据讲解与现场实训,还在等什么,马上报名吧。

参加相关培训并通过考试的学员,可以获得: 1.由人力资源和社会保障部中国高级公务员培训中心、全国信息化计算机应用技术水平教育培训管理中心颁发《大数据技术工程师技术水平教育培训》证书。该证书可在人社部中国国家人事人才培训网查询(http://www.chinanet.gov.cn),可作为能力评价、考核和任职的重要依据。 2.中国科学院计算技术研究所教育中心颁发的《大数据技术工程师》培训证书。

大数据技术已经成为互联网后的又一个里程碑意义的科技革命与生产力革命,也是产业结构战略调整的战略机遇。如何管理自身的业务大数据,从中获取智慧,对传统业务再造并实巨大价值的产品和服务?如何将大数据困境转换为大数据宝藏?如何从大数据概念炒作到实践落地?

由北京理工大学大数据搜索挖掘实验室、中国科学院计算技术研究所教育中心联合主办,大数据论坛联合承办,开设大数据技术进修班。聘请北京理工大学赵燕平教授、张华平博士、北京市外办信息中心姜伟主任、英特尔中国研究院首席工程师吴甘沙、清华大学马宝君博士等知名专家全面讲授大数据架构、大数据搜索、大数据挖掘以及大数据应用四大板块,分享亲身经历的大数据应用,并为学员提供大数据搜索挖掘工具的实训。

 

本次培训讲师:

 

张华平:北京理工大学大数据搜索挖掘实验室主任,博士,副教授

李德伟:国家工商总局行政学院副院长

赵燕平:北京理工大学教授,教育部电子商务专家

姜伟:北京市外事办信息中心主任

吴甘沙:英特尔中国研究院首席工程师

马宝君:清华大学搜索评价与推荐系统专家

杨泽明:中科院高能物理研究所副研究员

 

价格:4980 (包含发票,讲义,教材,工作餐,与讲师互动自助晚餐会); 老学员或同单位三人以上报名九折优惠;全日制学生凭学生证优惠价格2980元,不含发票。差旅及食宿费用自理。

 

地址:北京理工大学理工国际交流中心

课程介绍:

13

张华平    《科学的大数据观》

李德伟    《大数据的哲学思考》

吴甘沙    《大数据架构、计算范式与应用实践》

杨泽明    《云计算关键技术与应用实训》

14

张华平    《大数据精准搜索关键技术》

李望      《实训演练》(JZSearch大数据精准搜索引擎实训演练)

张华平    《大数据挖掘关键技术》

学员互动  NLPIR大数据挖掘平台学员实训》

15

姜伟      《大数据背景下的电子政务实践》

马宝君    《大数据背景下的电子商务实践》

张华平    《大数据答疑解惑》(针对每个学员事先准备的问题,每个人3分钟机会;然后根据投票结果选取3个经典问题进行综述。)

 

【报名通道】:  http://www.lingjoin.com/bigdatatrain/

 

报名电话:13681251543   010-62648067

 

你可能感兴趣的:(压缩,用户,团队,中关村,视频压缩)