大数据专业认知实习

自我介绍

你们好，我是XXX，毕业于XXXX大学的数据科学与大数据技术专业，现在我从以下三个方面介绍自己：
1）学习能力：我有较强的钻研精神，能熟练的操作Linux，能够使用c++、python、Java语言编程。
2）实践能力：我的专长是web前端，我希望能够在这一方面继续深造，曾经在学校的时候，用pycharm和IDEA实现web前端界面，运用SpringBoot+Thymeleaf+ECharts实现数据可视化。
3）交际能力：我的性格比较沉稳，而且为人谦和，有独立进取的品性，勤于动手、善于动脑，适应新环境能力很强。富有责任感，让我可以直面困难与挑战。

对大数据的认识

首先、我认为大数据就是互联网发展到现今阶段的一种表象或特征，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。想要系统的认知大数据，我认为有三个方面：
1、理论，是认知的必经途径，也是被广泛认同和传播的基线。
2、技术，是大数据价值体现的手段和前进的基石。分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。
3、实践，是大数据的最终价值体现。分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

其次、大数据是什么？投资者眼里是金光闪闪的两个字：资产。在各行各业，探求数据价值取决于把握数据的人，关键是人的数据思维；与其说是大数据创造了价值，不如说是大数据思维触发了新的价值增长。业界将大数据的特征归纳为4个“V”（①数据体量巨大；②数据类型多；③价值密度低，商业价值高；④处理速度快。这一点也是和传统的数据挖掘技术有着本质的不同）大数据并不在“大”，而在于“有用”。
大数据无处不在，所以用户隐私问题一直是大数据应用难以绕开的一个问题。目前，中国并没有专门的法律法规来界定用户隐私，处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强，合法合规地获取数据、分析数据和应用数据，是进行大数据分析时必须遵循的原则。

最后，未来大数据的身影应该无处不在，就算无法准确预测大数据终会将人类社会带往到哪种最终形态，但我相信只要发展脚步在继续，因大数据而产生的变革浪潮将很快淹没地球的每一个角落。
　　当然，上面的一切看起来都很美好，但是否是以牺牲了用户的自由为前提呢？只能说当新鲜事物带来了革新的同时也同样带来了“病菌”。大家慢慢习惯了和手机共渡时光，人与人之间情感交流仿佛永远隔着一张“网”。

大数据在游客方面的应用

目的

让游客有更多的参考和选择，为他们制造出一个最适合的旅游计划。

需要获取的信息

大数据：
首先，大数据可以建立一个游客的数据统计网站，我们可以以游客的吃、住、行、游、购、娱为数据模型，得到一些重要的数据。
物联网：
物联网把新一代的IT技术运用到旅游行业，通过对人和物之间的信息采集和信息交换，最终借助移动智能终端有针对性的为游客提供综合信息查询、在线预订、行程规划、线路选择等服务，为游客出行提供了充分的信息参考和选择。
云计算：
游客在游览过程中，通过手持智能终端获取旅行相关信息。旅游服务和产品都可以通过云端推送到用户身边，从基础的订房、订餐、导航到实时多媒体导览、基于移动支付的导购。
一方面，云计算使得旅游资源的利用率、服务效率、服务可用性大大提高；另一方面，云计算使得旅游产品的个性化用户体验的满意度大大增强。
人工智能：
①用户在用相关在线旅游平台办理签证时，可以通过手机扫描护照或身份证，信息会自动识别并填写到申请表上；可直接通过自拍功能解决签证照片，系统会自动调整并生成符合规定的照片；办理进度可通过手机客户端自助查看实时追踪，随时可查。
②智能定制旅游；
③通过结合环境，聊天机器人能够为客户推送产品；在出行前，根据旅客特征及偏好信息，为旅客提供目的地资讯及行程规划；在出行中，景点、餐厅、当地交通指南、实时翻译、折扣信息，在旅行过程中的各类问题，聊天机器人可以实时优选解决方案；行程结束后出现的问题，也能得到及时回复。

实习内容

大数据行业发展趋势与人才需求

大数据技术趋势

①5G商用创造数字经济发展新风口。
②中国开启数字贸易规则新探索。
③无人经济催生未来人机共生新格局。
④数字农业带动农村经济新转型。
⑤数字孪生成为智慧城市升级新方向。
⑥中国加快推进《数据安全法》立法新进程。
⑦大数据局成为地方政府机构改革新标配。
⑧数字民主促进多元主体协商共治新模式。
⑨数字评估与监督加快信用政府建设新步伐。
⑩人工智能等领域搭建学科建设新体系。

大数据的特点

大数据有五大特点，即大量（Volume）、高速（Velocity）、多样（Variety）、低价值密度（Value）、真实性（Veracity）。

大数据的应用领域

制造业
金融
零售餐饮行业
医疗保健行业
能源行业
教育产业
大数据与天文学、微生物研究
…

华为大数据解决方案

大数据人才需求与职业岗位分析

华为大数据认证体系

大数据基础环境和工具认知

链接:JDK8的安装与配置
1、Java编程环境部署
2、IDEA代码编辑工具的使用
3、Maven项目管理工具介绍
4、Java模拟定时生成日志到文件
5、通过打包案例了解域名映射

数据可视化介绍与展示

链接: SpringBoot+Thymeleaf+ECharts实现大数据可视化
1、Web前端知识介绍
2、ECharts介绍及使用
3、实践完成数据可视化小案例

Linux操作系统的初步使用体验

链接:
Window7系统上Centos7的安装
Centos7虚拟机NAT网络的配置
下载XShell教程与简单使用
1、Linux操作系统介绍
2、常用命令介绍
3、Linux环境体验
4、VI编辑器的使用
5、Shell脚本的使用

大数据入门

1、Hadoop生态圈及三大组件
2、HDFS架构与MapReduce原理
3、大数据学习环境的搭建
4、跑通MapReduce大数据统计案例

计算框架介绍与案例演示

1、Spark框架介绍
2、Spark生态圈及组件
3、Spark提交作业流程
4、搭建Spark集群环境
5、跑通Spark大数据统计案例

总结

安装jdk：
1、不要使用中文路径，会提示向导错误。
2、配置好环境变量后，需要回去看一下，是否多了双引号 （win10）
3、路径jdk1.8xxxx与jre1.8xxxx是并列关系
4、如果第一次javac不行，应该是你的jdk1.8xxx与jre1.8xxx 的路径不对。下次改好后，需要关掉之前的运行窗口，再启动 ，再运行javac查看结果。

配置环境变量：
1、JAVA_HOME就代表JDK的Home路径！
2、在Win上使用JAVA_HOME路径的方式是在它的前后加上%:%JAVA_HOME%
3、jar包文件，即别人写好的java程序进行打包后的件。假如你写好了一个java程序，你要给别人使用，你就可以打包成jar包，然后别人拿到你的jar包，就可以直接使用了。前提是：要有java的运行环境！
4、Path路径也是一个变量！我们最终需要配置的路径其实是：
D:\Program Files\Java\jdk1.8.0_261\bin
D:\Program Files\Java\jdk1.8.0_261\jre
这两个路径！！！
5、java、javac其实是可以在任意路径都可以执行的，系统会自动去环境变量配置的路径里面去查找你执行的命令文件！！

安装maven：
Maven，简而言之，就是一个项目管理工具，也是一个包管理工具。项目管理工具体现在，你在构建Java项目的时候，可以选择构建一个 由Maven管理的项目，那么你这个项目的jar包就全部关联Maven了，那 么Jar包就全部交由Maven管理了，包管理的功能也体现于此。
Maven下载的jar包，放在你的maven的安装路径的conf/settings.xml 里面配置的LocalRepository的路径。Maven管理的这些jar包是在conf/settings.xml里面配置的mirror路径的！

如果想要用一个域名来代替127.0.0.1，需要修改一下映射表（C:\Windows\System32\drivers\etc\hosts），把映射关系加上去，就可以通过这个域名来代替127.0.0.1这个ip了

Maven依赖引入：
1、搜索Maven repository，进入Maven远端仓库依赖下载路径，在里面的搜索框中搜索：hadoop-client,点击进入，选择2.7.5版本。
2、粘贴到pom.xml的 3、右击pom.xml文件，选择maven，选择reimport（2018版本IDEA）或者reload project（2020版本IDEA），等待下载依赖
4、等待下面的进度条不再闪动！

构建一个Springboot工程，其中有两个注意的地方：选择Spring web和thymelef，然后点击构建！务必确保Maven已经配置好！！
构建中可能会遇到的问题：
1、提示报各种错误
解决：重新建工程，多建几遍。
2、依赖报红
解决方法1：右击pom.xml文件，选择maven，选择reimport（2018版本IDEA）或者reload project（2020版本IDEA），等待下载依赖
如果不行，继续！
解决方法2：去把你的本地仓库的地址（D:\mvn_repos）里面的内容全删了（谨慎使用）,然后右击pom.xml文件，选择maven，选择reimport（2018版本IDEA）或者reload project（2020版本IDEA），等待下载依赖。
3、项目的结构跟老师的不同
解决：确保选中的是Spring Initializr

收获和感想

这次实习我的收获很多，认识到了什么是大数据，大数据的特点、发展趋势、就业等问题。学会了JAVA编程环境部署。IDEA代码编辑工具的使用，对Maven项目管理工具基本的认识，进行了Linux环境体验。学习了hadoop生态圈及三大组件：HDFS、YARN、MapReduce。同时我也认识到自己有许多的不足，在今后我会根据自己的不足做出相应对策，提高自己的能力。为自己的发展创造坚实的基础。