本科课程大数据基础第11页

【数值分析】迭代法解方程：牛顿迭代法、Jacobi迭代法

本科课程参见：《软件学院那些课》牛顿迭代公式设已知方程f(x)=0的近似根x0,则在x0附近f(x)可用一阶泰勒多项式近似代替.因此,方程f(x)=0可近似地表示为p(x)=0。

iteye_18800·2020-08-10 17:55

【原创】大数据基础之Airflow（2）生产环境部署airflow研究

一官方airflow官方分布式部署结构图airflow进程webserverschedulerflower（非必须）workerairflow缺点scheduler单点通过在scheduler的dags目录变动dag文件来提交流程官方分布式部署方案多个webserver多个workerCeleryExecutor（依赖redis或rabbitmq）MesosExecutor（依赖mesos）第三方

weixin_30642869·2020-08-09 13:20

微信小程序学习笔记1 ——关于微信小程序云开发登录注册功能

本科课程作业写了个基础的小程序在这里记录分享一下，如有错误欢迎指出。

jiaoooooo·2020-08-09 08:58

Fortran77和90/95编程入门-中国科技大学天文与应用物理系，丁泽军编

://micro.ustc.edu.cn/Fortran/ZJDing/Fortran77和90/95编程入门（中国科技大学天文与应用物理系，丁泽军编）此文挡打包下载前言Fortran语言为科大理学院本科课程

zzh_my·2020-08-09 05:29

FPGA学习心得分享（一）

FPGA学习之进阶之路阶梯式学习法有幸成为了一名准研究生后，我被定下的研究方向是FPGA+DSP算法，对于FPGA，我只在本科课程中接触过一些，学的一般般，既然FPGA是我未来三年甚至是三十年的“饭碗”

qq_37168444·2020-08-08 19:35

大数据基础之Spark——Spark分布式计算原理（Spark Stage原理、Spark Shuffle过程、RDD依赖关系、DAG工作原理、RDD优化、RDD分区设计、数据倾斜问题）

大数据基础项目——WordCount原理：分析：当数据发生Shuffle过程时，会划分成两个Stage一个Stage对应着三个Task一个分区对应着一个Task划分Stage的原因：数据本地化： -移动计算

Clozzz·2020-08-08 17:48

一直播、小咖秀大数据自动化运维实践

我带领团队尝试多次转型，最终我们想到一点，我们需要大数据基础平台，更多的不是走到平台化或智能化，

weixin_34241036·2020-08-04 20:27

【原创】大数据基础之Drill（1）简介、安装及使用

https://drill.apache.org/一简介DrillisanApacheopen-sourceSQLqueryengineforBigDataexploration.Drillisdesignedfromthegrounduptosupporthigh-performanceanalysisonthesemi-structuredandrapidlyevolvingdatacomin

weixin_30621959·2020-08-04 19:10

大数据基础知识

Hadoop:大数据系统HDFS:分布式文件系统MapReduce:分布式计算框架YARN:资源管理框架HBase:分布式列存储数据库Hive:数据仓库Mahout:数据分析与挖掘第二章.大数据关键技术2.1大数据采集与预处理技术FlumeScribeKafkaTimeTunnelChukwa2.2大数据存储与管理技术分布式文件系统LustreGFSPVFSHDFS分布式关系型数据库Greenpl

CUG48·2020-08-04 12:54

【原创】大数据基础之Drill（2）Drill1.14+Hive2.1.1运行

weixin_30735391·2020-08-04 11:01

大数据学习资料分享

大数据基础教程了解过大数据的同学都知道，在学大数据之前，Java是必备的，所以学大数据的基础就是先掌握好JavaEE的内容，分享

PRIMEZPY·2020-08-04 10:15

大数据基础教程Hadoop入门学习

大数据hadoop入门分布式笔记文章目录大数据hadoop入门分布式笔记1.基础1.1Hadoop核心1.2HDFS存储思路：1.3Linux2.环境搭建2.1CentOs安装2.1.1关闭图形界面init32.2主机名更改2.3修改主机名和IP的映射关系2.4使用FileZilla向linux传入jdk和hadoop2.5JDK和hadoop的安装2.5.1tar命令格式2.5.2环境变量2.5

luck_whai·2020-08-03 16:49

【原创】大叔系列汇总

[大叔基础系列]【原创】大数据基础之词频统计WORDCOUNT【原创】大数据基础之SPARK（9）SPARK中COLLECT和TAKE实现原理【原创】大数据基础之SPARK（8）SPARK中JOIN实现原理

weixin_30551947·2020-08-03 06:58

至少12亿元收支差，分析运营商7大数据产品应用

或许是因为运营商们探索时间起步较晚；也可能由于运营商对于如何开放用户数据还没想明白；又或者是历史遗留的用户数据还存在业务线条分割、区域分割，数据分散情况较严重，企业内部不同系统之间的数据格式也不一致，而且没有建立起统一的大数据基础性平台导致的商用很难

YHFHing·2020-08-03 05:31

【原创】大数据基础之Mesos（1）简介、安装、使用

Mesos1.7.1官方：http://mesos.apache.org/一简介Programagainstyourdatacenterlikeit’sasinglepoolofresourcesmesos使数据中心（庞大的服务器集群）看起来像是一个资源（CPU、内存、存储、网络带宽、端口等）池；ApacheMesosabstractsCPU,memory,storage,andothercomp

weixin_30396699·2020-08-02 14:02

广州市印发《关于促进大数据发展的实施意见》

《意见》从夯实大数据基础设施、促进数据资源共享开放流通、推动大数据应用示范、完善大数据产业链、加

weixin_34146805·2020-08-01 04:13

黄丽红日精进60/63

感恩感恩大学最后一天的课程完美结束感恩发现了“知网”和“全球学术快报”专业软件感恩同学的分享感恩晚上食堂丰富的晚餐感恩依然没带手机自习的一个晚自习见今天是大学最后一天课，上午的职业卫生实验，下午的流行病和儿童少年，给大学本科课程画上一个句号

做自己小太阳·2020-07-30 13:29

AnyBackup CDM 7.0.8.0服务器安装部署最佳实践

AnyBackupCDM7.0.8.0服务器安装部署关于爱数爱数是领先的大数据基础设施提供商，致力于为政府、公共事业及企业的数字化转型赋能，帮助各行各业的客户在数字化浪潮中充分释放数据价值，通过即时、随时

Jinji·2020-07-30 11:57

未闻花名

我又坐在了这里，正是上课的时间，人来人往，但对我已经没有什么意义了，我的本科课程结束在不久之前，接下来我要面对的，是更加痛苦的磨砺。所以，我要学会在嘈杂中平静，在尘埃中开出花来。

muziyue·2020-07-30 07:41

读书笔记：一个普通IT人的十年回顾

1994年起开始自学计算机专业本科课程，并开始编程，从未间断，迄今已逾10年，仍对软件痴心不改。2002年北京理工大学计算机应用技术专业研究生毕业，后留校任教，主讲程序设计系列课程。

日辰言成·2020-07-30 06:49

零基础自学数据分析，数据分析就业前景

这是一篇对没有大数据基础而又想从事大数据相关工作的同学发放的福利。今天要和大家分享：零基础自学数据分析，数据分析的就业方向及数据分析就业前景。

y南风知我意·2020-07-30 05:36

大数据基础-词云jieba分词

cut用法"""词云就是对网络上的出现频率较高的“关键词”予以视觉上的突出。形成关键词云层，关键渲染层，从而过滤掉大量的文本信息，通过浏览图层就可以浏览文本的主旨词云需要安装两个库：jieba和wordcloudpipinstalljiebapipinstallwordcloud""""""中文分词介绍：中文分词就是将一个汉字序列切分成一个单独的词，分词就是将连续的文本序列按照一定的规范重新组合成

**猿来是你**·2020-07-29 22:48

【Project】ido手机阅读器

看到CSDN的征文活动“移动开发那点事”想起自己也做过几次移动项目，特此更文~本科课程项目索引：http://blog.csdn.net/xiaowei_cqu/article/details/7747205ido

iteye_18800·2020-07-29 19:41

AI系统架构之数据流水线

上面提到的大数据基础架构，解决了数据的收集和存储问题，并且提供了实时和离线两种计算能力，接下来就需要考虑数据的使用，从原始的、初步结构化的数据，生成决策需要的知识、统计信息和预测结果，输出到业务系统中，

舟行·2020-07-29 11:16

我校教育学等3个专业中澳本科课程合作项目延期获得批准

近日，从《河南省教育厅关于郑州大学等15所院校中外本科课程合作项目延期的批复》中获悉，我校与澳大利亚南澳大学开展的教育学、机械设计制造及其自动化、信息工程3个专业中澳本科课程合作项目顺利通过了教育厅验收和评估

酒的余温·2020-07-29 03:51

分布式存储 HDFS原理

大数据基础知识一、什么是大数据短时间内快速产生的海量的多种多样的有价值的数据。大数据的技术：1、分布式存储：2、分布式计算：1)分布式批处理：当数据积累一定的时间后（假设一个月），进行统一的处理。

xgs960528·2020-07-29 00:13

大数据测试初探（一）

大数据基础什么是大数据处理框架？处理框架和处理引擎负责对数据系统中的数据进行计算。

花楹是个土豆·2020-07-28 22:43

【原创】大数据基础之SPARK（9）SPARK中COLLECT和TAKE实现原理

spark中要将计算结果取回driver，有两种方式：collect和take，这两种方式有什么差别？来看代码：org.apache.spark.rdd.RDD/***ReturnanarraythatcontainsalloftheelementsinthisRDD.**@noteThismethodshouldonlybeusediftheresultingarrayisexpectedtob

weixin_30546189·2020-07-28 16:31

实时数据平台设计：技术选型与应用场景适配模式

实时数据平台（RTDP，Real-timeDataPlatform）是一个重要且常见的大数据基础设施平台。

脚丫先生·2020-07-28 11:56

机器学习与大数据基础知识（一）

大数据时代究竟改变了什么？改变的是思维增加了数据重要性：数据资源--->数据资产（增值）改变了方法论：基于知识的理论完美主义--->基于数据的历史经验主义改变了数据分析：统计学（抽样）--->数据科学（大数据）改变计算智能：复杂算法--->简单算法（MapReduce）改变决策方面：基于目标决策--->基于数据决策改变业务方面：基于业务的数据化--->数据主导业务产业竞合：以战略为中心--->以数

嘟嘟杜·2020-07-28 06:45

大数据基础之Sqoop——Sqoop的安装教程

1.Sqoop资源（自取）https://pan.baidu.com/s/1jBb6gPBX4_OAfgWqWFcCTA提取码：w0qx2.将下载好的安装包上传到Linux上，并解压//解压tar-zxfsqoop-1.4.6-cdh5.14.2.tar.gz//个人习惯将安装的软件放在soft文件夹下，没有请自建mvsqoop-1.4.6-cdh5.14.2/opt/soft/sqoop1463

Clozzz·2020-07-27 15:47

大数据基础之Scala——Scala OOP面对对象

目录基本概念：类(class)1.类的定义：2.类的继承3.抽象类单例对象(object)伴生对象：特质(trait)：混入特质(mixin)：动态混入特质：特质与抽象类的选择内部类：样例类：泛型类类型边界：型变：基本概念：类(class)抽象类(abstractclass)单例对象(object)特质(trait)样例类(caseclass)类(class)类通过class关键字定义类通过new

Clozzz·2020-07-27 15:47

大数据基础之Spark——Spark的安装教程

注意：在安装spark之前一定要确保自己虚拟机已经安装了jdk，如果没有请看我之前的博客。1.spark资源（自取）：https://pan.baidu.com/s/1Kn0-UnZ8AMLiHF4l2YGcLQ提取码：ao3w2.将压缩包上传到Linux系统，并进行解压和安装//解压tar-zxfspark-2.3.4-bin-hadoop2.6.tgz//个人习惯将安装的软件放在soft文件夹

Clozzz·2020-07-27 15:16

大数据基础之Sqoop——Sqoop数据迁移

Sqoop概述：Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具 -将数据从RDBMS导入到Hadoop -HDFS、Hive、Hbase -从Hadoop导出数据到RDBMS -从导入或导出命令翻译成MapReduce程序来并行操作和容错目标用户 -系统管理员、数据库管理员 -大数据分析师、大数据开发工程师等案例一：从RDB导入到HDFS导入到HDFSsqoopimport--

Clozzz·2020-07-27 15:16

大数据基础之Scala——Scala函数

Scala函数：函数是Scala的核心函数的定义：def函数名(参数列表):返回值={函数体return[表达式]}函数调用：函数名(参数列表)匿名函数：指不含函数名称的函数匿名函数的定义：(参数列表)=>{函数体}//例(x:Int)=>x*x(x:Int)=>{println(x);x*x}()=>{System.getProperty("user.dir")}valf1=(x:Int)=>{

Clozzz·2020-07-27 15:15

大数据系统测评服务

Ø大数据基础平台测试服务Ø大数据分析软件平台测试服务Ø大数据系统验收测试服务Ø大数据系统性能测试服务Ø大数据系统安全咨询与评估服务Ø大数据课题验收测试服务2.服务内容（1）大数

jimmylin040·2020-07-27 12:48

大数据基础之Scala——Scala数组方法，史上最全，只要你能全部背上即可成为万人敬仰的大佬，任何Scala随便戳戳！！！

Scala数组数组是一种可变的、可索引的数据集合。在Scala中用Array[T]的形式来表示java中的数组形式T[]。//声明一个数组对象方法一：varnumbers:[String]=newArray[String](3)方法二：valnumbers=Array(1,2,3,4)valfirst=numbers(0)//读取第一个元素numbers(3)=100//替换第四个元素为100va

Clozzz·2020-07-27 11:31

应对超大规模集群资源管理挑战，这个神器有妙招

很多大数据开发工程师或系统管理员，特别是初级入门Hadoop的工程师，经常会遇到如何高效管理大数据基础平台的问题。

宋懵懵的数据生活·2020-07-27 10:06

大数据基础学习笔记（安装CDH的环境配置）-CDH-5.15

1.下载软件地址(（以centos7.4）)CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcelCDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1manifest.jsonClouderaManager下载地址:http:

小马的学习笔记·2020-07-16 03:59

写给进军大数据的你们：

大数据原理与实践大数据分三大部分，包括：大数据基础、技术原理和创新实践。

Pandas00·2020-07-15 15:22

如何设计实时数据平台（下篇）

卢山巍敏捷之歌我抽数故我存在|DBus人人玩转流处理|Wormhole就当吾是数据库|Moonbox颜值最后十公里|Davinci导读：实时数据平台（RTDP，Real-timeDataPlatform）是一个重要且常见的大数据基础设施平台

敏捷大数据·2020-07-15 06:17

大数据基础知识学习-----Storm学习笔记

Storm学习笔记总结Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Red

四川码匠·2020-07-14 17:16

ACA考试-笔记（一）

ACA：助理级,基础认证APA：工程师，专业认证ACE:高级工程师具备基础能力有意愿从事大数据相关工作具备基础的通用IT技能熟悉关系型数据库，会使用标准sql具有一定的编程基础，掌握一门编程语言能力模型大数据基础知识输了脸上试用数据类型产品根据需求设计

didadu·2020-07-14 09:58

Java大数据基础——day01

大家好，自我介绍一下。我是接下来带大家超神的建哥。睁开大眼，看好了联系方式：18935466019，联系邮箱：[email protected]，QQ：343438569.在接下来的时间，会带大家走入新的旅程，Java。学习大数据之前呢，大家先了解一下编程基础，了解Java语言开始。零基础学习哦。1.Java简介（了解）：在学习Java之前，大家应该或多或少的接触过一些语言，C语言，C++语

super_jz_tedu·2020-07-14 02:31

【原创】大数据基础之Benchmark（4）TPC-DS测试结果（hive/hive on spark/spark sql/impala/presto）...

1测试集群内存：256GCPU：32Core（Intel(R)Xeon(R)[email protected]）Disk（系统盘）：300GDisk（数据盘）：1.5T*12测试数据tpcdsparquet10gtpcdsorc10g3测试对象hive-2.3.4【setmapreduce.map.memory.mb=4096;setmapreduce.map.java.opts=-Xmx3

weixin_30697239·2020-07-13 17:37

【数值分析】常微分方程数值解：欧拉公式

本科课程参见：《软件学院那些课》算法原理对于常微分方程初值问题在求解区间[a,b]上作等距分割的剖分，步长，记。用数值微商的方法，即用差商近似微商数值求解常微分方程。

iteye_18800·2020-07-13 05:17

python大数据基础知识点（Hadoop+HDFS+MapReduce+Hive+Hbase）

python大数据基础知识点***概述起源：Google3篇论文GFS,MapReduce,BigTableDougCutting写HadoopHDFS-GFS，MapReduce--MapReduce

JUN.jun·2020-07-13 05:02

时间序列的预处理——纯随机性检验（一）

本文为本科课程笔记原创思路是老师的~~不知道会不会侵犯啥权益，所以声明一下~~用作记录~~2.2纯随机性检验白噪声序列纯随机序列也称为白噪声序列，满足如下两条性质(1)EXt=μ,∀t∈T(1)EX_t

LemonD_X·2020-07-13 00:14

时间序列的预处理——平稳性检验（一）

本文为本科课程笔记原创思路是老师的~~不知道会不会侵犯啥权益，所以声明一下~~用作记录~~2.1平稳性检验一、概率分布与特征统计量Xt,t=1,2,⋅⋅⋅，tX_t,t=1,2,···，tXt,t=1,2

LemonD_X·2020-07-13 00:13

清华教授谢平：金融大数据基础完备，人工智能应用于金融监管远景宏大

AI金融评论9月29日报道，近年金融科技发展迅猛，对金融监管提出了新要求。由深圳市科学技术协会和深圳市罗湖区人民政府主办，深圳市源创力离岸创新中心和深圳市和信中欧金融科技研究院承办的“中英金融监管科技高峰论坛”于近日举行。本届论坛邀请了国内外顶级学府资深教授、政府机构、金融科技领域权威人士、境内外知名企业参会。深圳市和信中欧金融科技研究院（以下简称研究院）是一家以金融科技创新、金融科技人才培养和金

weixin_33705053·2020-07-12 23:23

推荐频道

本科课程大数据基础