本科课程大数据基础

大数据基础知识学习-----Storm学习笔记

Storm学习笔记总结Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Red
Waldeinsamkeit4·2018-06-08 13:38

中国信通院：2018年中国大数据发展调查报告（附下载）

国家政策不断发布，推动了政府和企业大数据发展；建设模式不断成熟，奠定了企业大数据基础；行业应用不断深入，提升了大数据价值显现。
199it·2018-06-06 00:00

大数据基础知识学习-----Storm学习笔记（二）基础理论

Storm基础理论Storm编程模型元组（Tuple）元组（Tuple），是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map，但是由于各个组件间传递的元组的字段名称已经事先定义好，所以只要按序把元
四川码匠·2018-06-05 15:35

大数据基础知识学习-----Storm学习笔记（一）概述

Storm学习笔记总结Storm概述离线计算是什么离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据流式计算是什么流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示代表技术：Flume实时获取数据、Kafka实时数据存储、Storm/JStorm实时数据计算、Red
四川码匠·2018-06-05 14:01

大数据基础知识全集，大数据爱好者收藏必备

原文链接：http://www.cnblogs.com/xuexiqun784789432/p/9133527.html目前，市场上的大数据产品太多，但远远低于IAAS的标准化水平，各产品之间的差异还不十分清楚。当许多公司正在制造大数据平台或大数据解决方案时，他们往往不知道选择哪些产品来满足他们的需求。一般的做法是做研究、学习、建造环境、测试和整合各种产品，但通常这个过程很长，而且成本很高。如果你
weixin_30564901·2018-06-04 15:00

TiDB 助力客如云餐饮 SaaS 服务

我们是客如云的大数据基础架构组，负责公司的大数据架构和建设工作，为公司提供大数据基础数据服务。业务发展遇到的痛点随
PingCAP·2018-06-03 00:00

大数据基础知识学习-----Linux学习笔记（一）CentOS常用命令

CentOS常用命令文件目录类建立目录：mkdir目录名删除空目录：rmdir目录名无条件删除子目录：rm-rf目录名改变当前目录：cd目录名(进入用户home目录：cd~;进入上一级目录：cd-)查看自己所在目录：pwd查看当前目录大小：du显示目录文件列表：ls-l(-a：增加显示隐含目录)其中：蓝：目录;绿：可执行文件;红：压缩文件;浅蓝：链接文件;灰：其他文件;红底白字：错误的链接文件浏览
四川码匠·2018-05-28 14:59

Hadoop（一）初识大数据和Hadoop

原文地址：http://www.cnblogs.com/zhangyinhua/p/7647334.html注：本系列为Hadoop学习笔记，非原创大数据基础一、什么是大数据？
currynie·2018-05-24 11:14

大数据基础知识(二)：Shell命令

Shell命令Shell是系统的用户界面，提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行[1]。实际上Shell是一个命令解释器，它解释由用户输入的命令并且把它们送到内核。不仅如此，Shell有自己的编程语言用于对命令的编辑，它允许用户编写由shell命令组成的程序。Shell编程语言具有普通编程语言的很多特点，比如它也有循环结构和分支控制结构等，用这种编程语言编
Oeljeklaus·2018-05-16 14:43

大数据基础知识(一)：玩转Linux(三)Linux命令

Linux命令大全上一个节大数据基础知识(一)：玩转Linux(二)免密码登录和基本命令简单的介绍了几个基本的LInux命令，我们知道仅仅掌握这些基本的命令是不够的，需要更加深入的了解Linux的命令。
Oeljeklaus·2018-05-16 10:09

大数据基础知识(一)：玩转Linux(二) 免密码登录和基本命令

简介在上一节大数据基础知识(一)：玩转Linux(一)中，我们安装了CentOS和Java环境，以及一些常用的软件，今天我们来配置Linux的面密码登录，以及分析其中的原理，还有介绍一些简单的Linux
Oeljeklaus·2018-05-15 22:27

大数据基础知识(一)：玩转Linux(二) 免密码登录和基本命令

简介在上一节大数据基础知识(一)：玩转Linux(一)中，我们安装了CentOS和Java环境，以及一些常用的软件，今天我们来配置Linux的面密码登录，以及分析其中的原理，还有介绍一些简单的Linux
Oeljeklaus·2018-05-15 22:27

大数据基础知识(一)：玩转Linux(一)

Linux1.Linux的简介Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。我们学习的大数据，都是在Linux环境下进行的，所以需要掌握Linux的
Oeljeklaus·2018-05-15 21:23

大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）

：http://www.xuetuwuyou.com/course/249课程出自学途无忧网：http://www.xuetuwuyou.com讲师：友凡课程介绍本套教程为真实的大数据实战案例，适合有大数据基础的学员学习
haoxuexi87·2018-05-09 10:00

spark-使用总结-大数据基础入门

1、partition数目spark的输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一
哈斗篷·2018-05-08 14:43

大数据基础学习教程之Hive的静态分区与动态分区（初学篇）

分区是hive存放数据的一种方式。将列值作为目录来存放数据，就是一个分区。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描其他不关心的分区，快速定位，提高查询效率。分动态和静态分区两种：1.静态分区：若分区的值是确定的，那么称为静态分区。新增分区或者是加载分区数据时，已经指定分区名。createtableifnotexistsday_part1(uidint,unames
programmer_feng·2018-05-03 11:06

大数据基础面试题整理

1.分布式的三种模式2.Hadoop集群的运行模式Hadoop的运行模式分为3种：本地运行模式（独立模式，单机模式），伪分布运行模式，集群运行模式（完全分布式模式）伪分布模式就是在一台服务器上面模拟集群环境,但仅仅是机器数量少,其通信机制与运行过程与真正的集群模式是一样的，hadoop的伪分布运行模式可以看做是集群运行模式的特殊情况。3.cloudera提供哪几种安装CDH方法·Clouderam
菜鸟级的IT之路·2018-04-29 20:44

大数据基础学习-7.Hive-1.1.0

一、Hive基础Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后在Hadoop平台上运行，达到快速开发的目的。在没有hive之前，对HDFS上的文件或HBase中的表进行查询时，要手工写一堆MapReduce代码，只能由懂MapReduce的程序员才能搞定，耗时耗力。为解决这个问题，FaceBook实现并开源Hive，解决海量结构化日志查询。Hive是数据仓库，和传统的数据库有一定
闲人勿-·2018-04-27 17:06

大数据基础学习-1.CentOS-7.0环境安装

一、CentOS7系统安装和基础配置1.安装CentOS71）在电脑上安装虚拟机软件VMworkstation12pro，并准备CentOS-7.0-1406-x86_64-DVD.iso镜像文件。2）打开VMware，新建虚拟机，选择自定义安装。接下来都选择默认选项，并点击下一步。完成后，出现masteractive虚拟机，这时候，点击CD/DVD，找到本地的CentOS-7.0-1406-x8
闲人勿-·2018-04-23 23:29

大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）

课程介绍本套教程为真实的大数据实战案例，适合有大数据基础的学员学习，熟练掌握本套大数据案例，完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。
小红牛·2018-04-23 12:11

day04.并发动态大数据基础知识【大数据教程】

一、Java多线程增强1.java多线程基本知识1.1.进程介绍不管是我们开发的应用程序，还是我们运行的其他的应用程序，都需要先把程序安装在本地的硬盘上。然后找到这个程序的启动文件，启动程序的时候，其实是电脑把当前的这个程序加载到内存中，在内存中需要给当前的程序分配一段独立的运行空间。这片空间就专门负责当前这个程序的运行。不同的应用程序运行的过程中都需要在内存中分配自己独立的运行空间，彼此之间不会
Java帮帮·2018-04-19 11:45

机器学习推导合集01-霍夫丁不等式的推导 Hoeffding Inequality

后来，我本科课程优化与机器学习课程引用了伦斯勒理工学院（RPI）的slide。乍看之下，发现竟与林轩田先生的课十分相似。后来，我才发
liubai01·2018-04-17 00:32

中国邮政大数据平台建设之总体架构与实现

但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值;同时，大数据技术通过将传统机器学习算法分布式实现，向人工智能领域延伸;此外，随着数据不断汇聚在一个平台，企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切
假的鱼·2018-04-10 15:15

从普通用户的角度看待用户粘性

在移动互联网到来之际手机上充满着大量的App,其中质量层次不齐,尤其是在安卓生态系统中,app质量更是相差太多，本人去喜马拉雅面试了,面试岗位:大数据开发工程师总共面试了3轮第一轮面试是java基础和大数据基础第二轮面试是
lyzx_in_csdn·2018-03-24 00:01

学习hadoop大数据基础框架需要什么基础

什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感
adnb34g·2018-03-14 10:28

大数据时代下 三种视频存储架构解析

作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。数据的价值日益凸显，数据已经成为不可
_VioletHan_·2018-03-06 21:15

【大数据】AI、IoT、区块链这些技术与大数据融合，大数据基础软件干货不容错过

作者：刘学习|小编：阿软在IT产业发展中，包括CPU、操作系统在内的基础软硬件地位独特，不但让美国赢得了产业发展的先机，成就了产业巨头，而且因为技术、标准和生态形成的壁垒，主宰了整个产业的发展。错失这几十年的发展机遇，对于企业和国家都是痛心的。当大数据迎面而来，并有望成就一个巨大的应用和产业机会时，企业和国家都虎视眈眈，不想错再失这一难得的机遇。与传统的IT产业一样，大数据除了应用的巨大市场机会以
z1y492vn3zyd9et3b06·2018-02-23 00:00

大数据基础知识集合（二）

一、分布式系统分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。从进程角度看，两个程序分别运行在两个台主机的进程上，它们相互协作最终完成同一个服务（或者功能），那么理论上这两个程序所组成的系统，也可以称作是“分布式系统”。当然，这个两个程序可以是不同的程序，也可以是相同的程序。如果是相同的程序，我们又可以称之为“集群”。所谓集群，就是将相同的程序，通过不断横向扩展，以提高
Hacker_Wind·2018-01-23 19:49

大数据基础入门2

1.CAP理论一致性(Consistency)、可用性(Availability)、分区容忍性(Partitiontolerance)CAP原理指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。因此在进行分布式架构设计时，必须做出取舍。而对于分布式数据系统，分区容忍性是基本要求，否则就失去了价值。因此设计分布式数据系统，就是在一致性和可用性之间取一个平衡。BASE理论BASE理论是对CAP理
MustangC·2018-01-23 19:26

大数据基础知识集合

一、大数据的基本概念大数据，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。简单说就是将大量的数据通过类比和分类，分为众多较小型数据，将各个小型数据集合并后进行分析便可得出许多额外的信息和数据关系性，以此用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定即时交通路况等。二、数据仓库数据仓库，是一个面向主题的（SubjectOriented）、集成的（Integrate）
Hacker_Wind·2018-01-22 19:37

学习笔记之大数据基础环境搭建

前言现如今随着人工智能的不断兴起和诸多伴随人工智能或者大数据而产生的行业越来越火，使得大数据这个风口的来临已经加快了脚步。如果想要分得大数据的红利，吃一杯大数据的羹，就比如站在风口上让风来吹我们这些“猪”才行。准备由于我是Windows系统，所以我采用虚拟机来搭建实验环境。1、ISO镜像文件：我是基于RedHatEnterprise7.4x64来搭建的实验环境。所以请各位看官自备ISO文件。2、虚
Hacken_·2018-01-18 01:45

Spark SQL在100TB上的自适应执行实践

为了应对这些挑战，英特尔大数据技术团队和百度大数据基础架构部工程师在Spa
·2018-01-13 15:00

大数据学习教程分享

大数据基础教程了解过大数据的同学都知道，在学大数据之前，Java是必备的，所以学大数据的基础就是先掌握好JavaEE的内容，分享
code小生·2017-12-21 23:00

大数据学习教程分享

大数据基础教程了解过大数据的同学都知道，在学大数据之前，Java是必备的，所以学大数据的基础就是先掌握好JavaEE的内容，分享
code小生·2017-12-21 23:00

大数据学习教程分享

大数据基础教程了解过大数据的同学都知道，在学大数据之前，Java是必备的，所以学大数据的基础就是先掌握好JavaEE的内容，分享
code小生·2017-12-21 23:00

大数据基础知识点---hadoop生态圈

大数据基础知识点：javaList特点：元素有放入顺序，元素可重复，Set特点：元素无放入顺序，元素不可重复。
m0_37758017·2017-12-17 13:38

【1203读书清单】AI改变世界，谁来改变AI？

图片发自App001深度学习深度学习建立在大数据基础上，用大数据对机器进行训练，在反向传播中不断纠错。
第二颗心脏·2017-12-13 21:59

高考后怎么留学韩国

会考通过得到毕业证的学生，如果韩语已经有至少TOPIK3-4级证书的高中生可以直接申请韩国大学的本科课程。反之的条件，则需要先进入韩国大学的语言学院进修韩语直至达到3-4级标准。
dongfang_3fa1·2017-12-09 02:51

以最好的姿态向他走去

作为一名走在毕业边缘的大三狗，看着空间里学姐学长晒的毕业照，才有些后知后觉的，我的本科课程已经进入倒计时了。其实，临近期末的两周，并没有太多的时间让我自怨自艾，伤春悲秋。
Kondhaokd·2017-12-08 03:38

[英语流利说]基础数据平台

/lib/view/open1470725448459.html随着大数据产品的日益成熟与稳定，如今不少互联网公司在数据产品所投入的运维工作已经越来越少，另外，加上国内云服务的不断普及，建立一套自己的大数据基础平台的成本也将变的更低
葡萄喃喃呓语·2017-12-04 06:11

Spark SQL在100TB上的自适应执行实践（转载）

为了应对这些挑战，英特尔大数据技术团队和百度大数据基础架构部工程师在Spark社区版本的基础
weixin_33739523·2017-11-24 11:00

传智播客的云计算大数据课程表

云计算大数据基础班1.Java语言入门基础班课程大纲所处阶段主讲内容技术要点学习目标第1阶段：Java语言入门1.计算机基础知识1.计算机基础；2.DOS常用命令；3.Java概述；4.JDK环境安装配置
houbin0912·2017-11-20 11:54

品值最近推出了VIP活动，看着好优惠啊，有人知道细节吗。

品值APP是有大数据基础的，目前是专做互联网大数据信用评估平台的，用这个确实可以提高生活质量，亲测。注册使用也很方便，用手机号码登录就OK。
sxy0825·2017-11-16 13:03

报名 | 大数据基础设施应用场景和数据隐私保护讲座

在人工智能、物联网的浪潮下，数据的来源和数量都在快速增加，基于大数据的应用也在日益丰富。而对于大数据平台系统，对于数据的采集，传输，处理，存储，以及安全方案，隐私保护，生命周期管理等方面，对于如何满足QoS和QoE，以及不同数据来源的安全，价值保护等则提出了挑战。而在大数据技术和数据交换应用中，经常面临着如何保护数据隐私，如何确保应用安全，数据不被监听，不被篡改等是包括大数据技术在内的多种数据和应
enohtzvqijxo00atz3y8·2017-11-13 00:00

11月计划

个人计划1、读书计划：目标：①幼儿考试教材熟悉章节知识要点，模拟考试达60分以上②本科课程补全课时，每章重点笔记在案，每章做题次数不少于2次③育儿书籍《真正的蒙氏教育在家庭之数学游戏造就思维力》《益智游戏同步百科
偲月喵喵·2017-11-04 09:41

大数据基础设施建设需要得到重视 | 记清华大数据“应用·创新”讲座

“大数据基础设施是面向数据采集、数据分析和数据应用的创新性系统工程。它一方面指支撑大数据应用和大数据产业的基础设施，另一方面指用大数据和人工智能的方法，解决基础设施运行过程中的问题。”
肆虐的悲傷·2017-11-01 14:49

大数据基础设施建设需要得到重视 | 记清华大数据“应用·创新”讲座

“大数据基础设施是面向数据采集、数据分析和数据应用的创新性系统工程。它一方面指支撑大数据应用和大数据产业的基础设施，另一方面指用大数据和人工智能的方法，解决基础设施运行过程中的问题。”
肆虐的悲傷·2017-11-01 14:49

我们应该培养孩子哪一种能力曲线

ScottYoung曾经用一年时间完成了麻省理工学院计算机系的四年本科课程，还出了一本书《如何高效学习：1年完成MIT4年33门课程的整体性学习法》。他的一
第八颗北斗星·2017-10-10 17:17

【大数据系统架构师】学习目录

0.大数据相关预备课程0.1Java编程基础0.2Linux基础0.3MySQL基础1.Hadoop开发技术基础1.1.Linux基础1.2大数据基础Hadoop2.X1.3大数据仓库Hive1.4大数据协作框架
沙漏哟·2017-10-07 13:00

干货 | 携程机票大数据架构最佳实践

本文转载自携程技术中心（ctriptech）公众号，本文PPT请点击下面阅读原文获取作者简介许鹏，携程机票大数据基础平台Leader，负责平台的构建和运维。
Hadoop技术博文·2017-08-29 00:00
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他