大数据系列

Cris 玩转大数据系列之日志收集神器 Flume

Cris玩转大数据系列之日志收集神器FlumeAuthor：Cris文章目录Cris玩转大数据系列之日志收集神器FlumeAuthor：Cris1.Flume概述1.1什么是Flume？
重庆吴亦凡·2018-11-25 14:22

44-天亮大数据系列教程之sbt构建spark项目及wordcount示例

目录1、sbt构建spark开发环境与测试2、sparkwordcount打包与布署详情1、sbt构建spark开发环境构建一个sbteclipse的空项目1）创建一个基础项目目录2）在基础项目目录中，新建build.sbt脚本，并添加如下基础依赖。name:="SparkWordCount4Sbt"scalaVersion:="2.11.11"organization:="com.tl.job0
周天亮·2018-11-24 18:34

大数据系列博客之 --- 深入简出 Shell 脚本语言（高级篇）

首先声明，此系列shell系列博客分为四篇发布，分别是：基础篇：https://www.cnblogs.com/lsy131479/p/9914747.html提升篇：https://www.cnblogs.com/lsy131479/p/9914897.html高级篇：https://www.cnblogs.com/lsy131479/p/9914962.html面试篇：10.Shell工具（重
房上的猫·2018-11-06 14:00

大数据系列博客之 --- 深入简出 Shell 脚本语言（提升篇）

首先声明，此系列shell系列博客分为四篇发布，分别是：基础篇：https://www.cnblogs.com/lsy131479/p/9914747.html提升篇：https://www.cnblogs.com/lsy131479/p/9914897.html高级篇：https://www.cnblogs.com/lsy131479/p/9914962.html面试篇：6.条件判断1．基本语法
房上的猫·2018-11-06 14:00

大数据系列博客之 --- 深入简出 Shell 脚本语言（基础篇）

首先声明，此系列shell系列博客分为四篇发布，分别是：基础篇：https://www.cnblogs.com/lsy131479/p/9914747.html提升篇：https://www.cnblogs.com/lsy131479/p/9914897.html高级篇：https://www.cnblogs.com/lsy131479/p/9914962.html面试篇：1.Shell概述为什么
房上的猫·2018-11-06 13:00

DE01复制粘贴玩大数据系列教程说明

0x00教程简介本系列课是一套只需要复制粘贴就能玩起大数据的教程，甚至不需要思考就能独立完成项目。0x01教程初衷1.让小伙伴们学习到更多小白都可以通过复制粘贴出成品，让你成就感爆棚指导有基础的人，通过系列课的思路，实现快速转型2.做自己想做的事情由衷觉得，教育是一件伟大的事情在世界上留下一些有意义的事情3.使自己得到成长整理知识体系，记录下自己的思考结识更多的志同道合的朋友，做快乐的事情0x02
邵奈一·2018-10-28 12:25

马蜂窝：2018年中国省域自由行大数据系列报告之西北地区（附下载）

报告下载：添加199IT官方微信【i199it】，回复关键词【2018自由行大数据系列报告之西北地区】即可！
199it·2018-10-17 00:00

马蜂窝：2018年中国省域自由行大数据系列报告之西北地区（附下载）

报告下载：添加199IT官方微信【i199it】，回复关键词【2018自由行大数据系列报告之西北地区】即可！
199it·2018-10-17 00:00

hadoop 集群安装与部署（大数据系列）

文章目录什么是大数据基本概念大数据在现实生活中的具体应用什么是hadoophdfs整体运行机制搭建hdfs分布式集群hdfs集群组成结构：安装hdfs集群的具体步骤：安装hdfs集群hdfs客户端的常用操作命令hdfs的核心工作原理namenode元数据管理要点mapreduce运行平台YARN运行mapreduce程序zookeeper集群搭建什么是大数据基本概念《数据处理》在互联网技术发展到现
巴掌大的脚印·2018-09-09 17:32

中国旅游研究院&马蜂窝：2018中国省域自由行大数据系列报告之华东地区（附下载）...

2018年8月，中国旅游研究院与马蜂窝旅游网联合成立的“自由行大数据联合实验室”发布《瑰丽华东——中国省域自由行大数据系列报告之华东地区》。
199it·2018-08-31 00:00

中国旅游研究院&马蜂窝：2018中国省域自由行大数据系列报告之华东地区（附下载）...

2018年8月，中国旅游研究院与马蜂窝旅游网联合成立的“自由行大数据联合实验室”发布《瑰丽华东——中国省域自由行大数据系列报告之华东地区》。
199it·2018-08-31 00:00

大数据系列hive——jdbc

目录一、简介二、HiveServer2配置启动三、Beeline四、错误处理五、代码一、简介hive可以通过命令行执行hql，它也提供了相应的jdbc驱动，从而可以使用jdbcapi进行代码的编写。二、HiveServer2hive的服务，只有开启了hiveServer2，客户端才能通过jdbc连接上hive配置修改hive-site.xml，其中相关的配置项如下hive.server2.thri
guduyishuai·2018-08-15 09:07

大数据系列报道：贵州交警大数据之二十四

无人机巡查处突、违法抓拍取证贵州省公安交警系统警用无人机驾驶资质训考班在黄平县开班开班仪式一角为深入贯彻落实公安部、贵州省委、省政府、省公安厅党委关于警用航空建设的系列部署要求，组建贵州省公安交警系统警用无人机专业队伍，按照郭瑞民副省长关于加强警用航空建设的重要指示精神，在公安部的关心指导下和黔东南州公安局，黄平县委、县政府的大力支持下，2018年7月3日，贵州省公安交警警用航空工作暨警用无人驾驶
桃李_天下·2018-07-05 14:28

26-天亮大数据系列教程之网络爬虫的一般作法

一、网络爬虫的一般作法基于Socket通信编写爬虫基于HttpURLConnection类编写爬虫基于apache的HttpClient包编写爬虫基于phantomjs之类的无头（无界面）浏览器基于Selenium之类的有头（有界面）浏览器二、系统设计2.1模块划分：-任务管理的UI交互层、-任务调度层、-网络爬取层、-数据解析层、-数据持久化层2.2项目划分-数据采集/下载项目(download
周天亮·2018-06-23 11:27

25-天亮大数据系列教程之缓存数据库redis经典剖析

因为redis的基本操作及多种数据结构的支持比较的简洁易懂，故在此文不作赘述，本文主要解析一下redis面试常见问题应答。目录1、redis介绍2、redis重要说明1、redis介绍1.1redis是什么Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value内存型数据库。1.2redis主要特点支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候自动再次加载进行使用
周天亮·2018-06-18 21:54

17-天亮大数据系列教程之教学资源感恩大礼包

天亮教育大数据培训领导品牌，本着“我为人人，人人为我”的开源共享精神，特开放大批内部教学资料，也希望更多小伙伴参与到天亮教育的技术交流和报名学习当中来。其中包括JavaSe核心基础、网络爬虫爬虫基础与实战项目教学、redis应用开发、大数据教程之hadoop、spark、hive以及多个大数据实战项目视频教程，自主开源的多个爬虫项目和中文分词器、情感分析器、主题词提取等项目源码，适合学生、初学者、
周天亮·2018-05-17 23:32

高校获批数据科学与大数据技术专业，《大数据》教材怎么选？

而早在2016年，清华大学博士、南京大数据研究院院长刘鹏教授就联合国内多所高校从事一线教学科研任务的专业师资，开始编写大数据系列教材。目前，《云计算》
weixin_34128237·2018-03-28 16:58

都昌信息袁永福：利用电子病历赋能框架，为健康医疗大数据打好基础【电子病历和健康医疗大数据系列】

随着国家健康医疗大数据政策的推行，电子病历作为其中的基础数据库之一，在医院的信息系统中的地位不断攀升。针对电子病历在健康医疗大数据的发展问题，动脉网专访了国内最具代表性的几家电子病历企业的专家。南京都昌信息科技有限公司是一家新兴的技术型软件开发企业。公司虽然年轻，但成员却是长期从事于电子病历行业的专家。团队不仅深刻认识电子病历行业规律，并且掌握了难以替代的核心技术。都昌信息目前主打产品为DCWri
袁永福 电子病历，医疗信息化·2018-03-05 10:00

09-天亮大数据系列教程之hive之udf/udaf/udtf

目录1、udf2、udaf3、udtf4、练习题详情1、udf(userdefinedfunction)背景系统内置函数无法解决实际的业务问题，需要开发者自己编写函数实现自身的业务实现诉求。应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。意义函数扩展得到解决，极大丰富了可定制化的业务需求。IO要求-要解决的问题in:out=1:1,只能输入一条记录当中的数据，同时返回一条处理结果
周天亮·2017-12-01 12:56

06-天亮大数据系列教程之hadoop二次排序详解

二次排序定义mapreduce计算过程和输出，都是按key自动排序如果想要value也要排序输出，即key第一排序，value第二排序的方式。称为二次排序。如图：二次排序的实现工作流程图（按value降序，不一定要全局key有序，只要求单个reduce内的key有序亦可）核心思想将map端输出的(key,value)中的key和value组合成一个新的key，即称newKey，value值保持不变
周天亮·2017-11-14 23:40

三十多张架构师图谱！

架构师图谱微服务架构秘籍一致性图谱互联网大流量的方法安全秘籍阿里巴巴常用小框架架构方法论图谱设计模式秘籍图谱2Java系列JVM垃圾回图谱Java并发图谱Java集合图谱Java集合类图JavaList类图JavaMap类图JavaSet类图3大数据系列
hebeind100·2017-09-01 13:06

hadoop系列三:mapreduce的使用(一)

一：说明此为大数据系列的一些博文，有空的话会陆续更新，包含大数据的一些内容，如hadoop,spark,storm,机器学习等。
gongxiaojiucom足球资讯网·2017-07-30 13:40

大数据系列之数据仓库Hive原理

Hive系列博文，持续更新~~~大数据系列之数据仓库Hive原理大数据系列之数据仓库Hive安装大数据系列之数据仓库Hive中分区Partition如何使用大数据系列之数据仓库Hive命令使用及JDBC
CodeM91·2017-04-09 16:00

大数据系列之Hadoop框架

Hadoop框架中，有很多优秀的工具，帮助我们解决工作中的问题。Hadoop的位置从上图可以看出，越往右，实时性越高，越往上，涉及到算法等越多。越往上，越往右就越火……Hadoop框架中一些简介HDFSHDFS，（HadoopDistributedFileSystem）hadoop分布式文件系统。在Google开源有关DFS的论文后，由一位大牛开发而成。HDFS的建立在集群之上，适合PB级大量数据
苦行僧1991·2017-03-14 17:12

大数据系列之kafka-java实现

Java源码GitBub地址：https://github.com/fzmeng/kafka-demo关于kafka安装步骤可见文章http://www.cnblogs.com/cnmenglang/p/6520166.html在上篇文章中使用shell命令处理了kafka的消息生产与消息消费。下面介绍Java语言对kafka的消息生产与消息消费的处理。1.代码结构如图2.pom.xml4.0.0
苦行僧1991·2017-03-14 17:07

大数据系列之Kafka安装

先简单说下安装kafka的流程。。（可配置多个zookeeper，这篇文只说一个zookeeper场景）1.环境配置：jdk1.7+(LZ用的是jdk1.8)2.资料准备：下载kafka_2.10-0.10.1.1.tgz，官网链接为https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz3
苦行僧1991·2017-03-14 17:04

Hadoop大数据系列二- HDFS简介

设计目标及假设1、HardwareFailure2、StreamingDataAccess（适用于批处理场景，不适用于交互场景）3、LargeDataSets4、SimpleCoherencyModel（数据不可修改）5、MovingComputationisCheaperthanMovingData整体架构基本组件1、NameNode:maintainsthefilesystemnamespac
adasfasfasrry·2017-03-05 20:36

Hadoop大数据系列之一---Hadoop架构原理分析

1.单节点体系2.集群结构分析3.HDFS架构分析Hadoop分布式文件系统；按需定制MapReduce；》大数据量（纯文本）目标在于多次的文件流读取；》优势在于一次写入，多次读取写入成本很高；高度数据冗余（副本，默认3）；每个节点不需要RAID-独立磁盘冗余阵列：redundantarrayofindependentdisks；Blocksize较大（128m）；定制节点的位置感知；4.NN和D
hehuanlin123·2017-02-26 17:47

大数据系列修炼-Scala课程111

大数据系列修炼-Scala课程111核心内容:1、Akka中的Actor中用become和unbecome动态切换receive的具体处理逻辑实战1、Akka中的Actor中用become和unbecome
a2011480169·2016-10-21 16:00

大数据系列修炼-Scala课程110

大数据系列修炼-Scala课程110核心内容:1、Akka中的Actor的Monitoring初步解析1、Akka中的Actor的Monitoring初步解析1>Akka本身是一个分层的消息驱动的框架，
a2011480169·2016-10-21 16:00

大数据系列修炼-Scala课程109

大数据系列修炼-Scala课程109核心内容:1、Akka中的Actor异步和同步停止方式实战详解1、Akka中的Actor异步和同步停止方式实战详解1、停止Akka中Actor的原因？
a2011480169·2016-10-21 16:00

大数据系列修炼-Scala课程107

大数据系列修炼-Scala课程107核心内容:1、Akka中的第二种消息发送方式以及Future使用代码实战详解1、Akka中的第二种消息发送方式以及Future使用代码实战详解1>this.getSender
a2011480169·2016-10-21 16:00

大数据系列修炼-Scala课程108

大数据系列修炼-Scala课程108核心内容:1、Akka中的Actor消息的处理、消息的回复、消息的转发1、Akka中的Actor消息的处理、消息的回复、消息的转发1>在Actor当中，消息的处理一般都是通过
a2011480169·2016-10-21 16:00

大数据系列修炼-Scala课程106

大数据系列修炼-Scala课程106核心内容:1、Akka中的消息的不同发送方式详解1、Akka中的消息的不同发送方式详解1>在Akka中，从类型上而言，有两种消息的发送方式：第一种方式：消息发送之后立即忘记
a2011480169·2016-10-21 16:00

大数据系列修炼-Scala课程104

大数据系列修炼-Scala课程104核心内容:1、通过案例解析Akka中的Actor的不同类型的Constructor构造器1、通过案例解析Akka中的Actor的不同类型的Constructor构造器
a2011480169·2016-10-21 16:00

大数据系列修炼-Scala课程105

大数据系列修炼-Scala课程105核心内容:1、解析Akka中的子Actor及其代码1、解析Akka中的子Actor及其代码1>在Akka当中，Actor是分层结构的，即任何一个Actor在Akka当中都属于具体的一个层次
a2011480169·2016-10-21 16:00

大数据系列修炼-Scala课程103

大数据系列修炼-Scala课程103核心内容:1、通过案例解析Akka中的Actor的定义和创建1、通过案例解析Akka中的Actor的定义和创建1>对于Actor来说，可以通过ActorSystem的方式来创建
a2011480169·2016-10-19 13:00

大数据系列修炼-Scala课程101

大数据系列修炼-Scala课程101核心内容:1、使用SBT开发Akka第一个案例源码解析MapActor、ReduceActor、AggregateActor1、使用SBT开发Akka第一个案例源码解析
a2011480169·2016-10-19 13:00

大数据系列修炼-Scala课程102

大数据系列修炼-Scala课程102核心内容:1、通过案例解析Akka中的Actor运行机制以及Actor的生命周期1、通过案例解析Akka中的Actor运行机制以及Actor的生命周期1、Akka的生命周期从总体上而言分为
a2011480169·2016-10-19 13:00

大数据系列修炼-Scala课程99

大数据系列修炼-Scala课程99核心内容:1、IDEA当中手动打jar包的方式详解1、IDEA当中手动打jar包的方式详解问题1：为什么需要手动打jar包？
a2011480169·2016-10-17 20:00

大数据系列修炼-Scala课程100

大数据系列修炼-Scala课程100核心内容:1、使用SBT开发Akka第一个案例源码解析消息、main入口、MasterActor1、使用SBT开发Akka第一个案例源码解析消息、main入口、MasterActor1
a2011480169·2016-10-17 20:00

大数据系列修炼-Scala课程98

大数据系列修炼-Scala课程98核心内容:1、使用SBT开发时动手解决rt.jar中CharSequenceisbroken等问题1、使用SBT开发时动手解决rt.jar中CharSequenceisbroken
a2011480169·2016-10-17 20:00

大数据系列修炼-Scala课程97

大数据系列修炼-Scala课程97核心内容:1、IntelliIDEA开发第一个Scala程序步骤详解1、IntelliIDEA开发第一个Scala程序步骤详解1>将IntellgentIDEA的scala
a2011480169·2016-10-17 20:00

大数据系列修炼-Scala课程96(2)

大数据系列修炼-Scala课程96(2)核心内容:1、Akka第一个案例动手实战代码总结1、Akka第一个案例动手实战代码总结Akka案例之WordCount完整代码： importakka.actor
a2011480169·2016-10-17 20:00

大数据系列修炼-Scala课程96（1）

大数据系列修炼-Scala课程96（1）核心内容:1、Akka第一个案例动手实战main方法实现中ActorSystem等代码详解1、Akka第一个案例动手实战main方法实现中ActorSystem等代码详解
a2011480169·2016-10-17 20:00

大数据系列修炼-Scala课程57

大数据系列修炼-Scala课程57核心内容:1、Scala中的依赖注入DependencyInjection操作代码实战1、Scala中的依赖注入DependencyInjection操作代码实战1>所谓依赖
a2011480169·2016-09-28 14:00

大数据系列修炼-Scala课程56

大数据系列修炼-Scala课程56核心内容:1、Scala中SelfTypes(this)操作代码实战1、Scala中SelfTypes操作代码实战1>每个类本身都有一个this指针，通过this指针可以引用自身的实例
a2011480169·2016-09-28 14:00

大数据系列修炼-Scala课程54

大数据系列修炼-Scala课程54核心内容:1、Scala中复合类型实战详解1、Scala中复合类型操作代码实战1>AextendsBwithCwithD的语法含义：A类型是一个复合的数据类型，既是B又是
a2011480169·2016-09-27 15:00

大数据系列修炼-Scala课程55

大数据系列修炼-Scala课程55核心内容:1、Scala中InfixType操作代码实战1、Scala中InfixType操作代码实战1>中值类型常用在泛型当中和中值表达式当中。
a2011480169·2016-09-27 15:00

大数据系列修炼-Scala课程34

大数据系列修炼-Scala课程34核心内容:1、scala中对List进行高效的排序2、Scala中对List进行倒排序1、Scala中对List进行高效的排序和倒排序代码实战1>List的排序方式有两种
a2011480169·2016-09-18 09:00
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他