大数据实战

大数据实战之环境搭建(四)

今天主要是解决上一节中出现中文乱码的问题，当然我已经安装了中文包。这篇文章对于那些还是中文乱码的同学比较有用。默认的我们的centOS的语言环境是英文，我们将其选择为中文，系统=>管理=>语言选择语言后弹出界面如下，我们选择中文简体这个时候如果重启系统，上来之后就会有很多方框乱码，我们看怎么解决，执行如下命令一直往下走，出现如下界面一直往下走，开始下载下载完了21项后安装安装完成的界面如下我们注销
weixin_34342992·2020-06-28 17:06

大数据实战之环境搭建(六)

这篇我们看如何搭建solr，因为第一篇讲述了在windows下如何搭建，所以这里就简单的说一下。前面已经提到我们将solr压缩包拷贝至了usr/tmp下。解压以后我们将dist下面的solr-4.3.0.war拷贝纸tomcat目录下面的webapps下，重启tomcat，war文件被解压之后我们将solr解压目录下面的example/solr拷贝到上面solr-4.3.0下拷贝完之后，我们修改t
weixin_34061482·2020-06-28 10:58

大数据实战之环境搭建(十)

Html5,云计算，移动互联网，大数据你知道多少，如果不知道多少，请抓紧时间学习。今天要说的是消息队列ActiveMQ，这个和cassandra一样也是apache的产品，开源的，支持很多客户端，比如java，C#，ruby，python等。ActiveMQ是一个完全支持JMS和J2EE规范的JMSProvider实现。在介绍jms之前，先要介绍一下它的规范，俗话说无规矩不成方圆，就像序列化和反序
weixin_33762321·2020-06-28 05:32

数据进入Maxcompute的N种方式，大数据实战Demo系统数据上云实践

2018“MaxCompute开发者交流”钉钉群直播分享，由阿里云数据技术专家彬甫带来以“数据进入MaxCompute的N种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战Demo系统，它能够实现自动全链路的大数据处理流程，其中包括离线的和实时数据的，接下来将为大家揭晓实战Demo系统是怎样实现自动全链路的大数据处理流程的。数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧!直播视
weixin_33757911·2020-06-28 04:46

python+spark2.0 + Hadoop机器学习与大数据实战——学习笔记

python+spark2.0+Hadoop机器学习与大数据实战——学习笔记第一章介绍1.1机器学习的介绍1.2Spark的介绍功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中
ClydeTang·2020-06-26 11:32

HIVE 大数据实战项目

目录一、项目需求二、数据介绍三、创建表结构四、数据清洗五、数据加载六、业务数据分析七、原始数据一、项目需求1.统计视频观看数Top102.统计视频类别热度Top103.统计出视频观看数最高的20个视频的所属类别以及类别包含这Top20视频的个数4.统计视频观看数Top50所关联视频的所属类别的热度排名5.统计每个类别中的视频热度Top10，以Music为例6.统计每个类别中视频流量Top10，以M
TinlokLee·2020-06-26 00:44

大数据教程，大数据实战教程，大数据教程电信信号强度诊断项目实战

课程亮点：1、系统的设计方法是采用面向对象的设计。本系统前端页面交互主要采用B/S的结构，采用MVC及流式数据的设计思路进行规划设计。2、前端数展现使用Echarts技术。与地图相关的报表使用百度地图提供的API。3、后端实时数据，实时接入mysql。为了不影响线上系统的正常使用，同时能够将数据发送到大数据平台，本项目使用Canal来解析实时数据，Flume收集数据并数据发送到实时计算业务流程和离
qq_1456507655·2020-06-25 20:54

【若泽大数据实战第一天】大数据测试平台搭建

若泽大数据测试平台环境搭建一、介质需求：虚拟机：VMwareWorkstation14.1.1.28517大小：465.2MB操作系统：CentOS-6.5-x86_64-bin-DVD1.iso大小：4.16GB二、测试环境搭建：1、虚拟机安装：打开VMwareWorkstationPro点击：''下一步''勾选''我接受许可协议中的条款(A)''点击：''下一步''我E盘是SSD安装目录更改路
强悍de巨人·2020-06-25 01:49

如何将Hive与HBase整合联用

特别说明：该专栏文章均来源自微信公众号【大数据实战演练】，欢迎关注！
qingdsj·2020-06-24 22:35

大数据实战之Spark Streaming整合Flume

SparkStreaming与flume做整合的时候,一定要先去官网上查看可兼容的版本号http://spark.apachecn.org/docs/cn/2.2.0/streaming-flume-integration.html一:Push方式整合:flume_push_streaming.confsimple-agent.sources=netcat-sourcesimple-agent.s
码动乾坤·2020-06-24 08:21

【SDCC 2016·杭州站】9月22日大数据实战专场精彩呈现

【SDCC现场报道】2016年9月22日-23日，由CSDN重磅打造的大数据核心技术与实战峰会、互联网应用架构实战峰会在杭州隆重举行。这两场峰会大牛讲师来自唯品会、小米、蘑菇街、饿了么、有赞、游族、echo、In、万达、百度、苏宁、蚂蚁金服、京东、网易云、1药网、腾讯、美团等知名互联网公司，共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、
仲培艺·2020-06-23 23:29

基于Hive的大数据实战项目

目录一、项目需求二、数据介绍三、创建表结构四、数据清洗五、数据加载六、业务数据分析七、原始数据一、项目需求1.统计视频观看数Top102.统计视频类别热度Top103.统计出视频观看数最高的20个视频的所属类别以及类别包含这Top20视频的个数4.统计视频观看数Top50所关联视频的所属类别的热度排名5.统计每个类别中的视频热度Top10，以Music为例6.统计每个类别中视频流量Top10，以M
jmx_bigdata·2020-06-23 23:39

python+spark 2.0+hadoop 机器学习与大数据实战 第八章代码

8.7HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/pyspark--masteryarn--deploy-modeclienttextfile=sc.textFile("hdfs://master:9000/user/hduser/wordcount/input/LICENSE.txt")textfile.count()exitcp/usr/local
herr_kun·2020-06-23 14:53

Python+Spark 2.0+Hadoop机器学习与大数据实战

本书从浅显易懂的“大数据和机器学习”原理说明入手，讲述大数据和机器学习的基本概念，如分类、分析、训练、建模、预测、机器学习（推荐引擎）、机器学习（二元分类）、机器学习（多元分类）、机器学习（回归分析）和数据可视化应用等。书中不仅加入了新近的大数据技术，还丰富了“机器学习”内容。为降低读者学习大数据技术的门槛，书中提供了丰富的上机实践操作和范例程序详解，展示了如何在单机Windows系统上通过Vir
firstxueba·2020-06-23 08:20

15篇大数据精品文章大合集

大家快来学习吧~1.数据工程师必须掌握的7个大数据实战项目查看原文值得收藏，数据工程师必须掌握的7个大数据实战项目2.阿里云大数据+AI技术沙龙上海站回顾|揭秘TPC-DS榜单第一名背后的强大引擎查看原文
阿里技术官方号·2020-06-22 13:42

大数据实战：知乎百万用户分析

本文来源：http://wuzuozhi.com/背景这几天，同事都去出差，稍有感冒的我提前在办公室感受到了“孤独终老”的恐惧。于是，我想在自己有能力并且还有激情的时候，去做一些以后值得回忆的事。我萌生了去“探望”下知乎的念头。前言我个人是15年注册知乎，三年过去了，我个人主页数据是：我一直不喜欢知乎上面的氛围，但是通过知乎我确实拿到了很多学习、设计、阅读和产品灵感的资源，都是通过知乎链接到其他平
大数据杂谈v·2020-06-22 06:46

大数据实战项目之新闻话题分析 学习笔记（十）

文章目录第21章：SparkSQL快速离线数据分析SparkSQL概述及特点SparkSQL服务架构SparkSQL与Hive集成（Spark-Shell）SparkSQL与Hive集成（Spark-sql）SparkSQL之ThirftServer和Beeline使用SparkSQL与MySql(类似的关系数据库)集成SparkSql与HBase集成分析业务数据（一）SparkSql与HBase
爱学习的Neehong·2020-06-22 05:50

大数据实战项目之新闻话题分析 学习笔记（三）——Linux环境准备与配置

文章目录第4章：Linux环境准备与设置Linux系统常规设置1.设置ip地址2.创建用户3.为本机设置主机名4.主机名映射5.安装SecureCRT工具6.关闭防火墙7.卸载原始的JDK8.root用户下设置无密码切换用户克隆虚拟机并进行相关的配置1.创建我们将要使用的各个目录2.将root用户的目录改变成ynh用户所属的目录3.将JDK安装包通过工具上传到/opt/softwares目录下，并
爱学习的Neehong·2020-06-22 05:19

大数据实战项目之新闻话题分析 学习笔记（九）

文章目录第16章：Hue大数据可视化分析Hue概述及版本下载Hue编译及安装Hue的基本配置与服务启动Hue与HDFS集成Hue与yarn集成Hue与MySql集成Hue与HBase的集成对采集的数据进行可视化分析Hue需要注意的几个地方第17章：Spark2.x环境准备/部署及运行Spark概述及特点Spark生态系统介绍学习spark需要了解的几个重要网站spark2.2源码下载及编译Scal
爱学习的Neehong·2020-06-22 05:19

大数据实战项目之新闻话题分析 学习笔记（八）

文章目录第9章：Hbase分布式集群部署与设计下载HBase版本并安装HBase分布式集群的相关配置HBase相关的服务介绍及启动测试通过Shell进行数据表的操作测试HBase集群中Master-backup配置根据业务需求创建表结构第10章：Kafka分布式集群部署Kafka服务简介及版本下载安装Kafka分布式集群配置启动Kafka依赖于Zookeeper的服务并进行测试Kafka分布式服务
爱学习的Neehong·2020-06-22 05:19

大数据实战项目之新闻话题分析 学习笔记（七）——HBase的应用场景及架构原理

文章目录第8章：HBase的应用场景及架构原理HBase能做什么HBase在实际业务场景中的应用HBase的特点HBase数据模型并举例说明HBase表结构模型并举例说明第8章：HBase的应用场景及架构原理HBase能做什么海量数据存储：海量存储与”关系型“数据库对比：海量-HBase一个表能够存储上百亿的行上百万的列；关系型数据库表里一般列设计不超过30个字段，行一般不超过5百万，否则要分表存
爱学习的Neehong·2020-06-22 05:19

大数据实战项目之新闻话题分析 学习笔记（一）——实战前hadoop2.X必修课

文章目录学习资源（仅供参考）第2章：实战前hadoop2.X必修课hadoop2.x概述hdfs分布式文件系统框架原理详解mapreduce架构设计和原理详解YARN资源管理架构原理详解学习资源（仅供参考）https://study.163.com/course/courseLearn.htm?courseId=1004043006#/learn/video?lessonId=1044711277
爱学习的Neehong·2020-06-22 05:19

GItHub：【大数据实战项目】汇总

一、Spark1、《Spark大型电商项目实战》*用户访问session分析*页面单跳转化率统计*热门商品离线统计博客地址：http://blog.csdn.net/u012318074/article/category/6744423GitHub地址：https://github.com/Erik-ly/SprakProject2、基于sparkstreaming和kafka，hbase的日志统
Haven.Liu·2020-06-22 00:58

预告：Intel、Hulu、阿里、京东、携程等大数据实战直播

前言：由CSDN主办的SDCC2017之大数据技术实战线上峰会将在CSDN学院举行。作为SD系列技术峰会的一部分，本次线上峰会秉承干货实料（案例）的内容原则，将邀请圈内顶尖的布道师、技术专家和技术引领者，共话大数据平台构建、优化提升大数据平台的各项性能、Spark部署实践、企业流平台实践、以及实现应用大数据支持业务创新发展等核心话题，旨在通过来自国内一线互联网公司实践案例，为开发者提供一个最有价值
CSDN云计算·2020-06-21 20:51

大数据实战之Logstash采集->Kafka->ElasticSearch检索

1.Logstash概述Logstash的官网地址为：https://www.elastic.co/cn/products/logstash，以下是官方对Logstash的描述。Logstash是与Flume类似，也是一种数据采集工具，区别在于组件和特性两大方面。常用的数据采集工具有Sqoop、Flume、Logstash，计划将单独写一篇博文论述它们之间的区别，所以这里就不赘述，感兴趣可关注后期
超新星X·2020-06-21 14:15

大数据实战：elasticsearch+kibana+logstash+xpack

一、前言1.介绍在安装前我们要了解一下相关组件。Elasticsearch是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，基于apacheLucene开发，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库，而Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的，虽然Elasticsearch也使用Java开发并使用Lucene作为其核心来
xyt_369587353·2020-06-21 12:50

SparkSQL大数据实战：揭开Join的神秘面纱

本文来自网易云社区。Join操作是数据库和大数据计算中的高级特性，大多数场景都需要进行复杂的Join操作，本文从原理层面介绍了SparkSQL支持的常见Join算法及其适用场景。Join背景介绍Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分为简单操作（过滤操作-where、排序操作-limit等），聚合操作-groupby以及Join操作等。其中Join操作是最复杂、代价最大的
weixin_34306446·2020-06-21 11:01

【BDTC 2017】去年挤不进去的推荐系统论坛又来了！

推荐系统论坛向来是中国大数据技术大会上最受关注的论坛之一，去年，推荐系统论坛给大家带来了《基于大数据的个性化出行服务与公共资源协同分配》、《易到大数据的过去、现在和将来》、《滴滴交通大数据实战》、《综合交通运行感知体系构建与监测大数据统筹应用
科技峰行者·2020-06-21 07:35

大数据教程，大数据实战教程，基于AWS云平台大规模集群千亿数据调优方案

大数据集群，学习大数据小伙伴们的朋友都要会的！今天分享的视频是以一个实际的数仓指标为需求，在大规模集群环境下，进行千亿级别数据量的任务测试。全程实操，以真实企业中的开发流程进行任务测试。课程亮点1，大规模集群调优（150台服务器）、千亿级别数据量的规模2，全程实操，以需求为目标，逐步实现。3，贴近真实企业开发的工作流程。4，基于AWS云平台实现，学习如何在云上实践大数据。大数据进阶教程丨基于AWS
传智播客官方博客·2020-06-21 02:54

大数据实战项目之新闻话题分析 学习笔记（二）——企业项目案例需求分析

文章目录第3章：企业项目案例需求分析案例需求分析系统架构设计系统数据流设计集群资源规划设计第3章：企业项目案例需求分析案例需求分析用户日志行为分析（新闻网）业务需求：1.捕获用户浏览日志信息（TB）2.实时分析前20名流量最高的新闻话题3.实时统计当前线上已曝光的新闻话题4.统计哪个时段用户浏览量最高5.报表等形式展示（提供给业务、领导做决策）系统架构设计系统架构图系统数据流设计数据流程图备注：H
爱学习的Neehong·2020-06-20 23:11

车辆结构化——明景车辆大数据侦查系统

智慧城市建设中每天会产生海量过车数据，面对日益膨胀的图像大数据趋势，如何将海量卡口数据进行结构化处理，提供针对车辆大数据实战，为公安领域的不同警种服务，建设更美好的智慧城市安全管理系统，是一个严峻的挑战
车辆结构化·2020-04-01 06:10

大数据实战项目《大型电商日志分析》的知识点

大数据实战项目的知识点1、大数据集群环境的搭建CentOS6.8、hadoop-2.7.3、hive-0.13.1zookeeper-3.4.10kafka_2.10-0.10.2.0、flume-ng
Albert陈凯·2020-03-14 01:55

2017西线大数据千人计划简介

活动是在教育部中国成人教育协会成人教育培训工作委员会指导下，西线联合大数据领域知名企业以及北京十几所高校举办的大数据人才培养计划，按照国家互联网培训三项标准要求通过层层筛选和严格训练为行业提供1000名高标准大数据实战人才
数据分析师·2020-03-12 19:57

《白话大数据与机器学习》——思维导图笔记

先说本书终极评价：与大数据实战没
郝开心信札·2020-03-09 16:42

七月在线Spark大数据实战班

课程大纲第一阶段：大数据spark入门介绍第一课：大数据入门概述知识点1：大数据技术发展史知识点2：大数据的应用以及未来知识点3：hadoop生态圈介绍知识点4：hadoop框架演变与发展知识点5：大数据存储系统hdfs原理解析知识点6：map-reduce原理解析知识点7：分布式资源管理yarn原理解析实战项目：基于yarn的mr作业开发实战第二课：spark技术栈发展概述知识点1：spark的
Ot4Wo08D·2020-03-06 12:01

HIVE大数据实战项目---用户行为分析

相关精彩专题链接：数据成就更好的你一、项目需求本案例的数据为小程序运营数据，以行业常见指标对用户行为进行分析，包括UV、PV、新增用户分析、留存分析、复购分析等内容。项目需求如下：1.日访问量分析，并观察其走势2.不同行为类型的访问量分析3.一天中不同时间段的访问量分析（时间段按小时划分）4.每日新增用户情况分析5.用户留存分析6.复购分析7.商品排行榜分析8.利用sqoop将数据分析结果导入my
南宫逸痕·2020-02-12 16:55

大数据实战高手进阶之路：Machine Learning on Spark彻底揭秘

学习编程拼图理论的框架整理介绍机器学习是大数据技术的制高点，是大数据技术人员核心竞争力之所在，是企业大数据使用的灵魂，是每个想在大数据领域的有卓越价值的技术人员都必须掌握的内容！Spark在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。同时Spark的拥有非常出色的容错和调度机制，确保系统的高效稳定运行，Spark目前的发展理念是通过一个计算框架集合SQL、MachineLear
Albert陈凯·2020-02-09 20:51

2018-06-14

原【若泽大数据实战第九天】Hadoop编译2018年05月14日10:07:54阅读数：97Hadoop:1.官网：http://hadoop.apache.org/2.Hadoop的狭义和褒义认识：狭义
cariya·2020-01-01 02:59

40张PPT轻松入门Spark大数据

基于此，我们将七月在线的【Spark大数据实战】课程的内部课件，分享给诸位，这次分享的是这门课前两节课程的课件，前两节课件以带领大家入门Spark为主。如果对课程感兴趣，点击文末阅读原文即可。目录：大
七月在线·2019-12-28 21:21

大数据开发实战系列之电信客服(1)

大数据实战开发系列，以实战为主，辅以一些基础知识，关于电信客服，在网上也有很多的资料，这里我自然会去参考网上的资料，程序的整体设计是在今天开始的，老夫尽量在本周末钱结束这个电信客服的程序编写。
南风意未起·2019-12-25 11:00

大型企业级云产品-亿级数据统计分析系统（涵盖大数据主流技术）视频教程

课程目标：本套教程为真实的大数据实战案例，适合有大数据基础的学员学习，熟练掌握本套大数据案例，完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。
星辰8209·2019-12-25 01:09

从入门到实战—菜鸟窝大数据实战特训营（电商大数据推荐系统免费领取啦）

火爆的大数据已然成为当今互联网世界中的新宠儿，创造着巨大的商业价值，是当今互联网巨头的必争之地。业内预期，我国大数据产业正在从起步阶段步入黄金期，2020年中国有望成世界第一数据资源大国。《大数据产业发展规划（2016—2020）》提出，到2020年，大数据相关产品和服务业务收入突破1万亿元。伴随着大数据行业的爆发，未来3—5年，中国大数据人才缺口将高达150万。风口来袭，你还在等什么？课程合适人
菜鸟窝·2019-12-13 22:20

2019菜鸟窝全新内部独家—零基础大数据实战精选视频123讲（免费领）

合适人群1、还未毕业的大学生，想为自己的未来就业添砖加瓦2、零基础大数据学员，看好大数据前景，想往大数据方向学习但不知道如何下手3、对自己职业前景比较迷茫的程序员，不知道自己可不可以学习大数据，能不能转大数据老师简介Tant老师前阿里大数据架构师15年研发经验，曾就职阿里、IDG、乐视等知名互联网公司。。熟练掌握Java、Scala、Python语言，对大数据Hadoop、Hive、Hbase、K
菜鸟窝·2019-12-02 04:18

大数据实战之spark安装部署

版权声明：原创作品，谢绝转载！否则将追究法律责任。楔子我是在2013年底第一次听说Spark，当时我对Scala很感兴趣，而Spark就是使用Scala编写的。一段时间之后，我做了一个有趣的数据科学项目，它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说，这是一个很好的方式。对于任何有追求的、正在思考如何着手Spark的程序员，我都非常推荐这个项目。今天，Spark已经被很多巨
李伟铭MIng·2019-10-31 14:08

大数据实战项目之海量人脸特征检索解决方案演进

1.概述大数据实战项目之海量人脸特征检索解决方案演进人脸识别技术在最近几年得到了长足进步，目前在人脸识别领域业界领先的厂家识别准确率均达到了99%以上，因此大量人脸相关的应用场景开始逐步落地，例如人脸支付
达微·2019-10-04 11:52

Java架构师分布式编程微服务大数据实战项目亿级流量技术 搞懂分布式视频教程、微服务、集群

Java架构师分布式编程微服务大数据实战项目亿级流量技术搞懂分布式视频教程、微服务、集群39套Java架构师，高并发，高性能，高可用，分布式，集群，电商，缓存，微服务，微信支付宝支付，公众号开发，java8
13261835354·2019-09-02 20:06

大数据实战第二十课 - Kafka01

第一章：初识Kafka1.1Kafka官网介绍1.2Kafka生产中的版本选择1.3kafka的一些相关概念1.4kafka的一些相关概念第二章：部署Kafka第三章：Kafka测试第一章：初识Kafka官网：http://kafka.apache.org/部署环境：阿里云三台机器Kafka在生产中的定位：只做消息中间件，仅仅只做消息的存储，起到上游和下游的一个缓冲的作用，与分布式流式平台挂钩（K
zhikanjiani·2019-07-14 11:16

【若泽大数据实战第十七天】Hive进阶

本节主要内容：一、分区表（静态分区、动态分区）二、用hiveserver2和beeline访问hive三、复杂数据类型（如何存取）一、分区表（静态分区、动态分区）PARTITION分区表：分区表话务记录、日志记录rdbms记录表是需要分表的每天的记录都分成一部分：call_record_20190808call_record_20190809call_record_20190810大数据分区表/u
liweihope·2019-03-10 11:18

【若泽大数据实战第九天】hdfs三个进程以机器名启动的设置

1.生产上hdfs三个进程要以hadoop002（机器名）启动上篇文章中，namenode、datanode是以localhost启动的，secondarynamenode是以0.0.0.0启动的，而实际生产中，这三个都是以机器名启动的。所以现在修改一下。进入/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop目录可以看到这里面有很多配置文件，其中常用
liweihope·2019-02-24 13:21

Python+Spark 2.0+Hadoop机器学习与大数据实战 目录

林大贵著封面1书名3前言7目录13第1章PythonSpark机器学习与Hadoop大数据231.1机器学习的介绍241.2Spark的介绍271.3Spark数据处理RDD、DataFrame、SparkSQL291.4使用Python开发Spark机器学习与大数据应用301.5PythonSpark机器学习311.6SparkMLPipeline机器学习流程介绍321.7Spark2.0的介绍
belldeep·2019-01-20 10:09
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他