大数据实战

（九）大数据实战——hadoop集群的历史服务器配置与日志聚集

前言前面的章节我们已经介绍过了关于hadoop集群部署的内容，延续上一节的内容。本节我们主要介绍一下关于hadoop集群历史服务器的配置与启动，方便我们查看hadoop操作过程中的一些任务执行情况。同时我们也配置一下hadoop集群的日志聚集功能，这样便于集中查看hadoop集群的日志。正文hadoop集群执行任务历史服务器配置①在hadoop101服务器上，使用vi编辑器在mapred-site
北溟溟·2023-04-09 22:12

（十）大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

前言本节内容我们主要是总结一下hadoop集群中常用的一些命令，以及通过自定义脚本，实现hadoop集群的启动、停止、状态查询等，便于hadoop集群的使用。正文hadoop常用命令hadoop模块命令命令功能start-dfs.sh启动HDFSstop-dfs.sh停止HDFSstart-yarn.sh启动YARNstop-yarn.sh停止YARNhadoop组件命令命令功能hdfs--dae
北溟溟·2023-04-09 22:12

大数据实战课 - 生产预警平台01

https://blog.csdn.net/zhikanjiani/article/details/102702365第一章：项目背景背景：外资车载导航、硬件、传感器、GPS等等1、服务挂了，不能及时通知2、服务不能达到秒级通知，前两年基本都是分钟级别，5min左右3、对于一些即将出现的问题可以提前预知4、有效的扩展到实时计算、日志5、如MYSQL、SQL的error、慢sql6、如Nginx、T
钻石大门·2023-04-07 07:00

8.尚硅谷电商推荐系统预览

课程地址：尚硅谷大数据项目教程(大数据实战电商推荐系统)尚硅谷电商推荐系统的配套资料及虚拟机链接：https://pan.baidu.com/s/1iSMqV2wPkEfIsO1FrkxRNQ?
幼稚的人呐·2023-04-02 20:10

（五）大数据实战——使用模板虚拟机实现hadoop集群虚拟机克隆及网络相关配置

前言本节内容我们实现虚拟机的克隆，主要根据模板虚拟机克隆三台hadoop虚拟机，用于hadoop集群的搭建，同时根据上一小节的内容，配置hadoop虚拟机的主机名、ip网络等，最终完成hadoop虚拟机的实例化。正文虚拟机克隆①点击hadoop100虚拟机，右键，选择管理->克隆，进入克隆页面②点击下一步，选择克隆自虚拟机的当前状态，点击下一步③选择创建完成克隆，点击下一步④填写虚拟机名称及选择克
北溟溟·2023-04-02 00:52

（七）大数据实战——hadoop集群安装搭建

前言本节内容我们主要来介绍如何搭建hadoop集群，将hadoop的基础环境搭建完成，便于我们使用hadoop集群。在搭建hadoop集群搭建之前，我们需要先安装java环境，并且我们需要规划我们hadoop集群的组件分布，保证hadoop集群服务器能发挥其最大的价值。hadoop集群组件分布如下：hadoop集群组件分布hadoop101hadoop102hadoop103HDFSNameNod
北溟溟·2023-04-02 00:52

（八）大数据实战——hadoop集群组件启动及服务组件配置修改

前言本节内容我们主要介绍，如何启动hadoop的组件服务，例如hdfs、yarn等，并通过修改自定义配置文件，修改我们组件的配置。关于hadoop组件的部署同上一节内容，如下：hadoop集群组件分布hadoop101hadoop102hadoop103HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResou
北溟溟·2023-04-02 00:52

（六）大数据实战——hadoop集群实现免密登录和文件互传

前言本节内容我们主要介绍一下hadoop集群服务器之间实现免密登录和文件互传的功能，这样更加方便我们使用hadoop服务器实现服务器之间的相互登录和文件的相互传输。集群之间的访问不在需要授权就可以实现相互访问。正文SSH免密登录①分别在hadoop101、hadoop102、hadoop103的home目录下执行ssh命令#生成ssh连接的公私钥ssh-keygen-trsa②将hadoop101
北溟溟·2023-04-02 00:19

大数据实战之路-实时数仓-实时数仓架构

流批一体架构技术栈开发语言（三者都可以）JavaScalaPython技术选型K8sDebeziumKafkaFlink(Hdfs,RockDB)ClickhouseDorisElasticSearchMySQLDataX(离线抽取,主要用于历史，历史数据初始化)批流一体架构架构实现步骤1.实时同步业务库数据到企业总线1.1SqlServer数据实时投递到Kafka1.2MySQL数据实时投递到K
《数据民工包工头》·2023-03-31 21:20

大数据实战之用户画像概念、项目概述及环境搭建

下面跟着我一起来学习大数据获取用户画像：项目Profile课程安排：用户画像概念1、用户画像概述1.1、产生背景早期的用户画像起源于交互设计之父AlanCooper提出的”Personasareaconcreterepresentationoftargetusers.”。认为用户画像（Personal）是角色是目标用户的具体表示，又被称为用户角色，是基于大量目标用户群的真实信息构建的用户标签（Us
黑马程序员官方·2023-03-30 08:45

es 的搜索引擎大数据实战分析

image.png面试题es在数据量很大的情况下（数十亿级别）如何提高查询效率啊？面试官心理分析这个问题是肯定要问的，说白了，就是看你有没有实际干过es，因为啥？其实es性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5~10s，坑爹了。第一次搜索的时候，是5~10s，后面反而就快了，可能就几百毫秒。你就很懵，每个用户第一次访问都会比较
allin8116·2023-03-24 23:50

阿里云大数据实战记录3：MySQL迁移到ODPS SQL

最近在做一些业务宽表的迁移，因为一个比较老的数仓示例已基本已弃用。该仓库为了快速响应数据需求，采用简单模式，没分开发环境和生产环境，使用的查询语言是MySQL。而迁移的目标仓库是标准模式（开发生产分环境跑），使用的ODPSSQL。在迁移的过程中，经常遇到的报错问题就是关于数据类型不一致，一段几百行的SQL，报错，调试，定位到问题，修改好，重跑，又报错……改了又改，最终跑通之后，粗算一下时间，足足得
Xin学数据·2023-02-01 07:26

大数据实战 Linux Ubuntu 20.04.1 server Hadoop2.8.5集群部署

1.前期工作详细点击这里，了解更多2.时间同步思路：让主节点连接外网的时间，从节点仅仅连接主节点的时间，达到3台机时间一样的目的2.1主节点时间同步2.1.1安装软件包apt-getinstallchrony-y2.1.2编辑/chrony.confvi/etc/chrony/chrony.conf添加localstratum10allow172.25.0.0/242.1.3激活启动NTP服务sy
十旬叶大叔·2023-01-21 09:10

python大数据hadoop_Python+Spark 2.0+Hadoop 机器学习与大数据实战pdf,9787302490739下载

编辑推荐1.Hadoop集群安装与分散式运算和存储介绍通过实机操作，学会如何安装VirtualBox、UbuntuLinux、Hadoop单机与多台机器集群安装，并学会使用HDFS分散式存储与MapReduce分散式运算。2.PythonSpark2.0安装通过实机操作，学会安装Spark2.0，并在本机与多台机器集群执行PythonSpark应用程序。同时介绍如何在iPythonNotebook
weixin_39862382·2023-01-07 14:42

《Python Spark 2.0 Hadoop机器学习与大数据实战_林大贵(著)》pdf

《Python+Spark2.0+Hadoop机器学习与大数据实战》五星好评+强烈推荐的一本书，虽然内容可能没有很深入，但作者非常用心的把每一步操作详细的列出来并给出说明，让我们跟着做的时候非常有信心，
weixin_34119545·2023-01-07 14:41

大数据实战项目 -- 离线数仓

一、数仓规划1.1集群规划技术选型位置框架数据采集传输Flume，Kafka，Sqoop，Logstash，DataX，数据存储MySql，HDFS，HBase，Redis，MongoDB数据计算Hive，Tez，Spark，Flink数据查询Presto，Druid，Impala，Kylin数据可视化Echarts、Superset、Tableau、QuickBI、DataV任务调度Azkaba
L小Ray想有腮·2022-12-24 12:02

python spark2.0_spark2.0机器学习-python spark初探

spark是用Scala语言写的，但是本人只会使用python)，学习资料主要来自spark2.0官方文档(暂时没有提供python接口的翻译)和《python+spark2.0Hadoop机器学习与大数据实战
weixin_39924329·2022-12-23 22:21

Flink实时计算运用（八）Flink 大数据实战案例一

1.Flink大数据实时处理设计方案整套方案通过Canal+Kafka连接器+Protobuf，实现数据的同步接入，由Flink服务负责对各类业务数据的实时统计处理。2.热销商品的统计处理功能实现对热销商品的统计，统计周期为一天，每3秒刷新一次数据。核心代码主逻辑实现：/***执行Flink任务处理*@throwsException*/privatevoidexecuteFlinkTask()th
麦神-mirson·2022-12-13 22:22

Flink实时计算运用（九）Flink 大数据实战案例二

1.订单支付状态跟踪统计（CEP运用）功能实现对热销商品的统计，统计周期为一天，每3秒刷新一次数据。核心代码主逻辑代码实现：/***执行Flink任务处理*@throwsException*/privatevoidexecuteFlinkTask()throwsException{//1.创建运行环境StreamExecutionEnvironmentenv=StreamExecutionEnvi
麦神-mirson·2022-12-13 22:22

【大数据实战】招聘网站职位分析

通过采集招聘网站大数据职位信息、利用数据清洗、数据分析、jieba分词、数据挖掘完成整体项目的开发工作。任务包含爬取招聘网站大数据职位信息、使用BeautifulSoup清洗职位信息网页、使用PySpark对智联数据进行分析、对招聘职位信息进行探索分析、使用结巴分词对岗位描述进行分词并将关键词统计、利用Echarts将职位分析结果进行可视化、建立职位模型对应聘人员进行相似度的计算。目录1爬取招聘网
闭关修炼——暂退·2022-12-09 11:14

大数据实战之配置集群

设置免密登录1）生成公钥和私钥[kfk@bigdata-pro01~]$ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/kfk/.ssh/id_rsa):/home/kfk/.ssh/id_rsaalreadyexists.Overwrite(y/n)?yEnterpassph
醉心编码·2022-12-07 13:13

大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台

1.目标1.1在图形窗口运行1.2完成Eclipse及插件安装1.3JDK安装2.前期准备2.1装系统详细请点击这里2.2节点创建用户2.2.1创建组（可以在bass普通用户下操作，可以在root用户下操作。若在bass需要提高权限sudo，root用户则不用。）$sudouseradd-u285-g285-m-s/bin/bashangel用户号为285，用户组号为285，用户名为angel。2
十旬叶大叔·2022-12-04 16:57

【大数据实战项目八】使用机器学习算法进行预测分析并进行网上部署

使用机器学习算法进行预测分析并进行网上部署9使用机器学习算法进行预测分析9.1数据探索式分析9.1.1环境配置与数据读入9.1.2探究延误航班有多少数据量9.1.3探究出发延期到达提前的数据量9.1.4探究延误的平均时间9.1.5探究延误的原因9.2特征工程9.2.1去除空值9.2.2时间数据处理9.3模型创建，评估与保存9.3.1模块导入与数据加载9.3.2数据随机采样与标签数据处理9.3.3数
百木从森·2022-11-20 23:50

大数据实战项目之电商数仓（一）

大数据实战项目之电商数仓（一）项目介绍数据仓库概念数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程，控制成本，提高产品质量等。
放学-别走·2022-11-16 07:59

Hadoop大数据实战笔记

1、Hadoop简介：什么是Hadoop呢？Hadoop是一个开源分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，利用集群的威力进行高速的运算和存储，适合处理非结构化数据。2、Hadoop生态圈：什么组件组成了Hadoop的生态圈？Hadoop的生态圈组成为：数据存储、数据集成、数据处理和其他进行数据分析的专门工具。HDFS：HDFS是一种数据保存机制，数据被保存在集群
Popuessing's Jersey·2022-11-02 11:26

大数据实战疫情分析项目

疫情期间各类政府媒体及社交网站，均发布了相关疫情每日统计数据，下面基于数据仓库工具Hive请你统计分析相关疫情数据。数据字段为：日期、省份、城市、新增确诊、新增出院、新增死亡、消息来源、来源1，来源2，来源3首先启动hdfshadoophive请在hdfs根目录下中创建一个目录，以小组名称英文全拼命名_data，并将以上疫情数据上传到这个目录中，截图成功后结果请你在hive中创建数据库名为:ods
罗德拉沃尔·2022-10-22 07:28

hadoop之yarn命令详解

点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”领取独家整理的学习资料！每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。
create17·2022-10-18 15:09

【大数据实战】Docker中Hadoop集群搭建

目录Docker中Hadoop集群搭建环境网络设置安装docker安装OpenSSH免密登录Ansible安装软件环境配置配置hadoop运行所需配置文件Hadoop启动问题Docker中Hadoop集群搭建环境1、操作系统：CentOS764位网络设置hostnameIPcluster-master172.20.0.2cluster-slave1172.20.0.3cluster-slave21
吕布辕门·2022-10-05 11:52

Kafka消息队列大数据实战教程-第二篇（Kafka集群搭建）

文章目录前言一、准备工作二、安装Zookeeper集群2.1.下载2.2解压2.3配置环境变量2.4修改conf文件夹配置2.5创建data、log文件夹2.6启动三、安装Kafka集群3.1.下载3.2解压3.3创建存储kafka数据地址3.4修改配置文件3.5启动3.6测试四、启动脚本4.1Zookeeper启动脚本4.2Kafka启动脚本总结前言
DT辰白·2022-09-08 15:52

Kafka消息队列大数据实战教程-第一篇（Kafka基础入门）

文章目录前言一、概念1.1消息队列的两种模式1.1.1点对点模式1.1.2发布订阅模式1.2消息队列的优点1.3核心架构图解二、基本术语2.1核心2.2分区与副本设置2.1.1案例12.1.1案例2三、常用操作命令3.1创建主题3.2列出主题3.3主题详情3.4修改主题3.5删除主题3.6列出消费者Group3.7查看Group详情三、基本配置项
DT辰白·2022-09-08 15:22

电商数仓——（师承尚硅谷）大数据实战项目

数仓实战1.概念技术选型：搭建环境三台ECS创建wts用户：useraddwtspasswdwts输入两边密码cd/home有无wts？让wts有sudoer权力：[root@hadoop100~]#vim/etc/sudoers修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：wtsALL=(ALL)NOPASSWD:ALL配置windows下hosts映射：不多说了配
大概是犬青·2022-07-25 12:24

大数据实战电商推荐系统（3）-基于隐语义模型的离线推荐模块

文章目录1.创建文件+配置文件2.模型+算法2.1隐语义模型2.2商品相似度矩阵2.3算法3.模型调参数据获取和处理详见上一篇文章：https://blog.csdn.net/qq_42754919/article/details/119493103这一节主要介绍基于隐语义模型的协同过滤推荐算法，根据用户评价商品计算用户和商品之间的关系。最后生成用户推荐商品列表和商品相似度列表。1.创建文件+配置
自由自在的鱼丶·2022-07-12 14:29

大数据实战二十一课 - Spark SQL01

一、上次课回顾第一章：SparkSQL的认识1.1RDD的API用SQL实现第二章：DataSet和DataFrame第三章：SparkSQL运行3.1hivethrift+beeline的使用一、上次课回顾回顾：SparkCore总结，把数据写到外部第三方数据库，都要采用foreachPartition建议大家首先采用带Partition的。对于Spark-Core给定功能实现，是最基本的要求；
zhikanjiani·2022-07-12 12:55

工作这么久，单元测试和集成测试还傻傻分不清楚吗？

点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！
create17·2022-07-10 17:00

idea 开发必不可少的插件汇总

点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”领取独家整理的学习资料！每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。
create17·2022-07-10 17:59

Spring bean 加载顺序导致的 bug 问题

点击上方蓝色“大数据实战演练”，选择“设为星标”或“置顶”回复“资源”领取独家整理的学习资料！每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。
create17·2022-07-10 17:29

大数据学习路线

文章目录学习教程（不全）文档教程大数据实战项目项目源码广义的定义：是指物理世界到数字世界的映射和提炼。通过发现其中的数据特征，从而做出提升效率的决策行为。
ア灬格子衬衫々·2022-06-05 15:21

个推技术分享 | 掌握这两个调优技巧，让TiDB性能提速千倍

个推“大数据降本提效”专题，正是通过总结分享自身在大数据实战过程中的踩坑经验、调优技巧等，为从业人员开展大数据实践提供参考。
·2022-04-10 17:17

大数据实战之离线数仓整体规划

前言大家好，从今天开始，我们将进入到离线数仓项目搭建系列，一来是想对自己所学和实践做一个系统性归纳和结合，二来也是为了给大家多分享一些心得。【在此过程中，有任何疑问或想法，均可在QQ群139809179中提出交流】背景2014年，马云爸爸提出，“人类正从IT时代走向DT（DataTechnology）时代“。JDC的报告显示：预计到2020年，全球数据总量将超过40ZB（相当于40万亿GB）。“十
菜鸟周星星·2022-02-28 09:10

Fllink实时计算运用（八）Flink 大数据实战案例一

1.Flink大数据实时处理设计方案整套方案通过Canal+Kafka连接器+Protobuf，实现数据的同步接入，由Flink服务负责对各类业务数据的实时统计处理。2.热销商品的统计处理功能实现对热销商品的统计，统计周期为一天，每3秒刷新一次数据。核心代码主逻辑实现：/***执行Flink任务处理*@throwsException*/privatevoidexecuteFlinkTask()th
·2021-06-22 21:34

Fllink实时计算运用（九）Flink 大数据实战案例二

1.订单支付状态跟踪统计（CEP运用）功能实现对热销商品的统计，统计周期为一天，每3秒刷新一次数据。核心代码主逻辑代码实现：/***执行Flink任务处理*@throwsException*/privatevoidexecuteFlinkTask()throwsException{//1.创建运行环境StreamExecutionEnvironmentenv=StreamExecutionEnvi
·2021-06-18 22:26

奇硕基于网易云的微服务与大数据实战

5月24日，在网易和中睿协办的“云服务、大数据应用实例&高效研发管理---软件研发沙龙”中，作为网易云的典型客户，上海奇硕网络科技有限公司CTO殷世林分享了奇硕在大数据平台建设方面的核心技术，以及基于网易云实现微服务化改造和数据平台升级的经验。奇硕的产品与服务上海奇硕网络科技有限公司成立于2014年4月，是一家专注于鞋服零售并为泛零售行业提供大数据服务与一体化解决方案的大数据科技公司。奇硕的业务方
网易云基础服务·2021-05-21 10:16

大数据实战就业班

大数据分析和大数据挖掘开发两大实战主体内容本次活动推出的大数据实战就业班，包含大数据分析和大数据挖掘开发两大实战主体内容，在让零基础学员进入大数据行业提供快速通道的同时，也让学员直接进入大数据技术高级阶段
数据分析师·2021-05-20 16:42

大数据实战-Spark实战技巧

1.连接mysql--driver-class-pathmysql-connector-java-5.1.21.jar![Uploadingfile...]()在数据库中，SETGLOBALbinlog_format=mixed;2.Spark中使用Hive的udf同样使用—jars才行3.Sparkjupyter使用https://www.jb51.net/article/163641.htmh
·2021-03-19 22:27

大数据实战-Hive-技巧实战

1.union和unionall前者可以去重selectsex,addressfromtestwheredt='20210218'unionallselectsex,addressfromtestwheredt='20210218';+------+----------+--+|sex|address|+------+----------+--+|m|A||m|A||m|B||m|B||m|B||
·2021-03-19 22:21

大数据实战-Hive-技巧实战

1.union和unionall前者可以去重selectsex,addressfromtestwheredt='20210218'unionallselectsex,addressfromtestwheredt='20210218';+------+----------+--+|sex|address|+------+----------+--+|m|A||m|A||m|B||m|B||m|B||
·2021-03-19 22:21

大数据实战-Spark实战技巧

1.连接mysql--driver-class-pathmysql-connector-java-5.1.21.jar![Uploadingfile...]()在数据库中，SETGLOBALbinlog_format=mixed;2.Spark中使用Hive的udf同样使用—jars才行3.Sparkjupyter使用https://www.jb51.net/article/163641.htmh
·2021-03-19 22:31

企业大数据实战：Kyuubi 与 Spark ThriftServer 的全面对比分析

网易数帆旗下易数大数据团队开源的Kyuubi，和Spark社区的SparkThriftServer，都是通过纯SQL语言和JDBC接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发，对比了Kyuubi与SparkThriftServer的差异与优劣，并引入HiveServer2进行全面的分析。1SparkThriftServer介绍SparkThriftServer是Apa
NetEaseResearch·2021-03-19 19:01

大数据实战记录

目录环境安装搭建编写同步集群脚本以及查看集群进程脚本MySQLHadoopHadoopUIHDFS存储MapReduce计算Yarn资源管理HBaseHBase基本操作HBase运维和优化ZooKeeperHiveHive基本操作HiveSQL大全Hive运维管理Hive备份与恢复Hive参数调优Impala&PrestoSqoopSpark感谢公司资助的大数据企业实战培训，我把内容记录整理了一下
Beth_Chan·2020-12-14 16:54

大数据实战 Linux 面试题

1.什么是集群技术？集群技术的优点是什么？（1）Cluster集群技术可如下定义：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可行性的服务。大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败，并可透明地向Cluster中加入组件。一个
哈呵哒~·2020-09-30 09:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他