【大数据开发】第22页

大数据开发之hive的了解及SQL基础命令分享

hive（数据仓库工具）Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提大数据培训供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统，它是难以加工大型数据。因此，Apache软件基金

·2021-11-23 10:52

大数据开发之YARN

YARN是资源管理系统，理论上支持多种资源，目前支持CPU和内存两种资源YARN产生背景直接源于MRv1在几个方面的缺陷扩展性受限单点故障难以支持MR之外的计算多计算框架各自为战，数据共享困难MR：离线计算框架Storm：实时计算框架Spark：内存计算框架YARN设计目标通用的统一资源管理系统同时运行长应用程序和短应用程序长应用程序通常情况下，永不停止运行的程序Service、HTTPServe

·2021-11-22 13:21

大数据开发之HBase异常问题分析

1.问题现象和原因概述1）网卡打满导致请求响应缓慢：通过查看问题发生时段集群服务器的网络流量情况，发现大量的RegionServer所在的服务器出现了网卡打满现象。随着大数据业务的快速发展，Hadoop集群所面临的数据读写压力也在不断增长，千兆网卡在应对大批量的数据通信请求时容易被打满，这种大数据培训情况下就会大大影响数据的传输速度，进而产生请求响应缓慢的问题。2）RegionServer进程JV

·2021-11-19 11:33

区块链招聘：大数据开发leader

区块链招聘：大数据开发leader公司：新锐区块链公司推荐奖：1万地点：上海关键词:大数据开发、Scala,Python薪资：80-150万+奖金岗位职责：1.负责设计并不断优化数据工程解决方案，确保其可扩展性

·2021-11-18 18:25

大数据开发技术之Storm原理与实践

一、Storm简介1.引例在介绍Storm之前，我们先看一个日志统计的例子：假如我们想要根据用户的访问日志统计使用斗鱼客户端的用大数据培训户的地域分布情况，一般情况下我们会分这几步：•取出访问日志中客户端的IP•把IP转换成对应地域•按照地域进行统计Hadoop貌似就可以轻松搞定：•map做ip提取，转换成地域•reduce以地域为key聚合，计数统计•从HDFS取出结果如果有时效性要求呢？•小时

·2021-11-18 12:14

大数据开发复习第八篇（Redis篇）

文章目录Redis7.1、Redis的介绍7.2、Redis的数据类型7.2.1、String字符串7.2.2、hash列表7.2.3、list7.2.4、set集合7.3、Redis的持久化7.3.1、rdb(保存快照)7.3.2、AOF（预写日志）7.4、缓存雪崩7.4.1、我们为什么要用缓存(Redis)7.4.2、如果缓存挂了呢7.4.3、雪崩场景7.4.4、如何解决缓存雪崩7.5、缓存穿

落幕7·2021-11-17 16:18

大数据开发之Kafka

前言Kafka是一个分布式的流处理平台(0.10.x版本)，在kafka0.8.x版本的时候，kafka主要是作为一个分布式的、可分区的、具有大数据培训副本数的日志服务系统(Kafka™isadistributed,partitioned,replicatedcommitlogservice),具有高水平扩展性、高容错性、访问速度快、分布式等特性；主要应用场景是：日志收集系统和消息系统为什么使用K

·2021-11-17 12:30

大数据开发工程师需要了解的【数仓中的维度设计】

目录（1）数仓模型如何分层（2）企业数仓模型分层架构（3）维度设计如何理解（4）维表是怎么生成的（5）维度整合的两种策略（6）维度拆分的最佳方案（7）缓慢变化维的处理方式（8）企业中处理缓慢变化维的最佳方案（9）微型维度到底有没有用（10）特殊维度中的递归层次（11）多值维度的处理方式（12）多值属性的处理方式（1）数仓模型如何分层企业常用的数据模型分为三层：操作数据层（ODS）公共维度模型层（C

<一蓑烟雨任平生>·2021-11-16 22:07

大数据开发运维之YARN运维

1.扩缩容hadoop节点下线nodemanagerStep-by-stepguide下线Nodemanager：在yarn-site.xml中配置以下配置：yarn.resourcemanager.nodes.exclude-path/etc/hadoop/conf/mapred.excludetrue以后有节点下线只需要编辑mapred.exclude文件，每个节点一行以yarn用户执行yar

·2021-11-16 13:46

零基础学习大数据有哪些学习技巧

大数据开发技术在不断发展，在我们生活和工作中也得到了很好的体现，而且其薪资待遇也是非常高的，因此有很多小伙伴将目光都转移到大数据开发技术知识的学习上来，想过通过大数据培训的方式来获得开发技术知识，以达到成功入行大数据开发的目的

·2021-11-12 11:11

各技术实战开发文章整合（持续更新~~）

一、Spring框架开发SpringBoot——第一个项目Spring项目——抵御跨站脚本（XSS）攻击Spring项目——Shiro和JWT技术二、Hadoop大数据开发Hadoop——集群搭建(步骤图文超详细版

HuiSoul·2021-11-12 00:50

大数据开发之数据仓库Hive学习介绍

Hive是什么?Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语大数据培训句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive的架构用户接口:Shell/CLI,CLI，Shell终端命令行，采用

·2021-11-11 11:55

大数据开发复习第五篇（Yarn篇）

文章目录3、yarn3.1、介绍yarn3.2、yarn的基本架构3.3、yarn三大组件3.3.1．ResourceManager3.3.2．NodeManager3.3.3．ApplicationMaster3.4、Yarn调度器Scheduler3.4.1.FIFOScheduler3.4.2．CapacityScheduler3.4.3．FairScheduler3.5Yarn的Job提交

落幕7·2021-11-10 19:01

大数据开发技术面试注意哪些方面

大数据架构与开发顾名思义大数据是一个以数据为核心的产业。大数据产业从数据的生命周期的传导和演变上可分为这几个部分：数据收集、数据储存、数据建模、数据分析、数据变现。通过各种渠道收集数据，继而通大数据培训过云数据中心储存，再通过数据科学家或业务进行建模和加工，最后数据分析找到大量看似不相关数据背后的因果关系。这些产生的信息可以作为宝贵的资产，帮助业务决策者对未来进行预测，减少试错成本，也可以降低成本

·2021-11-10 11:43

普通211研究生大数据开发的秋招总结

今天先总结一些秋招结果，下次给伙伴们分享总结的大数据开发学习路线。

大数据老刘·2021-11-09 19:00

大数据开发之数据仓库Hive

1．数据仓库的基本概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（DecisionSupport）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同大数据培训时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。2．数据

·2021-11-09 12:01

大数据开发之Spark SQL执行性能的提升

Catalyst是SparkSQL核心优化器，早期主要基于规则的优化器RBO，后期又引入基于代价进行优化的CBO。但是在这些版本中，SparkSQL执行计划一旦确定就不会改变。由于缺乏或者不准确的数据统计信息（如行数、不同值的数量、NULL值、最大/最小值等）和对成本的错误估算导致生成的初始大数据培训计划不理想，从而导致执行效率相对低下。那么就引来一个思考：我们如何能够在运行时获取更多的执行信息，

·2021-11-08 12:33

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之3.数据仓库工具Hive基础

文章目录1.Hive概述（1）数仓工具Hive的产生背景（2）数仓工具Hive与RDBMS对比（3）数仓工具Hive的优缺点（4）数仓工具Hive的架构原理2.Hive安装与配置（1）安装准备（2）安装MySQL元数据库（3）Hive的安装与配置（4）Hive安装的注意事项（5）参数配置3.数据类型与文件格式（1）基本数据类型及转换（2）集合数据类型（3）Hive文本文件数据编码及读时模式1.Hi

cutercorley·2021-11-07 11:54

想学习编程，我是如何入坑python的？

0基础不用怕，从0到1轻松教你入门Pythonpython系统学习流线图，教你一步一步学会python成为一名做大数据开发的女程序员，并不是二狗进入大学时的第一目标。

燕山588·2021-11-05 16:46

大数据开发之Hive解析Json数组

在Hive中会有很多数据是用Json格式来存储的，如开发人员对APP上的页面进行埋点时，会将多个字段存放在一个json数组中，因此数据平大数据培训台调用数据时，要对埋点数据进行解析。接下来就聊聊Hive中是如何解析json数据的。Hive自带的json解析函数get_json_object•语法：get_json_object(json_string,'$.key')•说明：解析json的字符串j

·2021-11-05 11:34

大数据开发基础之HDFS参数调优步骤分享

1.NameNode数据目录dfs.name.dir,dfs.namenode.name.dir指定一个本地文件系统路径，决定NN在何处存放fsimage和editlog文件。可以通过逗号分隔指定多个路径.目前我们的产线环境只配大数据培训置了一个目录，并存放在了做了RAID1或RAID5的磁盘上。2.DataNode数据目录dfs.data.dir,dfs.datanode.data.dir指定D

·2021-11-04 11:14

大数据开发之数据仓库架构分析

概述架构是数据仓库建设的总体规划，从整体视角描述了解决方案的高层模型，描述了各个子系统的功能以及关系，描述了数据从源系统到决策大数据培训系统的数据流程。业务需求回答了要做什么，架构就是回答怎么做的问题。架构的价值数据仓库架构数据仓库的核心功能从源系统抽取数据，通过清洗、转换、标准化，将数据加载到BI平台，进而满足业务用户的数据分析和决策支持。数据仓库架构包含三个部分：数据架构、应用程序架构、底层设

·2021-11-03 11:10

大数据开发之HDFS的API操作过程

创建maven工程并导入jar包clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.apache.hadoophadoop-client2.6.0-mr1-cdh5.14.0org.apache.hadoophadoop-common2.6.0-cdh5.14.0org.apache.hadoophadoop

·2021-10-28 11:08

大数据开发之Hadoop集群安装教程

配置文件的修改注意：以下所有操作都在node01主机进行。1.1hadoop-env.sh1、介绍文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。2、配置cd/export/server/hadoop-3.0.0/etc/hadoo

·2021-10-27 12:55

JuiceFS 如何帮助趣头条超大规模 HDFS 降负载

王海胜，趣头条大数据工程师，10年互联网工作经验，曾在eBay、唯品会等公司从事大数据开发相关工作，有丰富的大数据落地经验。

·2021-10-26 18:08

大数据开发之Spark 基础入门学习

·2021-10-26 11:59

大数据开发之Spark入门

什么是Spark?·大数据的电花火石。·Spark类似于MapReduce的低延迟的交互式计算框架。·Spark是UCBerkeleyAMPLab开发的是一种计算框架，分布式资源工作交由集群管理软件（Mesos、YARN）。·Spark是处理海量数据的快速通用引擎大数据培训。Spark发展历程·Hadoop在2003年从Nutch发展到Lucene，在Yahoo成长，进入Apache孵化，2008

·2021-10-25 12:04

大数据开发工程师目录

阶段一：走进大数据第1周学好大数据先攻克Linux在步入大数据殿堂之前，先带领大家快速掌握大数据的必备技能：Linux的操作使用，为后面学习大数据技术打下坚实基础。课程安排：1、掌握Linux虚拟机的安装和配置2、使用ScecureCRT连接Linux虚拟机3、掌握Linux中常见高级命令(vi、wc、sort、date、jps、kill等命令)的使用4、掌握Linux中三剑客(grep、sed、

EventQL·2021-10-22 10:31

大数据开发之Spark SQL/Hive实用函数分享

字符串函数1.concat对字符串进行拼接：concat(str1,str2,...,strN)，参数：str1、str2...是要进行拼接的字符串。--returntheconcatenationofstr1、str2、...,strN--SparkSQLselectconcat('Spark','SQL');2.concat_ws在拼接的字符串中间添加某种分隔符：concat_ws(sep,[

·2021-10-21 10:27

大数据开发之Yarn和Spark UI界面获取的方法

一、Yarn以获取Yarn界面队列信息为例：1.接口（HTTPRequest）http://ip:port/ws/v1/cluster/...ip和port：YarnResourceManageractive节点的ip地址和端口号2.请求方式GET3.ResponseHeaderHTTP/1.1200OKContent-Type:application/jsonTransfer-Encoding:

·2021-10-19 11:46

大数据开发Linux系统入门之netstat 命令学习

netstat命令用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。netstat是在内核中访问网络及相关信息的程序，大数据培训它能提供TCP连接，TCP和UDP监听，进程内存管理的相关报告。如果你的计算机有时候接收到的数据报导致出错数据或故障，你不必感到奇怪，TCP/IP可以容许这些类型的错误，并能够自动重发数据报。但如果累计的出错情况数目占到所接

·2021-10-14 10:51

大数据开发中相关HDFS的这几个问题应该知道

1.Namenode的安全模式？安全模式是Namenode的一种状态（Namenode主要有active/standby/safemode三种模式）。2.哪些情况下，Namenode会进入安全模式？a.Namenode发现集群中的block丢失率达到一定比例时（默认0.01%），大数据培训Namenode就会进入安全模式，在安全模式下，客户端不能对任何数据进行操作，只能查看元数据信息b.在hdfs

·2021-10-13 12:19

大数据开发中HBase高级特性和rowkey设计分析

大数据培训学习过程中，经常会使用到HBase高级特性，在阐述HBase高级特性和热点问题处理前，首先回顾一下HBase的特点：分布式、列存储、支持实时读写、存储的数据类型都是字节数组byte[]，主要用来处理结构化和半结构化数据，底层数据存储基于hdfs。同时，HBase和传统数据库一样提供了事务的概念，但是HBase的事务是行级事务，可以保证行级数据的原子性、一致性、隔离性以及持久性。布隆过滤器

·2021-10-12 10:23

大数据开发技术之Spark RDD详解与依赖关系

RDD（ResilientDistributedDatasets）弹性的分布式数据集，又称Sparkcore，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础大数据培训。•Resilient（弹性的）提到大数据必提分布式，而在大规模的分布式集群中，

·2021-10-11 10:03

大数据开发之如何处理Kafka集群消息积压问题

通常情况下，企业中会采取轮询或者随机的方式，通过Kafka的producer向Kafka集群生产数据，来尽可能保证Kafk分区之间的数据是均匀分布的。在分区数据均匀分布的前提下，如果我们针对要处理的topic数据量等因素，设计出合理的Kafka分区数量。大数据培训对于一些实时任务，比如SparkStreaming/Structured-Streaming、Flink和Kafka集成的应用，消费端不

·2021-10-09 12:52

大数据开发技术之如何将数据导入到HBase

在实际生产环境中，将计算和存储进行分离，是我们提高集群吞吐量、确保集群规模水平可扩展的主要方法之一，并且通过集群的扩容、性能的优化，确保在数据大幅增长时，存储不能称为系统的瓶颈。大数据培训具体到我们实际的项目需求中，有一个典型的场景，通常会将Hive中的部分数据，比如热数据，存入到HBase中，进行冷热分离处理。我们采用Spark读取Hive表数据存入HBase中，这里主要有两种方式：通过HBas

·2021-10-08 11:24

CTO 200W，C++ 大数据杭州独角兽高薪招聘

150-200W现金，财富自由机会；杭州独角兽，大数据开发专家，开发方向,70-110W；REACT前端40-80W；软件架构师50-90W;GIS工程师40-80W；

·2021-10-03 20:01

2021年超全超详细的最新大数据开发面试题，附答案解析 – 过往记忆

文章目录1Hadoop1.11.请说下HDFS读写流程1.22.HDFS在读取文件的时候,如果其中一个块突然损坏了怎么办1.33.HDFS在上传文件的时候,如果其中一个DataNode突然挂掉了怎么办1.44.NameNode在启动的时候会做哪些操作1.55.SecondaryNameNode了解吗，它的工作机制是怎样的1.66.SecondaryNameNode不能恢复NameNode的全部数据

·2021-09-25 10:00

37 手游基于 Flink CDC + Hudi 湖仓一体方案实践

本文作者是37手游大数据开发徐润柏，介绍了37手游为何选择Flink作为计算引擎，并如何基于FlinkCDC+Hudi构建新的湖仓一体方案，主要内容包括：FlinkCDC基本知识介绍Hudi基本知识介绍

·2021-09-24 11:36

大数据开发技术之Spark Job物理执行解析

一个复杂job逻辑执行图：代码贴在本章最后。给定这样一个复杂数据依赖图，如何合理划分stage，并未确定task的类型和个数？一个直观想法是将前后关联的RDDs组成一个stage，大数据培训每个箭头生成一个task。对于两个RDD聚合成一个RDD的情况，这三个RDD组成一个stage。这样虽然可以解决问题，但显然效率不高。除了效率问题，这个想法还有一个更严重的问题：大量中间数据需要存储。对于tas

·2021-09-24 10:59

大数据开发涉及到的技术分类有哪些

大数据培训开发本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。大数据价值的完整体现需要多种技术的协同。大数据关键技术涵盖数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。大数据采集技术大数据

·2021-09-16 14:16

大数据开发工程师

download：大数据开发工程师代码自动生成mybatis-generator-maven-plugin的idea自动生成插件org.mybatis.generatormybatis-generator-maven-plugin1.3.2D

·2021-09-10 21:26

大数据开发基础入门与项目实战（二）Java Web数据可视化之4.Linux基本操作命令和功能

文章目录前言1.常用Linux命令的基本使用（1）Linux常用快捷键（2）命令格式及帮助手册使用（3）切换目录的命令（4）展示目录的命令（5）创建目录和删除目录（6）创建文件和删除文件（7）复制与剪切命令（8）cat查看文件命令（9）more和less命令查看文件（10）head命令和tail命令查看文件（11）重定向输出符号（12）管道符及逻辑控制&&（13）history查看历史命令2.打包

cutercorley·2021-09-08 21:10

大数据开发基础入门与项目实战（二）Java Web数据可视化之3.Linux概述、安装和结构

文章目录前言1.Linux概述（1）Linux简介（2）Linux的应用领域及版本介绍2.安装Linux（1）VMWare的安装（2）使用VMWare构建虚拟机器（3）安装CentOS操作系统（4）配置静态IP（5）给虚拟机设置快照（6）客户端连接工具的介绍和使用3.Linux结构（1）Linux组成（2）Linux目录结构总结前言本文主要介绍了Linux的概述、安装和结构，主要包括Linux概述

cutercorley·2021-09-07 22:29

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之2.HDFS分布式文件系统

文章目录前言1.HDFS特点2.命令行和API操作HDFS（1）Shell命令行客户端（2）API客户端连接HDFS的两种方式（3）API客户端上传下载文件（4）API客户端文件详情及文件类型判断（5）API客户端IO流操作（6）API客户端IO流的seek读取3.HDFS读写机制解析4.HDFS元数据管理机制（1）Namenode、Fsimage及Edits编辑日志（2）2NN及CheckPoi

cutercorley·2021-09-04 21:36

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之1.Hadoop简介及Apache Hadoop完全分布式集群搭建

文章目录前言1.大数据简介（1）知识体系（2）大数据定义及应用场景（3）大数据发展趋势及从业人员发展路线2.Hadoop简介3.Hadoop的重要组成4.ApacheHadoop完全分布式集群搭建（1）虚拟机环境准备（2）环境变量配置（3）集群规划实施（4）编写集群分发脚本（5）集群启动Ⅰ单节点启动Ⅱ集群群起Ⅲ集群停止（6）集群测试（7）历史日志服务器配置总结前言本文主要介绍了Hadoop简介及A

cutercorley·2021-09-03 22:51

Python网易云音乐爬虫大数据分析可视化系统——大屏数据可视化开发之路

介绍现在比较流行的大数据数据可视化都是大屏，有钱的人会使用阿里云全家桶的DataV或者商业化的大屏解决方案，但是在国内还是小公司比较多，本人50年大数据开发经验，精通数据可视化，曾经处理过百万亿级别的数据

haochengxu2022·2021-08-14 17:58

阿里云 MaxCompute 2021-7 月刊

·2021-08-10 15:19

数栈技术分享前端篇：TS，看你哪里逃~

数栈是—站式大数据开发平台，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，

·2021-08-09 19:15

大数据开发-Go-新手常遇问题

真正在工作中用Go的时间不久，所以也作为新手，总结了一些常见的问题和坑Go中指针使用注意点//1.空指针反向引用不合法packagemainfuncmain(){varp*int=nil*p=0}//inWindows:stopsonlywith://runtimeerror:invalidmemoryaddressornilpointerdereference//2.文字或者常量引用也不合法co

·2021-08-08 19:00

推荐频道

【大数据开发】