大数据技术进修班第15页

大数据技术之Hive

目录1.Hive入门1.1什么是Hive1.2Hive的数据存储1.3Hive的系统架构1.4Metastore1.5数据库与数据仓库的区别2.Hive安装部署2.1下载2.2安装MySQL2.3安装hive3.Hive基础使用3.1Hive操作之命令行方式3.2Hive操作之JDBC方式3.3查询后信息显示配置3.4Hive的日志配置4.Hive核心实战4.1数据库操作4.2表的操作4.2.1创

小猫不会去楼兰捉虫·2023-10-28 21:47

处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术

处理大数据的基础架构，OLTP和OLAP的区别，数据库与Hadoop、Spark、Hive和Flink大数据技术2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发

冰露可乐·2023-10-28 21:45

云计算与ai人工智能对高防cdn的发展

然而，随着人工智能（AI）和大数据技术的迅速发展，高防CDN技术也将面临新的挑战和机遇。本文将探讨未来AI和大数据技术对高防CDN技术的影响，并分析其可能的发展方向。

剑盾云安全专家·2023-10-28 21:02

java如何快速入门Hadoop大数据技术？

xyzkenan·2023-10-28 21:01

新手学习大数据技术如何入门?

新手学习大数据技术如何入门?

qq_38397646·2023-10-28 21:27

一名大数据新手，如何成为大数据工程师？附上学习路线

大数据技术最重要的核心在于如何设计可以高性能处理大量数据的程式(highlyscalableprograms.)目前大数据相关工作可以粗分几类。有资料系统串接者，设计大

juan333·2023-10-28 21:25

python数据分析学习心得

随着大数据技术和人工智能的不断发展，数据分析已经成为现代企业不可或缺的一部分。作为一名Python开发者，我也开始学习和探索数据分析的领域。

m0_74342615·2023-10-28 11:50

量分享| 你真的知道什么是“大数据”吗？

对于很多人来说，当他第一次听到“大数据”这个词，会自然而然从字面上去理解——认为大数据就是大量的数据，大数据技术就是大量数据的存储技术。但是，事实并非如此。大数据比想象中复杂。

金豆数据工程师·2023-10-28 09:05

第三课大数据技术之Fink1.13的实战学习-时间和窗口

第三课大数据技术之Fink1.13的实战学习-时间和窗口文章目录第三课大数据技术之Fink1.13的实战学习-时间和窗口第一节时间定义1.1Flink中的时间语义1.2两种时间语义的对比第二节水位线2.1

道教儒佛电磁波·2023-10-28 08:47

Kylin、Druid、ClickHouse核心技术对比

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-10-28 08:28

大数据和智能数据应用架构系列教程之：大数据与社交网络分析

而近几年来，随着互联网公司将大数据平台作为重要竞争力，越来越多的企业开始采用大数据技术进行社会业务的分析与决策。尤其是基于社交网络的分析与挖掘具有十分重要的价值。

禅与计算机程序设计艺术·2023-10-28 07:16

Flink Streaming-Sink

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料100篇原创内容公众号圣诞节快乐该连接器提供了对Flink文件系统抽象支持的文件系统中的分区文件的访问.文件系统连接器本身就被包括在

hyunbar·2023-10-28 02:49

【遇见Doris】6.29线下开发者沙龙分享--Doris主创团队

6月29日，Doris有幸得到中国信通院云大所、大数据技术标准推进委员会的支持，在中国信通院举行了0.11.0新版本预览线下沙龙。各位嘉宾都带来了干货满满的分享。

ApacheDoris·2023-10-28 02:43

参加大数据培训需要多久勒

随着数据量日益暴增，大数据技术越来越火，吸引了很多其他传统行业的目光，大家都想在这个领域分的一杯羹。

在DT时代的路上·2023-10-28 00:55

数智化推送助力用户精准分层，MobPush是如何实现用户价值变现的

MobPush利用丰厚的大数据技术，通过用户标签和全链路数据统计，帮助众多APP

MobTech袤博科技·2023-10-27 19:42

数据管理解决方案 | 零售行业如何搭建全渠道大数据平台？

零售行业数据管理特点随着大数据技术的引进，零售商们的诉求集中在如何收集和利用与业务需求相关的数据，如何有效利用数据来促进业务增长等方面。但零售行业往往门店多、客户多、库存多，数据量大且繁杂，在数据管理

running_elephant·2023-10-27 01:40

【kafka技术篇】kafka数据到底会不会丢失？

博主介绍‍博主主页：淼淼_喵的博客_CSDN博客-Zookeeper,Hadoop,大数据技术领域博主✨主攻领域：【大数据开发】【数据仓库】【ETL】【数据分析】【面试分析】点赞➕评论➕收藏==养成习惯

chad__chang·2023-10-27 01:49

【唠唠嵌入式】__嵌入式方向真的“遥遥领先”吗？

No.1计算机科学与技术No.2数字媒体技术专业No.3信息安全专业No.4数据科学与大数据技术No.5软件工程总结嵌入式待遇如何？嵌入式容易晋升吗？

Rleco_·2023-10-26 23:24

大数据技术与实践

11.1大数据概述11.1.2大数据的定义大数据的“大”是相对而言的，是指所处理的数据规模巨大到无法通过目前主流数据库软件工具，在可以接受的时间内完成抓取、储存、管理和分析，并从中提取出人类可以理解的资讯。11.1.3大数据的4V特征业界普遍认同大数据具有4个V特征(数据量大Volume、变化速度快Velocity、多类型Variety与高价值Value)。简而言之，大数据可以被认为是数据量巨大且

 Mr. 劉℡·2023-10-26 13:10

大数据隐私保护技术综述 - 大数据

大数据隐私保护技术综述-大数据随着大数据技术的发展和广泛应用，人们对于大数据隐私保护的关注逐渐增加。在大数据环境下，个人和组织的隐私信息容易受到泄露和滥用的风险。

NoerrorCode·2023-10-26 08:03

大数据前端团队生存指南

开始前问几个问题：你了解大数据技术吗？为什么需要大数据前端团队（和大数据有什么关联）？大数据前端团队在前端团队中的定位？

悲伤日记·2023-10-26 07:39

大数据技术之Hadoop-入门

第1章Hadoop概述1.1Hadoop是什么分布式：多台服务器共同完成某一项任务。1.2Hadoop发展历史1.3Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP

华尔街的幻觉·2023-10-26 06:14

波利亚对数学老师日常工作的十戒

波利亚曾为中学数学教师开办进修班，他在了解到中学教师需要一个对日常教学直接有所助益的课程。

慕晗蔓·2023-10-25 22:53

尚硅谷大数据技术之电商用户行为数据分析

尚硅谷大数据技术之电商用户行为分析第1章项目整体介绍1.1电商的用户行为电商平台中的用户行为频繁且较复杂，系统上线运行一段时间后，可以收集到大量的用户行为数据，进而利用大数据技术进行深入挖掘和分析，得到感兴趣的商业指标并增强对风险的控制

okbin1991·2023-10-25 16:02

华为携手东方世纪开启防汛抗旱监测预警大数据时代

方案核心基于东方世纪19年来研发的通用洪水预报模型，搭载于华为鲲鹏云平台——实现了专业模型与大数据技术的完美结合，依托华为鲲鹏的强大算力提升了人类抵御洪涝灾害的能力。

祥云气象·2023-10-25 07:01

#后疫情时代的新思考#“大数据+行业”渗透融合全面展开，新业态正处酝酿期丨数据猿公益策划...

不仅各地政府及相关部门纷纷借助大数据技术助力疫

数据猿·2023-10-25 04:39

链动2+1模式：裂变增长，轻松吸引百万用户

链动2+1模式利用互联网大数据技术，采用合法裂变方式，推动业务快速发展。这种模式简单易懂，只需推荐两位朋友购买商城中的礼包即可升级为老板，轻松实现用户增长。该模式中的直接分润机制直接触及消费者内心。

DIZL11·2023-10-25 01:58

大数据技术导论|datawhale组队学习

学习链接：https://datawhalechina.github.io/juicy-bigdata/#/READMETask01阅读第一、二章第一章主要介绍了大数据的概念、应用以及其关键技术。第二章开始介绍hadoop的相关内容。附厦大子雨老师的mooc教程：https://dblab.xmu.edu.cn/blog/285/，提供一些安装步骤！安装过程中遇到的一个比较难搞的就是ssh配置那块

郑粗心·2023-10-24 20:43

测试饱和了? 大数据测试就业薪资和前景究竟怎么样？

只是最基础的岗位需求在慢慢变少了，但行业中比较深的细分岗位，仍存在着非常多的机会，比如大数据测试岗位，看看市场对大数据岗位招聘需求：1那什么是大数据测试随着业务规模越来越大，大数据是现在中大型企业实际面临的问题，大数据技术需要解决的是海量数据

软件测试老莫·2023-10-24 20:35

hadoop 伪分布式模式学习笔记

前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础。这是一篇记录我自己学习的文章，Hadoop的学习方法很多，网上也有很多学习路线图。

金曜软件工程师·2023-10-24 16:44

【算法】加密解密算法（DES、3DES、SM2、SM3、SM4）以及RSA加密算法

DES算法的安全性在一定程度上受到了量子计算和大数据技术的冲击，因为它的密钥长度较短，容易被暴力破解。3DES（TripleDES）算法是DES算法的扩展，也称为三重DES。3DES算法使

奔向理想的星辰大海·2023-10-24 13:10

大数据技术学习笔记（三）—— Hadoop 的运行模式

目录1本地模式2伪分布式模式3完全分布式模式3.1准备3台客户机3.2同步分发内容3.2.1分发命令3.2.2执行分发操作3.3集群配置3.3.1集群部署规划3.3.2配置文件说明3.3.3修改配置文件3.3.4分发配置信息3.4SSH无密登录配置3.4.1配置ssh3.4.2无密钥配置3.5单点启动集群3.5.1启动HDFS集群3.5.2启动YARN集群3.6群起集群3.6.1配置workers

夏木夕·2023-10-24 09:06

大数据技术——Hadoop3.X入门搭建+安装调优（2.HDFS）

文章目录一、HDFS概述1.1HDFS产出背景及定义1.2HDFS优缺点1.3HDFS组成架构1.4HDFS文件块大小（面试重点）二、HDFS的Shell操作（开发重点）2.1基本语法2.2命令大全2.3常用命令实操2.3.1准备工作2.3.2上传2.3.3下载2.3.4HDFS直接操作三、HDFS的API操作3.1客户端环境准备3.2HDFS的API案例实操3.2.1HDFS文件上传（测试参数优

虚神公子·2023-10-24 08:56

大数据技术之Zookeeper实战

Zookeeper实战一、分布式安装部署1、集群规划2、解压安装3、配置zoo.cfg文件4、集群操作二、客户端命令行操作三、API应用1、IDEA环境搭建2、创建ZooKeeper客户端3、创建子节点4、获取子节点并监听5、判断znode是否存在四、案例实战：分布式秒杀————————————————————————————————————————————一、分布式安装部署1、集群规划在bigd

故明所以·2023-10-24 01:40

大数据技术之HBase原理与实战归纳分享-下

文章目录整合Phoenix定义为何要使用安装SHELL操作表的映射简易JDBC示例二级索引二级索引配置文件全局索引包含索引本地索引（localindex）HBase与Hive的集成使用场景集成方法示例整合已有HBase表示例整合Phoenix定义Phoenix官网地址https://phoenix.apache.org/Phoenix作为一款OLTP和ApacheHadoop的操作分析，是面向HB

IT小神·2023-10-24 01:03

Apache Doris (四十六）： Doris数据更新与删除 - 批量删除

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

IT贫道·2023-10-23 22:43

数据有价值吗？如何评估？

了解数据的真正价值并熟练利用大数据技术的公司，正在得到持续增长。按市值计算，六大公司中有五家是大数据企业，包括苹果、亚马逊、Alphabet、微软、Facebook。

数据治理侠·2023-10-23 21:50

大数据技术之-presto

一、Presto简介1、Presto概念Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。注意：虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、Oracle的替代品，也不能用来处理在线事务（OLTP）2、Presto应用场景

是小先生·2023-10-23 21:24

解读大数据与Hadoop之间的关系

大数据技术一旦进入超级计算时代，很快便可应用于普通企业，在遍地开花的过程中，它将改变许多行业业务经营的模式。但是很多人对大数据存在误解，下面就跟着小编来缕一缕大数据与Hadoop之间的关系。

qunqun8889·2023-10-23 01:05

深入探索大数据：常见案例解析与源代码分享

本文将深入探讨大数据的常见应用案例，并分享相应的源代码，帮助读者更好地理解大数据技术的运用。用户行为分析大数据技术在用户行为分析方面发挥着重要作用。

心之所向，或千或百·2023-10-23 01:17

大数据的简介：探索大规模数据的力量

大数据技术的出现，使得我们能够处理和分析这些庞大的数据集，从而揭示隐藏在其中的模式、趋势和见解。在大数据领域，有几个关键概念需要

雨中徜徉的思绪漫溢·2023-10-22 15:20

云计算与大数据技术第一章

1.1什么是云计算云计算概述云计算(CloudComputing)是基于互联网的相关服务的增加，使用和交付模式，通常涉及通过互联网来提供动态易扩展且常为虚拟化的资源，是并行计算(ParallelComputing)、分布式计算(DistributedComputing)和网格计算(GridComputing)等的融合和发展，也是虚拟化(Virtualization)，效用计算(UtilityCom

常愿43·2023-10-22 12:22

大数据技术之Kafka

文章目录Kafka四部分第1章Kafka概述1.1初识Kafka1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka生产者2.1生产者消息发送流程2.2生产者分区2.3生产者发送消息的分区策略2.4数据可靠性（去重）第3章KafkaBroker3.1KafkaBroker工作流程3.2Leader和Follower故障处理细节3.2.1

Red-P·2023-10-22 10:16

大数据技术学习笔记（二）—— Hadoop运行环境的搭建

目录1模版虚拟机准备1.1修改主机名1.2修改hosts文件1.3修改IP地址1.3.1查看网络IP和网关1.3.2修改IP地址1.4关闭防火墙1.5创建普通用户1.6创建所需目录1.7卸载虚拟机自带的openJDK1.8重启虚拟机2克隆虚拟机3在hadoop101上安装JDK3.1传输安装包并解压3.2配置JDK环境变量3.3测试JDK是否安装成功4在hadoop101上安装Hadoop4.1解

夏木夕·2023-10-22 08:08

什么是大数据测试？有哪些类型？应该怎么测?

随着目前世界上各个国家使用大数据应用程序或应用大数据技术场景的数量呈指数增长，相应的，对于测试大数据应用时所需的知识与大数据测试工程师的需求也在同步增加。

软件测试曦曦·2023-10-22 07:09

解决增长问题，才是企业突围的核心之道

2018年终，腾讯用大数据技术抓去了国内企业界最被提及最多的词语——增长。人口红利消退，买方市场带来的影响在各个行业愈加明显，“增长”一词成了中国乃至全球企业家的核心焦虑和关注点。

神马运营·2023-10-21 22:52

问卷调查法与后台数据的融合分析

特别是在移动互联网和大数据技术的驱动下，层出不穷的互联网企业利用产品特性及后台埋点技术获取了海量的用户数据，并基于后台数据分析开展多

小虾米被抢注·2023-10-21 09:32

大数据平台开发经验

如果我是一个有着10年大数据平台开发经验的开发者，面试时可能需要准备以下知识大数据生态系统：**熟悉大数据技术栈，如Hadoop、Spark、Flink等，了解它们的原理、用途和优劣势。

三思而后行，慎承诺·2023-10-21 07:04

短视频矩阵源码开源搭建--基于PHP语言

短视频矩阵系统是一种基于云计算和大数据技术的智能化视频分发系统，旨在为用户提供个性化的短视频推荐和播放服务。

--- za898668·2023-10-21 05:00

大数据技术学习之 ZooKeeper应用——解决分布式系统单点故障。

大数据课程涵盖Java、spark、Hadoop等内容，而不是Java中涵盖大数据，现在是大数据的时代，学习大数据课程之前必须先了解大数据课程大纲，否则很容易学到假的大数据课程。今天小编给大家分享一下：ZooKeeper应用--解决分布式系统单点故障。1.单点故障问题什么是分布式系统中的单点故障：通常分布式系统采用主从模式，就是一个主控机连接多个处理节点。主节点负责分发任务，从节点负责处理任务，当

千锋大数据·2023-10-21 02:46

推荐频道

大数据技术进修班