040-大数据技术第29页

大数据技术知识的学习及其切入点

作为大数据技术的学习者和应用开发者，应该从哪个角度入手掌握大数据技术?在目前纷繁复杂的各类教材和参考书中如何选择适合自己的书籍?本文介绍并分析了学习大数据技术时，需要考虑的问题。

yoku酱·2023-04-05 06:57

Spark性能优化之道——解决Spark数据倾斜的N种姿势

图片源自网络AdaptiveQueryExecution(AQE)是英特尔大数据技术团队和百度大数据基础架构部工程师在Spark社区版本的基础上，改进并实现的自适应执行引擎。近些年来，Spark

TASKCTL·2023-04-05 05:34

键盘敲烂，年薪百万，冲啊！

大家好，我是一名来自广西民族大学相思湖学院的大学二年级的学生，我的专业是数据科学与大数据技术，我平时非常好学，常常一天都蹲在如书馆看书学习，除了完成学业课程的学习之外，平时也喜欢读一些文学书。

林先生-1·2023-04-04 17:26

KaiwuDB 成为中国信通院数据库应用创新实验室-汽车行业工作组副组长单位

3月29日，中国通信标准化协会大数据技术标准推进委员会在杭州召开本年度第一次全体工作会议。

KaiwuDB·2023-04-04 15:09

大数据技术人员工具包最全集合

数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程，最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家。数据科学家有其独特的基本思路与常用工具，本文全面梳理数据分析师和数据科学家使用的工具包，包括开源的技术平台相关工具、挖掘分析处理工具、其它常

大数据—————————————————·2023-04-04 11:29

数据科学家和大数据技术人员工具包

数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享，提高数据科学人员素质。数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个

weixin_34153893·2023-04-04 10:14

数据仓库、数据湖、数据中台一文读懂【1】

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对

笔名辉哥·2023-04-04 10:03

12月27日全球区块链政策动向

BB财经·2023-04-04 10:15

多卡聚合路由器在视频可视化指挥调度的解决方案

公共安全指挥调度的发展趋势是利用4K技术，将处警现场画面清晰的传输到指挥平台，并利用人脸识别技术、人工智能技术和大数据技术，分析视频画面内的人、物、态，进行态势预警，为决策提供科学依据，实现现场指挥部、

8418737a892e·2023-04-04 07:49

Apache Hive

hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL到MapReduce的转换。

祈人之忧·2023-04-04 07:26

分布式对象存储——Apache Hadoop Ozone

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-04-04 07:15

Apache Hive 的 SQL 执行架构

前言本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-04-04 07:36

大数据技术之 HBase简介

大数据技术之HBase第1章HBase简介1.1HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

大数据小理·2023-04-04 06:40

大数据技术之Hbase

目录目录1.部署Hbase（伪分布式）1.1安装zookeeper1.2安装hbase（伪分布式）2.快速上手HBASE2.1Hbase介绍2.1.1名词解释编辑2.1.2逻辑存储模型2.1基础命令2.2DDL命令2.3增删改查命令2.4Hbase的命令空间2.5JavaAPI的使用3.Hbase架构原理3.1Region概念解释3.2HBase详细架构3.3HRegionServer详解3.4H

小猫不会去楼兰捉虫·2023-04-04 06:02

Apache Doris核⼼功能 | 数据模型和物化视图

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-04 06:14

大数据技术之Zookeeper

ZooKeeper是什么是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。为什么ZooKeeper数据保存在内存中，这意味着ZooKeeper可以实现高吞吐量和低延迟数量。Zookeeper实现过程中非常重视高性能，高可

code华奇·2023-04-04 00:27

大数据技术高频面试题汇总

wespten·2023-04-03 23:50

【学习笔记】大数据技术之Kafka3.x（生产调优手册）

生产调优手册第1章Kafka硬件配置选择1.1场景说明1.2服务器台数选择1.3磁盘选择1.4内存选择1.5CPU选择1.6网络选择第2章Kafka生产者2.1Kafka生产者核心参数配置2.2生产者如何提高吞吐量2.3数据可靠性2.4数据去重2.5数据有序2.6数据乱序第3章KafkaBroker3.1Broker核心参数配置3.2服役新节点/退役旧节点3.3增加分区3.4增加副本因子3.5手动

在学习的王哈哈·2023-04-03 23:48

【学习笔记】大数据技术之Hadoop（生产调优手册）

这里写目录标题1.HDFS—核心参数1.1NameNode内存生产配置1.2NameNode心跳并发配置1.3开启回收站配置2.HDFS—集群压测2.1测试HDFS写性能2.2测试HDFS读性能3.HDFS—多目录3.1NameNode多目录配置3.2DataNode多目录配置3.3集群数据均衡之磁盘间数据均衡4.HDFS—集群扩容及缩容4.1添加白名单4.2服役新服务器4.3服务器间数据均衡4.

在学习的王哈哈·2023-04-03 23:48

媒体数据中台建设方法论和落地实践

本文围绕当前媒体机构的转型需求，百分点科技大数据技术团队系统地介绍了百分点科技媒体数据中台建设方法论及实践成果。

Percent_bigdata·2023-04-03 23:08

尚硅谷大数据技术Hadoop教程-笔记06【Hadoop-生产调优手册】

视频地址：尚硅谷大数据Hadoop教程（Hadoop3.x安装搭建到集群调优）尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术

延锋L·2023-04-03 23:32

大数据平台常用工具集合

大数据技术在过去的几十年中取得非常迅速的发展

加米谷大数据科技·2023-04-03 22:23

一篇文章搞懂 Flume 的架构设计

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2023-04-03 21:34

大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态

）2.3Hadoop三大发行版本（了解）2.4Hadoop的优势（4高）2.5Hadoop组成（面试重点）2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce架构概述2.6大数据技术生态体系

Lcreator·2023-04-03 20:56

你是如何看待IT行业大数据工程师干不过35岁？

现在大数据技术人才的短缺，在互联网圈里越久，资历越老，越受欢迎。无论是对编程的深入研究，还是对大数据技术的深有体会，都将是每个企业不可多得的人才。

金曜软件工程师·2023-04-03 19:44

最新2019学习路线，零基础怎么系统学习大数据？

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。零基础怎么系统学习大数据?首先我们先了解一下什么是大数据。"

金光闪闪耶·2023-04-03 17:04

TDH社区版上新宽表数据库Hyperbase，轻松实现海量数据的毫秒级精确检索

日前，为了降低用户接触使用大数据技术的门槛以及成本，星环科技推出TDH社区版（TranswarpDataHubCommunityEdition）来帮助企业用户、高校师生、科研机构以及其他专业开发人更简单

星环科技·2023-04-03 11:05

转：一位10年Java工作经验的架构师聊Java和工作经验

对分布式服务架构与大数据技术有深入研究，具有丰富的B/S架构开发经验与项目实战经验，擅长敏捷开发模式。国内开源软件推动者之一，SmartFramework开源框架创始人。

av1231234·2023-04-03 09:48

每天一分钟040-底线

前两天有个朋友跟我说到了他收房租的事情。他的租客一拖再拖，原先预收的2个月押金，现在已经快消耗完1个月了，还想他宽限几天。我朋友被他们赖得没得办法，又给他们延长了几天。当我听到后，我坚决反对，我的理由是：押金就是一个相互制约，一旦押金没有了，说不定还会出什么事情，而且这个人已经违约了，最好尽快收回房子。其实我朋友的性格是挺温和的，他用在乎和气，忘记了自己的底线，有时候真的整的自己很狼狈，吃了很多的

家有为熊楠·2023-04-03 04:47

Flink 笔记01：安装部署与快速入门

/Flink笔记01：安装部署与快速入门一、课程回安排与内容提纲大数据技术框架转折点：2017年，天猫双十一大屏展示，由以前JStorm框架变为Blink（Flink）。

章鱼哥TuNan&Z·2023-04-03 03:55

典型行业大数据应用和安全风险和解决方案

甚至大数据技术本身也被攻击者所利用。能够应对核威慑的，只有核威慑本身；能够应对大数据攻击技术的，也只有大数据安全技术。目前安全行业的大数据应用场景主要包括等几类：（一）网络安全态势

maoguan121·2023-04-03 03:14

大数据架构简介

大数据技术其实是分布式技术在数据处理领域的创新性应用，其本质和此前讲到的分布式技术思路一脉相承，即用更多的计算机组成一个集群，提供更多的计算资源，从而满足更大的计算压力要求。

朝闻道-夕死可矣·2023-04-02 23:24

ClickHouse原理解析与应用实践

第1章ClickHouse的前世今生在大量数据分析场景的解决方案中，传统关系型数据库很快就被Hadoop生态所取代传统关系型数据库所构建的数据仓库，被以Hive为代表的大数据技术所取代数据查询分析的手段也层出不穷

yeedom·2023-04-02 22:45

大数据平台架构及主流技术栈

Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。

李旭me·2023-04-02 22:53

分布式系统：数据一致性解决方案

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-02 21:50

一文读懂大数据概念、处理方法和流行技术

本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。什么是大数据？

3d游戏建模经验交流·2023-04-02 11:05

Spark编程基础-（一）大数据技术概述

TableofContents1.大数据时代1.1大数据时代为什么会到来？1.1.1大数据产生的技术支撑(3个)1.1.2数据产生方式的变革2.大数据概念2.1大量化2.2多样化2.3快速化2.4价值密度低3.大数据的影响3.1“计算”和“数据”的区别是什么？3.2大数据时代在思维层面有什么影响呢？（3方面影响）4.大数据关键技术4.1数据采集4.2数据存储4.3数据处理4.4数据隐私和安全4.5

Sophia$·2023-04-02 09:30

Python综合训练：学生信息管理系统

班软件技术信息工程学院123456789122020002王晓刚男184班软件技术信息工程学院123456789122020003唐雨涵女194班软件技术信息工程学院123456789122020101张三丰男184班大数据技术与应用信息工程学院

FlyWay1号·2023-04-02 04:48

数据湖技术架构

潘永青·2023-04-01 23:56

【JAVA】学习java 运行环境配置

是一种高级编程语言,现在的java的就业岗位多,而java语言主要是开发应用程序,我个人对这方面也有浓厚的兴趣,现在市面上的手机应用,无论是安卓还是ios都有java开发的参与,还有就是软件工具、嵌入式、大数据技术等

爱吃草的羊驼·2023-04-01 21:15

大数据应用发展史：从搜索引擎到人工智能

我们对大数据技术的使用也经历了一个发展过程。从最开始的Google在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展，大数据应用也从曲高和寡走到了今天的遍地开花。

星海梦境·2023-04-01 21:02

突破信息噪音：TOOM带您了解舆情监测系统为你解码大数据时代

舆情监测系统是一种基于大数据技术的监测工具，能够实时、全面地监测互联网上的信息，并将其进行分析和整合，帮助用户了解公众的态度和看法，做出更明智的决策。以下是舆情监测系统的一些应用案例，让我们更深入

执伞人ONLY·2023-04-01 20:07

舆情监测系统有哪些优势，TOOM舆情监测的意义是什么?

舆情监测系统是一种基于大数据技术的舆情分析工具，可以帮助企业、政府等机构实时监控公众对其的态度和看法。

执伞人ONLY·2023-04-01 20:37

大数据舆情监控应用平台，TOOM大数据舆情监控系统的作用

大数据舆情监控应用是利用大数据技术对社会舆情的收集、分析、挖掘和展示的工具。它通常会收集和分析各种社交媒体、新闻媒体、博客等信息，以了解舆情动态和趋势。

执伞人ONLY·2023-04-01 20:35

大数据舆情监测

大数据舆情监测是当前比较流行的一项监测，今天，大数据技术的应用范围日益广泛。