Hadoop认知

2024-JAVA-大数据-面试汇总_大数据java部门面试(1)

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能33.说说内部表和外部表的区别？
2401_84141419·2025-02-07 19:15

大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
m0_74823336·2025-02-07 16:57

[特殊字符] 深入解析Java反射机制：从原理到实战应用（附完整代码示例）

一、反射机制全景认知1.1什么是反射？官方定义：反射（Reflection）是Java语言提供的运行时自省能力，允许程序：动态获取类的元数据（类名/方法/字段/注解等）️动态创建对象实例⚡动态
BrightChen666·2025-02-07 14:42

Hbase基础

1.HBase简介HBASE理论HBase是一个基于Hadoop的分布式、面向列的开源数据库，对大数据实现了随机定位和实时读写。
yandao·2025-02-07 13:38

很多人不懂什么是优势

如果你一路从学校到职场，直到最近才由于各种原因（比如裁员压力、内卷、年龄焦虑...）考虑发展第二曲线，那这篇文章也许会改变你对优势的固有认知。说真的，什么是优势？学校与公
·2025-02-07 13:54

关于deepseek的一些普遍误读

我觉得这个话题甚至可以作为一个认知能力的评判标
藤椒味的火腿肠真不错·2025-02-07 12:59

nginx+flume网络流量日志实时数据分析实战_日志数据分析(1)

得到visits模型hadoopjar/export/data/mapreduce/web_log.jarcn.itcast.bigdata.weblog.clickstream.ClickStreamVisit
2401_84182578·2025-02-07 11:22

【大数据入门核心技术-Flume】（二）Flume安装部署

目录一、准备工作1、基本Hadoop环境安装2、下载安装包二、安装1、解压2、修改环境变量3、修改并配置flume-env.sh文件4、验证是否安装成功一、准备工作1、基本Hadoop环境安装参考Hadoop
forest_long·2025-02-07 08:33

漂亮，功能就差？错！优秀可视化大屏一定是颜值体验功能三位一体

1.可视化大屏设计的认知误区与技术本质在传统认知中，可视化系统常被划分为"展示型"与"分析型"两类，前者强调视觉冲击力，后者侧重功能实用性。
贝格前端工场·2025-02-07 02:19

大数据集群搭建基础：Hadoop完全分布式搭建学习指南！！

Hadoop完全分布式搭建学习指南Hadoop版本：Hadoop2.XJDK版本：JDK1.8一、准备工作设置主机名和IP在三台CentOS7.4机器上分别设置主机名和IP：node1:192.168.14.10node2
初次知晓·2025-02-07 01:16

如何处理大规模数据集中的数据处理：Spark和ApacheFlink

文章目录1.简介2.基本概念术语说明数据处理（DataProcessing）任务调度（TaskScheduling）HadoopApacheSparkApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解
AI天才研究院·2025-02-07 01:43

Hudi VS Doris 使用分析

Hudi（HadoopUpsertsDeletesandIncrementals）定位-面向数据湖的增量写入、更新与删除技术。
sunxunyong·2025-02-07 01:13

Hive-Container killed by YARN for exceeding memory limits. 9.2 GB of 9 GB physical memory used. Cons...

Jobabortedduetostagefailure:Task3instage0.0failed4times,mostrecentfailure:Losttask3.3instage0.0(TID62,hadoop7
嘣嘣嚓·2025-02-07 01:41

CDH+Kylin三部曲之三：Kylin官方demo

《CDH+Kylin三部曲之二：部署和设置》：完成CDH和Kylin部署，并在管理页面做好相关的设置；现在Hadoop、Kylin都就绪了，接下来实践Kylin的官方demo；Yarn参数设置Yarn的内存参数设置之后一定要重启
2401_89740692·2025-02-07 00:07

数据开发八股文整理- Hadoop

什么是hadoopHadoop是一个分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题Hadoop运行模式本地模式和为分布式模式都是单机运行完全分布模式即是多台服务器组成分布式环境Hadoop
兔子宇航员0301·2025-02-06 18:59

HIVE常见面试题

1.简述hiveHive‌是一个构建在Hadoop之上的数据仓库工具，主要用于处理和查询存储在HDFS上的大规模数据。
兔子宇航员0301·2025-02-06 18:59

如何搭建Hadoop高可用集群

一、集群配置图在搭建集群之前，我们要考虑好集群中各个机器的配置。这里以四台机器为例，配置图如下：集群配置图ant151ant152ant153ant154NameNodeNameNodeDataNodeDataNodeDataNodeDataNodeNodeManagerNodeManagerNodeManagerNodeManagerResourceManagerResourceManagerJ
Alcaibur·2025-02-06 13:24

PHP安全防护：深度解析htmlspecialchars绕过与防御策略

1.1htmlspecialchars基础认知//标准用法
小彭爱学习·2025-02-06 12:47

deepseek再爆大招，janus pro炸裂出场

januspro多模态大模型炸裂出场，transformer架构，没有走diffusion路线，再次颠覆行业认知，继续追着OpenAI打。家里有高配电脑的可以玩起来了，网上自己搜索吧。
caoz·2025-02-06 12:15

使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。
qq_44801116·2025-02-06 06:10

【大数据技术】编写Python代码实现词频统计（python+hadoop+mapreduce+yarn）

编写Python代码实现词频统计（python+hadoop+mapreduce+yarn）搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell）搭建完全分布式高可用大数据集群
Want595·2025-02-06 06:05

Hadoop1.0和2.0的主要区别

Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，组件主要由HDFS和MapReduce两个系统组成，HDFS是一个分布式文件存储系统，MapReduce
web_15534274656·2025-02-06 03:43

Hadoop1.0-HDFS介绍

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr·2025-02-06 03:13

SQL on Hadoop

SQL_on_HadoopSQLonHadoop概述Hadoop提供了一种分布式存储和计算的平台，为了解决传统关系型数据库无法处理海量数据的问题，通过扩展SQL的方式在Hadoop上执行分布式查询，称之为
Lostgreen·2025-02-06 03:42

物联网架构之Hadoop

hadoop体系结构Hadoop是一个开源的分布式计算平台，主要用于存储和处理大规模数据集。
moluxiangfenglo·2025-02-06 01:54

kafka的高可用情况下,挂掉一个节点,为什么消费者消费不到数据了

brokerkafka集群kafka01kafka02kafka032.创建topictest(分区3副本3)kafka-topics.sh--create--topic'test'--zookeeper'hadoop01
黄土高坡上的独孤前辈·2025-02-05 21:55

云计算：从基础架构原理到最佳实践之：云计算大数据分析与处理

禅与计算机程序设计艺术文章目录1.简介2.云计算概述2.1云计算简介2.2云计算特点3.大数据的定义与特点3.1大数据定义3.2大数据特点4.大数据分类、存储和处理技术4.1大数据分类4.2大数据存储和处理技术5.Hadoop-Cloud
AI天才研究院·2025-02-05 20:18

从零到一学习c++（基础篇--筑基期三-const限定符）

从零到一学习C++（基础篇）作者：羡鱼肘子温馨提示1：本篇是记录我的学习经历，会有不少片面的认知，万分期待您的指正。
羡鱼肘子·2025-02-05 19:13

大数据相关开源项目汇总

调度与管理服务Azkaban是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。
万里浮云·2025-02-05 17:03

60款顶级大数据开源工具

一、Hadoop相关工具1.HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。
La victoria·2025-02-05 17:33

盘点大数据生态圈，那些繁花似锦的开源项目

盘点大数据生态圈，那些繁花似锦的开源项目发表于12小时前|2466次阅读|来源CSDN|6条评论|作者仲浩大数据开源HadoopSparkwidth="22"height="16"src="http
AI周红伟·2025-02-05 17:30

DeepSeek-R1 低成本训练的根本原因是？

近期，国产大模型DeepSeek-R1的横空出世，以其卓越的性能和极具竞争力的成本，打破了这一固有认知。它在MATH基准测试中，以77.5%的准确率媲美OpenAIo1模型，但训练成本却仅为其三
明哲AI·2025-02-05 11:10

为什么我的CDH不用Hue，改用Scriptis了？

理性谈谈Hue的优缺点平时做数据开发用的比较多的是CDH的Hue，Hue提供了对接Hadoop平台的UI界面，可以对Hbase数据进行直接操作，执行Mapreducer任务时有可视化的执行界面，进行数据报表和
兔子那么可爱·2025-02-05 09:58

Hadoop HDFS 安装详细步骤

Hadoop安装详细步骤安装前分别在master、slave1、slave2三台机器的root用户下的主目录下创建目录bigdata，即执行下面的命令：mkdir~/bigdataHadoop安装包下载检查
碟中碟山·2025-02-05 07:16

Hadoop框架及HDFS详细概述

文章目录Hadoop概述一、Hadoop1、分布式和集群2、Hadoop框架2.1概述2.2版本更新2.3Hadoop架构详解2.4官方示例2.4.1圆周率练习2.4.2词频统计3、Hadoop的HDFS3.1
搬砖人_li·2025-02-05 07:14

【2024年国内一些知名的免费AI对话工具的对比】

体验地址:https://yiyan.baidu.com/讯飞星火认知大模型特点:支持多风格长文本生成
龙少9543·2025-02-05 01:02

大数据：一种收集、分析和使用数据的文化

与所有IT投资一样，大数据成功的关键在于迭代，而不是关于Hadoop、NoSQL、Splunk或者任何特定的供应商或技术。
程序猿广坤·2025-02-04 22:39

揭秘DeepSeek R1大模型：它如何像人类一样“思考”？

在人工智能领域，大模型正在掀起一场认知革命。从聊天对话到代码生成，从数据分析到创意写作，大模型的能力边界不断被突破。而近期备受关注的DeepSeekR1，凭借更高效的推理能力和更低能耗，成为行业焦点。
大模型扬叔·2025-02-04 20:00

陆面过程中辐射的定义-总辐射辐照度、向下短波辐射、向下长波辐射

文章目录一、这个帖子的内容可能不正确，其实我也没找到正确的答案，然后就自己搜，然后根据自己的认知写的。
永康李·2025-02-04 10:36

Ubuntu下Hadoop的安装与使用

1、创建hadoop用户打开终端sudouseradd-mhadoop-s/bin/bashsudopasswdhadoop//为hadoop设置密码sudoadduserhadoopsudo//为hadoop
ly201552y·2025-02-04 07:44

【数据仓库】hadoop web UI 增加账号密码认证

升级了hadoop版本到3.3.6,未配置任何鉴权，默认端口98708088开放到了公网，结果没几天就被挖矿攻击了。通过开放的端口提交了很多非法任务到yarn上，并成功在服务器执行了恶意脚本。
花菜回锅肉·2025-02-04 07:13

Hadoop3.2.1安装-单机模式和伪分布式模式

Hadoop入门篇概述Hadoop是使用Java编写的，是为了解决大数据场景下的两大问题，分布式存储和分布式处理而诞生的，包含很多组件、套件。需要运行在Linux系统下。
花菜回锅肉·2025-02-04 07:13

Spark3.1.2单机安装部署

类似Hadoop，但对Hadoop做了优化，计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代运算的算法场景中。
花菜回锅肉·2025-02-04 07:43

python有趣代码-wtfPython―Python中一组有趣微妙的代码【收藏】

wtfPython是github上的一个项目，作者收集了一些奇妙的Python代码片段，这些代码的输出结果会和我们想象中的不太一样；通过探寻产生这种结果的内部原因，可以让我们对Python里的一些细节有更广泛的认知
weixin_37988176·2025-02-04 04:48

Flink Standalone集群模式安装部署全攻略

二、安装前准备首先，确保已经安装好了Hadoop环境（因为后续配置中涉及到与Hadoop的集成）。三、安装步骤（一）环境准备退出conda的base环境（如果存在
自节码·2025-02-04 04:17

招聘 | 具身智能机器人方向全职作者

工作职责：1、关注具身智能领域新动态新进展；2、持续挖掘撰写具身智能独家原创内容；3、与具身智能领域玩家建立良好联系；4、构建体系化认知和行业洞察。岗位要求：1、对具身智能、前沿科技等科技
·2025-02-03 20:37

Hive 分区和分桶总结

分区介绍2、分区表的操作3、动态分区2、分桶表1、分桶表介绍2、分桶表的操作3、分区表和分桶表的区别参考分区和分桶总结1、分区1、分区介绍由于数据量过于庞大，使用分区，可以并行的进行处理数据，有点类似于Hadoop
Stray_Lambs·2025-02-03 14:23

招聘 | 具身智能机器人方向全职作者

工作职责：1、关注具身智能领域新动态新进展；2、持续挖掘撰写具身智能独家原创内容；3、与具身智能领域玩家建立良好联系；4、构建体系化认知和行业洞察。岗位要求：1、对具身智能、前沿科技等科技
·2025-02-03 12:59

HBase的原理

一、什么是HBaseHBase是一个分布式，版本化，面向列的数据库，依赖Hadoop和Zookeeper（1）HBase的优点提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统(2)HBase表的特性
会探索的小学生·2025-02-03 11:30

Hadoop的基础操作_hadoop常用操作

####下载文件语法：hadoopfs-gethadoopfs-copyToLocal示例：将user/text.txt文件下载到本地/usr/local/下-copyToLocal：复制到本地[root
字节全栈_kYu·2025-02-03 07:28
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他