Hadoop核心技术

深入理解Kubernetes核心技术

大家好，我是升仔Kubernetes，作为当今最流行的容器编排工具，其核心技术的理解对于任何希望在现代云计算领域发展的开发者来说都是必不可少的。
升仔聊编程·2024-02-01 09:31

支撑微博千亿调用的轻量级RPC框架：Motan

2013年加入新浪微博，作为核心技术成员参与微博RPC服务化、混合云等多个重点项目，当前负责MotanRPC框架的维护与架构改进。专注于高可用架构及服务中间件开发方向。
高可用架构·2024-02-01 09:26

CH32V003国产青稞32位RISC-V2A内核低成本MCU单片机

MCU厂商可以选择取得第三方处理器内核IP，也可以自研掌握MCU核心技术，与应用结合提升专业性和灵活性，避免核心部件和业务的外包，确保芯片"内核自由"，实现真正的处理器内核级别的自主可控。
dnsj5343·2024-02-01 08:14

大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

上一篇：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码
王哪跑nn·2024-02-01 07:53

大数据 - Spark系列《一》- 从Hadoop到Spark：大数据计算引擎的演进

目录1.1Hadoop回顾1.2spark简介1.3Spark特性1.通用性2.简洁灵活3.多语言1.4SparkCore编程体验1.4.1spark开发工程搭建1.开发语言选择：2.依赖管理工具：1.4.2Spark
王哪跑nn·2024-02-01 07:43

HBase介绍

GFS是GoogleFileSystem，开源实现是HDFS（HadoopFileSystem）。MapReduce计算框架的开源实现是HadoopMapReduce。
M.Rambo·2024-02-01 06:09

2019/2/20Hbase单节点安装

hbase（hbase-2.0.0-bin.tar.gz）解压过程即为安装过程解压=》为了让hbase的存放路径指定ns这个组名（防止出先不认识“ns”的错误）[root@zhiyou01~]#cp/usr/hadoop
阳光正好微风不燥_c509·2024-02-01 05:39

zookeeper集群群起脚本

所以要写个脚本，我的主机名是有规律的hadoop101;hadoop102;hadoop103所以创建脚本的过程如下：到/usr/local/bin目录下touch一个文件，这里我叫zkstartUtil.sh
小北觅·2024-02-01 05:01

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（
kk8_·2024-02-01 04:33

[绝对要收藏]配置hadoop完全分布式环境

##环境：hadoop-2.7.2，jdk1.8.0_144，CentOS-7-x86_64-Minimal-2009.iso1先创建一个主机2修改id，hostname，hosts3关闭防火墙4连接xshell5
Java小白中的菜鸟·2024-02-01 03:04

Sqoop数据迁移工具

概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
小希 fighting·2024-02-01 03:55

Hadoop 生产调优 (七) --------- MapReduce 与 Yarn 生产经验

目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce生产经验1.MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点：计算机性能CPU、内存、磁盘、网络I/O操作优化数据倾斜Map运行时间太长，导致Reduce等待过久
在森林中麋了鹿·2024-02-01 03:17

windows 下面Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativei...

本地运行，注意两点,配置本地的hadoop环境变量，注意hadoop版本是windows版本，在本地跑的时候遇到Exceptioninthread"main"java.lang.UnsatisfiedLinkError
smartjiang·2024-02-01 02:20

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

一文轻松掌握web3.0知识图谱

一、区块链技术区块链是Web3.0的核心技术之一。它是一个去中心化的、分布式的账本技术，可以确保信息的透明性、不可篡改性和去中心化。常见的区块链平台包括比特币（B
web搅拌机·2024-02-01 02:10

人工智能在现代科技中的应用和未来发展趋势

以下是一些主要的应用和未来发展趋势：机器学习：人工智能的核心技术之一是机器学习，它通过大量数据和算法训练，使机器能够自动学习和改进。
Komorebi_9999·2024-02-01 02:34

SAAS多租户系统平台技术架构与实践

多租户系统平台作为SAAS的核心技术，允许多个租户共享同一个软件实例，从而实现资源的最大化利用。
007php007·2024-02-01 01:12

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

出现上述问题可能是格式化两次hadoop，导致没有datanode解决方法1：重启linux,再使用start-dfs.sh和start-yarn.sh重启一下hadoop解决办法2：找到hadoop安装目录下
有一束阳光叫温暖·2024-01-31 23:56

拍立淘API如何帮助电商平台拓展商品类目

一、拍立淘API的图像识别技术拍立淘API的核心技术是图像识别，它能够通过智能算法对上传的图片进行快速分
api77·2024-01-31 21:09

Redis核心技术与实战【学习笔记】 - 10.浅谈CPU架构对Redis性能的影响

概述可能很多人都认为Redis和CPU的关系简单，Redis的线程在CPU上运行，CPU快Reids处理请求的速度也很快。其实，这种认知是片面的，CPU的多核架构及多CPU结构，也会影响到Redis的性能。如果不了解CPU对Redis的影响，那么在进行Redis调优时，可能会遗漏一些调优方法，不能把Redis的性能发挥到极致。1.主流的CPU架构一个CPU处理器中，一般有多个运行核心，我们把一个运
陈建111·2024-01-31 18:15

网络安全产品之认识防病毒软件

文章目录一、什么是计算机病毒二、什么是防病毒软件三、防病毒软件的作用四、防病毒软件的工作原理五、防病毒软件的核心技术六、防病毒软件的使用方式随着计算机技术的不断发展，防病毒软件已成为企业和个人计算机系统中不可或缺的一部分
xiejava1018·2024-01-31 16:48

Java基础-多线程（3）

如hadoop分布式集群。所以并发编程的目标是充分的利用处理器的每一个核，以达到最高的处理性能。36.线程和进程的区别？简而言之，进程是程序运行和资源分配的基本
C乖·2024-01-31 16:51

大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！

500页、70万字）作者羊艺超，目前就职于快手，国内最早一批FlinkSQL使用者拥有从0到1使用FlinkSQL建设、保障及治理实时数仓的丰富经验京东机械工业出版社旗舰店限时5折使用SQL实现流处理的核心技术在了解了
zhisheng_blog·2024-01-31 15:29

数据湖技术Iceberg0.12预研文档

trino(presto)本次预研使用组件如下：名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中（更换jar升级替换）hadoop3.0.0cdh
我去探险了·2024-01-31 15:36

移动机器人的发展史 从世界首台移动机器人Shakey说起...

从最初的遥控式机器人到目前智能化机器人，机器人相关核心技术已取得了重大突破。如今的机器人即使在人工不干预的情况下也能实现智能移动了。
快乐的小皮鞋·2024-01-31 14:46

【亲测】一站式服务助力内容创作者与营销人员高效运营系统 阿呆抖音智能运营系统

它采用高性能、易扩展的ThinkPHP框架作为核心技术支撑，整合了视频处理、数据分析、文案提取与配音等多种功能模块。
软希源码·2024-01-31 13:27

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划hadoop01/192.168.0.151hadoop02/192.168.0.152hadoop03/192.168.0.153hadoop04/192.168.0.154hadoop05
大道至简非简·2024-01-31 13:04

04:容器技术概述｜镜像与容器｜docker配置管理

容器技术已经成为应用程序封装和交付的核心技术。容器技术的核心有以下几个内核技术组
桑_榆·2024-01-31 12:12

Hadoop Windows10上用idea进行hadoop客户端远程操作

1.idea上访问Hadoop客户端的uri地址要和core-site.xml中fs.defaultFS的参数一致2.执行自定义的程序之前，要启动Hadoop，否则会报错：Causedby:java.net.ConnectException
大数据新新菜鸟·2024-01-31 12:41

IDEA中Hadoop的环境配置

没有配置HadoopHome：在Windows下解压一份Hadoop安装包Hadoop使用log4j进行日志输出，明显没有配置log4j再次运行，显示了作业的运行情况
hhhhhhhhhhhnb·2024-01-31 12:36

Intelj IDEA 配置Hadoop 远程调试环境

远程hadoop版本：Hadoop3.0.0+cdh6.3.2一、设置本地hadoop环境1、下载hadoop下载hadoop-3.0.0.tar.gz，并解压到D:\BigData\并重命名为hadoop
跟着大数据和AI去旅行·2024-01-31 12:34

Redis核心技术与实战【学习笔记】 - 8.Redis 时间序列数据处理

在做web产品是，都会有这么一个需求：记录用户在网站或APP上的点击行为数据，来分析用户行为。这里的数据一般包括用户ID、行为类型（如浏览、登录、下单等）、行为发生的时间戳。userID,type,timeStamp与之类似，物联网项目需要周期性的统计设备的实时状态，包括包括设备ID、压力、温度、湿度，以及对应的时间错：deviceId,pressure,temperature,humidity,
陈建111·2024-01-31 11:34

Redis核心技术与实战【学习笔记】 - 9.如何避免单线程模型的阻塞

概述Redis被广泛应用的原因是因为它支持高性能访问。所以，我们要重视所有可能影响Redis性能的因素（如命令操作、系统配置、关键机制、硬件配置等）。影响Redis性能的5大方面的潜在因素分别是：Redis内部的阻塞式操作CPU核和NUMA架构的影响Redis关键系统配置Redis内存碎片Redis缓冲区1.Redis实例有哪些阻塞点？Redis实例要和许多对象进行交互，这些不同的交互就会涉及不同
陈建111·2024-01-31 11:34

《机器人SLAM导航核心技术与实战》第1季：第7章_SLAM中的数学基础

视频讲解【第1季】7.第7章_SLAM中的数学基础-视频讲解【第1季】7.1.第7章_SLAM中的数学基础_SLAM发展简史-视频讲解【第1季】7.2.第7章_SLAM中的数学基础_SLAM中的概率理论-视频讲解【第1季】7.3.第7章_SLAM中的数学基础_估计理论-视频讲解【第1季】7.4.第7章_SLAM中的数学基础_基于贝叶斯网络的状态估计-视频讲解【第1季】7.5.第7章_SLAM中的数
小虎哥哥爱学习·2024-01-31 09:02

java进阶

1.大数据史上最全Flink面试题，高薪必备，大数据面试宝典史上最全Hadoop面试题：尼恩大数据面试宝典专题1史上最全HBase面试题，高薪必备，架构必备史上最全Hive面试题，高薪必备，架构必备绝密
don't_know·2024-01-31 09:44

劳力士3235机芯多少钱一块，劳力士3235机芯价格一览表

其中，劳力士的机芯是其著名的核心技术之一，被誉为瑞士制表业的骄傲。而劳力士近年来推出的3235机芯更是备受关注，那么它的价格究竟是多少呢？下面一起来看看吧。
美表之家·2024-01-31 09:11

企业级大数据安全架构（七）服务安全

认证机制，目前直接对接kerberos使用较多，这里我们使用FreeIPA来集成kerberosFreeIPA官网下载地址：https://www.freeipa.org/page/DownloadsHadoop
云掣YUNCHE·2024-01-31 08:08

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP

Hadoop启动时报错WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
W_yhhh·2024-01-31 08:44

hadoop-hdfs-site.xml配置文件详解

hadoop:hdfs-site.xml配置文件详解hdfs-site.xml配置文件j介绍hadoop-hdfs相关的配置信息hdfs-site.xml配置文件namevaluedescriptionhadoop.hdfs.configuration.version1versionofthisconfigurationfiledfs.namenode.logging.levelinfoThelo
许喜朝·2024-01-31 08:13

关于Hadoop全分布构建no HDFS_NAMENODE_USER 错误解决

在Hadoop全分布构建中，常常会出现以下错误[root@Hadoopc1hadoop]#start-all.shStartingnamenodeson[192.168.13.245]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
(((φ(◎ロ◎;)φ)))云凡·2024-01-31 08:43

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.

hadoop启动时WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
北朽暖栀24·2024-01-31 08:41

Hadoop_HDFS_hdfs 文件系统操作指令

本地做个备份,下面的文章摘自Hadoop官网Link:http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html
高达一号·2024-01-31 08:11

启动集群时遇到WARNING: HADOOP_SECURE_DN_USER做替换

启动集群时遇到WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
Dirth.·2024-01-31 08:40

org/apache/hadoop/hive/shims/ShimLoader

Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hive/shims/ShimLoaderatorg.apache.hadoop.hive.conf.HiveConf
木生火18624·2024-01-31 08:38

生成式AI与大模型核心技术开发与应用研修班

ChartGPT的发布，让大语言模型成了人工智能的焦点。尤其近期发布的大模型各业务场景应用应接不暇，为行业带来新的发展机遇，甚至将重构AI行业。AI行业的发展将以云平台、算力、大模型构成行业发展的三驾马车。大模型和小模型的融合使用，或者以大模型为底座的小型化微调都是未来发展趋势。如何调用大模型开展自然语言处理、图像处理、文本识别的技术，成为目前人工智能领域人才的迫切需求。为帮助大家掌握大模型调用、
人工智能技术与咨询·2024-01-31 08:37

【大数据入门核心技术-Tez】（三）Tez与Hive整合

一、准备工作1、Hadoop和Hive安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【
forest_long·2024-01-31 08:06

大数据[1] -- 安装hadoop

文章目录Hadoop安装以及配置一、安装1.安装SSH，设置SSH无密码登录2.安装jdk3.安装Hadoop二、配置三、其他配置四、出现的问题五参考文章Hadoop安装以及配置一、安装1.安装SSH，
天下一般·2024-01-31 08:06

Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法

分析原因：hadoop的安装路径没有加入到当前路径中解决办法：方法1：进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin.
drhrht·2024-01-31 08:05

Hadoop中hdfs-default.xml的位置

在hadoop安装包中hadoop-2.7.2\share\hadoop\hdfs\hadoop-hdfs-2.7.jar里面
BugEveryday·2024-01-31 08:31

Hadoop 3.x hdfs-site.xml HDFS最小化配置参数

dfs.namenode.http-addressc101:9870dfs.namenode.secondary.http-addressc102:9868########################################################配置文件修改后，启动./start-dfs.sh的时候会提示找不到JAVA_HOME的报错，虽然配置了jdk的环境。还需要配置had
ChengRuoFei·2024-01-31 08:31
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他