Hadoop从零开始

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

链接：https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit·2024-02-05 20:29

【手写数据库toadb】toadb表对象访问操作，存储管理抽象层软件架构设计思想应用

前言手写数据库内核，带大家从零开始写出属于自己的数据库，看似很庞大的数据库系统，经过对核心模块的提取精简，不论是刚学会编程还是有理
韩楚风·2024-02-05 20:01

打造独特的观点：如何写书评？

如何从零开始？接下来分享写书评的方法。来自互联网阅读是输入和输出的根本写书评是检验我们阅读书籍后的深入思考。同样是看一本书，有的人看完就结束了，有的人会带着问题去思考。哪种方法更高效，当然是后者。
冰月视觉笔记·2024-02-05 20:23

从零开始写一个契约测试工具

背景最近微服务越来越流行了，我们公司的应用都开始往微服务迁移，但是目前来看，针对微服务的测试技术还是比较少的，网上看的比较多的是一个叫做契约测试的东西，但是实际上写出来的都是一些demo，离真正能使用，还是有非常远的距离，所以自己想根据契约测试的一些理论知识，自己撸一个契约测试的工具出来。环境Python：2.7操作系统：MacOSX思路首先，它要实现的是一个Mock的功能这个功能是它最基本的功能
点点寒彬·2024-02-05 19:10

从零开始实现C++ TinyWebServer（八）---- 千呼万唤始出来，封装Epoller搭建服务器

文章目录前言1.Epoller2.WebServer的设计2.1设计2.2WebServer类详解2.2.1初始化2.2.2启动WebServer2.2.3I/O处理的具体流程代码epoller.hepoller.cppwebserver.hwebserver.cppmain.cppMakefile压测结束语前言这一部分应该算是项目甚至面试的重点之重点，许多知识点都需要掌握通透，我后面打算再写一篇
JehanRio·2024-02-05 19:16

从零开始：编写一个Web服务器---HTTP部分详细讲解以及代码实现（二）

HTTP部分详细讲解以及代码实现（二）voidprocess()的减负实现Web服务器中的有限状态机HTTP有限状态机从状态机如何理解从状态机流程如下：从状态机实现代码主状态机主状态机三种状态，标识解析位置do_request()具体处理函数总结本文介绍了Web服务器中的状态机参考书籍《后台开发核心技术与应用实践》《Linux高性能服务器编程》参考代码https://github.com/qing
才文嘉·2024-02-05 19:45

C++ Webserver从零开始：基础知识（八）——多线程编程

线程概述现代Linux系统主要使用的线程库是NPTL，在Linux中可以通过getconfGNU_LIBPTHREAD_VERSION获取Linux线程库版本。谈到线程，就不得不提及线程模型线程模型本小节概念较多，采用问答式进行讲解，以帮助读者理解什么是线程？线程是程序中完成一个独立任务的完整执行序列，即一个可调度的实体。根据运行环境和调度者的身份，线程可分为内核线程和用户线程。内核线程和用户线程
meeiuliuus·2024-02-05 19:42

解析腾讯云游戏多媒体引擎GME技术方案

作为一个通用的技术需求，如果由游戏厂商自己从零开始研发相应的音频技术，既不经济也不具备技术优势，因此市面上有一些厂商提供第三方的游戏音频SDK，让游戏开发商免于重复造轮子的同时，能把更多时间花在提升核心竞争力上
腾讯游戏多媒体引擎·2024-02-05 19:28

新书速览|Kubernetes从入门到DevOps企业应用实战

从0到1，从零开始全面精通Kubernetes，助力企业DevOps应用实践本书内容《Kubernetes从入门到DevOps企业应用实战》以实战为主，内容涵盖容器技术、Kubernetes核心资源以及基于
全栈开发圈·2024-02-05 18:10

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

从零开始 TensorRT（3）Python 篇：解析 ONNX、PyTorch TensorRT 接口

前言学习资料：TensorRT源码示例官方文档：WorkingWithTensorRTUsingThePythonAPI官方文档：TensorRTPython官方文档：CUDAPythonB站视频教程视频配套代码cookbook示例：解析ONNX模型参考源码：cookbook→04-BuildEngineByONNXParser→pyTorch-ONNX-TensorRT源码  cookbook中
秋山丶雪绪·2024-02-05 14:58

从零开始 TensorRT（2）Python 篇：原生 API 构建网络

前言学习资料：TensorRT源码示例官方文档：WorkingWithTensorRTUsingThePythonAPI官方文档：TensorRTPythonAPI官方文档：CUDAPythonB站视频：TensorRT教程|基于8.6.1版本B站视频配套代码cookbook  在Python篇中会仿照视频教程中的内容，按以下顺序介绍：（1）TensorRT原生API构建网络：示例中使用Tenso
秋山丶雪绪·2024-02-05 14:28

从零开始 TensorRT（4）命令行工具篇：trtexec 基本功能

前言学习资料：TensorRT源码示例B站视频：TensorRT教程|基于8.6.1版本视频配套代码cookbook参考源码：cookbook→07-Tool→trtexec官方文档：trtexec在TensorRT的安装目录xxx/TensorRT-8.6.1.6/bin下有命令行工具trtexec，主要功能：（1）由ONNX文件生成TensorRT引擎并序列化为plan文件（2）查看ONNX或
秋山丶雪绪·2024-02-05 14:27

使用django构建一个多级评论功能

这个文章是使用Django框架从零开始构建一个多级评论系统。Django是一个高级PythonWeb框架，它鼓励快速开发和干净、实用的设计。接下来，我将一步步实现这个系统，并提供详细的代码示例及解释。
qa浪涛·2024-02-05 14:26

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive建库建表；4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;5.将分析结果使用sqoop导入mysql数据库；6.使用Flask+echarts构建可视化大
计算机毕业设计大神·2024-02-05 14:48

感谢自己

回首这几年，确实不容易，从零开始进入一个全新的环境，一份全新的工作，比刚踏入社会还迷茫无助。
朔雪纷飞·2024-02-05 13:47

C++实战Opencv第二天——色彩空间转换函数和opencv中图像对象创建与赋值（从零开始，保姆教学）

OpenCV是一个强大的计算机视觉库，使用C++作为主要编程语言，对于图像处理和计算机视觉领域具有重要意义。其提供了丰富的功能和算法，使得开发者能够快速实现各种图像处理和计算机视觉应用。OpenCVC++为图像处理和计算机视觉领域的开发者提供了一个高效、稳定的工具。通过OpenCV的函数库和模块，可以方便地进行图像读取、保存、调整大小、滤波、边缘检测等常见的图像处理操作。而且，OpenCV还支持各
学术菜鸟小晨·2024-02-05 13:12

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

从零开始的项目实战(7)——项目进度述职报告

今天是2020年10月15号，说来真是惭愧，从我们实战系列第一篇文章发布开始算已经过去了快两个月。没能按照排期计划完成工作是我的责任，在这里向所有的读者朋友们说一声对不起。做错事情找借口绝不是一个男人的作为，想尽办法补救永远比懊悔更加有效。今天我会花一篇文章的篇幅来让大家对目前的项目开发进度有一个了解。有点像产品经理或者项目经理到客户那里汇报工作进度，同学们平常与项目经理或者产品经理交流可能不多，
姚大炮·2024-02-05 13:28

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

1-3 动手学深度学习v2-线性回归的从零开始实现-笔记

手动创建训练数据集根据带有噪声的线性模型构造一个人造数据集。我们使用线性模型参数w=[2,−3.4]T\pmb{w}=[2,-3.4]^{T}w=[2,−3.4]T、b=4.2b=4.2b=4.2和噪声项ϵ\epsilonϵ生成数据集及其标签：y=Xw+b+ϵ\pmb{y}=\pmb{Xw}+b+\epsilony=Xw+b+ϵ%matplotlibinline#在plot的时候，默认嵌入到not
Alkali！·2024-02-05 13:57

从零开始部署linux应用服务器

一、服务器分区挂载数据盘1.查看数据盘信息登录CentOS云服务器后，可以使用“fdisk-l”命令查看数据盘相关信息。使用“df–h”命令，无法看到未分区和格式化的数据盘。2.数据盘分区执行以下命令，对数据盘进行分区。fdisk/dev/xvdb按照界面的提示，依次输入“n”(新建分区)、“p”(新建扩展分区)、“1”(使用第1个主分区)，两次回车(使用默认配置)，输入“wq”(保存分区表)，开
全糖去冰吃不了苦·2024-02-05 11:17

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

教你学画画——从零开始学习板绘

什么是板绘？数码绘画——俗称“板绘”板绘不需要在画布或画纸，也不需要各种琳琅满目的颜料与各型号的笔你只需要一台电脑和一块数位板，或一台平板电脑甚至一部手机板绘的优点和缺点是什么？对于零基础的你来说，最明显的便是不再需要买一大堆画材并且相对性价比高不会把手弄的脏脏的，也不需要再看着乱七八糟的地板而头疼（尽管这对你来说可能是传统纸绘的乐趣所在）但板绘最重要的便是使绘画入门门槛降低，但会使你产生不需要基
教画画的猫叔·2024-02-05 09:27

计算机毕业设计系列基于SpringBoot+Vue的图书馆管理系统

1.包含：项目源码、项目文档、数据库脚本、软件工具等所有资料2.带你从零开始部署运行本套系统3.该项目附带的源码资料可作为毕设
大钟聊编程·2024-02-05 09:29

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

Hadoop执行WorldCount出现的问题和解决

failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/hadoop
SZHjy·2024-02-05 08:38

【从零开始学设计模式】第三章_工厂模式

第三章_工厂模式1.介绍1.1定义定义一个创建对象的接口，让其子类自己决定实例化哪一个工厂类，工厂模式使其创建过程延迟到子类进行。1.2解决的问题创建者和调用者的耦合，那么代码层面其实就是取消对new的使用。1.3应用实例需要一辆汽车，可以直接从工厂里面提货，而不用去管这辆汽车是怎么做出来的，以及这个汽车里面的具体实现1.4方法创建工厂模式的方法有三种：简单工厂模式工厂方法模式抽象方法模式2.举例
光久li·2024-02-05 08:19

【从零开始学设计模式】第一章_设计模式简介

第一章_设计模式简介1.设计模式是什么设计模式是软件开发人员在==软件开发过程中面临的一般问题==的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。2.设计模式的类型设计模式可以分为三大类：创建型模式（CreationalPatterns）、结构型模式（StructuralPatterns）、行为型模式（BehavioralPatterns）。创建型模式（5种）
光久li·2024-02-05 08:49

【从零开始学设计模式】第二章_单例模式

第二章_单例模式1.单例模式定义采取一定的方法保证在整个的软件系统中，对某个类只能存在一个对象实例，并且该类只提供一个取得其对象实例的方法(静态方法)简要定义：类在内存中只能存在一个实例对象2.单例模式创建方法共有5种单例模式创建方法，分别为饿汉式、懒汉式、双重检验锁、静态内部类、以及枚举创建类对象方法2.1饿汉式通俗理解：不饿就点外卖2.1.1定义类内部直接创建出类的实例，然后用private私
光久li·2024-02-05 08:44

2.0 Hadoop 运行环境

由于Hadoop是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置Hadoop的情况，这对于学习者来说会制造诸多障碍，主要有两个：昂贵的计算机集群。
二当家的素材网·2024-02-05 07:01

impala与kudu进行集成

文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了Hadoop使用了Kerberos认证，可使用如下方式进行连接
shandongwill·2024-02-05 07:44

从零开始搭建4G DTU设备对应的云平台（二）

前端使用vue，后端用springboot+kotlin+mybatis+mysql。一、前端部分刚开始前端部分我是用flutter开源项目魔改的，看上去是这样的：感觉还挺好看，但是最大的问题是，用flutterweb编译出来的web文件性能太差了，就这一个页面，js文件足有2M：后果就是点一下都能直接卡成ppt。所以这条路线被我放弃了（所以更改的内容我也直接省略了），改用了vue来搭建前端页面。
酱小油·2024-02-05 07:49

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。
二当家的素材网·2024-02-05 06:38

3.0 Hadoop 概念

本章着重介绍Hadoop中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。
二当家的素材网·2024-02-05 06:38

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他