运维大数据文件系统hadoop

Docker 项目如何使用 Dockerfile 构建镜像？

1、Docker和Dockerfile的重要性1.1、Docker简介：讲述Docker的起源、它是如何革新现代软件开发的，以及它为开发者和运维团队带来的好处。
·2024-02-11 17:06

数据智能引擎：企业模糊搜索API精准获取企业列表信息

在这个大数据的时代，企业面临着海量信息的管理和利用挑战。为了更有效地获取并利用数据，企业信息模糊搜索API成为了企业数据智能引擎的一部分，为企业提供了精准的企业列表检索服务。
·2024-02-11 17:00

Linux账号密码安全运维

前言随着云计算厂商的兴起，云资源如ECS不再只有企业或者公司才会使用，普通人也可以自己买一台ECS来搭建自己的应用或者网站。虽然云计算厂商帮我们做了很多安全相关的工作，但并不代表我们的机器资源就绝对是安全的。要知道有很多事情是云计算厂商不能为我们做的，就比如账号密码的安全策略配置，而账号密码的安全又是Linux安全中的第一道安全锁，我们必须重视起来。比如一个具有公网IP的服务器，我们可以使用Lin
·2024-02-11 17:57

HBase知识点总结

一、HBase基础HBase是一种建立在Hadoop文件系统之上的分布式、可扩展、支持海量数据存储的NoSQL数据库。HBase是BigTable的开源Java版本。
·2024-02-11 17:17

从零开始写 OS 内核 - 虚拟内存初探

启动到实模式GDT与保护模式虚拟内存初探加载并进入kernel显示与打印全局描述符表GDT中断处理虚拟内存完善实现堆和malloc第一个kernel线程多线程切换锁与多线程同步进入用户态进程的实现系统调用简单的文件系统加载可执行程序键盘驱动运行
·2024-02-11 17:46

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 17:41

【数据库】对大数据量数据集，PostgreSQL分组统计数量，限定每组最多数量

一、背景介绍在处理大数据量数据集时，我们经常需要进行分组统计。例如，我们需要统计每个城市的人口数量、每个年龄段的人数等。
·2024-02-11 17:41

【博云2023】乘龙一跃腾云海，侧目抬手摘星河

我们的信心来自于努力耕耘终有收获博云为客户打造了可支撑万亿信托管理规模的云原生技术中台，支撑起客户的整个IT研发、运维系统；博云云管理平台产品支撑的单用户IT集群达到数千台服务器、上万台虚拟机，稳定保障着客户的业务系统运营
博云技术社区·2024-02-11 17:39

适合低学历做的技术推荐，未来最有前景的技术

很多学生甚至在大专毕业以后，还去报班学习写代码，现在是大数据时代，各种新型在分享之前给大家推荐一个互联网最新导购平台（高省）买东西先上高省领取隐藏优惠券，还有高额返利，让你更
古楼·2024-02-11 16:55

Hi，运维，你懂Java吗--No.9：线程池

作为运维，你不一定要会写Java代码，但是一定要懂Java在生产跑起来之后的各种机制。
龙叔运维·2024-02-11 16:17

【论文精读】GPT2

但多任务需要多数据集，而继续扩大数据集和目标设计的规模是个难以处理的问题，所以只能采取多任务学习的其他框架。
None-D·2024-02-11 15:43

基于Springboot+Vue实现图书个性化推荐系统

领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、腾讯课堂常驻讲师主要内容：Java项目、Python项目、前端项目、人工智能与大数据
编程指南针·2024-02-11 15:34

学成网html+css案例

这是跟着pink老师敲的第一个html+css的静态页面：html部分学成网首页课程职业规划个人中心CheeryZ前端开发>后端开发>移动开发>人工智能>商业预测>云计算&大数据>运维&测试>UI设计>
倒霉娃不要倒霉·2024-02-11 15:33

我的创作纪念日

当时，作为一名来自南京的大二大数据专业学生，我被分配到了一个大型分布式系统测试团队中，亲身经历了从零构建测试框架、设计复杂测试场景到验证大数据组件性能的过程。这份实践让我意识到，软件测试不仅是
yueqingll·2024-02-11 14:14

wsl安装CentOS7和桌面

就像是并行的windows系统一样，系统切换方便，响应快，故障少，你可单独选择在windows或者linux中工作，而不会担心在两个系统中切换和交互而花费大量的时间和硬件支出，同时无论你是开发者或者是运维及爱好者
hpf821010·2024-02-11 14:42

MySQL数据库新手入门最佳教程_MySQL新手入门教程详解

所以，我们很有必要掌握一款可以处理大数据量的工具，比如MySQL数据库管理系统。为什么推荐学习MySQL呢？因为它具有体积小、速度快
fjgmgh·2024-02-11 14:08

Linux快速入门

一.Linux的结构目录1.1Linux的目录结构Linux为免费开源的系统，拥有众多发行版，为规范诸多的使用者对Linux系统目录的使用，Linux基金会发布了FHS标准（文件系统层次化标准）。
Duarte·2024-02-11 14:08

AI+大数据面向未来医疗

在上一篇文章中，我们畅想了数字化健康的未来，健康是大众化的行业，也是并未完全觉醒的行业，对于大众而言当前的健康还比较局限于医院相关，有病治病无病安康。医疗活动依然以医生为权威，但是真实情况呢，医疗是一门精密科学，大多数情况下其实并不存在权威，同样的病历在不同的个人身上会出现全然不同的发展轨迹，同样的用药疗效并不准确归一，这说明了我们当前的医疗体系的问题。为了解决以医生为中心的医疗体系问题，美国一些
弹指数据之禅·2024-02-11 13:55

0基础linux运维教程 mysql权限管理

很多学习linux的同学都必须要对mysql精通，对于mysql的操作更是需要信手捏来，那么本章节主要介绍的mysql的权限管理及权限相关操作。##一mysql库下的授权表linux系统的用户作用是:-1、登陆系统-2、管理系统文件一样的道理，mysql数据库管理软件用户的则作用是:-1、登陆MySQL数据库-2、管理库与表等数据库对象mysql数据库管理软件将权限信息都存放于mysql库下，该库
山河玩转linux运维·2024-02-11 13:56

108个Python精选库，看完收获丰富

而且这语言涉及了方方面面，比如自动化测试，运维，爬虫，数据分析，机器学习，金融领域，后端开发，云计算，游戏开发都有涉及。
程序员晚枫·2024-02-11 13:54

python when库_Python精选库大全，建议收藏留用！

而且这语言涉及了方方面面，比如自动化测试，运维，爬虫，数据分析，机器学习，金融领域，后端开发，云计算，游戏开发都有涉及。
weixin_39946964·2024-02-11 13:24

墅城会×引意生活 · 美学私享会｜全案设计，为客户创造价值

据家居市场行业大数据统计，2020年全案设计持续保持着高增长势态，到2021年全案设计趋势向全国遍地开花。那么，何为全案设计？
墅城会V·2024-02-11 12:17

kafka基础概念

简介Kafka是一个分布式、支持分区的（partition）、多副本的（replication）的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
大河院开心鸭·2024-02-11 12:37

Kafka

第一章：Kafka的概述1.1、kafka是一个分布式的基于发布/订阅模型的消息队列，主要用于大数据实时处理领域。
小白鼠捉大猫咪·2024-02-11 12:06

Python学习之路-初识爬虫:基础知识

原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做用途如今，人工智能，大数据离我们越来越近，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？
geobuins·2024-02-11 12:06

华泰证券 python 自动交易软件_量化自动交易软件开发,搬砖交易机器人系统开发...

量化自动交易软件开发,搬砖交易机器人系统开发量化自动交易软件主要是为了数字资产用户提供自动交易服务，用户可将平台账号托管在量化平台，平台则可以通过大数据分析为用户自动搬砖获取收益。
weixin_39898150·2024-02-11 12:32

Postgresql 的编译安装与包管理安装, 全发行版 Linux 通用

博客原文文章目录实验环境信息编译安装获取安装包环境依赖编译安装安装contrib下工具代码创建用户创建数据目录设置开机自启动启动数据库常用运维操作apt安装更新源安装postgresql开机自启修改配置修改密码实验环境信息
M·K·T·2024-02-11 11:07

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

Shell最全笔记 就决定用你了

/usr/bin/python#coding:utf-8print("我是你爹")执行：.pythonpydemo.py2.4脚本注释2.5执行shell脚本的方式2.6shell与运维2.7弱类型2.8
我才是真的封不觉·2024-02-11 10:46

Linux基础-文件层次结构

/boot引导Linux系统有关的内核kernel（Linux灵魂）、启动相关的配置文件一定要和/独立划分，需要一个单独的文件系统必须构建在标准分区（分区固定大小）4./var1.存放
Anemia_·2024-02-11 10:42

Linux运行级别 | 管理Linux服务

Linux运行级别级别：0关机1单用户2多用户但是不运行nfs网路文件系统3默认的运行级别，给一个黑的屏幕，只能敲命令4未使用5默认的运行级别，图形界面6重启切换运行级别：initx管理Linux服务systemctl
Anemia_·2024-02-11 10:41

大数据看世界杯：中国靠什么吸引世界目光

今天用大数据来告诉大家，世界杯我们中国靠什么吸引眼球★中国人：我们不上球场，可是球场下到处都是我们的人俄罗斯世界杯门票自2017年9月开售，截至5月初售出的门票共达237万多张。据国际足联官网透
交大全栈智能工程师·2024-02-11 10:34

I/O Zero Copy是什么？看完这篇你绝对会了

前文我们介绍了JavaI/O的底层原理，想必大家都知道类似Netty、KafKa等大数据量高吞吐框架都会提到一个概念ZeroCopy（零拷贝），这是什么技术呢，今天我们来学习下。
老司机de程序人生·2024-02-11 09:28

华为OD机试 - 区块链文件转储系统（JS）

题目描述区块链底层存储是一个链式文件系统，由顺序的N个文件组成，每个文件的大小不一，依次为F1,F2,...,Fn。随着时间的推移，所占存储会越来越大。
AsiaFT.·2024-02-11 09:12

大数据技术之 Flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。骚戴理解：注意这里是日志采集，也就是只能采集文本类型的数据！Flume的作用的特点就是可以实时采集！1.2Flume基础架构Flume组成架构如下图所示1.2.1AgentAgent是一个JVM进程，它以事件的形式将数据从源头送
骚戴·2024-02-11 09:34

【大数据】Flume-1.9.0安装➕入门案例

Flume-1.9.0安装➕入门案例1.下载1.9.0解压2.监控端口数据官方案例3.实时读取本地文件（hive.log）到HDFS案例4.实时读取目录文件到HDFS案例5.实时监控目录下多个追加文件总结前言大数据解决的无非是海量数据的采集
欧叶冲冲冲·2024-02-11 09:34

大数据入门--Flume（一）安装教程与案例

Flume（一）安装教程与案例安装教程案例监控端口数据官方案例(netcat-logger)实时监控单个追加文件(exec-hdfs)进阶版存在的问题实时监控目录下多个新文件(taildir)实时监控目录下多个新文件（spooldir-hdfs）安装教程下载安装apache-flume-1.9.0-bin.tar.gz解压配置JAVA_HOMEviconf/flume-env.sh.templat
许中宝·2024-02-11 09:34

大数据Flume--入门

文章目录FlumeFlume定义Flume基础架构AgentSourceSinkChannelEventFlume安装部署安装地址安装部署Flume入门案例监控端口数据官方案例实时监控单个追加文件实时监控目录下多个新文件实时监控目录下的多个追加文件FlumeFlume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简
泛黄的咖啡店·2024-02-11 09:04

iOS开发逆向之应用重签名（下）

本文主要介绍通过shell脚本进行应用重签名补充知识在利用shell脚本重签名之前，需要了解以下知识：脚本常用命令+权限相关脚本执行相关命令Shell是一种特殊的交互式工具，它为用户提供了启动程序、管理文件系统中文件以及运行在系统上的进程的途径
iOS鑫·2024-02-11 08:43

ZooKeeper分布式锁

ZooKeeper的数据模型类似于文件系统，它的数据结构中的每个数据节点称为znode，可以用它来实现分布式锁。
辞暮尔尔-烟火年年·2024-02-11 08:22

Qnx 文件系统

QNXNeutrinoRTOS提供了丰富的文件系统。与OS中的大多数服务提供过程一样，这些文件系统在内核之外执行;应用程序通过POSIXAPI的共享库实现生成的消息来使用它们。
jackniu_ae28·2024-02-11 08:46

Hive与ClickHouse的区别

Hive是Hadoop生态系统中事实上的数据仓库标准。Hive是建立在Hadoop生态中的数据仓库中间件，其本身并不提供存储与计算能力。
晓之以理的喵~~·2024-02-11 08:18

Hadoop（三）通过C#/python实现Hadoop MapReduce

MapReduceHadoop中将数据切分成块存在HDFS不同的DataNode中，如果想汇总，按照常规想法就是，移动数据到统计程序：先把数据读取到一个程序中，再进行汇总。
dotNET跨平台·2024-02-11 08:17

如果一个服务部署在一组容器上运行，出现问题时，运维会做哪些快速诊断？

通过以下这些快速诊断步骤，运维人员可以迅速定位问题所在，并采取相应的措施进行修复。
zhang菜鸟·2024-02-11 08:47

大数据基础必备，大数据是什么？

前几年大数据时代的来临，为各行各业提供了更加开阔的数据用作分析。
大数据05·2024-02-11 08:31

波奇学Linux：文件重定向和虚拟文件系统

重定向文件描述符所对应的分配规则，从0开始，寻找最小没有使用的数组位置。如图所示，关闭文件描述符的0，新打开的文件描述符为0，而关闭2，文件描述符为2。重定向：文件输出的对象发生改变例子如图，write的参数fd是1，即向显示器文件打印内容，如果close(1)则，1对应新的文件输出的对象由显示器变成新文件log.txt。实现了重定向。本质上是files_struct的数组下标位置指向的file结
社交达人波奇酱·2024-02-11 07:08

【MySQL】数据库的基础——数据库的介绍、MySQL的介绍和架构、SQL分类、MySQL的基本使用、MySQL的存储引擎

数据库是一个文件集合，本质就是一个文件系统，它按照特定
鳄鱼麻薯球·2024-02-11 07:05

年中免费API接口汇总，快拿去用~

通知短信：短信通知支持三大运营商以及虚拟运营商，我们提供电信级运维保障、独享专用通道。语音验证码短信：拨打电话告知用户验证码，实现信息验证。
API小百科_APISpace·2024-02-11 07:02

flink启动找不到yarn-session.sh命令

主要还是因为自己当初安装flink的几种模式时，是分开复制安装，导致自己以为配置了环境变量，还有一个需要注意：yarn-sisson.sh是flink/bin/的命令，并不是hadoop的yarn的命令
故乡的花又开了吗·2024-02-11 07:57

【Linux】学习-文件的软硬链接

文件的软硬链接在上一篇拓展篇—文件系统中我们介绍过文件元的概念：我们在使用ls-l命令查看文件元信息的时候，有一个硬链接数，说明文件的硬链接数属于文件的属性之一，那么硬链接究竟是什么呢？
那个楠人·2024-02-11 07:19
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他