运维大数据文件系统hadoop

大数据架构体系(数据仓库)

1、传统大数据架构优点缺点使用场景简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin
Shaw_Bigdata·2024-02-19 21:52

Rust之包，箱和模块管理(三)：引用模块树中项目的路径

Windows10Rust1.62.1VSCode1.69.2项目工程这里继续沿用上次工程rust-demo引用模块树中项目的路径为了显示在模块树中何处可以找到一个项目，我们使用了一个路径，就像我们在导航文件系统时使用路径一样
枫★曦·2024-02-19 21:03

什么是onedata？如何使用onedata？

阿里巴巴的大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。
时代新人0-0·2024-02-19 21:54

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102
时代新人0-0·2024-02-19 21:53

SpringBoot中使用redis事务

事务的相关介绍可以参考：0、起因在一次线上事故中，我们定位到redis的使用存在大value，超过了dubbo的最大数据量限制，于是紧急将这个大的对象value拆分成单个的stringvalue。
wrr-cat·2024-02-19 20:16

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

如何设计出一个高效的埋点管理系统？

作者介绍@九果入行大数据8年；某大厂数据产品经理；专注于数据产品，并持续学习中；“数据人创作者联盟”成员。01为什么要做埋点管理系统？
一个数据人的自留地·2024-02-19 20:27

好消息！茗创系列课程年度会员，众多课程可免费畅学！

茗创年度会员加入茗创年度会员以下课程可免费畅学不仅享有会员专属服务、优惠购课还有课程上新提醒哦脑影像组学培训班直播时间：2023.7.4~7.7随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究
茗创科技·2024-02-19 20:23

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf
魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

[Flink04] Flink部署实践

但Flink是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。FlinkonYarn模式，把资源管理交给Ya
YoungerChina·2024-02-19 20:49

Redis 集群(Cluster)

虽然硬件价格在不断降低，一些中大厂的服务器内存已经可以达到TB级别了，但是1TB在当前这个“大数据”时代，俨然不算什么，有的时候我们确实需要更大
ikun66666·2024-02-19 20:19

嵌入式学习记录18

Linux软件编程:1.Linux:操作系统的内核1.管理CPU2.管理内存3.管理硬件设备4.管理文件系统5.任务调度2.Shell:1.保护Linux内核(用户和Linux内核不直接操作,通过操作Shell
挽梦422·2024-02-19 20:03

扩展学习|大数据，新的认识论和范式转变

文献来源：[1]KitchinR.BigData,NewEpistemologiesandParadigmShift[J].BigData&Society,2014,1(1):1-12.DOI:10.1177/2053951714528481.下载链接：https://pan.baidu.com/s/1RdnIo5VeL-CERk2sxyILiQ提取码：0ih2一、科学研究的范式转变正如库恩(19
封印师请假去地球钓鱼·2024-02-19 20:32

GlusterFS：开源分布式文件系统的深度解析与应用场景实践

引言在当今大数据时代背景下，企业对存储系统的容量、性能和可靠性提出了前所未有的挑战。
超逮虾户·2024-02-19 19:20

QEMU-KVM虚拟化：存储

Raw是一种非常简单的格式，它将文件系统中的字节逐字节存储在文
昕友软件·2024-02-19 19:19

[嵌入式系统-26]：RT-Thread -13- 内核组件编程接口 - 文件系统

目录一、RT-Thread文件系统1.1概述1.2如何配置文件系统1.3支持哪些文件系统1.4不同文件系统的比较二、文件系统编程接口2.1概述2.2两种文件系统接口的比较三、POSIX文件操作函数3.1
文火冰糖的硅基工坊·2024-02-19 19:43

学习笔记-磁盘存储管理

2）磁盘分区磁盘在系统中使用都必须先进行分区，然后建立文件系统，才可以存储数据。分区也有助于更有效地使用磁盘空间。每一个分区在逻辑上都可以视为一个磁盘。3）高级格式化磁盘分区在作为系统使用之前还需
他҈姓҈林҈·2024-02-19 19:36

操作系统-环境搭建

Linux环境搭建网络设置ssh命令下载简介本文将搭建Linux虚拟机,并且使用主机在终端利用ssh命令去远程连接Linux虚拟机搭建Linux虚拟机软件:virtualBox(免费)文件:Linux映像文件系统
JACK SUBWAY·2024-02-19 19:21

Linux系统中HTTP隧道技术的未来发展趋势与挑战：穿越网络的“时光隧道”

随着云计算、大数据和人工智能等技术的迅猛发展，HTTP隧道技术也将迎来巨大的变革。想象一下，未来的HTT
华科℡云·2024-02-19 19:21

ETL数据集成工具DataX、Kettle、ETLCloud特点对比

ETL数据集成工具对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。
·2024-02-19 19:52

互联网加竞赛 大数据分析：基于时间序列的股票预测于分析

1简介Hi，大家好，这里是丹成学长，今天向大家介绍一个大数据项目大数据分析：基于时间序列的股票预测于分析2时间序列的由来提到时间序列分析技术，就不得不说到其中的AR/MA/ARMA/ARIMA分析模型。
Mr.D学长·2024-02-19 19:00

云计算、大数据、人工智能、物联网、虚拟现实技术、区块链技术（新一代信息技术）学习这一篇够了！

公有云(二)私有云(三)社区云(四)混合云四、云计算的特点(一)虚拟化技术(二)动态可扩展(三)按需部署(四)灵活性高(五)可靠性高(六)性价比高(七)可扩展性五、云计算的成用领城(一)金融云(二)制造云大数据一
IT小庄同学·2024-02-19 18:19

【JavaEE】_文件与IO

目录1.文件概述1.1文件的概念1.2文件的存储1.3文件的分类1.4目录结构1.5文件操作1.5.1文件系统操作1.5.2文件内容操作2.Java文件系统操作2.1File类所处的包2.2构造方法2.3
_周游·2024-02-19 18:34

docker （五）-docker存储-数据持久化

存储方式volume卷卷存储在主机文件系统分配一块专有存储区域，由Docker（在Linux上）管理，并且与主机的核心功能隔离。非Docker进程不能修改文件系统的这一部分。
小关暗器·2024-02-19 18:02

MySQL定时备份并清理

日常运维会遇到数据库备份的场景或情况，使用以下脚本解决数据库备份问题建议在没有备份场景下也做好数据备份#!
Guozr7·2024-02-19 18:27

遂人心愿真难

不管什么定理，都是人的习惯造成的，利用大数据大概率去推理得出的结论。所有的顺心都是天时地利人和共同组合在一起形成的一种规律，具体到人就各有差距不一而衷。
岁月抚痕·2024-02-19 18:49

BIG DATA —— 大数据时代

大数据时代[英]维克托·迈尔—舍恩伯格肯尼斯·库克耶◎著盛杨燕周涛◎译《大数据时代》是国外大数据研究的先河之作，本书作者维克托·迈尔·舍恩伯格被誉为“大数据商业应用第一人”，他在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活
EthanWYC601·2024-02-19 18:12

Linux系统中 uboot、内核与文件系统之间的关系

前言：最近正在学习Linux，总结了一下Linux系统中uboot、内核与文件系统之间的关系Linux初学者首先要搞清楚的三个文件:引导程序(bootoader):uboot.bin/uboot.imxLinux
玄奕子·2024-02-19 18:39

故障分析| Redis 故障诊断及常用运维命令—内存篇

作者：任仲禹爱可生DBA团队成员，擅长故障分析和性能优化，文章相关技术问题，欢迎大家一起讨论。本文来源：原创投稿*爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。本文目录：背景Redis内存消耗划分内存OOM会导致哪些问题？排查思路是否数据量太大？是否客户端输入缓冲区有问题？是否复制积压缓冲区有问题？是否客户端输出缓冲区有问题？实用命令模拟Redis压力相关命令常⽤Re
爱可生开源社区·2024-02-19 17:57

挑战杯 地铁大数据客流分析系统 设计与实现

文章目录1前言1.1实现目的2数据集2.2数据集概况2.3数据字段3实现效果3.1地铁数据整体概况3.2平均指标3.3地铁2018年9月开通运营的线路3.4客流量相关统计3.4.1线路客流量排行3.4.2站点客流量排行3.4.3入站客流排行3.4.4整体客流随时间变化趋势3.4.5不同线路客流随时间变化3.4.6不同线路的客流组成3.5收入消费指标统计3.5.1线路收入排行3.5.2各个站点对线路
laafeer·2024-02-19 16:41

K8s进阶之路-Pod(创建过程)/Pause/Replicas

基于容器组管理容器（建议一个pod创建一个应用程序容器必须是紧耦合实例放在一起）pause容器：实现容器与容器之间的共享（在容器创建之前，底层都要先创建一个容器叫pause，用来实现对内的网络及ip、文件系统
是芸晗ya·2024-02-19 16:55

中文语音标注工具FunASR（语音识别）

FunASR作用:能【准确】识别语音，并转成【文字、标出声调】他的原理，就不讲了，俺是搞大数据的，python这东西就勉强能写个爬虫和接口，机
我要用代码向我喜欢的女孩表白·2024-02-19 16:52

c# B树

B树是一种自平衡的树数据结构，通常用于数据库和文件系统等需要大量数据插入、删除和搜索操作的场景。在C#中实现B树可以帮助实现高效的数据存储和检索功能。
彭小彭~·2024-02-19 16:52

c# B+树

B+树是一种自平衡的树数据结构，通常用于数据库和文件系统等需要大量数据插入、删除和搜索操作的场景。与B树不同的是，B+树的内部节点不存储数据，只用作索引，所有的数据都存储在叶子节点上。
彭小彭~·2024-02-19 16:52

见世面的成本有多低？这几个技术公众号告诉你答案

大数据分析挖掘和Python机器学习商业智能BI、数据分析、数据挖掘、大数据、Python、机器学习、深度学习、算法等技术分享
傅一平·2024-02-19 16:19

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
DolphinScheduler社区·2024-02-19 16:16

基于HTML5的智慧机房三维可视化运维云平台

随着东数西算工程落地和新型算力网络体系构建，数据中心建设规模和业务总量不断增长，机房管理规模持续增长、网络复杂度不断加大、资源频繁变更迭代、能源成本日益增加，加上双碳目标的提出，如何通过智能化手段实现节能、运维能力升级成为行业发展共识
·2024-02-19 16:07

低代码配置式组态软件-BY组态

随着物联网、大数据等技术高速发展，我们逐步向数字化、可视化的人工智能（AI）时代的方向不断迈进。智能时代是工业4.0时代，我国工业领域正努力从“制造”迈向“智造”的新跨越。什么是组态软件？
·2024-02-19 16:04

Apache DolphinScheduler数仓任务管理规范

前言：大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择ApacheDolphinScheduler（以下简称DS）作为调度场景的技术选型。
·2024-02-19 16:01

营销系统黑名单优化：位图的应用解析 | 京东云技术团队

营销系统一般是通过大数据分析建模，在CDP（客户数据平台，以客户为核心，围绕数据融合、人群圈选、用户洞察等提供产品能力）创建营销目标客户群体，黑名单同样也是通过CDP维护。
·2024-02-19 16:59

Docker介绍

开发人员能利用docker开发和运行应用程序运维人员能利用docker部署和管理应用程序Docker的主要特点包括：环境一致性：Docker可以确保开发、测试和生产环境的一致性，解决了传统开发过程中的环境差异问题
小森( ﹡ˆoˆ﹡ )·2024-02-19 16:30

作物模型狂奔：Apsim、Wofost、Dssat

大数据量必须要脚本去跑，目前Apsim和Wofost出了点成果，跟大家分享一下。欢迎各位道友留言、私聊、交流病情最好到B站上去留言啦，CSDN平很少登录需要指导的话，那就得让我挣点零花咯，嘿嘿。
F_Dregs·2024-02-19 15:47

『运维备忘录』之 Zip 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-19 15:04

『运维备忘录』之 SSH 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等知识，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-19 15:04

『运维备忘录』之 APT 命令详解

运维人员不仅要熟悉操作系统、服务器、网络等只是，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-19 15:04

『运维备忘录』之 Ln 链接命令详解

运维人员不仅要熟悉操作系统、服务器、网络等知识，甚至对于开发相关的也要有所了解。很多运维工作者可能一时半会记不住那么多命令、代码、方法、原理或者用法等等。
流浪字节π·2024-02-19 15:16

从 13 个企业关心的问题看懂用云范式的改变

今天，容器和K8s已经成为应用研发运维的新标准，行业调研数据显示，2022年有64%的最终用户在生产环境中使用了K8s；2022年托管在云上的K8s集群增速达到了127%。
·2024-02-19 15:44

Pytorch-SGD算法解析

的个人空间-肆十二-个人主页-哔哩哔哩视频(bilibili.com)SGD，即随机梯度下降（StochasticGradientDescent），是机器学习中用于优化目标函数的迭代方法，特别是在处理大数据集和在线学习场景中
肆十二·2024-02-19 14:10

奇葩说第五季之你会去见大数据为你筛选出的最合适的人吗？

欧阳Sir被淘汰，如晶战队又输了。其实这期辩题反方是理想，正方是现实。所以奇葩说的观众那么有梦想，心里存着诗和远方，一定会选择反方。我也会的，但是我会经过正方的步骤再从心里走到反方去。虽然我选择反方，但我希望正方可以赢，我希望如晶赢，她在我心里就是无冕之王。而且，非常喜欢欧Sir，就像高晓松说的，他身上有种特别好的现代的荒诞感，一见他就高兴。他走了，真得舍不得。他不是个好辩手，可能都不太适合这个舞
昆仑君的猫·2024-02-19 14:18
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他