运维大数据文件系统hadoop

【宝藏系列】嵌入式入门概念大全

操作系统需要处理管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。
失散多年的哥哥·2024-02-07 07:42

运维人员一定要正常关机！！！！！！！！（呐喊!!!）不要直接关机！！！！！！

运维人员不要直接关机！不要直接关机！不要直接关机！！！！！！！！！！！如何正常关机？shutdown-hnow表示将系统的服务停掉后，立即关机。
you秀·2024-02-07 06:35

运维之-如何在纯内网，无网络的环境中代理网络到外网！超全！手把手教！！

前言在外出实施和部署公司的软件和系统时，有的甲方要求时纯内网环境！不给开公网，但是自己处理软件包之间的依赖又太麻烦（一个软件包有可能会有6，7个依赖。亲身经验）。所以找到了一套可以强制代理固定软件的网络包到指定电脑端口的代理服务的工具——tsocks。但是在纯内网中安装它又可能需要其它的东西比如gcc和make编译工具。下面会一一列出需要的工具和获取的方法第二种可能会用到的情况就是在linux下想
you秀·2024-02-07 06:04

数据库学习案例20240206-ORACLE NEW RAC agent and resource关系汇总。

集群架构图整体集群架构图如下：1数据库启动顺序OHASD层面操作系统进程init.ohasdrun启动ohasd.bininit.ohasdrun集群自动启动是否被禁用crsctlenablehas/crsGIHOME所在文件系统是否被正常挂载
执笔画情ora·2024-02-07 06:46

clickhouse（五、运维查看后台进程并杀死）

查看后台进程--这个命令和mysql是一样的showprocesslist；--如果进程太多，也可用通过查询系统表processes，select*fromsystem.processes;--指定主要关心字段selectuser,query_id,query,elapsed,memory_usagefromsystem.processes;杀死后台进程--通过上面指令获取到进程相关信息后，可以用
yyoc97·2024-02-07 06:12

Spark Scala大数据编程实例

一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想，只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java虚拟机）上，并兼容现有
一直de不完的bug·2024-02-07 06:38

win10 spark scala 本地运行wordcount

注意每次修改环境变量都要重启cmd本机运行需要hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin
疯琴·2024-02-07 06:06

Spark scala如何本地运行

Sparkscala如何本地运行Spark任务调试太费时间啦SparkScala本地运行Spark任务调试太费时间啦ApacheSpark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算
HanhahnaH·2024-02-07 06:03

同是ZooKeeper，你和架构师的理解差在哪里？

Dubbo，Kafka,Hadoop等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗？如果面试官让你给他讲讲ZooKeeper是个什么东西，你能回答到什么地步呢？
l鹿狸i·2024-02-07 06:12

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。
一杯咖啡半杯糖·2024-02-07 06:39

数据湖与数据仓库

但是随着大数据技术的融合发展，数据湖不断演变，汇集了各种技术，包括数据仓
四月天03·2024-02-07 05:36

Hadoop-IDEA开发平台搭建

1.安装下载Hadoop文件1）hadoop-3.3.5将下载的文件保存到英文路径下，名称一定要短。
Snower_2022·2024-02-07 05:02

【实验1】分布式模式的CentOS 6上安装Hadoop（1个master节点，2个slave节点）

实验环境：二、实验内容与步骤（过程及数据记录）：1.安装VMWareWorkstation162.VMWare10安装CentOS62.1CentOS系统安装2.2CentOS系统安装中的关键问题2.3克隆HadoopSlave3
-借我杀死庸碌的情怀-·2024-02-07 05:31

在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验

一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥：mkdir~/.sshcd~/.sshssh-keygen-t-rsa一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中scpid_rsa.pubh1@对方机器IP：~/.ssh/authorize
Clearlove灬Star·2024-02-07 05:01

合肥工业大学2022大数据技术实验二

实验序号及名称：实验二在Hadoop平台上部署WordCount程序实验时间∶2022年5月14日预习内容一、实验目的和要求∶在Hadoop平台上部署WordCount程序。
一头骇人鲸·2024-02-07 05:00

hadoopwordcount代码分析

输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer;用来对字符串进行切importorg.apache.hadoop.fs.Path
姹紫_嫣红·2024-02-07 05:57

【实验2】在Hadoop平台上部署WordCount程序

文章目录实验内容一、实验环境：二、实验内容与步骤（过程及数据记录）：5.分布式文件系统HDFS上的操作5.1利用Shell命令与HDFS进行交互5.2利用Web界面管理HDFS6.分布式文件系统HDFS
-借我杀死庸碌的情怀-·2024-02-07 05:27

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

重续勇气读书，节选前后封面重点

他主要研究“教育大数据、教育治理现代化和未来学校与未来教育新图景……”2.本书内容简介：学校属于上层建筑的一部分，它需要发生变革才能驱动社会
N1124王双凤·2024-02-07 05:10

Linux之父新年又发火！怒斥谷歌内核贡献者：我不会接受这种垃圾代码

LinusTorvalds最近在Linux内核邮件列表上发表了一篇措辞激烈的帖子，对Google的一位贡献者关于文件系统方面的建议进行了严厉批评。
c++服务器开发·2024-02-07 05:12

MySQL 磁盘95%，删完数据磁盘炸了！聊聊清理数据遇到的问题

在降本增笑的大环境下，运维被砍，开发也要承担一部分DBA的任务。例如，今天这个场景，某台MySQL5.7，磁盘95%，继续解决。开发想当然的做法是：删掉一些表的数据，肯定能降。
FesonX·2024-02-07 05:09

如何将日志文件和二进制文件快速导入HDFS？

日志数据在应用程序中一直很常见，Hadoop能够处理生产系统生成的大量日志数据，比如网络设备、操作系统、Web服务器和应用程序的日志数据。
weixin_34159110·2024-02-07 05:36

二进制文件和库之间有什么区别？

问题我正在尝试了解文件系统层次结构标准。我已经查找了二进制文件和库，并且据我目前的理解：二进制文件是二进制格式的计算机可读代码文件，它们直接用位控制CPU和处理器。
小熊coder·2024-02-07 04:35

你一定要知道这个运维产品的能力闭环体系

实现一个运维产品的闭环，比碎片式的产品建设更有意义。抛开我最近创业对这一问题的必要性思考，回归到一个企业内运维团队本身，个人觉得也需要思考这个命题。一个完善的运维平台才能做到对业务的运营有效支撑。
AIOPstack·2024-02-07 04:57

linux运维:ywtools工具安装/卸载介绍

一.工具功能功能介绍ywtools工具是全部shell脚本编写,用于日常工作的linux运维二.已测试系统:centos7centos8centossteam8centossteam9rocky8rocky9AlmaLinux8.2
Z顺其自然·2024-02-07 03:04

Qt：QFileDialog

目录一、介绍二、功能三、具体事例1、将某个界面保存为图片，后缀名可选PNG、JPEG、SVG等一、介绍QFileDialog提供了一个对话框，允许用户选择文件或者目录，也允许用户遍历文件系统，用以选择一个或多个文件或者目录
Yanjun2i·2024-02-07 03:57

吸引力法则｜万事万物之间，都是有吸引力的

大数据不会骗人，当你刷到这里。留下一句“一顺百顺”，你担心的那件事，好结果马上就来临。当你想做某件事的时候，整个宇宙都会过来帮你。｜《吸引力法则》【什么是吸引力法则】万事万物之间，都是有吸引力的。
Quasar知识星球·2024-02-07 03:13

node爬虫入门竟如此简单

目前市面上也有专门的爬虫工程师，并且在大企业的大数据部门，大数据工程师们也会兼任一些爬取竞对数据的工作，当然也有专门做安全的工程师应对爬虫的危害。所以爬虫真的那么高深莫测吗？
南宫__·2024-02-07 03:06

Linux学习笔记之 软链接和硬链接

Linux学习笔记之软链接和硬链接前言硬链接用ln源文件硬链接硬链接特点可删除源文件硬链接不能跨文件系统（分区）硬链接不能链接目录，硬链接不会建立新的inode信息，也不会更改inode的总数。
kfepiza·2024-02-07 03:41

【Linux笔记】文件系统与软硬链接

一、文件系统概述1.1、先来聊一聊“磁盘”在讲解文件系统之前，我觉得有必要先聊一下“磁盘”，因为我觉得如果弄懂了磁盘的存储原理，大家可能更容易理解文件系统是怎么管理数据的，并且理解计算机是怎么将磁盘抽象到文件系统的
林先生-1·2024-02-07 03:38

Kuberntes权威指南

一、目录二、Kubernetes入门三、Kubernetes核心原理四、Kubernetes开发指南五、Kubernetes运维指南六、Kubernetes高级案例进阶七、Kubernetes源码导读
程序员的人生K·2024-02-07 03:04

数据仓库-Hive基础（二）Hive 的基本概念

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
做个合格的大厂程序员·2024-02-07 03:42

【云原生进阶之PaaS中间件】第三章Kafka-4.2-生产者工作原理剖析

随后会经过序列化，kafka并没有采用Java提供的序列化器，而是自己实现的序列化器，但是Java提供的序列化器，会在原有数据的基础上，增加很多的用于安全校验的数据，在大数据的场景下，每次传输的数据量很大
江中散人·2024-02-07 02:27

D7 Elasticsearch-Mongodb（搜索记录）

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:16

黑马头条 xxl-job

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:16

对话开发者：Serverless 落地的困境与破局

在新的阶段中，云服务的角色也从单纯的提供资源，变成了企业构建应用的新平台，帮助企业尽可能减小机器运维等低价值重复工作，聚焦于业务的
阿里云云原生·2024-02-07 02:14

黑马头条 - minio

一名从事运维开发的worker，记录分享学习。专注于AI，运维开发，windowsLinux系统领域的分享！
南城余coding·2024-02-07 02:42

快速上手医学影像组学和机器学习（训练营：2023.9.19~9.26）

★课程简介★随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究，它就是影像组学。它可以对普通影像图像进行更深层
茗创科技·2024-02-07 02:08

Spark RDD的学习(JAVA)

注：本文是跟着《Spark快速大数据分析》一书学习的笔记式总结，不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是Spark对数据的核心抽象。
啊其11·2024-02-07 02:47

存内计算——发展史与近期成果

随着大数据时代的到来，存内计算由于其结构特点以及摩尔定律的“失效”，被认为是提升处理器能效和性能以及加速神经网络运算的新出路。接下来我们将从存内计算的源头出发，介绍它的发展史与近期取得的成果。
YoungerChina·2024-02-07 02:29

爬虫（一）

近两年随着大数据的兴起，爬虫一行，也逐渐进入了大众的视野。而我这个初出茅庐的菜鸟，也因为一系列的起源巧合，慢慢的转变成了一个专门从事于爬虫行业的一份子。
沙漏如心·2024-02-07 02:25

官宣|九章云极DataCanvas核心产品通过 “可信大数据”权威评测

近日，中国信息通信研究院（以下简称“中国信通院”）第十四批“可信大数据”产品能力评测结果揭晓。
九章云极DataCanvas·2024-02-07 01:22

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

2023年腾讯全球数字生态大会：核心内容与学习收获（附大会核心PPT下载）

目录一、核心内容：数字生态的未来趋势1、人工智能与大数据：引领产业升级2、云计算：赋能企业创新3、物联网与5G：加速万物互联二、我们能学到什么？
百家峰会·2024-02-07 01:39

统计图表在线配置服务-百度 SugarBI的学习笔记

最近，有个产品要支持统计图表在线可配置，这样，当用户有新增统计指标的需求时，运维人员通过界面化配置，就可以增加统计指标了，不用开发写代码，画页面了。
快看那个人·2024-02-07 01:31

自学Python 1 介绍

Python是一款计算机语言，对大数据分析、人工智能等机器学习、深度学习都提供了大力的支持。它背后有最庞大的“代码库”，也称之它为“胶水语言”。
江南赴艽野·2024-02-07 01:58

一、Python的自述

1.我们为什么要学习pythonpython应用范围广对大数据分析、人工智能中至关重要的机器学习、深度学习都提供了大力支持背后有最庞大的“代码库”习惯称为“胶水语言”2.python能做啥能抢票，数据分析
多斯Niko·2024-02-07 01:54

Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪，后来者居上
想你依然心痛·2024-02-07 01:53

杀熟

在大数据，互联网经济的今天，行业杀熟行为时有发生，但都只是以小额补偿或不轻不重的道歉，匆匆收场，顾客他多你一个不会赚更多，少你一个损失也不大，反正商家的东西似乎一点也不愁卖的样子。
云物农语·2024-02-07 01:25

在相遇里重逢

网络大数据清晰地记录了我上一年度听过的各种音乐数据，诸如共计听了多少首歌和时长，哪天听音乐时长最长，哪天单曲循环最多，哪天听音乐时间最晚，我的音乐偏好是什么……如此云云。
我是亚丽·2024-02-07 00:51
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他