大数据-Linux

Linux统计进程网络,Linux进程网络流量统计

原标题：Linux进程网络流量统计前言linux都有相应开源工具实时采集网络连接、进程等信息其中网络连接一般包括最基本的五元组信息(源地址、目标地址、源端口、目标端口、协议号)再加上所属进程信息pid,
德云色·2024-09-09 23:29

linux查看进程 显示,Linux中查看进程状态信息

Linux中
帅元昊·2024-09-09 23:29

Select/Poll/Epoll

Select是Windows里面用的一个多路复用器Selector的机制，Poll和Epoll是Linux里面用的多路复用器Selector的机制。
我是一名搬运工·2024-09-09 23:25

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X版本中重新设计的这个YARN集群
why do not·2024-09-09 23:58

linux查看具体进程占用的网络流量

监控网络宽带（网速）的18个命令下面是按功能划分的命令名称。监控总体带宽使用――nload、bmon、slurm、bwm-ng、cbm、speedometer和netload监控总体带宽使用（批量式输出）――vnstat、ifstat、dstat和collectl每个套接字连接的带宽使用――iftop、iptraf、tcptrack、pktstat、netwatch和trafshow每个进程的带宽
寰宇001·2024-09-09 23:27

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

LINUX-网络编程

NCP-NetworkControlProtocol-不能互联不同类型的计算机不能互联不同操作系统的计算机TCP-TransfermControlProtocol-可以互联不同类型的、不同操作系统的计算机传输协议TCP/UDPOSI开放模型(尚未有理论实现)应用层|表示层|->高层:数据加密&格式转换会话层|[传输层]:建立主机端到端的链接，为会话层和网络层提供端到端可靠的和透明的数据传输服务，确
小林's freesky·2024-09-09 22:54

linux压缩解压命令

在Linux系统中，压缩和解压文件是常见的操作，有多种命令和工具可以实现这些功能。下面将详细介绍一些常用的压缩和解压命令，以及gz和tar文件格式的概念。
lonelyhiker·2024-09-09 22:24

查看docker容器进程的pid

在Linux上，每个Docker容器内的进程都有一个对应的宿主机上的PID。
lonelyhiker·2024-09-09 22:24

Linux笔记 --- 目录检索

基本概念Linux中的目录与windows的文件夹相似但是概念大相径庭，windows中子文件一定不会比母文件夹大，但在Linux目录中是可以实现的，目录是一种文件索引表，下图是分区和目录的关系Linux
HUOHUAAARSGJKD·2024-09-09 22:53

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn(YetAnotherReasourceNegotiator，另一种资源协调者)是Hadoop2.x版本后使用的资源管理器，可以为上层应用提供统一的资源管理平台。二、Yarn架构Y
Lansonli·2024-09-09 22:22

linux查看网络链接的具体进程

问题linux上有多个程序，都在访问同一个数据库，如何知道哪些网络连接，是由那个程序的进程发出的，通过netstat看不出具体是那个进程产生的链接。
lonelyhiker·2024-09-09 22:22

kubernetes online depoly | kubeadm 快速部署kubernetes v1.25 集群 |单matser

目录一、环境准备二、安装Containerd三、安装Kubernetes四、部署网络插件一、环境准备软件环境：操作系统AlmaLinux9容器引擎ContainerdKubernetes1.25服务器规划
深耕云原生·2024-09-09 21:21

RHEL Linux修改系统locale

查看当前系统Locale首先先查看一下系统的locale信息，可以有两种方式查看第一种，通过/etc/locale.conf文件内容查看$cat/etc/locale.confLANG="zh_CN.UTF-8"第二种，通过“localectlstatus”命令查看$localectlstatusSystemLocale:LANG=zh_CN.UTF-8VCKeymap:cnX11Layout:c
kongxx·2024-09-09 21:13

浅谈Docker引擎

由LXC来基于Linux内核的容器虚拟化技术来提供像NameSpace,Cgruop等基础工具的操作技术；由Daemon来统一负责镜像的管理，容器生命周期的管理，认证等工作。
秦偏执·2024-09-09 21:47

145-Linux权限维持&Rootkit后门&Strace监控&Alias别名&Cron定时任务

参考【权限维持】Linux&Rootkit后门&Strace监控&Alias别名&Cron定时任务_aliasls='alerts(){ls$*--color=auto;python-c"-CSDN博客参考
dreamer292·2024-09-09 20:39

弹性搜索引擎Elasticsearch：本地部署与远程访问指南

在大数据时代，数据搜索和分析成为企业核心竞争力的关键因素。弹性搜索引擎Elasticsearch作为一种分布式、可扩展的搜索和分析引擎，受到广泛欢迎。
猴哥是肖鸿·2024-09-09 20:39

（1）DRF项目服务器部署（Linux/Nginx/Uwsgi）

简介在这里记录下一个普通DRF项目（比如本站后端）用最普通的部署流程部署到Linux生产环境的过程，使用到的相关工具，技术Linux,Nginx,Uwsgi。
一个简短且非常好记的ID·2024-09-09 20:39

Linux xargs命令

参考资料阮一峰-xargs命令教程xargsコマンド目录一.作用二.基本语法2.1-d指定分隔符2.2-p与-t选项2.3-L指定多少行作为一个命令行参数2.4-n指定将多少项作为参数2.5-I指定命令行参数占位符2.6--max-procs指定并行进程的数量三.小案例3.1文件删除3.2文件打包3.3文件移动3.4其他命令结合复杂用法一.作用⏹作用于不接收管道传参的命令，使其接受管道传来的标准输
fengyehongWorld·2024-09-09 19:36

深度学习思考

对理论话深度学习很有意义，一个思路是经验值，将每一层在特定任务下都有输出，对结果作经验总结，比方说浅层输出低层次的几何轮廓特征，高层输出语意特征，我曾经在objecttracking用过这样的方法,在大数据集测试
夜雪朝歌·2024-09-09 19:45

深入聊聊Linux五种IO模型

一、相关概念讲解1、同步与异步同步就是一个任务的完成需要依赖另外一个任务时，只有等待被依赖的任务完成后，依赖的任务才能算完成，这是一种可靠的任务序列。要么成功都成功，失败都失败，两个任务的状态可以保持一致。异步是不需要等待被依赖的任务完成，只是通知被依赖的任务要完成什么工作，依赖的任务也立即执行，只要自己完成了整个任务就算完成了。至于被依赖的任务最终是否真正完成，依赖它的任务无法确定，所以它是不可
Linux服务器开发·2024-09-09 19:05

2024年大数据最新实时数仓之实时数仓架构(Hudi)

技术框架Kafka：用于接入数据源；FlinkCDC：如果直接接入业务数据源可以考虑CDC方式，如果通过Kafka缓冲接入业务数据可以忽略;Flink：用于数据ETL，包括接入数据、处理数据及输出数据全链路数据计算任务；Spark：用于数据ETL，包括处理数据及输出数据全链路数据计算任务；Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；Doris：O
2401_84185556·2024-09-09 19:34

实时数仓之实时数仓架构(Hudi)(1)，2024年最新熬夜整理华为最新大数据开发笔试题

+Hudi：湖仓一体数据管理框架，用来管理模型数据，包括ODS/DWD/DWS/DIM/ADS等；+Doris：OLAP引擎，同步数仓结果模型，对外提供数据服务支持；+Hbase：用来存储维表信息，维表数据来源一部分有Flink加工实时写入，另一部分是从Spark任务生产，其主要作用用来支持FlinkETL处理过程中的LookupJoin功能。这里选用Hbase原因主要因为Table的HbaseC
2401_84181221·2024-09-09 19:04

600 条最强 Linux 命令总结

600条最强Linux命令总结1.基本命令2.关机3.文件和目录4.文件搜索5.挂载一个文件系统6.磁盘空间7.用户和群组8.文件的权限，使用“+”设置权限，使用“-”用于取消9.文件的特殊属性，使用“
素年槿夏·2024-09-09 19:34

基于实时深度学习的推荐系统架构设计和技术演进

月29日阿里云开发者大会，秦江杰和刘童璇的分享，内容包括实时推荐系统的原理以及什么是实时推荐系统、整体系统的架构及如何在阿里云上面实现，以及关于深度学习的细节介绍本文整理自5月29日阿里云开发者大会，大数据与
阿里云云栖号·2024-09-09 19:03

嵌入式系统之软件篇

https://blog.csdn.net/weixin_38815998/article/details/102778007【嵌牛导读】在软件方面，完善的嵌入式操作系统已经成熟，比如Symbian,Linux
Box_Holder·2024-09-09 19:45

使用rdp协议访问远程Linux桌面

一般情况下，如果需要登陆远程Linux系统，我们会使用ssh/telnet来完成，如果需要登陆到远程Linux系统的桌面环境，我们可能会使用VNC。
weixin_30667649·2024-09-09 18:30

《钝感力》| 钝感是一种沉默但有力的回击力

2018年浙江省离婚大数据显示，有35%的离婚原因都是生活琐事。其实婚姻的破裂并没有那么多狗血剧情，最多的都是生活中的小摩擦。
夏小半的江湖·2024-09-09 18:01

大数据新视界--大数据大厂之MySQL数据库课程设计：MySQL集群架构负载均衡故障排除与解决方案

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:26

大数据新视界--大数据大厂之MySQL 数据库课程设计：MySQL 数据库 SQL 语句调优的进阶策略与实际案例（2-2）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:26

大数据新视界--大数据大厂之MySQL 数据库课程设计：开启数据宇宙的传奇之旅

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 18:56

C++ linux下的cmake

cmake是一个帮助我们构建项目的跨平台工具。让我们不需要一次次手动配置makefile，或者手动去链接库这些操作。配置（基于vscode编辑器）在项目main.cpp同级目录下，创建CMakeLists.txt文件，举例内容如下（需自己配置）：//指定构建项目所需的最低cmake版本cmake_minimum_required(VERSION3.10)//指定工程的名字（随后输出的可执行文件与其
陆地鲨鱼-彻·2024-09-09 17:19

大数据新视界--大数据大厂之MySQL数据库课程设计：揭秘 MySQL 集群架构负载均衡核心算法：从理论到 Java 代码实战，让你的数据库性能飙升！

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
青云交·2024-09-09 17:17

OSError: libnccl.so.2: cannot open shared object file: No such file or directory

linux安装完torch或者tensorflow的gpu版本，安装没问题，但是import就有问题，报错OSError:libnccl.so.2:cannotopensharedobjectfile:
王小葱鸭·2024-09-09 17:16

Linux(Centos7.9)实现硬盘挂载并实现自动挂载

安装完Centos系统后，添加一块数据磁盘，使用lvm分区，挂载到/mnt/data目录下，并实现自动挂载挂载虚拟机设置中，新增10G磁盘，由于新装系统，无法使用lvm相关命令，需要使用yumupdate更新yum后下载lvm过程遇到报错，因为更新源被弃用，所以先更改YUM仓库源更新YUM仓库源为阿里云镜像源：sudovi/etc/yum.repos.d/CentOS-Base.repo原有内容删
BQ-Code·2024-09-09 17:16

python实现GUI开发

常见的GUI库有：Tkinter：Python的标准GUI库，是跨平台的，可以在Windows、Linux和MacOSX中运行。PyQt：一个功能强大的GUI库，支持多种平台，但是有一定的学习曲线。
46497976464·2024-09-09 17:45

项目实训（3）：Qt学习计划1

在linux环境下配置要比在windows容易一点……w
Lukeeeeeee！·2024-09-09 16:12

starrocks和clickhouse数据库比较

下面是这两者的一些主要比较点：1.基础架构与设计目标Starrocks:Starrocks是一个专注于实时数据分析的平台，常用于大数据处理和商业智能应用。
CodeMaster_37714848·2024-09-09 16:12

【Linux与嵌入式系统】第一讲嵌入式系统基础

第一讲嵌入式系统基础文章目录第一讲嵌入式系统基础1.绪论1.1背景+概念+特点1.1.1背景/时代特色1.1.2嵌入式系统的概念1.1.3嵌入式系统描述1.1.4嵌入式系统的特点1.1.5嵌入式系统的分类1.2嵌入式系统的发展1.3嵌入式系统的组成1.3.1嵌入式应用系统的逻辑架构1.3.2嵌入式系统的组成1.3.3嵌入式系统的硬件1.3.4嵌入式系统的软件1.4嵌入式系统的应用2.实时系统2.1
Ausgelebt·2024-09-09 15:39

linux快速删除大量目录,Linux 快速删除大量小文件方法

当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm-rf*就不太好用，因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。
摸鱼的月鸪·2024-09-09 15:03

tyut数据分析考试资料

CA.数据分析可以通过计算机工具和数学知识处理数据｜B.可以做出具有针对性的决策｜C.数据分析没有实际的使用意义｜D.在大数据环境下，数据分析能够挖掘出更有价值的信息2、下列关于数据分析概念的描述错误的是
study NH·2024-09-09 15:02

Linux 大文件和大量小文件的复制策略

在Linux上复制大文件或大量小文件时，可以根据文件的类型、数量以及硬件配置（如硬盘类型、CPU、内存）选择不同的复制策略，以提高复制效率。
爱吃瓜的猹z·2024-09-09 15:01

大数据量查询：流式查询与游标查询

最近在做一个计算相关的功能，大体就是有很多条SQL，每条SQL都涉及复杂地运算，最后要将所有计算结果进行合并分析。经初步测试，每个SQL起码会查出几十万条记录，我们现在有毛毛多的这种SQL。最大的问题不在于速度，毕竟涉及运算的功能，想要从速度入手就得靠中间件和算法了。内存占用才是我们最需要注意的，一旦数据量很大且一次性冲入Java堆内存，程序会直接OOM然后离开人世。比如使用非分页的普通查询，这张
不识愁滋味.·2024-09-09 14:01

探索未知的利器：Detect It Easy（DIE）——文件类型检测大师

探索未知的利器：DetectItEasy（DIE）——文件类型检测大师Detect-It-EasyProgramfordeterminingtypesoffilesforWindows,LinuxandMacOS
颜旖玫Michael·2024-09-09 14:58

Detect It Easy 使用教程

DetectItEasy使用教程Detect-It-EasyProgramfordeterminingtypesoffilesforWindows,LinuxandMacOS.项目地址:https://
伍盛普Silas·2024-09-09 14:28

Linux 递归删除大量的文件

一般情况下在Ubuntu中，递归删除大量文件和文件夹可以通过以下几种方式快速完成。常用的方法是使用rm命令，配合一些适当的选项来提高删除速度和效率。1.使用rm命令递归删除最常见的方式是使用rm命令的递归选项-r来删除目录及其所有内容。rm-rf/path/to/directory-r：递归删除目录中的所有文件和子目录。-f：强制删除，即使文件是只读的或不提示确认。2.提高删除速度的技巧在某些情况
爱吃瓜的猹z·2024-09-09 14:55

Linux中设置tomcat开机自动启动

第一步将tomcat的启动文件配置在linux开机启动文件中路径cd/etc/rc.d/第二步vimrc.local第13行是我的jdk路径（更换为你的jdk路径）第14号是我的tomcat启动路径（更换为你的
qian777duoduo·2024-09-09 13:48

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase
BL小二·2024-09-09 13:18

Linux 开机自动启动服务

1：制定执行脚本如redis脚本/app/redis/start.sh/usr/redis/redis-7.2.5/src/redis-server/usr/redis/redis-7.2.5/redis.confnginx脚本/app/nginx/start.sh/usr/sbin/nginx-c/etc/nginx/nginx.confjava应用脚本/app/tigee/start.shki
蹦跶de芝麻·2024-09-09 12:11

Linux入门-day 1

Samba服务器配置1.安装openssh-server$sudoaptinstallopenssh-server2.检查是否安装samba$dpkg-l|grepsamba3.安装samba$sudoapt-getinstallsamba4.配置samba配置文件位于/etc/samba/smb.conf5.启动并启用samba服务查看samba服务名称$systemctllist-units-
Start-Hlyr·2024-09-09 10:34
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他