Linux基础入门笔记第59页

Hadoop 入门笔记—核心组件 HDFS

作者：幻好来源：恒生LIGHT云社区基本概念HDFS(HadoopDistributedFileSystem)是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。首先，通过名字就能很清楚的明白HDFS在Hadoop中是应该文件存储的组件。HDFS的设计之初，主要是考虑到在数据量的不断增长的环境下，由于受制单机资源有限，为了保证系统能够提供高可用、高可靠性以及高扩

·2021-11-19 14:47

Hadoop 入门笔记—核心组件 MapRuduce

作者：幻好来源：恒生LIGHT云社区基本概念MapReduce是一个分布式运算程序的编程框架，通过它能将用户将编写好的程序提交，并发运行在一个Hadoop集群上。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序。MapReduce是一个编程模型，分为两个阶段：Map和Reduce。输入的数据会先分块，然后由Map进行处理，最后输出到Reduce中。可

·2021-11-19 13:13

2021-11-18 SQL学习2

课程资料网盘链接：https://pan.baidu.com/s/1-jOwaXWArtv8h21B0-uWGg提取码：wsraSQL零基础入门笔记：https://www.mubucm.com/doc

OD张·2021-11-18 23:01

2021-11-16Excel基础操作2

课程资料网盘链接：https://pan.baidu.com/s/1-jOwaXWArtv8h21B0-uWGg提取码：wsraSQL零基础入门笔记：https://www.mubucm.com/doc

OD张·2021-11-16 23:23

linux基础（一）

平时工作也会写些命令行，但都要用的时候才记得，不成体系（忘了就百度），很多命令也老忘记。这次跟着coggle的开源学习路径梳理一下，巩固基础。也许你会问，数分还需要掌握这些么？对，不需要，和数据分析没什么关系，但牵扯到工程问题，你绕不开这些，最近也在研究一些国外的开源数据产品，感受到了国外数分or数据科学岗位对于技术的要求明显是高于国内的（没办法，人家领先了我们很多在数据技术这块，得承认）。个人认

·2021-11-16 15:02

推荐系统入门笔记九: 基于内容的推荐算法

·2021-11-16 09:51

『学了就忘』Linux基础命令 — 39、挂载U盘和挂载NTFS分区

目录1、在Linux系统中挂载U盘（1）插入U盘（2）查询U盘设备文件名（3）挂载U盘（4）U盘中的中文乱码（5）U盘卸载2、在Linux系统中挂载NTFS分区（1）Linux的驱动加载顺序（2）使用NTFS-3G安装NTFS文件系统模块1、在Linux系统中挂载U盘（1）插入U盘我们需要把鼠标点入虚拟机里，在插入U盘，虚拟机才能识别新插入的U盘，否则U盘会被真实机识别。虚拟机识别U盘后会出现如下

繁华似锦Fighting·2021-11-12 16:00

『学了就忘』Linux基础命令 — 38、Linux中光盘的挂载

目录步骤一：创建一个空目录步骤二：找到光盘的设备文件名称步骤三：挂载光盘步骤四：访问关盘中的数据步骤五：卸载挂载点问题：挂载点为什么要使用空目录提示：关于Linux系统中光盘的挂载，我们了解一下即可，现在已经很少用到了。但是我们可以通过在Linux系统中挂载光盘，来加深对Linux系统中挂载操作的学习。光盘挂载的前提依然是指定光盘的设备文件名，不同版本的Linux，设备文件名并不相同：CentOS

繁华似锦Fighting·2021-11-12 10:00

Linux DNS服务详解——DNS主从架构配置

今天继续给大家介绍Linux基础知识，本文主要内容是DNS的主从配置。

weixin_40228200·2021-11-11 23:58

Linux DNS服务详解——DNS实战配置

今天继续给大家介绍Linux基础知识，本文主要内容是DNS的实战配置。

weixin_40228200·2021-11-11 22:19

『学了就忘』Linux基础命令 — 37、Linux中挂载操作的相关命令

目录1、mount命令介绍（1）mount命令说明（2）mount命令格式2、mount命令示例3、mount-a命令说明4、-o特殊选项说明5、exec/noexec选项说明挂载就是把设备文件名和已经建立的空目录链接起来的过程，就叫做挂载。1、mount命令介绍（1）mount命令说明Linux系统中所有存储设备都必须挂载才能使用，包括硬盘。命令名称：mount命令所在路径：/bin/mount

繁华似锦Fighting·2021-11-11 16:00

『学了就忘』Linux基础命令 — 36、查看系统痕迹相关命令

目录1、w命令2、who命令3、last命令4、lastlog命令5、lastb命令系统中有一些重要的痕迹日志文件，如/var/log/wtmp、/var/run/utmp、/var/log/btmp、/var/log/astlog等日志文件，如果你用vim打开这些文件，你会发现这些文件是二进制乱码。这是由于这些日志中保存的是系统的重要登录痕迹，包括某个用户何时登录了系统，何时退出了系统，错误登录

繁华似锦Fighting·2021-11-11 10:00

『学了就忘』Linux基础命令 — 35、网络中与其他机器通信的命令

目录1、write命令2、wall命令3、mail命令使用1：发送邮件使用2：查看已经接收的邮件使用3：发送文件内容1、write命令（1）write命令的基本信息命令名称：write英文原意：sendamessagetoanotheruser所在路径：/usr/bin/write执行权限：所有用户。功能描述：向其他用户发送信息。write命令的格式如下：[root@localhost~]#wri

繁华似锦Fighting·2021-11-10 17:00

『学了就忘』Linux基础命令 — 34、配置网络相关命令

目录1、配置网络常用命令2、ifconfig命令3、ping命令4、netstat命令使用1：查看本机开启的端口使用2：查看本机有哪些程序开启的端口使用3：查看所有连接使用4：查看网关地址1、配置网络常用命令（1）配置IP地址IP地址是计算机在互联网中唯一的地址编码。每台计算机如果需要接入网络和其他计算机进行数据通信，就必须配置唯一的公网IP地址。配置IP地址有两种方法：1）setup工具（Red

繁华似锦Fighting·2021-11-10 11:00

『学了就忘』Linux基础命令 — 33、管道符的使用

目录1、管道符介绍2、管道符应用（1）例子1：（2）例子2：（3）例子3：1、管道符介绍管道符|，也是Shell命令。管道符的作用是链接多个命令，把命令1的结果作为命令2的操作对象。命令格式：命令1|命令2命令1的正确输出作为命令2的操作对象提示：管道符的基本作用和之前说过的-exec选项的基本作用是一样的。命令1的结果作为命令2的操作对象的这种操作称为文本流操作（就相当于流水线，第一个人操作完流

繁华似锦Fighting·2021-11-09 17:00

推荐系统入门笔记二 : 推荐算法

·2021-11-09 17:23

生信 | Circos实战

更新日志2021年11月3日追加更新：增加数据获取说明每一个板块的数据，新增如何获取对应的数据，不过多多少少需要点Linux基础，看不懂也没关系，会用就行。只不过熟悉Linux的同学可以在此

生信卷王·2021-11-09 17:42

推荐系统入门笔记一 : 推荐系统简介和架构

·2021-11-09 12:59

『学了就忘』Linux基础命令 — 32、压缩和解压缩相关命令

目录1、“.zip”格式压缩2、“.gz”格式压缩3、“.bz2”格式压缩4、“.tar”格式打包5、打包和压缩的关系6、“.tar.gz”和“.tar.bz2”格式打包并压缩之前说过，在Linux系统下，文件是不区分扩展名的。但是Linux系统支持很多种压缩格式，如果压缩文件不写上扩展名，你自己创建的压缩文件可能你自己知道，但是过一阵你可能也忘记了。其他管理员也很难知道该文件是一个压缩文件。同时

繁华似锦Fighting·2021-11-09 11:00

『学了就忘』Linux基础命令 — 31、grep命令和通配符

目录1、grep命令介绍2、find命令和grep命令的区别（重点）（1）find命令（2）grep命令3、通配符与正则表达式的区别（1）通配符：（2）正则表达式：1、grep命令介绍grep命令：是一个Shell命令，是Shell中文本三剑客之一，作用是在文件中提取和匹配符合条件的字符串行。grep命令是一个非常常见的命令，和find命令有很多非常相似的地方，所以在这里先说明。grep命令格式如

繁华似锦Fighting·2021-11-08 20:00

『学了就忘』Linux基础命令 — 30、find命令详细说明

目录1、find命令的基本信息2、find命令基本使用3、按照文件大小搜索4、按照修改时间搜索5、按照权限搜索6、按照所有者和所属组搜索7、按照文件类型搜索8、逻辑运算符（1）-a：and逻辑与（2）-o：or逻辑或（3）-not：not逻辑非9、其他选项（1）-exec选项（2）-ok选项1、find命令的基本信息命令名称：find英文原意：searchforfilesinadirectoryh

繁华似锦Fighting·2021-11-08 11:00

Hadoop 入门笔记二十三 : MapReduce性能优化-数据压缩优化

一.压缩优化设计运行MapReduce程序时，磁盘I/O操作、网络数据传输、shuffle和merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。如果磁盘I/O和网络带宽影响了MapReduce作业性能，在任意MapReduce阶段启用压缩都可以改善端到端处理时间并减少I/O

·2021-11-07 15:48

Hadoop 入门笔记二十三 : MapReduce性能优化-文件类型

一.MapReduce性能优化概述1.MapReduce的应用场景Hadoop包含了GFS的开源实现HDFS（Hadoopdistributedfilesystem)和MapReduce框架的开源实现。Hadoop得到了企业界及学术界关注，Yahoo、Facebook、Cloudera、Twitter、Intel、华为等诸多公司和技术团体对Hadoop给予了大力支持。Cloudera对Apache

·2021-11-07 12:43

『学了就忘』Linux基础命令 — 29、关机和重启

目录1、sync数据同步2、shutdown命令3、reboot命令4、halt和poweroff命令5、init命令1、sync数据同步sync命令的基本信息如下：命令名称：sync英文原意：flushfilesystembuffers所在路径：/bin/sync执行权限：所有用户。功能描述：刷新文件系统缓冲区。注意：官方说有用，信不信由你。最好在重启或者关键前，敲几遍sync，确保数据完全保存

繁华似锦Fighting·2021-11-06 21:00

『学了就忘』Linux基础命令 — 28、别名和常用快捷键

目录1、别名2、常用快捷键1、别名别名也是Shell中的命令。命令的别名，就是命令的小名，主要是用于照顾管理员使用习惯的。命令格式：#查询系统中命令别名[root@localhost~]#alias#设定命令别名[root@localhost~]#alias别名=’原命令’#例如：#用ser别名，替代servicenetworkrestart命令[root@localhost~]#aliasser

繁华似锦Fighting·2021-11-06 21:00

『学了就忘』Linux基础命令 — 27、搜索操作相关命令

目录1、whereis命令2、which命令3、locate命令1、whereis命令whereis是搜索系统命令的命令，也就是说，whereis命令不能搜索普通文件，而只能搜索系统命令。whereis命令的基本信息如下：命令名称：whereis英文原意：locatethebinary，source，andmanualpagefilesforacommand所在路径：/usr/bin/wherei

繁华似锦Fighting·2021-11-06 10:00

『学了就忘』Linux基础命令 — 26、帮助命令

目录1、man命令（1）man命令的快捷键（2）man命令的帮助级别（了解即可）（3）man命令的使用2、info命令3、help命令4、--help选项1、man命令man是最常见的帮助命令，也是Linux最主要的帮助命令，其基本信息如下：命令名称：man英文原意：formatanddisplaytheon-linemanualpages所在路径：/usr/bin/man执行权限：所有用户。功能

繁华似锦Fighting·2021-11-05 22:00

『学了就忘』Linux基础命令 — 25、文件基本权限的管理

目录1、文件和目录的默认权限2、umask默认权限（1）查看系统的umask权限（2）用八进制数值显示umask权限（3）umask权限的计算方法（4）注意：umask默认权限的计算绝不是数字直接相减。总结：Linux系统的权限有6种。读写执行为基本权限。umask为默认权限。后边还有4种权限，会在之后的权限管理部分详细讲解。1、文件和目录的默认权限我们先创建一个文件abc，然后查看abc文件的长

繁华似锦Fighting·2021-11-05 16:00

『学了就忘』Linux基础命令 — 24、文件基本权限的相关命令

目录1、chmod命令2、权限模式（1）用户身份。（2）赋予方式。（3）权限。3、数字权限4、文件常用权限5、chown命令6、chgrp命令7、总结常用基本权限操作命令：chmod命令chown命令chgrp命令1、chmod命令修改权限的命令chmod，其基本信息如下：命令名称：chmod英文原意：changefilemodebits所在路径：/bin/chmod执行权限：所有用户。功能描述：

繁华似锦Fighting·2021-11-05 10:00

2021金三银四春招来袭，掌握这份成长宝典，offer岂不是随便拿

事务及隔离性级别+30分钟深入掌握执行计划+解读BTree与B+Tree索引+Sql慢查询配置及分析+Sql优化策略及实战+Mysql面试题汇总**6.架构筑基必备Linux：**Linux安装指南+Linux

Java技术开源·2021-11-04 19:04

『学了就忘』Linux基础命令 — 23、文件基本权限的介绍和作用

目录1、基本权限的介绍（1）权限位的含义（2）权限的优先级2、权限的基本作用（1）权限含义的解释（2）目录权限说明1、基本权限的介绍（1）权限位的含义前面讲解ls命令时，我们已经知道长格式显示的第一列就是文件权限的描述，例如：[root@localhost~]#ls-linstall.log-rw-r--r--.1rootroot247721月1418：17install.log第一列的权限位如果

繁华似锦Fighting·2021-11-04 17:00

『学了就忘』Linux基础命令 — 22、Linux中的硬链接和软链接

目录1、文件和目录的基本存储2、In命令介绍（1）我们来看看ln命令的基本信息（2）ln命令的基本格式3、创建硬链接（1）如何创建硬链接（2）硬链接特征（3）硬连接原理4、创建软链接（1）如何创建软链接（2）软链接特征（3）软连接原理（4）说明提示：先来说明一下在Linux系统中文件和目录的基本存储，这样更方便我们理解和学习Linux系统中的硬链接和软链接。1、文件和目录的基本存储之前说过分区，每

繁华似锦Fighting·2021-11-04 11:00

『学了就忘』Linux基础命令 — 20、文件操作的相关命令

目录1、touch命令2、stat命令3、cat命令4、more命令5、less命令6、head命令7、tail命令1、touch命令touch命令用于创建空文件或修改文件时间，这个命令的基本信息如下。命令名称：touch英文原意：changefiletimestamps所在路径：/bin/touch执行权限：所有用户。功能描述：创建空文件或修改文件的时间戳。使用示例：[root@192~]#to

繁华似锦Fighting·2021-11-03 11:00

『学了就忘』Linux基础命令 — 19、目录操作的相关命令

目录1、ls命令2、cd命令（1）绝对路径和相对路径（2）cd命令的简化用法3、pwd命令4、mkdir命令5、rmdir命令常用目录操作的相关命令：ls命令cd命令pwd命令mkdir命令rmdir命令1、ls命令ls是最常见的目录操作命令，主要作用是显示目录下的内容。命令名称：ls英文原意：list所在路径：/bin/ls执行权限：所有用户。功能描述：显示目录下的内容。[root@localh

繁华似锦Fighting·2021-11-03 11:00

『学了就忘』Linux基础命令 — 18、Linux命令的基本格式

目录1、命令提示符说明2、命令的基本格式（1）举例ls命令（2）说明ls-l命令的输出内容1、命令提示符说明[root@localhost~]#[]：这是提示符的分隔符号，没有特殊含义。root：显示的是当前的登录用户。@：分隔符号，没有特殊含义。localhost：当前系统的简写主机名（完整主机名是localhost.localdomain）。~：代表用户当前所在的目录的最后一级目录。最后#：表

繁华似锦Fighting·2021-11-02 23:00

一、linux基础、C语言、数据结构回顾

一、linux基础、C语言、数据结构回顾目录一、linux基础、C语言、数据结构回顾1、linux基础：2、Linux下的C语言3、面试题4、linux下数据结构5、Linux下高级编程6、结构7、物联网项目框架

十七阿哥的春天·2021-11-02 23:11

『学了就忘』Linux基础 — 17、远程服务器关机及重启时的注意事项

目录1、为什么远程服务器不能关机2、远程服务器重启时需要注意两点3、不要在服务器访问高峰运行高负载命令4、远程配置防火墙时不要把自己踢出服务器5、指定合理的密码规范并定期更新6、合理分配权限7、定期备份重要数据和日志1、为什么远程服务器不能关机很简单，远程服务器没有放置在本地，关机后，谁可以帮你按开机电源键启动服务器？像插入电源和开机这样的工作还是需要手工进行的。如果服务器在远程，一旦关机，就只能

繁华似锦Fighting·2021-11-02 17:00

Hadoop 入门笔记二十二 : MapReduce实现Join关联操作

一.背景在实际的数据库应用中，我们经常需要从多个数据表中读取数据，这时我们就可以使用SQL语句中的连接（JOIN），在两个或多个数据表中查询数据。在使用MapReduce框架进行数据处理的过程中，也会涉及到从多个数据集读取数据，进行join关联的操作，只不过此时需要使用java代码并且根据MapReduce的编程规范进行业务的实现。但是由于MapReduce的分布式设计理念的特殊性，因此对于Map

·2021-11-02 12:34

Hadoop 入门笔记二十一 : MapReduce DB操作

一.背景知识通常组织会使用关系型数据来存储业务相关的数据，但随着数据的规模越来越大，尤其是像MySQL这种，在单表超过5千万条记录时，尽管对表使用了特定的存储引擎和索引优化，但依然不可避免的存在性能下降问题。此时，我们**可以通过使用MapReduce从MySQL中定期迁移使用频率较低的历史数据到HDFS中，一方面可以降低对MySQL的存储和计算负载，另一方面，通过分布式计算引擎可以更加高效的处理

·2021-11-02 11:47

Hadoop 入门笔记二十 : MapReduce Counter计数器

一.计数器概述执行MapReduce程序的时候,控制台输出信息中通常有下面所示片段内容：输出信息中的核心词是counters，中文叫做计数器,Hadoop内置的计数器功能收集作业的主要统计信息，可以帮助用户理解程序的运行情况，辅助用户诊断故障。二.MapReduce内置计数器Hadoop为每个MapReduce作业维护一些内置的计数器，这些计数器报告各种指标，例如和MapReduce程序执行中每个

·2021-11-02 11:15

『学了就忘』Linux基础 — 16、Linux系统与Windows系统的不同

目录1、Linux严格区分大小写2、Linux一切皆文件3、Linux不靠扩展名区分文件类型4、Linux中所有的存储设备都必须在挂载之后才能使用5、Windows下的程序不能直接在Linux中使用这篇文章主要罗列Windows系统和Linux系统最常见的一些区别。1、Linux严格区分大小写Linux是严格区分大小写的，这一点和Windows系统不一样，所以操作时要注意区分大小写。包括文件名和目

繁华似锦Fighting·2021-11-02 11:00

『学了就忘』Linux基础 — 8、虚拟机网络模式说明

目录1、虚拟机网卡2、网络连接模式对应工作的网卡3、桥接模式说明4、补充说明这篇主要总结一下虚拟机网络配置中桥接模式、NAT模式和仅主机模式的区别。打开VMware，选中虚拟机，点击网络适配器。在弹出的页面当中，可以看到红框中有三种网络链接方式。下面开始介绍这三种模式的区别。1、虚拟机网卡我们在安装完VMware虚拟机软件之后，会在计算机上创建两个虚拟网卡。分别是VMnet1、VMnet8。可以在

繁华似锦Fighting·2021-10-30 14:00

『学了就忘』Linux基础 — 6、VMware虚拟机安装Linux系统（超详细）

目录1、打开VMware虚拟机软件2、选择Linux系统的ISO安装镜像3、开启虚拟机安装系统（1）进入Linux系统安装界面（2）硬件检测（3）检测光盘（4）欢迎界面（5）选择语言（6）选择键盘（7）选择存储（8）存储设备警告（9）填写主机名称（10）选择时区（11）填写密码（12）选择分区类型（13）设置硬盘挂载（14）格式化分区（15）将存储配置写入磁盘（16）安装启动引导程序（17）选择安

繁华似锦Fighting·2021-10-29 18:00

『学了就忘』Linux基础 — 5、使用VMware创建虚拟机

目录1、在VMware中创建虚拟机（1）点击[创建新的虚拟机]。（2）选择系统安装方式（3）选择客户机操作系统（4）自定义虚拟机的名称和安装位置。（5）指定系统硬盘容量（6）完成创建2、配置虚拟机硬件参数（1）配置虚拟机参数方式（2）配置内存参数（3）配置CPU参数（4）配置硬盘参数（5）配置CD/DVD(IDE)参数（6）配置网络适配器参数（7）其他1、在VMware中创建虚拟机如果你的电脑中，

繁华似锦Fighting·2021-10-29 11:00

Linux基础IO

文章目录C语言文件IOC语言文件接口汇总什么是当前路径？默认打开的三个流系统文件I/Oopenopen的第一个参数open的第二个参数open的第三个参数open的返回值closewriteread文件描述符fd文件描述符的分配规则重定向重定向的原理dup2添加重定向功能到minishellFILEFILE当中的文件描述符FILE当中的缓冲区理解文件系统初识inode磁盘的概念磁盘分区与格式化介绍

2021dragon·2021-10-27 17:03

Hadoop 入门笔记十九: MapReduce并行度机制

一.MapReduce并行度机制1.MapTask并行度机制1.概念MapTask的并行度指的是map阶段有多少个并行的task共同处理任务。map阶段的任务处理并行度，势必影响到整个job的处理速度。那么，MapTask并行实例是否越多越好呢？其并行度又是如何决定呢？2.原理机制一个MapReducejob的map阶段并行度由客户端在提交job时决定，即客户端提交job之前会对待处理数据进行逻辑

·2021-10-27 14:37

Hadoop 入门笔记十八: MapReduce基础编程

一.MapReducemapReducePatitionCombiner1.Partition分区1.默认情况在默认情况下，不管map阶段有多少个并发执行task,到reduce阶段，所有的结果都将有一个reduce来处理，并且最终结果输出到一个文件中。默认情况下MapReduce执行流程:2.修改ReduceTask个数在MapReduce程序的驱动类中，通过job提供的方法，可以修改reduc

·2021-10-27 13:31

Hadoop 入门笔记十七 : MapReduce入门与基础理论

一.MapReduce基础理论1.MapReduce思想MapReduce思想在生活中处处可见，每个人或多或少都曾接触过这种思想。MapReduce的思想核心是“先分再合，分而治之”，所谓“分而治之”就是把一个复杂的问题，按照一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，把各部分的结果组成整个问题的结果。这种思想来源于日常生活与工作时的经验，同样也完全适用于大

·2021-10-23 13:49

Hadoop 入门笔记十六 : HDFS核心源码解析

一.HDFS客户端核心代码1.ConfigurationConfiguration提供对配置参数的访问，通常称之为配置文件类。主要用于加载或者设定程序运行时相关的参数属性。1.Configuration加载默认配置首先加载了静态方法和静态代码块，其中在静态代码块中显示默认加载了两个配置文件：core-default.xml以及core-site.xml2.Configuration加载用户设置通过

·2021-10-22 12:47

Hadoop 入门笔记十五 : HDFS数据安全与隐私保护

一.Trash垃圾回收1.背景DFS本身也是一个文件系统，那么就会涉及到文件数据的删除操作。默认情况下，HDFS中是没有回收站垃圾桶概念的，删除操作的数据将会被直接删除2.功能概述Trash机制，叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。默认情况下是不开启的。启用Trash功能后，从HDFS中删除某些内容时，文件或目录不会立即被清

·2021-10-21 17:59

推荐频道

Linux基础入门笔记