weixin_33895604
weixin_33895604

Linux 系统运维学习方法汇总

大纲

一、前言

二、Linux 运维大环境说明

三、Linux 运维学习思路

四、Linux 运维大方向说明

五、Linux 运维学习必看书籍推荐

六、Linux 运维实践内容简介

注，本博文主要用于交流与学习。如有雷同，纯属意外。


一、前言

最近，有不少博友问我。刚进入运维行业怎么学习呢？思路是什么？一点思路也没有，然后与大家在群里交流了一下。现在总结一下，与大家分享一下。下面我们就废话不多说，直接上干货。^_^……


二、Linux 运维大环境说明

首先我们来说一下，Linux 运维的大环境。现在运维的大环境是什么呢？这样说吧，现在做运维的95%的人都不是在做运维，简单的说其实是在做杂活。或说是“全能型人才”。就是什么事都做。比如，办公室内网维护（其实，修电脑与装系统为主业）、无线路由器安装与配置（其实，安装与配置家用的TP-Link）、维护OA系统与邮件系统（其实，就是人事行政不想做这种小事让你来给新来的人员增加与删除OA与邮件账户等）。还有就是有的领导什么软件打不开了，让你去帮忙处理一下（你到那边什么事都没有做，只是重启一下电脑而且，嘿嘿），等等吧。其实，这根本不是运维。说白了就是简单的技术支持（或说是网络管理员）。这是一种情况，而且很多人都是这种情况且工资不高。


上面我们说完了，第一种情况，下面我们来说说第二种情况。第二种是什么呢？一般他们属于监控运维，这些运维一般是公司最基层的员工，主要做一些监控方面的工作。让你每天看着显示器，一但网站或者线上业务出问题了，你得通知运维工程师让他们去处理问题，这样你的工作就基本完成了。这类监控工程师一般加班都很多，而且线上权限很低。你一般不能做任何操作，或者你只有查看的权限。这类监控工程一般还学习不到什么技术，可能你在公司一两年了都不知道这套监控系统是怎么搭建的。再则就是公司来几台服务器了，你去安装一下系统就完了。虽然工作不多，但还是那句话。工资不高且经常加班。(但没办法，一般刚入行的运维都得经历这个过程的)


下面我们来说一说，第三种情况。第三种类型是运维工程师，一般这些都是公司运维的主力，他们每天处理各种问题，包括搭建服务器、配置相关服务、配合开发上线业务、管理权限、开发一脚本等。其实从他们开始我们才能说他们是做运维的，运维工程师也分为好多种，有系统管理运维工程师、开发运维工程师、产品运维工程师等等，每个公司的分类不同，但又大同小异。系统管理运维工程师主要倾向于管理Linux服务器，开发运维工程师主要倾向于各种脚本与模块的开发工作，比如有的大公司一般他们的监控系统都是根据自己的需要进行开发的，或者根据某些监控进行二次开发。产品运维工程师主要倾向于业务相关，帮且业务上下线，解决开发提出的一些问题等。如果是现在做的就是这个说明你运维基本已经上路了，可以说哥们好好努力，“钱途”无限好啊！


下面一种是，高级运维工程师。一般这些人都是公司的中层干部，一般都是资历比较深的。工资一般都是10K左右的。一般做到这个职位的人，我想说是比较轻松的，每天事情比较少。一般什么事都是运维工程师做完了，除非遇到一些重大事情，他们才会出马的。比如，网站老是被攻击啊、网站架构调整啊、某些数据库有重大改变啊等。一般高级运维工程或叫运维主管，都是做这些事情的。哥们如果你现在做到这个职位同，说明你已经很不错了，嘿嘿。


最后一种，也是最牛的一种被称为“神一样存在的人”，运维架构师。一般这种重量能人物只有像大的互联公司才有，比如百度、QQ、阿里等大公司才有。他们负责网站的整体架构，包括网络、开发、系统、数据库、安全等各个方面。一般他们都是全能型人才，这才是真正的全能。一般他们都是公司的高层，他们的工资不是谈月薪哦，都是年薪。有的都是有股份或者期权的，嘿嘿。这也是我们大家努力的方向啊。好了，大环境基本就说到这里吧。下面我们来总结一下。


总结，首先是运维工程师的职位划分，一般分为网络管理员->初级运维工程师（也叫监控运维工程师）->运维工程师（可分为系统运维工程师、开发运维工程师、产品运维工程师等）->高级运维工程师（也可以分为高级数据库管理员（DBA）、高级网络运维工程师CCIE）、高级安全运维工程师等）->运维架构师（一般只有大公司有，是全能型人才）。然后我们再说一下，做运维的一般的工资情况，一般运维工程师在3k-6k之间，高级运维工程师在8k-12k之间，运维架构师一般都是20k以上。所以大家可以看到做运维还是很“钱途”的。最后，说一下公司情况。一般想要做运维基本都要选择大公司去做，一般这些公司的特点是开发与运维的人比较多能学习到东西，其次是服务器比较多平台比较大有发挥的空间，最后是有利于自己的提升。一般小公司我就不说了，大家自己都明白那根本就是运维，可以直接的说是打杂的。我说一下，我一朋友的亲身经历。我朋友以前的公司是教育培训的。过去是时候说是去做运维的，管理服务器。去了才知道，服务器没几台。最苦B的就是最后连搬货他们都得上的。嘿嘿^_^……还有就是，最近手机游戏比较火，去游戏公司做运维也是很给力。好了，到这里我们运维大环境我们就说到这下面我们来和大家说一下，运维的学习思路是什么？特别对刚入行的博友一些建议吧。


三、Linux 运维学习思路

首先，得说明一下。一般做运维的基本都在北上广这三个城市，其它地方想你都不用考虑的。至于什么原因我想我都不用说，大家都知道。下面我们来说一下，基本思路。

1.明确方向

其实，不管是从事什么行事，做什么事情。明确方向是很重要的。我觉得这是最重要的。既然选择了运维这个行业就要下定决心去做好这件事，嘿嘿。好了，大道理我就不说了，大家自己去体会。下面我们会详细说明运维行业中的几个大方向。


2.看书

我觉得你不管理做什么看书是必不可少的，运维行业也属性IT行业的范畴。IT行业就是个终身学习和行业，同样的运维行事也是这样，得终身学习。我这里说的看书是一个概念，其实并不一定要买一本纸质的书籍拿在手里看，现在是互联网时代了，大家都知道上网。我们也可以运用网络来学习不是嘛。现在人啊，我老说都是在浪费互联网只知道看网页，看电影、看电视、玩游戏，基本都用于娱乐。我觉得上网应该只做这三个重要的事，一是看看国际动态。二是关心国内政策。三是关注自己行业最前沿的技术。我们这里看书不仅仅是纸质的书籍，这是其中的一部。我们还可以看电子书籍、技术博客、官方文档等。得多学习知识，特别是刚入行。还有就是得学会使用搜索引擎，如百度与谷歌。可以这么说，你遇到的任何技术问题都可以在谷歌上找到答案。因为你遇到的问题，别人早就遇到过。


3.实践

看书之后最后要的是得实践。不实践哪来的工作经验呢？你以为工作经验怎么来的，都是不断的实践，不断的总结，才有了所谓的经验。有句话说的好，理论是用来指导实践的，实践是用来验证理论的。你不去做怎么知道，书籍中的内容是否正确。书上讲的内容一定可以在产生环境中运用的起来嘛。嘿嘿，还是去做一遍吧。下面我们会详细的说明，初学都应该做哪些操作实践。


4.再看书、再实践

有句话说的好，看山是山，看水是水；看山不是山，看水不是水；看山还是山，看水还是水。只有通过不断的看书，不断的做实验。你的收获才会越来越多。你的经验才会越来越多。


四、Linux 运维大方向说明

1.网站运维

  • 电子商务网站

  • 社交网站

  • 视频网站

  • 金融网站

  • 搜索网站

  • ……

注，一般都是些大型网站运维。他们的服务器一般都比较多，访问量比较大。特别是电子商务网站有支付接口的，对网站安全的要求也比较高。

2.游戏运维

  • 游戏网站

  • 游戏APP

  • 游戏应用

  • ……

注，特别是一些网页游戏网站与手机游戏APP。现在手机游戏比较火，现在做游戏运维也很不错。

3.大数据运维

  • 虚拟化

  • 云计算

  • ……

注，这个就比较高端了，是最近流行的一个运维方向。大数据与虚拟化方向，有兴趣的博友可以进行关注。

4.开发运维

  • 监控系统

  • 模块开发

  • ……

注，一般对你的开发能力要求相对较高，对系统维护能力相对较少一点。比如你得精通shell编程或精通一门开发语言如，PHP开发或Python开发。主要应用领域是Linux运维自动化，目前我也正在从这个方向发展。

5.数据库运维

  • DBA

  • Mysql DBA

  • Oracle DBA

  • SQL Server DBA

  • ……

注，数据库运维我们就不多说了，你得对各种数据库非常的精通如，Mysql数据库、Oracle数据库、SQL Server数据库等。

6.总结

有博友会问了，那么多知识我应该怎么学习呢。一句话千里之行，始于足下。我们先从最基本的操作系统学起。下面我们为大家介绍几本书。供大家学习参考！


五、Linux 运维学习必看书籍推荐

1.系统系统

  • 现代操作系统（原书第3版）

  • 深入理解计算机系统（原书第2版）

  • 深度探索Linux操作系统：系统构建和原理解析

  • 鸟哥的Linux私房菜：基础学习篇

  • 鸟哥的Linux私房菜：服务器架设篇

  • 循序渐进Linux基础知识、服务器搭建、系统管理、性能调优、集群应用

深入学习：

  • 30天自制操作系统（附光盘1张）

2.网络方面

  • TCP/IP详解卷1：协议

  • TCP/IP详解卷2：实现

3.开发方面

  • O'Reilly：Shell脚本学习指南

  • Python基础教程（第2版）

  • 细说PHP（第2版）（含DVD光盘1张）

4.数据库方面

  • 高性能MySQL（第3版）

  • MySQL性能调优与架构设计

5.运维书籍

  • 高性能Linux服务器构建实战：运维监控、性能调优与集群应用

  • 构建高可用Linux服务器（第2版）

  • 高性能网站构建实战

  • 构建高性能Web站点（修订版）

6.虚拟化

  • KVM虚拟化技术：实战与原理解析

7.大数据

  • 大数据时代生活.工作与思维的大变革


六、Linux 运维实践内容简介

1.Linux操作系统基础

  • Linux操作系统及常用命令

  • Linux文件管理命令

  • bash特性

  • Linux用户及权限

  • Linux用户管理命令

  • bash与IO重定向

  • grep及正则表达式

  • egrep及扩展正则表达式

  • bash脚本编程

  • vim编辑器详解

  • Linux文件查找详解

  • 特殊权限SUID等详解

注，以上内容可以到鸟哥的Linux私房菜：基础学习篇 这本书中查找学习。


2.Linux操作系统管理基础

  • facl及用户及Linux终端管理

  • 磁盘及文件系统管理

  • Linux压缩及归档

  • Raid及mdadm命令

  • LVM 管理

  • Linux网络配置

  • Linux软件管理

  • Linux进程管理

  • Linux系统启动流程详解

  • Linux内核编译及系统裁减

  • Linux日志系统syslog

  • sudo详解

注，以上内容可以到鸟哥的Linux私房菜：基础学习篇 这本书中查找学习。


3.Linux常服务管理

  • ssl协议、openssl及创建私有CA

  • OpenSSH服务及其相关应用

  • DNS服务相关概念与配置详解

  • Bind服务安装配置

  • DHCP服务

  • Web服务及http协议

  • httpd安装与配置

  • 基于openssl的https服务配置

  • php相关概念及配置

  • 数据库及MySQL

  • MySQL初步，数据类型及SQL语句

  • 建立LAMP平台

  • 邮件服务系列之基础原理

  • 邮件服务系列之编译安装Postfix

  • 邮件服务系列之Postifx常用配置

  • ftp服务

  • iptables系列之基础原理

  • samba服务

  • tcp_wraper&xinetd

  • 配置使用vnc服务

注，以上内容可以在 鸟哥的Linux私房菜：服务器架设篇 这本书中查找学习，书没有的内容我的博客中有所补充。


4.Mysql数据库专题

  • Mysql 数据的安装与配置

  • Mysql 配置文件的优化

  • Mysql 授权详解

  • Mysql 日志管理详解

  • Mysql 用户管理详解

  • Mysql 复制详解

  • Mysql 备份与还原详解

  • Mysql 集群详解

  • Mysql 读写分离详解

注，以上内容可以在我博客里查找学习。

  • Mysql 事务和隔离级别

  • Mysql 数据库的优化

  • Mysql 分区

注，以上内容在 高性能MySQL（第3版）与 MySQL性能调优与架构设计这两本书中查找学习。


5.Linux集群和存储专题

  • Linux 集群的基本概念与LB（负载均衡）集群详解

  • LVS 集群中持久连接详解（PPC+PCC+PNMPP）

  • Linux 高可用（HA）集群基本概念详解

  • Linux 高可用（HA）集群之Heartbeat详解

  • Heartbeat+httpd+NFS 实现高可用的Web服务器

  • Linux 高可用（HA）集群之heartbeat基于crm进行资源管理详解

  • Heartbeat+MySQL+NFS 实现高可用(HA)的MySQL集群

  • Linux 高可用（HA）集群之Corosync详解

  • Linux 高可用（HA）集群之Pacemaker详解

  • Linux 高可用（HA）集群之DRBD详解

  • Corosync+Pacemaker+DRBD+MySQL 实现高可用(HA)的MySQL集群

  • CentOS6.4+cman+rgmanager+iscsi+gfs2+cLVM 实现廉价的可扩展的集群共享存储

  • Linux 高可用（HA）集群之keepalived详解

注，以上内容可以在我博客中查找学习。另外也可以参考这两本书：

  • 高性能Linux服务器构建实战：运维监控、性能调优与集群应用

  • 构建高可用Linux服务器（第2版）


6.HTTP代理加速及应用服务器专题

  • IO复用详解及高并发系统设计初步

  • 配置Ngnix作为WebServer详解

  • Nginx反向代理、负载均衡、缓存、URL重写及读写分离

  • Memcached安装配置及保存phpsession于memcached中的方法

  • http反向代理及haproxy

  • http缓存机制及varnish详解

  • Tomcat系列之java技术详解

  • Tomcat系列之组件详解及服务安装配置

  • Tomcat系列之服务安装配置及Nginx反向代理tomcat服务

  • Tomcat系列之apache使用mod_jk和mod_proxy反向代理

  • Tomcat系列之apache负载均衡请求至tomcat及DeltaManager的使用

注，以上内容可以参考我博客学习。


7.Linux系统原理基础及系统调优

  • 计算机及操作系统原理

  • Linux操作系统原理

  • CPU负载观察及调优方法

  • Linux内存子系统原理及调优方法

  • IO和文件系统优化

  • Linux网络子系统调优

注，以上内容可以参考这几本书：

  • 深入理解计算机系统（原书第2版）

  • 深度探索Linux操作系统：系统构建和原理解析

  • 高性能Linux服务器构建实战：运维监控、性能调优与集群应用

  • 构建高可用Linux服务器（第2版）


8.云计算、虚拟化专题

  • 虚拟化技术基础原理详解

  • kvm虚拟化

  • OpenStack

  • Hadoop

注，以上内容可以参考这几本书：

  • KVM虚拟化技术：实战与原理解析

  • O'Reilly：Hadoop权威指南（第2版）

  • 云计算与OpenStack（虚拟机Nova篇）（这本书我没看过，听群里的人说还不错）


9.系统及服务监控专题

  • SNMP原理和实战

  • RRD-tools绘图原理和应用

  • Cacti原理和安装

  • Cacti配置和高级用法

  • Nagios基础和入门配置

  • Nagios高级应用及插孤城组件开发

  • Nagios高级应用及飞信报警功能

注，以上内容可以参考我的博客，还有官方文档。

  • http://www.cacti.net/

  • http://www.nagios.org/


10.总结

以上内容是我自己学习与经历。大家学习的方法有两种：一种是自学，另一种是参加培训（这种方法时间周期比较短，学习效率高）。若是自学，必须得坚持对自己要求高一点，特别是自觉性，自控能力比较强的博友。若是参加培训推荐“马哥教育”。下面是51博客与官方网站：

  • http://mageedu.blog.51cto.com/

  • http://www.magedu.com/

好了，今天的博客就到这边了，大家有什么疑问欢迎交流讨论。有兴趣的博友可以加QQ群讨论：288983058。加群时说明一下是51cto博友即可。













本文转自陈明乾51CTO博客，原文链接：http://blog.51cto.com/freeloda/1315694，如需转载请自行联系原作者

你可能感兴趣的:(数据库,操作系统,php)

  • Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类qt开发语言sdl2linux
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • 【PG】常见数据库、表属性设置 江无羡 数据库
    PG的常见属性配置方法数据库复制、备份相关表的复制标识单表操作批量表操作链接数据库复制、备份相关表的复制标识单表操作通过ALTER语句单独更改一张表的复制标识。ALTERTABLE[tablename]REPLICAIDENTITYFULL;批量表操作通过代码块的方式，对某个schema中的所有表一起更新其复制标识。SELECTtablename,CASErelreplidentWHEN'd'TH
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insertintoselect主键自增mybatisdelete返回值mybatisinsert返回主键mybatisinsert返回对象mybatisplusinsert返回主键mybatisplus插入生成id
    前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
  • 关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解 秋刀prince mysqlmysql数据库
    提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
  • 【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linuxlinux运维服务器
    归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
  • linux 发展史 种树的猴子 内核java操作系统linux大数据
    linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • 如何用matlab灵活控制feko的求解 NingrLi matlab开发语言
    https://bbs.rfeda.cn/read.php?tid=3778Feko中的模型和求解设置等都可以通过editfeko进行设置，其文件存储为.pre文件，该文件可以用文本打开，因此，我们可以通过VB、VC、matlab等工具对.pre文件进行读写操作，以达到更灵活的使用feko。同样，对于.out文件，我们也可以进行读操作。熟练使用对.pre文件和.out文件的操作后，我们可以方便的计
  • Mongodb Error: queryTxt ETIMEOUT xxxx.wwwdz.mongodb.net 佛一脚 errorreactmongodb数据库
    背景每天都能遇到奇怪的问题，做个记录，以便有缘人能得到帮助！换了一台电脑开发nextjs程序。需要连接mongodb数据，对数据进行增删改查。上一台电脑好好的程序，新电脑死活连不上mongodb数据库。同一套代码，没任何修改，搞得我怀疑人生了，打开浏览器进入mongodb官网毫无问题，也能进入线上系统查看数据，网络应该是没问题。于是我尝试了一下手机热点，这次代码能正常跑起来，连接数据库了！！！是不
  • 入门MySQL——查询语法练习 K_un
    前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
  • 2023最详细的Python安装教程（Windows版本） 程序员林哥 Pythonpythonwindows开发语言
    python安装是学习pyhon第一步，很多刚入门小白不清楚如何安装python，今天我来带大家完成python安装与配置，跟着我一步步来，很简单，你肯定能完成。第一部分：python安装（一）准备工作1、下载和安装python(认准官方网站)当然你不想去下载的话也可以分享给你，还有入门学习教程，点击下方卡片跳转进群领取（二）开始安装对于Windows操作系统，可以下载“executableins
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • ubuntu安装wordpress lissettecarlr
    1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
  • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
    一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
  • 【RabbitMQ 项目】服务端：数据管理模块之绑定管理 月夜星辉雪 rabbitmq分布式
    文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
  • 进销存小程序源码 PHP网络版ERP进销存管理系统 全开源可二开 摸鱼小号 php
    可直接源码搭建部署发布后使用：一、功能模块介绍该系统模板主要有进，销，存三个主要模板功能组成，下面将介绍各模块所对应的功能；进：需要将产品采购入库，自动生成采购明细台账同时关联财务生成付款账单；销：是指对客户的销售订单记录，汇总生成产品销售明细及回款计划；存：库存的日常盘点与统计，库存下限预警、出入库台账、库存位置等。1.进购管理采购订单：采购下单审批→由上级审批通过采购入库；采购入库：货品到货>
  • 计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署） java毕设程序源码王哥 php课程设计vue.js
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
  • 经纬恒润二面&三七互娱一面&元象二面 Redstone Monstrosity 面试前端
    1.请尽可能详细地说明，进程和线程的区别，分别有哪些应用场景？进程间如何通信？线程间如何通信？你的回答中不要写出示例代码。进程和线程是操作系统中的两个基本概念，它们在计算机系统中扮演着不同的角色，并且在不同的应用场景中发挥作用。进程和线程的区别定义：进程：进程是操作系统进行资源分配和调度的基本单位。每个进程都有独立的内存空间和系统资源。线程：线程是进程内的一个执行单元，是操作系统进行调度的最小单位
  • 3.增删改查--连接查询 问女何所忆
    关系型数据库的一个特点就是，多张表之间存在关系，以致于我们可以连接多张表进行查询操作，所以连接查询会是关系型数据库中最常见的操作。连接查询主要分为三种，交叉连接、内连接和外连接，我们一个个说。1、交叉连接交叉连接其实连接查询的第一个阶段，它简单表现为两张表的笛卡尔积形式，具体例子：如果你没学过数学中的笛卡尔积概念，你可以这样简单的理解这里的交叉连接：两张表的交叉连接就是一个连接合并的过程，T1表中
  • C++常见知识掌握 nfgo c++开发语言
    1.Linux软件开发、调试与维护内核与系统结构Linux内核是操作系统的核心，负责管理硬件资源，提供系统服务，它是系统软件与硬件之间的桥梁。主要组成部分包括：进程管理：内核通过调度器分配CPU时间给各个进程，实现进程的创建、调度、终止等操作。使用进程描述符（task_struct）来存储进程信息，包括状态（就绪、运行、阻塞等）、优先级、内存映射等。内存管理：包括物理内存和虚拟内存管理。通过页表映
  • docker from指令的含义_多个FROM-含义 weixin_39722188 dockerfrom指令的含义
    小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
  • Spring的注解积累 yijiesuifeng spring注解
    用注解来向Spring容器注册Bean。   需要在applicationContext.xml中注册： <context:component-scan base-package=”pagkage1[,pagkage2,…,pagkageN]”/>。 如：在base-package指明一个包    <context:component-sc
  • 传感器 百合不是茶 android传感器
    android传感器的作用主要就是来获取数据,根据得到的数据来触发某种事件   下面就以重力传感器为例;   1,在onCreate中获得传感器服务   private SensorManager sm;// 获得系统的服务 private Sensor sensor;// 创建传感器实例 @Override protected void
  • [光磁与探测]金吕玉衣的意义 comsci
          这是一个古代人的秘密:现在告诉大家       信不信由你们:       穿上金律玉衣的人,如果处于灵魂出窍的状态,可以飞到宇宙中去看星星       这就是为什么古代
  • 精简的反序打印某个数 沐刃青蛟 打印
    以前看到一些让求反序打印某个数的程序。 比如：输入123，输出321。   记得以前是告诉你是几位数的，当时就抓耳挠腮，完全没有思路。   似乎最后是用到%和/方法解决的。   而今突然想到一个简短的方法，就可以实现任意位数的反序打印（但是如果是首位数或者尾位数为0时就没有打印出来了）   代码如下： long num, num1=0;
  • PHP：6种方法获取文件的扩展名 IT独行者 PHP扩展名
      PHP：6种方法获取文件的扩展名   1、字符串查找和截取的方法   1 $extension = substr ( strrchr ( $file ,  '.' ), 1); 2、字符串查找和截取的方法二   1 $extension = substr
  • 面试111 文强chu 面试
    1事务隔离级别有那些 ，事务特性是什么（问到一次） 2 spring aop 如何管理事务的，如何实现的。动态代理如何实现，jdk怎么实现动态代理的，ioc是怎么实现的，spring是单例还是多例，有那些初始化bean的方式，各有什么区别（经常问） 3 struts默认提供了那些拦截器 （一次） 4 过滤器和拦截器的区别 （频率也挺高） 5 final，finally final
  • XML的四种解析方式 小桔子 domjdomdom4jsax
    在平时工作中，难免会遇到把 XML 作为数据存储格式。面对目前种类繁多的解决方案，哪个最适合我们呢？在这篇文章中，我对这四种主流方案做一个不完全评测，仅仅针对遍历 XML 这块来测试，因为遍历 XML 是工作中使用最多的（至少我认为）。 　　预 备 　　测试环境： 　　AMD 毒龙1.4G OC 1.5G、256M DDR333、Windows2000 Server
  • wordpress中常见的操作 aichenglong 中文注册wordpress移除菜单
    1 wordpress中使用中文名注册解决办法   1)使用插件   2)修改wp源代码      进入到wp-include/formatting.php文件中找到       function sanitize_user( $username, $strict = false
  • 小飞飞学管理-1 alafqq 管理
    项目管理的下午题，其实就在提出问题（挑刺），分析问题，解决问题。 今天我随意看下10年上半年的第一题。主要就是项目经理的提拨和培养。 结合我自己经历写下心得 对于公司选拔和培养项目经理的制度有什么毛病呢？ 1，公司考察，选拔项目经理，只关注技术能力，而很少或没有关注管理方面的经验，能力。 2，公司对项目经理缺乏必要的项目管理知识和技能方面的培训。 3，公司对项目经理的工作缺乏进行指
  • IO输入输出部分探讨 百合不是茶 IO
     //文件处理  在处理文件输入输出时要引入java.IO这个包； /* 1，运用File类对文件目录和属性进行操作 2，理解流，理解输入输出流的概念 3，使用字节/符流对文件进行读/写操作 4，了解标准的I/O 5，了解对象序列化 */   //1，运用File类对文件目录和属性进行操作   //在工程中线创建一个text.txt
  • getElementById的用法 bijian1013 element
            getElementById是通过Id来设置/返回HTML标签的属性及调用其事件与方法。用这个方法基本上可以控制页面所有标签，条件很简单，就是给每个标签分配一个ID号。        返回具有指定ID属性值的第一个对象的一个引用。        语法： &n
  • 励志经典语录 bijian1013 励志人生
    经典语录1:   哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，看就看一些励志的影视或者文章，不要当作消遣；学会思考人生，学会感悟人生
  • [MongoDB学习笔记三]MongoDB分片 bit1129 mongodb
    MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。 本篇介绍MongoDB的切片(Sharding)   1.何时需要分片 &nbs
  • 【Spark八十三】BlockManager在Spark中的使用场景 bit1129 manager
    1. Broadcast变量的存储，在HttpBroadcast类中可以知道 2. RDD通过CacheManager存储RDD中的数据，CacheManager也是通过BlockManager进行存储的 3. ShuffleMapTask得到的结果数据，是通过FileShuffleBlockManager进行管理的，而FileShuffleBlockManager最终也是使用BlockMan
  • yum方式部署zabbix ronin47 yum方式部署zabbix
    安装网络yum库#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm 通过yum装mysql和zabbix调用的插件还有agent代理#yum install zabbix-server-mysql zabbix-web-mysql mysql-
  • Hibernate4和MySQL5.5自动创建表失败问题解决方法 byalias J2EEHibernate4
    今天初学Hibernate4，了解了使用Hibernate的过程。大体分为4个步骤： ①创建hibernate.cfg.xml文件 ②创建持久化对象 ③创建*.hbm.xml映射文件 ④编写hibernate相应代码 在第四步中，进行了单元测试，测试预期结果是hibernate自动帮助在数据库中创建数据表，结果JUnit单元测试没有问题，在控制台打印了创建数据表的SQL语句，但在数据库中
  • Netty源码学习-FrameDecoder bylijinnan javanetty
    Netty 3.x的user guide里FrameDecoder的例子，有几个疑问： 1.文档说：FrameDecoder calls decode method with an internally maintained cumulative buffer whenever new data is received. 为什么每次有新数据到达时，都会调用decode方法？ 2.Dec
  • SQL行列转换方法 chicony 行列转换
    create table tb(终端名称 varchar(10) , CEI分值 varchar(10) , 终端数量 int) insert into tb values('三星' , '0-5' , 74) insert into tb values('三星' , '10-15' , 83) insert into tb values('苹果' , '0-5' , 93)
  • 中文编码测试 ctrain 编码
    循环打印转换编码 String[] codes = { "iso-8859-1", "utf-8", "gbk", "unicode" }; for (int i = 0; i < codes.length; i++) { for (int j
  • hive 客户端查询报堆内存溢出解决方法 daizj hive堆内存溢出
    hive> select * from t_test where ds=20150323 limit 2; OK Exception in thread "main" java.lang.OutOfMemoryError: Java heap space   问题原因： hive堆内存默认为256M   这个问题的解决方法为： 修改/us
  • 人有多大懒，才有多大闲 (评论『卓有成效的程序员』) dcj3sjt126com 程序员
      卓有成效的程序员给我的震撼很大，程序员作为特殊的群体，有的人可以这么懒，  懒到事情都交给机器去做 ，而有的人又可以那么勤奋，每天都孜孜不倦得做着重复单调的工作。   在看这本书之前，我属于勤奋的人，而看完这本书以后，我要努力变成懒惰的人。 不要在去庞大的开始菜单里面一项一项搜索自己的应用程序，也不要在自己的桌面上放置眼花缭乱的快捷图标
  • Eclipse简单有用的配置 dcj3sjt126com eclipse
    1、显示行号  Window -- Prefences -- General -- Editors -- Text Editors -- show line numbers   2、代码提示字符 Window ->Perferences，并依次展开 Java -> Editor -> Content Assist，最下面一栏 auto-Activation
  • 在tomcat上面安装solr4.8.0全过程 eksliang Solrsolr4.0后的版本安装solr4.8.0安装
    转载请出自出处： http://eksliang.iteye.com/blog/2096478       首先solr是一个基于java的web的应用，所以安装solr之前必须先安装JDK和tomcat，我这里就先省略安装tomcat和jdk了         第一步：当然是下载去官网上下载最新的solr版本，下载地址
  • Android APP通用型拒绝服务、漏洞分析报告 gg163 漏洞androidAPP分析
    点评：记得曾经有段时间很多SRC平台被刷了大量APP本地拒绝服务漏洞，移动安全团队爱内测（ineice.com）发现了一个安卓客户端的通用型拒绝服务漏洞，来看看他们的详细分析吧。  0xr0ot和Xbalien交流所有可能导致应用拒绝服务的异常类型时，发现了一处通用的本地拒绝服务漏洞。该通用型本地拒绝服务可以造成大面积的app拒绝服务。  针对序列化对象而出现的拒绝服务主要
  • HoverTree项目已经实现分层 hvt 编程.netWebC#ASP.ENT
    HoverTree项目已经初步实现分层，源代码已经上传到 http://hovertree.codeplex.com请到SOURCE CODE查看。在本地用SQL Server 2008 数据库测试成功。数据库和表请参考：http://keleyi.com/a/bjae/ue6stb42.htmHoverTree是一个ASP.NET 开源项目，希望对你学习ASP.NET或者C#语言有帮助，如果你对
  • Google Maps API v3: Remove Markers 移除标记 天梯梦 google maps api
    Simply do the following:   I. Declare a global variable: var markersArray = [];   II. Define a function: function clearOverlays() { for (var i = 0; i < markersArray.length; i++ )
  • jQuery选择器总结 lq38366 jquery选择器
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
  • 基础数据结构和算法六：Quick sort sunwinner AlgorithmQuicksort
    Quick sort is probably used more widely than any other. It is popular because it is not difficult to implement, works well for a variety of different kinds of input data, and is substantially faster t
  • 如何让Flash不遮挡HTML div元素的技巧_HTML/Xhtml_网页制作 刘星宇 htmlWeb
    今天在写一个flash广告代码的时候，因为flash自带的链接，容易被当成弹出广告，所以做了一个div层放到flash上面，这样链接都是a触发的不会被拦截，但发现flash一直处于div层上面，原来flash需要加个参数才可以。 让flash置于DIV层之下的方法，让flash不挡住飘浮层或下拉菜单，让Flash不档住浮动对象或层的关键参数：wmode=opaque。 方法如下：
  • Mybatis实用Mapper SQL汇总示例 wdmcygah sqlmysqlmybatis实用
    Mybatis作为一个非常好用的持久层框架，相关资料真的是少得可怜，所幸的是官方文档还算详细。本博文主要列举一些个人感觉比较常用的场景及相应的Mapper SQL写法，希望能够对大家有所帮助。 不少持久层框架对动态SQL的支持不足，在SQL需要动态拼接时非常苦恼，而Mybatis很好地解决了这个问题，算是框架的一大亮点。对于常见的场景，例如：批量插入/更新/删除，模糊查询，多条件查询，联表查询，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他