FlySheep_ly
FlySheep_ly

系统稳定性分析

一、在线日志分析

日志中所包含的内容如下图：

系统稳定性分析_第1张图片
日志中含有的内容

常见定位问题的方法如下图：

系统稳定性分析_第2张图片
常见定位问题的方法

1. 日志分析常用命令

系统稳定性分析_第3张图片
日志分析常用命令

2. 日志分析脚本

系统稳定性分析_第4张图片
sed 编辑器
系统稳定性分析_第5张图片
awk 命令

二、集群监控

1. 监控指标

系统稳定性分析_第6张图片
监控指标
1.1 load

系统的load被定义为特定时间间隔内运行队列中的平均线程数，如果一个线程满足以下条件，该线程就会处于运行队列中：

  • 没有处于I/O等待状态；
  • 没有主动进入等待状态，也就是没有调用wait操作；
  • 没有被终止。
    　　每个CPU的核都维护了一个运行队列，系统的load主要由运行队列来决定。load的值越大，也就意味着系统的CPU越繁忙，这样线程运行完以后等待操作系统分配下一个时间片段的时间也就越长。一般来说，只要每个CPU当前的活动线程数不大于3，我们认为它的负载是正常的，如果每个CPU的线程数大于5，则表示当前系统的负载已经非常高了，需要采取措施来减低系统的负载，以提高响应速度。
    　　使用uptime命令查看系统的load：
[log@www ~]$ uptime
 08:44:47 up 260 days, 20:31,  1 user,  load average: 7.07, 6.13, 5.93

各个列的含义如下：

系统稳定性分析_第7张图片
uptime 命令结果分析
1.2 CPU利用率

在 Linux 系统下，CPU 的时间消耗主要在这几个方面，即用户进程、内核进程、中断处理、I/O 等待、Nice 时间、丢失时间、空闲等几个部分，而 CPU 的利用率则为这些时间所占总时间的百分比。通过 CPU 的利用率，能够反映出CPU 的使用和消耗情况。
　　可以通过top 命令来查看Linux系统的 CPU 消耗情况：

[log@www ~]$ top | grep Cpu
%Cpu(s):  5.4 us,  1.4 sy,  0.0 ni, 92.9 id,  0.0 wa,  0.0 hi,  0.3 si,  0.0 st
%Cpu(s):  4.5 us,  1.2 sy,  0.0 ni, 94.0 id,  0.0 wa,  0.0 hi,  0.2 si,  0.0 st
%Cpu(s):  3.8 us,  1.1 sy,  0.0 ni, 94.9 id,  0.0 wa,  0.0 hi,  0.2 si,  0.0 st

其中，CPU 后面跟的各个列便是各种状态下 CPU所消耗的时间占比。

系统稳定性分析_第8张图片
各个列的含义
1.3 磁盘剩余空间

通过df 命令，能够看到磁盘的剩余空间。

[log@www ~]$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        49G  3.1G   46G   7% /
devtmpfs         16G     0   16G   0% /dev
tmpfs            16G     0   16G   0% /dev/shm
tmpfs            16G  1.6G   15G  10% /run
tmpfs            16G     0   16G   0% /sys/fs/cgroup
/dev/sda2       494M  123M  372M  25% /boot
/dev/sda6       488G  206G  283G  43% /app
tmpfs           3.2G     0  3.2G   0% /run/user/1003
tmpfs           3.2G     0  3.2G   0% /run/user/0
tmpfs           3.2G     0  3.2G   0% /run/user/1000

-h 选项表示按单位格式化输出。该命令显示 sda3一共有49GB 的空间，3.1G 已用，剩余46GB 空间可用。
　　如果需要查看具体目录所占用的空间，分析大文件所处位置，可以使用 du 命令来进行查看：

[log@www ~]$ du -d 1 -h /app
208G    /app/test
944K    /app/scripts
208G    /app

其中-d 参数用来指定递归深度，这里指定为1，表示只列出指定目录的下一级目录文件的大小，-h 选项用来进行按文件大小单位的格式化输出。

1.4 网络 traffic

通过 sar 命令，可以看到系统的网络状况：

[log@www ~]$ sar -n DEV 1 1 
Linux 3.10.0-327.el7.x86_64 (www.www)   10/23/2017      _x86_64_        (32 CPU)

08:21:22 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
08:21:23 AM      eth0  55716.00  55578.00  11306.84   9979.24      0.00      0.00      0.00
08:21:23 AM      eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:21:23 AM      eth2      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:21:23 AM      eth3      0.00      0.00      0.00      0.00      0.00      0.00      0.00
08:21:23 AM        lo   4511.00   4511.00   1282.70   1282.70      0.00      0.00      0.00

Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
Average:         eth0  55716.00  55578.00  11306.84   9979.24      0.00      0.00      0.00
Average:         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:         eth2      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:         eth3      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:           lo   4511.00   4511.00   1282.70   1282.70      0.00      0.00      0.00

-n 选项表示汇报网络状况，而 DEV 则表示查看的是各个网卡的网络流量，第一个1表示每1秒抽样一次，第二个1表示总共取一次。输出结果的含义如下：

系统稳定性分析_第9张图片
sar 命令输出结果分析
1.5 磁盘 I/O

查看系统的I/O 状况：

[log@www ~]$ iostat -d -k
Linux 3.10.0-327.el7.x86_64 (www.www)   10/24/2017      _x86_64_        (32 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda              17.12      1412.58      1728.90 32444667123 39710079394

使用iostat 工具能够看到磁盘的I/O 情况，其中-d选项表示查看磁盘使用情况，-k 选项表示以 KB为单位显示。输出结果含义如下：

系统稳定性分析_第10张图片
iostat 命令输出结果分析
1.6 内存使用

通过 free 命令可以查看内存的使用情况，加上-m 参数表示以 MB 为单位：

[log@www ~]$ free -m
              total        used        free      shared  buff/cache   available
Mem:          31890       18587        3234         297       10068       12551
Swap:         19999        5767       14232

Linux 的内存包括物理内存Mem 和虚拟内存swap，下面介绍下每一列的含义：

系统稳定性分析_第11张图片
free 命令结果分析

对应用来说，更值得关注的应该是虚拟内存swap 的消耗，swap 内存使用的过多，表示物理内存已经不够用了，操作系统将本应该物理内存存储的一部分内存页调度到磁盘上，以腾出足够的空间给当前的进程使用。当其他进程需要运行时，再从磁盘将内存的页调度到物理内存当中，以恢复进程的运行。而这个调度的过程，则会产生swap I/O，如果 swap I/O较为频繁，将严重地影响系统性能。
　　通过 vmstat命令，可以查看到swap I/O 的情况：

[log@www ~]$ vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
20  0 5905120 2246828      4 11370556    0    0    44    54    0    0  5  2 93  0  0

其中，swap 列的 si 表示每秒从磁盘交换到内存的数据量，单位是KB/s，so 表示每秒从内存交换到磁盘的数据量，单位也是KB/s。

1.7 qps

qps 是 query per second 的缩写，即每秒查询数。qps 在很大程度上代表了系统在业务上的繁忙程度，而每次请求的背后，可能对应着多次磁盘I/O、多次网络请求，以及多个 CPU 时间片。
　　通过关注系统的qps 数，我们能够非常直观地了解到当前系统业务情况，一旦当前系统的 qps值超过所设置的预警阈值，即可考虑增加机器以对集群进行扩容，以免因压力过大而导致宕机。集群预警阈值的设定，可以根据当前压测得出的值，综合后期的运维经验，评估一个较为合理的数值。

1.8 rt

rt 是response time 的缩写，即请求的响应时间。响应时间是一个非常关键的指标，直接关系到前端的用户体验。因此，任何开发人员和设计师都想尽可能地降低系统的rt 时间。对于Web 应用来说，如果响应太慢而导致用户失去耐心，将损失大量的用户。降低rt 时间需要从各个方面入手，找到应用的瓶颈，对症下药。例如，通过部署 CDN 边缘节点来缩短用户请求的物理路径；通过内容压缩来减少传输的字节数；使用缓存来减少磁盘I/O和网络请求等。
　　而通过Apache或者Nginx的访问日志，便能够得知每个请求的响应时间。以 Nginx 为例，在访问日志的输出格式中，增加$request_time的输出，便能够获得响应时间。
　　CPU、内存、网络、磁盘、qps 和 rt。这些对于所有类型的应用都需要关注，也有一些指标只针对某一类型的应用，如select/ps、update/ps、delete/ps只针对数据库应用，thread running只针对MySQL数据库应用，FullGC只针对Java 应用。

1.9 select/ps

select/ps记录了数据库每秒处理的 select语句的数量。对于 MySQL数据库来说，如果select请求数量过多，则可以适当地增加读库，以降低系统读的压力。

1.10 update/ps、delete/ps

update/ps 记录了数据库每秒处理 update语句的数量，相应地，delete/ps则记录了数据库每秒处理 delete语句的数量。对于MySQL 数据库来说，如果 update/delete这样的写入请求过多，单单增加读的slave已经解决不了问题，这时需要对响应的库进行拆分，将请求分散到其它集群。

1.11 GC

可以对 JVM的一些内存参数进行调整和优化，以降低 GC时应用停止响应的时间。如果一个 Java 应用频繁地进行Full GC，我们认为它的性能是有问题的。

2. 心跳检测

1、ping
2、应用层检测
3、业务检测

3. 容量评估及应用水位

三、流量控制

1. 流量控制实施

2. 服务稳定性

1、依赖管理
2、优雅降级
3、服务分级
4、开关
5、应急预案

3. 高并发系统设计

1、操作原子性
2、多线程同步
3、数据一致性
4、系统可扩展性
5、并发减库存

四、性能优化

1. 如何寻找性能瓶颈

1、前端优化工具——YSlow
2、页面响应时间
3、方法响应时间
4、GC 日志分析
5、数据库查询
6、系统资源使用

2. 性能测试工具

2.1 ab

ab 的全称为 ApacheBench，用来对 HTTP 服务器进行性能测试的小工具，可以模拟多个并发请求来对服务器进行压力测试，得出服务器在高负载下能够支持的 qps 及应用的响应时间，为系统设计者提供参考依据。
　　ab的使用：

ab [options] [http[s]://]hostname[:port]/path
常用参数：
-n 总的请求数；
-c 并发用户数量。

假设并发数为5，一共执行100次请求，目标服务器为ab -n 100 -c 5 http://www.cnblogs.com，则对应的命令为：
ab -n 100 -c 5 http://www.cnblogs.com/mongo/p/4910249.html

执行后的结果如下：
Server Software:        
Server Hostname:        www.cnblogs.com
Server Port:            80

Document Path:          /mongo/p/4910249.html
Document Length:        15723 bytes

Concurrency Level:      5
Time taken for tests:   0.599 seconds
Complete requests:      100
Failed requests:        0
Write errors:           0
Total transferred:      1605900 bytes
HTML transferred:       1572300 bytes
Requests per second:    167.03 [#/sec] (mean)
Time per request:       29.935 [ms] (mean)
Time per request:       5.987 [ms] (mean, across all concurrent requests)
Transfer rate:          2619.42 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        2    4   2.9      3      14
Processing:    13   25  31.3     16     231
Waiting:       11   16  10.4     14      77
Total:         15   29  31.6     20     234

Percentage of the requests served within a certain time (ms)
  50%     20
  66%     26
  75%     31
  80%     32
  90%     40
  95%     70
  98%    229
  99%    234
 100%    234 (longest request)

其中，几个比较重要的指标包括：

  • Requests per second为每秒处理的请求数量，即吞吐量；
  • Time per request 第一个 Time per request 的值为每次并发所消耗的平均时间，即请求平均等待时间，第二个Time per request 的值为每次请求所消耗的平均时间；
  • Complete requests为完成的请求数量；
  • Failed requests为失败的请求数量。
2.2 Apache JMeter

JMeter 的功能比 ab更为强大，采用纯 Java 实现，支持多种协议的性能基准测试，如 HTTP、SOAP、FTP、TCP、SMTP、POP3等；可以用于模拟在服务器、网络或者其他对象上施加高负载，以测试他们的压力承受能力，或者分析他们在不同负载的情况下的性能表现；能够灵活地进行插件化的扩展；支持通过脚本方式的回归测试，并且提供各项指标的图形化展示。

2.3 HP LoadRunner

LoadRunner 是一款功能极为强大的商业付费性能测试工具，它通过模拟大量实际用户的操作行为和实时性能检测的方式，帮助用户更加快速地查找和确认问题。

2.4 反向代理引流

在分布式环境下，流量真正到达服务器之前，一般会经过负载均衡设备进行转发，通过修改负载均衡的策略，可以改变后端服务器所承受的压力。在新版本发布之前，可以先对少部分机器进行灰度发布，以验证程序的正确性和稳定性，并且通过修改负载均衡策略，可以改变机器所承受的负载，达到对在线机器进行性能基准测试的目的。

2.5 TCPCopy

TCPCopy是一款请求复制工具，能够将在线请求复制到测试机器，模拟真实环境，达到程序在不上线的情况下承担线上真实流量的效果。
　　TCPCopy 分为TCPCopy Client 和 TCPCopy Server，其中TCPCopy Client运行在真实环境的线上服务器之上，用来捕获在线请求数据包，而TCPCopy Server则运行在测试机上，用来捕获响应包，并将响应包的头部信息传递给TCPCopy Client，以完成 TCP 交互。

3. 性能优化措施

3.1 前端性能优化

（1）减少页面的 HTTP 请求数量
（2）使用 CDN 网络
（3）使用压缩

3.2 Java 程序优化

（1）单例
（2）Future 模式
　　假设一个任务 执行起来需要花费一些时间，为了省去不必要的等待时间，可以先获取一个“提货单”，即 Future，然后继续处理别的任务，直到“货物”到达，即任务执行完得到结果，此时便可以用“提货单”进行提货，即通过Future 对象得到返回值。
　　如下面的代码所示，加载数据可能需要花费一定的时间，此时可以先开始任务，随后处理其他事情，等其它事情都处理完后再取结果：

    static class Job implements Callable {

        @Override
        public Object call() throws Exception {
            return loadData();
        }
    }

    public static void main(String[] args) throws Exception {
        FutureTask futureTask = new FutureTask(new Job());
        new Thread(futureTask).start();

        // do something else

        Object result = (Object) futureTask.get();

    }


FutureTask 类实现了Future 和Runnable 接口，FutureTask开始后，loadData()执行时间可能较长，因此可以先处理其他事情，等其它事情处理好后，再通过future.get()来获取结果，如果loadData()还未执行完毕，则此时线程会阻塞等待。


（3）线程池
 （4）选择就绪——NIO
 （5）减少上下文切换
 （6）降低锁竞争


3.3 压缩


3.4 结果缓存


3.5 数据库查询性能优化


（1）合理使用索引
 　　MySQL 提供了explain 命令，用来解释和分析SQL 查询语句，通过explain 命令，可以模拟查询优化器来执行 SQL 语句，从而知道 MySQL是如何执行你的语句的。
 　　举例来说，现有如下一张表，用来存放用户的订单信息：


create table order_info(
order_id int primary key auto_increment,
user_id int,
price int,
good_id int,
good_title varchar(100),
good_info varchar(500)
);



假设通过order_id（即表的主键）来进行查询，explain的结果是这样的：


explain select * from order_info where order_id =1 ;















explain执行结果





explain 详细的解释见：mysql explain执行计划详解


（2）反范式设计
 （3）使用查询缓存
 （4）使用搜索引擎
 （5）使用key-value 数据库


3.6 GC 优化


3.7 硬件提升性能


五、Java 应用故障的排查


1. 常用的工具


1、jps
 2、jstat
 3、jinfo
 4、jstack
 5、jmap
 6、BTrace
 7、JConsole
 8、Memory Analyzer（MAT）
 9、VisualVM


2. 典型案例分析


六、参考文献


性能测试-ApacheBench
 Jmeter使用入门
 mysql explain执行计划详解
 大型分布式网站架构设计与实践——陈康贤著
























你可能感兴趣的:(系统稳定性分析)






    

  • Android和IOS应用开发-Flutter应用让屏幕在 app 运行期间保持常亮的方法
江上清风山间明月
FlutterandroidiosflutterKeepAlive屏幕常亮wakelock熄屏

    文章目录Flutter应用让屏幕在app运行期间保持常亮的方法方法一：使用系统插件方法二：使用Widgets注意事项Flutter应用让屏幕在app运行期间保持常亮的方法在Flutter开发中，可以使用以下两种方法让屏幕在app运行期间保持常亮：方法一：使用系统插件Flutter社区中已经有很多相关插件可供使用，比如wakelock:https://pub.dev/packages/wakeloc
    

    • 

  • 3/31总结
静心第一

    今日总结：1.上午体验课以及反馈2.p1专注力上课3.情绪精品营上课4.燕子营队辅营以及前台值班5.活动室带孩子接待带到访今日反思：1.合理安排体力2.对于准客户记得跟进3.不要放过每一次成交的机会（这个精品营转发有点失败，后期需调整）今日感受：1.为了效果，后期课程一定想方设法布置家庭，给予一个好的支持系统2.上到下午的课程感觉特别特别的累3.晚上在做辅营一个孩子大声叫喊，后来单独出去沟通，其实
    

    • 

  • SpringMVC设置全局异常处理器
水岸齐天
javaspring

    文章目录背景分析使用@ControllerAdvice（@RestControllerAdvice）+@ExceptionHandler实现全局异常全局异常处理-多个处理器匹配顺序存在一个类中存在不同的类中对于过滤器和拦截器中的异常，有两种思路可以考虑背景在项目中我们有需求做一个全局异常处理，来规范所有出去的异常信息。参考：官方文档分析首先ControllerAdvice(RestControll
    

    • 

  • 【算法分析与设计】去除重复字母
五敷有你
算法分析与设计javajavascript开发语言算法数据结构

    个人主页：五敷有你系列专栏：算法分析与设计⛺️稳中求进，晒太阳题目给你一个字符串s，请你去除字符串中重复的字母，使得每个字母只出现一次。需保证返回结果的字典序最小（要求不能打乱其他字符的相对位置）。示例示例1：输入：s="bcabc"输出："abc"示例2：输入：s="cbacdcbc"输出："acdb"思路贪心+单调栈实现【字符串删除一个字符使其字典序最小的贪心策略】：对于两个长度相同的字符串，
    

    • 

  • 数据分析：低代码平台助力大数据时代的飞跃发展
快乐非自愿
数据分析低代码大数据

    随着信息技术的突飞猛进，我们身处于一个数据量空前增长的时代——大数据时代。在这个时代背景下，数据分析已经成为企业决策、政策制定、科学研究等众多领域不可或缺的重要工具。然而，面对海量的数据和日益复杂多变的分析需求，传统的数据分析方法往往捉襟见肘，难以应对。幸运的是，低代码平台的兴起为大数据分析注入了新的活力，成为推动大数据时代发展的重要力量。低代码平台，顾名思义，是一种通过少量甚至无需编写代码，就能
    

    • 

  • 以前开发MFC界面如何快速转成QT界面
广州视觉芯软件有限公司
mfcqtc++

    将MFC界面快速转换为Qt界面可能需要进行一些手动工作，因为MFC和Qt是两个不同的界面框架，它们具有不同的设计和实现原理。但是，以下步骤可以帮助你快速进行转换：创建一个新的Qt项目：使用QtCreator创建一个新的Qt项目。分析MFC界面：仔细分析你的MFC界面，包括窗口、对话框、控件等的布局、样式和行为。重新设计界面：使用Qt的可视化设计器重新设计界面。在QtCreator的设计器中，你可以
    

    • 

  • 2022-10-02
朗月斋主

    肿瘤溶解病毒（OVs）作为一种新型的免疫治疗和治疗辅助剂，在制药行业中越来越受到关注，因为它们能够通过多种机制诱导和提高抗肿瘤免疫力。首先，OVs能够利用宿主免疫系统的内在机制（例如，逃避免疫检测）可以使肿瘤的免疫逃逸机制失效。第二，许多类型的OVs已被证明可以直接裂解肿瘤细胞，从而诱导出由肿瘤相关抗原和危险信号分子释放介导的肿瘤特异性T细胞反应。第三，表达免疫刺激治疗基因的武装OV可以在肿瘤组织
    

    • 

  • 数据挖掘|数据预处理|基于Python的数据标准化方法
皖山文武
数据挖掘数据建模与分析python数据挖掘开发语言

    基于Python的数据标准化方法1.z-score方法2.极差标准化方法3.最大绝对值标准化方法在数据分析之前，通常需要先将数据标准化（Standardization），利用标准化后的数据进行数据分析，以避免属性之间不同度量和取值范围差异造成数据对分析结果的影响。1.z-score方法Z-score方法是基于原始数据的均值和标准差来进行数据标准化的，处理后的数据均值为0，方差为1，符合标准正态分布
    

    • 

  • 使用多线程的方式模拟高并发请求接口，用于自测接口的稳定性【项目】
还算善良_
私有代码库工具类javalist数据结构

    packagecom.gitee.taven.test;importcom.gitee.taven.ApiResult;importcom.gitee.taven.aop.RepeatSubmitAspect;importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importorg.springframework.beans.factory.an
    

    • 

  • yarn的安装和使用全网最详细教程
zxj19880502
yarnnpm

    一、yarn的简介：Yarn是facebook发布的一款取代npm的包管理工具。二、yarn的特点：速度超快。Yarn缓存了每个下载过的包，所以再次使用时无需重复下载。同时利用并行下载以最大化资源利用率，因此安装速度更快。超级安全。在执行代码之前，Yarn会通过算法校验每个安装包的完整性。超级可靠。使用详细、简洁的锁文件格式和明确的安装算法，Yarn能够保证在不同系统上无差异的工作。三、yarn的
    

    • 

  • docker怎么端口映射
Lance_mu
docker容器运维

    1、默认固定的端口#Web服务器：WebApache或Nginx通常使用80端口HTTP：80HTTPS：443#数据库服务器MySQL：3306PostgreSQL：5432MongoDB：27017Redis：6379#邮件服务器SMTP：25POP3：110IMAP：143#其他服务SSH：22FTP：21DNS（域名解析）：53代理服务器Squid：3128版本控制系统Git：9418(S
    

    • 

  • docker基础（一）
运维搬运工
容器-dockerdocker容器运维

    相关概念介绍Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖到一个可移植的容器中，然后发布到任何流行的linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，互相之间不会有任何接口。Docker有几个重要概念：dockerfile，配置文件，用来生成dockerimagedockerimage，交付部署的最小单元docker命令与API，定义命令与接口，支持第三方系统集
    

    • 

  • Ai插件脚本合集安装包，免费教程视频网盘分享
全网优惠分享君

    随着人工智能技术的不断发展，越来越多的插件脚本涌现出来，为我们的生活和工作带来了便利。然而，如何快速、方便地获取和使用这些插件脚本呢？今天，我将为大家分享一个非常实用的资源——AI插件脚本合集安装包，以及免费教程视频网盘分享。首先，让我们来了解一下这个AI插件脚本合集安装包。它是一个集合了众多AI插件脚本的资源包，涵盖了各种领域，如数据分析、自动化办公、智能客服等等。通过这个安装包，用户可以轻松地
    

    • 

  • SQLite版本3中的文件锁定和并发(七）
代码工匠云
数据库SQLiteC与c++sqlitec++数据库

    返回：SQLite—系列文章目录上一篇：自己编译SQLite或将SQLite移植到新的操作系统（六）下一篇：SQLite—系列文章目录正文：1.0SQLite版本3中的文件锁定和并发SQLite版本3.0.0引入了新的锁定和日志功能旨在提高SQLite版本2的并发性的机制并减少作家的饥饿问题。新机制还允许交易的原子提交涉及多个数据库文件。本文档介绍新的锁定机制。目标受众是想要理解和/或修改的程序员
    

    • 

  • 排序算法太多？常用排序都在这了，一篇文章总结和实现所有面试会考的排序算法（基于Python实现）
宇宙之一粟
不归路之Python#IT面试题收集与总结数据结构与算法算法数据结构排序算法pythonjava

    文章目录排序算法1.常见的排序算法1.1选择排序1.1.1思想1.1.2实现**1.1.3选择排序分析**1.2冒泡排序**1.2.1思想****1.2.2实现****1.2.3冒泡排序分析**1.3插入排序**1.3.1思想****1.3.2实现****1.3.3插入排序分析**1.4归并排序☆☆★**1.4.1思想****1.4.2实现****1.4.3归并排序分析**1.5快速排序☆★★**
    

    • 

  • python清华大学出版社答案_Python机器学习及实践
weixin_39805119
python清华大学出版社答案

    第1章机器学习的基础知识1.1何谓机器学习1.1.1传感器和海量数据1.1.2机器学习的重要性1.1.3机器学习的表现1.1.4机器学习的主要任务1.1.5选择合适的算法1.1.6机器学习程序的步骤1.2综合分类1.3推荐系统和深度学习1.3.1推荐系统1.3.2深度学习1.4何为Python1.4.1使用Python软件的由来1.4.2为什么使用Python1.4.3Python设计定位1.4.
    

    • 

  • 解锁开心生命密码 NO.4
糊糊陪你瑜伽

    第四次的沟通是围绕着“何为真我”展开的。让我知道，原来真我的外面围了这么多层的“伪装”。真我-疗愈性事件-低层自我-信息系统-防御系统-面具自我，就是这样一层又一层的包裹让我们迷失了真我。谈到疗愈性事件，我甚至有点说不上来，尤其对童年的记忆是很模糊的，也说不上什么原因。通过分享三件自己的疗愈性事件，看到了事件发生时低层的自我，那是真我的反面。有这样低层的自我，形成了当时的信念系统和防御系统，才有了
    

    • 

  • 酷开科技依托酷开系统用“平台+产品+场景”塑造全屋智能生活！
京创尤品
科技生活

    杰弗里·摩尔的“鸿沟理论”中写道：高科技企业推进产品的早期市场和产品被广泛接受的主流市场之间，存在着一条巨大的“鸿沟”。“鸿沟”，指产品吸引早期接纳者后、赢得更多客户前的那段间歇，以及其中可预知和不可预知的阻碍。多数产品或企业的失败都发生在“鸿沟期”。目前，智慧家居的发展正处在一个“鸿沟期”：势头看似迅猛，但真实用户有限。对于一些企业而言，这条巨大“鸿沟”之所以出现，在于他们对如何推进智慧家居并不
    

    • 

  • 如何成为思维的高手？
明安包装闫慧玲

    六项精进训练营Day2复盘20210112湖北荆州学习靠氛围，成长靠圈子1.关于金钱认知金句：1.当今世界，非钱不行2.有钱能使鬼推磨3.金钱是万恶之本4.时间就是金钱5.金钱不是万能的，但是没有钱是万万不能的6.谈钱伤感情，谈感情伤钱道德系统→好人→美德→回流利益系统→好好生活天下熙熙皆为利来，天下攘攘皆为利往出自西汉著名史学家、文学家司马迁《史记》的第一百二十九章“货殖列传”。这句话意思是说天
    

    • 

  • [高精度加法和乘法] 阶乘之和
StudyingPanda
算法

    题目描述用高精度计算出S=1!+2!+3!+⋯+n!（n≤50）。其中!表示阶乘，定义为n!=n×(n−1)×(n−2)×⋯×1。例如，5!=5×4×3×2×1=120。输入格式一个正整数n。输出格式一个正整数S，表示计算结果。输入输出样例输入#13输出#19解题分析思路很简单，求出阶乘之后再累次求和即可，但是关键在于这个数据量实在是太大了，所以必须封装高精度运算，这里我们创建一个BigInt类，
    

    • 

  • linux安装docker及docker-compose 部署spring boot项目
时而有事儿
dockerlinuxdockerlinuxspringboot

    linux系统环境：centos5.14本篇描述的是在centos系统版本下安装docker，如果是ubuntu版本，请看这篇文章：linuxubuntu20安装docker和docker-compose-CSDN博客正文：安装docker和docker-compose安装docker---------运行命名等待安装完成遇到选择直接输入yyuminstall-yyum-utilsdevice-m
    

    • 

  • 多币种预算
朱先生_hfm
phpstorm

    对于开启全球业务的公司来说，公司可能是全资子公司，控股公司，以及驻外办，预算涉及的数据，可以以本位币进行填报，也可以以中间币种，或者以报告币种进行，或者使用多种币种，例如，销售使用美元、日元、英镑，费用使用港币，这就要求预算系统需要提供一个外币折算，记录汇率的功能，使得用户可以在录入数据时候使用不同的币种，之后根据汇率，把不同币种折算成系统固定的币种
    

    • 

  • 数据管理知识体系指南（第二版）-第五章——数据建模和设计-学习笔记
键盘上的五花肉
数据治理数据库数据仓库数据治理

    目录5.1引言5.1.1业务驱动因素5.1.2目标和原则5.1.3基本概念5.2活动5.2.1规划数据建模5.2.2建立数据模型5.2.3审核数据模型5.2.4维护数据模型5.3工具5.3.1数据建模工具5.3.2数据血缘工具5.3.3数据分析工具5.3.4元数据资料库5.3.5数据模型模式5.3.6行业数据模型5.4方法5.4.1命名约定的最佳实践5.4.2数据库设计中的最佳实践5.5数据建模和
    

    • 

  • 谈教育
浅辙

    也许，现在很多人都认为教育是无可避免的一个话题，而且意义深远。然而，究其缘由无非是希望孩子有个好的将来，所以使其奔波与于各个补习班之间，像是被提起的棋子，该落到何处便落到何处！不是吗？那情形，不过是大人的一厢情愿！也许只是鄙人的愚见，毕竟是单身狗，可能没有过多的发言权，不过以我个人的看法，何苦让孩子们如此曲折，这样痛苦的不只是孩子还有自己，文化艺术类的倒是有必要让孩子去学一下，学业课程已有了系统的
    

    • 

  • 检测usb口HotPlug-netlink
cany1000
linux

    为了完成内核空间与用户空间通信，Linux提供了基于Socket的NetLink通信机制。SELinux，Linux系统的防火墙分为内核态的netfilter和用户态的iptables，netfilter与iptables的数据交换就是通过Netlink机制完成。下面看一个检测usb口的例子：s32InitUsbHotPlug(void){s32nSockFd=0;//套接字地址structsoc
    

    • 

  • Numpy、Pandas库的使用
貮叁
量化投资分析pythonpython数据分析

    目录Numpy1、概述2、基础操作2.1生成一个numpy的array数组：2.2自定义一个新的数据类型：np.dtype()3、并行化思想4、量化分析应用4.1索引选取和切片选择4.2数据转换与规整4.3逻辑条件进行数据筛选4.4通用序列函数4.5文件保存与读取Pandas1、简介2、Series和DataFrame的使用2.1Series2.2DataFrame3、量化分析应用3.1形成一个p
    

    • 

  • 项目管理工具最佳实践
水岩

    各个公司的最佳实践去哪儿jira自定义使用1.jira编号对应git分支命名，后台增加监控程序，新增一个分支，自动解析分支中的jira编号，自动落地到数据库，完成映射2.各个发布系统间信息同步，消息中心（IC）+数据中心（DC）,广播消息加一站式查询，持续集成，推进代码检查质量，分钟级反馈质量检查反思：1.项目管好：针对一线研发人员，简单易用，而不是满足管理层的“统计度量”（...）简化分类字段，
    

    • 

  • 四叶草系统会议总结-2021-09-06
小马过河的写作空间

    大家好，我是狂奔的小马哥，来自深圳，一名工程师，2020年2月注册芬香，2021年2月开始建群做芬香，2021年3月底离开了一段时间，2021年9月份重新进入这个团队首先感恩芬香公司提供的平台机会，感恩我的邀请人和老师小四老师，介绍给我这么好的事业，让我可以结识到这么好的平台和优秀的老师非常感谢老师邀请我重新参与会议，让我有机会向老师和优秀的小伙伴学习悟到：经书易得，人师难求在我离开的这段时间，我
    

    • 

  • 数据仓库——事务、快照和累积快照事实表
墨染丶eye
背诵数据仓库数据库

    事务、快照和累积快照事务事实表跟踪定义业务过程的个体行为，并且支持几种描述这种行为事实。可以提供丰富的分析型能力，时常充当原子数据的粒度化仓库快照事实表周期性地采样状态度量，这些度量与一系列事务的累积效果相当，但是这些事务的格式不易进行研累积快照事实表用来跟踪通过一系列处理步骤的个体项的进展情况，用于研究多数过程中里程碑或者事件的经过时间。这种事实表在单一行中关联多个不同的行为。事务事实表事务事实
    

    • 

  • 自动化测试 —— Pytest fixture及conftest详解
咖啡加剁椒③
软件测试pytest功能测试软件测试自动化测试程序人生职场和发展

    前言fixture是在测试函数运行前后，由pytest执行的外壳函数。fixture中的代码可以定制，满足多变的测试需求，包括定义传入测试中的数据集、配置测试前系统的初始状态、为批量测试提供数据源等等。fixture是pytest的精髓所在，类似unittest中setup/teardown，但是比它们要强大、灵活很多，它的优势是可以跨文件共享。一、Pytestfixture1.pytestfix
    

    • 

  • rust的指针作为函数返回值是直接传递，还是先销毁后创建？
wudixiaotie
返回值

     这是我自己想到的问题，结果去知呼提问，还没等别人回答， 我自己就想到方法实验了。。
fn main() {
let mut a = 34;
println!("a's addr:{:p}", &a);
let p = &mut a;
println!("p's addr:{:p}", &a
    

    • 

  • java编程思想 -- 数据的初始化
百合不是茶
java数据的初始化

     
1.使用构造器确保数据初始化
    
/*
*在ReckInitDemo类中创建Reck的对象
*/
public class ReckInitDemo {
public static void main(String[] args) {
//创建Reck对象
new Reck();
}
}
    

    • 

  • [航天与宇宙]为什么发射和回收航天器有档期
comsci

    
       地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁...
       所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行
&
    

    • 

  • linux下批量替换文件内容
商人shang
linux替换

    1、网络上现成的资料
　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径`
　　linux sed 批量替换多个文件中的字符串
　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir`
　　例如：替换/home下所有文件中的www.admi
    

    • 

  • 网页在线天气预报
oloz
天气预报

    网页在线调用天气预报
<%@ page language="java" contentType="text/html; charset=utf-8"
pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
    

    • 

  • SpringMVC和Struts2比较
杨白白
springMVC

    1. 入口
spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。
参见：http://blog.csdn.net/zs15932616453/article/details/8832343
2
    

    • 

  • refuse copy, lazy girl!
小桔子
copy

           妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到：
1.那是我自己觉得写不出的高度
2.如果直接拿来用，很快就能解决问题
3.然后就是抄咩~~
4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！
  
    

    • 

  • apache与php整合
aichenglong
php apache web

    一  apache web服务器
1 apeche web服务器的安装
  1)下载Apache web服务器
  2)配置域名(如果需要使用要在DNS上注册)
  3)测试安装访问http://localhost/验证是否安装成功
2 apache管理
  1)service.msc进行图形化管理
  2)命令管理，配
    

    • 

  • Maven常用内置变量
AILIKES
maven

    Built-in properties
${basedir} represents the directory containing pom.xml
${version} equivalent to ${project.version} (deprecated: ${pom.version})
Pom/Project properties
Al
    

    • 

  • java的类和对象
百合不是茶
JAVA面向对象 类 对象

    java中的类：
 
  java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决
 
java使用 class 类名   来创建类 ，在Java中类名要求和构造方法，Java的文件名是一样的
 
创建一个A类：
class A{
}
 
java中的类：将某两个事物有联系的属性包装在一个类中，再通
    

    • 

  • JS控制页面输入框为只读
bijian1013
JavaScript

    在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。
  
    

    • 

  • AngularJS与服务器交互
bijian1013
JavaScriptAngularJS$http

            对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下：
var xmlhttp = new XMLHttpRequest();
xmlhttp.onreadystatechange
    

    • 

  • [Maven学习笔记八]Maven常用插件应用
bit1129
maven

    常用插件及其用法位于：http://maven.apache.org/plugins/
 
1. Jetty server plugin
2. Dependency copy plugin
3. Surefire Test plugin
4. Uber jar plugin
 
 
 
 
 
1. Jetty Pl
    

    • 

  • 【Hive六】Hive用户自定义函数(UDF)
bit1129
自定义函数

    1. 什么是Hive UDF
Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：
文件格式：Text File，Sequence File
内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text
用户提供的 map/reduce 脚本：不管什么
    

    • 

  • 杀掉nginx进程后丢失nginx.pid，如何重新启动nginx
ronin47
nginx 重启 pid丢失

    nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
    

    • 

  • UI设计中我们为什么需要设计动效
brotherlamp
UIui教程ui视频ui资料ui自学

    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。
但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。
一、加强体验舒适度
嗯，就是让用户更加爽更加爽的用你的产品。 
    

    • 

  • Spring中JdbcDaoSupport的DataSource注入问题
bylijinnan
javaspring

    参考以下两篇文章：
http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/
http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration
Sprin
    

    • 

  • 数据库连接池的工作原理
chicony
数据库连接池

           随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动 态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查 询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
    

    • 

  • java 关键字
CrazyMizzz
java

    
关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。
Java中的关键字按功能主要可以分为以下几类：
   （1）访问修饰符
      public,private,protected
      p
    

    • 

  • Hive中的排序语法
daizj
排序hiveorder byDISTRIBUTE BYsort by

    Hive中的排序语法 2014.06.22 ORDER BY
hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。
与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
    

    • 

  • 单态设计模式
dcj3sjt126com
设计模式

      单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。 使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。
<?phpclass Example{    // 保存类实例在此属性中    private static&
    

    • 

  • svn locked
dcj3sjt126com
Lock

    post-commit hook failed (exit code 1) with output:
svn: E155004: Working copy 'D:\xx\xxx' locked
svn: E200031: sqlite: attempt to write a readonly database
svn: E200031: sqlite: attempt to write a 
    

    • 

  •  ARM寄存器学习
e200702084
数据结构C++cC#F#

    无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。
    ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。
1、不分组寄存器（R0-R7）
    不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
    

    • 

  • 常用编码资料
gengzg
编码

     List<UserInfo> list=GetUserS.GetUserList(11);
String json=JSON.toJSONString(list);
HashMap<Object,Object> hs=new HashMap<Object, Object>();
for(int i=0;i<10;i++)
{

    

    • 

  • 进程 vs. 线程
hongtoushizi
线程linux进程

    我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。
首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。
如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。
如果用多线程实现
    

    • 

  • Linux定时Job：crontab -e 与 /etc/crontab 的区别
Josh_Persistence
linuxcrontab

    一、linux中的crotab中的指定的时间只有5个部分：* * * * *
分别表示：分钟，小时，日，月，星期，具体说来：
第一段 代表分钟 0—59
第二段 代表小时 0—23
第三段 代表日期 1—31
第四段 代表月份 1—12
第五段 代表星期几，0代表星期日 0—6
 
如：
*/1 * * * *   每分钟执行一次。
* 
    

    • 

  • KMP算法详解
hm4123660
数据结构C++算法字符串KMP

         字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。
 
    假设主串s="ababcabcacbab",模式串为t="
    

    • 

  • 枚举类型的单例模式
zhb8015
单例模式

    E.编写一个包含单个元素的枚举类型[极推荐]。代码如下：
public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
    

    • 

  • Kafka+Storm+HDFS
ssydxa219
storm

    cd /myhome/usr/stormbin/storm nimbus &amp;bin/storm supervisor &amp;bin/storm ui &amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
    

    • 

  • Java获取本地服务器的IP
中华好儿孙
javaWeb获取服务器ip地址

    
System.out.println("getRequestURL:"+request.getRequestURL());
System.out.println("getLocalAddr:"+request.getLocalAddr());
System.out.println("getLocalPort:&quo
    

    •