linux 学习方法---转的

转自水木lunker，非常好的文章,在此鸣谢之。

 

本人水平有限，如果有错误和遗漏，或者有更好的建议，请大家认真的拍。

强烈建议: 文中涉及的图书最好入手一个英文版的，如果实在阅读有困难，可以在电脑中准备一个中文版的进行参考，但要强迫自己循序渐进的脱离使用中文版。

1. 书目

注：文中对所有书籍的引用都会使用开头的编号, 或者简称。

<1> "The C Programming Language", 2nd edition, by Brian Kernighan & Dennis Ritchie
-- C语言最经典的教材，阅读前最好有一点编程的基础。本书简称K&R。

<2> "Computer Systems: A Programmer's Perspective", 2nd edition, by David R. O'Hallaron
-- 以汇编和C程序作为例子，从程序员而不是设计者的角度，讲解计算机系统软硬件体系结构的书。很有想法的书。

<3> "Advanced Programming in the UNIX environment", 2nd edition, by W. Richard Stevens and Stephen A. Rago
-- Unix/Linux 环境编程的最好教材，把操作系统的原理，unix的接口和设计思路，以及C程序实例这三者很好的结合在了一起，不可多得的好书。本书简称 APUE2

<4> "Linux Kernel Development", 3rd edition, by robert love
-- Linux kernel 入门的书籍，深入浅出，很适合新人入门。简称 LKD3

<5> "Linux Device Drivers", 3rd Edition, by Jonathan Corbet, Alessandro Rubini, and Greg Kroah-Hartman
-- 教给你写linux驱动的书，有实例，有框架，有细节，把和驱动沾边的知识都讲得很细致。简称LDDR3。 下载: http://lwn.net/Kernel/LDD3/

<6> "Understanding the Linux Kernel", 3rd edition, by Marco Cesati Ph.D.
-- 讲解linux kernel的实现，包括设计思路，调用关系图，数据结构，算法，以及一些kernel编程技巧。简称 ULK3。

<7> "TCP/IP Illustrated, Vol. 1,2,3", by W. Richard Stevens
-- 讲解TCP/IP协议的经典书，第一卷介绍协议，必读，有大量的tcpdump实例，跟着操作和分析很有乐趣。第二卷介绍BSD上面的实现，第三卷介绍了HTTP等其他的协议。

<8> "Unix Network Programming, Vol. 1,2", 3rd edition, by W. Richard Stevens, Bill Fenner, Andrew M. Rudoff
-- 第一卷介绍了unix环境下的socket编程，还是有实例，很好的结合了协议，还涉及了一些实现原理。第二卷介绍了unix IPC，似乎和APUE有重复之嫌，我没有看过这卷。

<9> "Understanding Linux Network Internals", Christian Benvenuti
-- 详细介绍了linux网络协议栈的实现细节。可惜没有涉及tcp的实现和netfilter。

 

2. 目标
本文假设读者要成为linux环境系统程序员，涉及linux用户空间编程，网络编程和linux 驱动编程。
本文讲述的是我自己的学习和工作体会，希望大家能批判的理解，最终找到自己的路。

 

3. K&R 和 开发环境

K&R 当然是一切的基础，必须认真学好，对于没有编程经验的人来说，拿这本书入门有点难度，必须认真完成书里的习题，能额外找些习题练手当然更好。有C语言经验的同学学起来轻松一些，抓重点难点看，书中关于指针的介绍很好，言简意赅。学通透之后，K&R 还可以成为手册，忘记了翻看一下还是必要的，这书要一直留着。

在学习 K&R 的时候，同学就可以弄一个linux的主机玩一下了，(推荐debian, ubuntu)装个基本系统，把开发包装一下，这些教程网上都有，自己查查吧，K&R里边的例子最好在linux上面跑，学学gcc，make，vim的基本用法，不要太深入的学，先够用就可以了。

到这里，总体上还是轻松愉快的，我们开始找到一点入门的感觉了，但其实和入门还有很大的距离，继续努力吧。

 

4. APUE 的考验 
经常看到一些同学没有看过APUE就开始学写driver，这其实是不太合适的，如果说K&R是基础的话，那么 APUE就是我们学习过程的核心，APUE不单纯介绍接口，编程这些东西，书里边涉及的思想，方法，会贯穿程序员的整个生涯，比如，书里边谈到了policy和mechanism这两个unix系统重要的概念，并且用实例阐述它们，对我们理解unix系统有重要的意义。因此，我们要好好读，反复读这本书。
当然，书里边涉及过多的知识，新手往往感觉很困难；因此，我们要注意方法。
(1) 必须把书里的实例在linux上面跑一下，Richard的书都是很有操作性的，建议同学最好用手敲的方式，把里边一些短小的程序编译执行一下，如果能改改功能，调试调试那就更好了。APUE里的许多知识点必须是在实践中才能理解和掌握的。
(2) 切忌贪多，贪快，不要想一口气把书都读完，最好先攻读一些重点的章节: File I/O, Process, Signal, IPC等等，适当展开，多练习练习，对于不太懂的概念，多google百度一下。
(3) 产生迷惑和疑问的时候，多和别人讨论一下，发贴子问一下，交流很重要。

当我们在学习APUE的过程中，感到应接不暇比较苦恼的时候，我建议同学要放慢节奏，弄一弄 gcc makefile gdb vim linux命令 bash编程这些, google一些教程来学习，学写一些复杂的例子。同时，google一些简单的项目, 或者复杂的C练习题做做，尽量用到上面的工具，增加熟练度。
这个过程是一个略显漫长的学习过程，是程序员面临的第一个坎，需要坚持不懈。等跨过去之后，就海阔天空了。

另外，就我个人而言，我会在阅读和学习的过程中，把一些重要的知识点，tips, trick，重要的例程都整理成一个文档，方便将来查阅使用，这个习惯保持整个学习和开发生活始终。 

5. 学习实际项目的源码

经常看到有人建议通过阅读一些简单的开源项目来提高自己，我觉得这个做法很好，但是要注意时机:
(1) 至少精读过一遍APUE的重要章节
(2) 能看懂makefile，了解autoconf，比较熟练的使用vim, gcc, gdb, strace等工具(不会的google一下教程)。

好吧，这个时候，有些同学已经辛苦的精读过APUE所有的重要章节了(注意，不一定是全部的章节)，看看，这个时候，坚持手敲APUE实例代码的同学就有优势了，他们vim相对会熟练一些:)那我们还等什么，赶紧开始吧，其实，我们还差一个事情需要准备，

(3) 学会使用 cscope, 不知道这个是什么？google去吧。，vim+cscope 看代码，谁用谁知道。本文不想涉及工具之争(vim或emacs), IDE之争，无论你选什么都可以，只要好用就行。

准备就绪，选择什么项目开始呢？我建议从简单的开始，coreutils

源码可以从这里下载:　http://www.gnu.org/software/coreutils/

是什么呢？对，部分linux命令的源码，从简单的(一般size比较小)开始学起，看看库函数和系统调用怎样相互配合，完成一个linux命令的功能。
我们可能发现源码里边宏定义特别多，影响阅读，或者缩进风格诡异，看着费劲，没有办法，慢慢适应吧，vim有命令可以收起展开宏里边的代码，或者美化代码缩进，自己查查怎么用。还有一些函数没见过，setlocal()等等，没关系查查APUE，或者 google，能把一个简单的源文件彻底搞明白，你会收获很多。同时，你对APUE的理解也会更进一步，你越来越体会出这个书的宝贵，也越来越离不开它。

经过一段时间的探索，你也许会感觉这些源码也不过如此，不那么神秘了，恭喜你，现在你算是入门了。从现在开始，你已经可以开始干活了。 

 6. 开始干活

我觉得，只学不干是嘴把式，只干不学是傻把式，两者必须结合。
有项目的同学或者上班族可以去争取一些简单的工作了，没有项目的同学，只能自己给自己找活干了。
在干活之前，有必要进行一下准备:

(1) 把工具和开发环境准备好，有些项目需要特定的工具，比如subversion, git, SecureCRT, Cuteftp, 等等，一定要弄会了，多问问学长同事什么的。
(2) 确定代码风格，无论是linux kernel的，还是windows的，都可以，但要风格统一。
(3) 搞清楚任务目标，需求，还有期限。这点是最重要的，由于新手一般接手的工作比较简单，别人分配给你任务的时候往往不会特别用心，这时需要你多主动提问，把细节问清楚。

干活的几个重要阶段:
(1) 分析和设计阶段，这个时候不要着急编写代码，先分析一下需求，确定一下方法，画画流程图，最好找个有经验的人带着做，会少走一些弯路，让他帮着审核最终方案。
(下段 WaterMonster 网友补充)
其实unix下大部分的你能想到的程序都有人写过一遍了，问题只是别人写出来的软件未必符合你工作下的实际需要。 设计之前，在开源界搜一搜，有没有和你想法差不多的人，他们的实现是怎么样的，整体的架构是否合理，对比自己的思路走一走。


(2) 开始写代码了，不要一开始就想写个高大全，先根据设计方案写个尽量简单的程序，把框架搭起来，主要流程理顺，最好能够编译执行。无法完成功能也无所谓，我们再慢慢改进它。
(3) 添加细部的功能，最好有适量的改动就编译执行一下看看，这样可以省去最后完整调试的时间。
(4) 调试(看log，gdb，strace，这里就不展开了)，修改bug, 完善代码。

改代码尽量做到一下几点:
(a) 合理规划文件, .h 文件放什么内容，.c 文件放什么内容，是用多个.c文件，还是只用一个。这些问题需要经验，不能闭门造车，该问别人就问，或者找一些项目已有的代码来参考，或者google，或者论坛发帖，不要指望一次能够搞定，发现不合适的地方，随时调整。
(b) 检查代码风格，添加合理的注释，一定要养成这个习惯。
(c) 添加合理的debug log，要有debug开关，比如通过 -DDEBUG 编译选项开打开debug。

OK, 到这里，我们主要的任务就完成了，如果验收通过了，是不是很有成就感？
等等，其实有些有追求的同学发现，他的代码和项目已有的代码或者开源项目的代码还是有差距，但是具体怎么改进呢？从另外的角度讲，都验收通过了，还改进它干什么？
我认为，"一个优秀程序员的基本特质就是，始终不遗余力的完善自己的代码"，我们不能以验收作为自己的最终目标，我们要成为优秀的程序员，这个才是我们的目标。
如果能达成这个共识，请继续看下去。

 

7 反思，梳理，制定计划

我们有了项目经验了，我们开始干活了，往往这个时候，我们也开始膨胀了。具体表现是，等着上面放任务干活，没活可干的时候就玩，也不看书了，觉得自己就是大牛了，在bbs上还能给新新手回答一些问题了(注意，这时候往往会给出错误的答案)，一些程序员就是在这个阶段停滞不前的，很可惜。
这个时候，我觉得可以开始给自己新的任务了，学习kernel也许是不错的选择，不过，下一步怎么做不是最重要的，最重要的是，要在思想上清楚的认识到，自己其实是刚刚入门，对于linux kernel/driver 还没有入门，我还有很多的坎需要迈。这个心态需要同学们好好体会.
另外, 在继续学习之前，有必要梳理一下之前的学习心得，整理笔记，甚至重读一下APUE，往往你还会有新的收获：你会发现，在linux环境下面学习和工作的方法逐渐清晰了起来；你也许会偶而灵光一闪一个念头，然后迫不及待的写个小程序验证它。这些方法和习惯会在今后的学习和工作中慢慢完善，形成linux程序员特有的风格。

这个时候，由于我们也许参与大的项目了，下一步的学习计划需要结合自己的实际情况，并没有固定的套路。对于本文涉及的领域来说，有两个方向: linux driver和网络编程。对于其他的方向，肯定还有，但是本文并不涉及。

后文会根据这两个方向分别进行阐述。

8. 网络协议和搭建实验环境

在进行网络编程之前，先要了解tcp/ip协议；想学习网络协议栈的实现，一定要把网络编程搞熟；想学习alsa驱动，先要熟悉使用asla库调用；类似这些学习的顺序，大家要注意。

在展开对<7>"TCP/IP Illustrated, Vol. 1"学习之前，我们需要考虑搭建网络环境的问题，找一台内存大些的PC，装虚拟机就搞定了(最好VMware,其他的我不确定是否可行), 具体的拓扑结构参考书里开头就给出的网络，不需要百分百复制，体会精神就行。有2个router，2-3个host，1个gateway，这是必须的吧，等学习内容变化的时候，拓扑可以跟着改变。

这里再强调一下Richard书的学习方法，如果不能跟上实验操作，单纯看书效果差多了。即使有条件接触实际复杂网络的同学也要建一套虚拟机的环境，不能影响别人是不。

书没啥好说的，讲得很好，我们关注一下 tcpdump：这是学习网络的核心工具，大家要随着书中的例子好好学习这个工具的使用，争取在看完之后机能熟练掌握tcpdump的用法。对于书里稍复杂一些的知识点，比如 tcp 的慢启动，超时重传等等要用 tcpdump 的结果去印证，加深印象。

另外，wireshark 也是一个不错的工具，提供了图形化的界面，比tcpdump友好一些，而且用tcpdump保存下来的raw data是可以用 wireshark 进行分析的，这两个工具可以配合着用。
(annals网友: 还ethereal，用wireshark已经很久了)

经过APUE的煎熬，读协议简直就是一种享受，各种念头通达，稍微复杂的例子也可以配合tcpdump来理解，可这只是开始，重头戏在后面。

9. 网络编程 UNP

学习UNP的方法和APUE差不多，看书，练习例子。如果能加上tcpdump的分析，那就更好了。经过一段时间，你会发现UNP就是对APUE的复习嘛，信号，线程，系统调用这些都要用到，而且比APUE上的讲法要更实际，更有操作性。

书里经常会用不同的方法去实现同一个功能，或者把一个简单的例子逐渐添加血肉，变成复杂的例子。这些都是Linux著作常用的方法，注意体会，将来自己写文章或许可以用到；写程序的时候，也可以遵循先简单后复杂的过程，符合认识规律。

书里边的例子也很经典，比如 select(), poll() 的例子，同学可以敲一遍多跑跑，整理到文档里，将来要写这种程序的时候，拿来就用，方便快哉。

有了APUE的基础，UNP的进展应该比较顺利，下面就是用具体的项目代码入手了。

 

10. hping 上

我们通过学习hping的用法及其源码，巩固对协议的认识和熟悉网络编程。hping3可以在这里得到： http://www.hping.org/hping3-20051105.tar.gz

看看这个工具是干嘛的，注意README里边提到，这是一个学习tcp/ip绝佳工具(It's also really a good didactic tool to learn TCP/IP), 这个版本还支持tcl脚本了，比我那个时候强大了嘛:)
哎，同学，不要着急看源码啊，忘了顺序了嘛？不先熟悉一下hping3的命令，怎么能上来就看代码呢？还是先build一下把，这次讲得稍微复杂一些:

一般 linux 源码包的编译过程一般是

$ ./configure
$ make
$ make install

hping也不例外

$ ./configure
$ make

这个时候，我这边报错了
gcc -c -O2 -Wall -g main.c
main.c:29:18: error: pcap.h: No such file or directory
main.c:169: error: expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘*’ token
main.c:170: error: ‘PCAP_ERRBUF_SIZE’ undeclared here (not in a function)
make: *** [main.o] Error 1

有经验的同学可能知道，这是缺少pcap开发包了，如果不知道也没关系，google一下就能找到答案了，另外，或许还会缺少tcl-dev包，请在下面的url找到相应的源码包，或者自行寻找和发行版对应的二进制包，这里就不详细展开了。
http://www.tcpdump.org/release/libpcap-1.1.1.tar.gz
http://www.tcl.tk/

继续make，开头过去了，不过又一个错误：

libpcap_stuff.c:20:21: error: net/bpf.h: No such file or directory
libpcap_stuff.c: In function ‘pcap_recv’:
libpcap_stuff.c:61: warning: pointer targets in assignment differ in signedness
make: *** [libpcap_stuff.o] Error 1

这次又需要google一下了，用关键自 net/bpf.h 搜索一下，很快找到解决方法:

$ ln -snf /usr/include/pcap-bpf.h /usr/include/net/bpf.h

然后顺利通过:

$ make
$ make install

大功告成。

11. hping 下

可以看看 hping3 的文档，如果感觉不太直观，google一下别人的教程(推荐 http://wiki.hping.org)。练习一些简单的命令, 如果在教程里发现什么idle scanning, Packet crafting等字眼，请大家自动过滤，我什么都没说过, 什么都没说过......

hping有两种工作模式，script和command line模式。

这里给一个command line模式简单的例子，用hping发一个icmp包到指定的host
$ hping -V -1 www.google.com
这个时候，也可以用tcpdump抓包看看:
$ tcpdump -n -i ethX icmp

下面是script模式的例子，用hping发一个icmp包到指定的服务器。
$ hping # 进入脚本解释器
hping3> hping resolve wiki.hping.org
109.74.203.151
hping3> hping send {ip(daddr=109.74.203.151)+icmp(type=8,code=0)}

我们也可先编写脚本(例如xxx.tcl)，然后用下面的命令执行:

$ hping exec xxx.tcl

wiki.hping.org上面有很复杂的脚本示例，这种方法本让hacker从C程序的繁重工作解脱出来，通过简单易用的脚本可以实现灵活强大的功能。

看源码的话，可以从main()函数看起，看看command line模式下的代码流程。
从hping_script()这个函数调用开始，会进入到script模式的处理code，不建议新手学习。
hping使用SOCK_RAW发送各种类型的包tcp/udp/icmp等等，并统一使用pcap库来捕捉返回包，要注意和使用SOCK_STREAM时的思路是不同的，前者需要自己构造ip包头，对照着协议阅读整个过程是必要的。
当同学对hping的脚本和源码有了一定的了解，你也就对网络编程开始入门了，同时，随着Linux环境下的学习和工作方法的逐步成熟，你会发现学习效率在提高，信心在增强，通过耐心的分析研究，这些开源项目的源码不在话下。

补：等写完了发现，并没有给出一个client/server类的例子供大家学习，iperf 不知是否合适，请大家自行编译执行分析。如果大家有时间，可以考虑自行设计一个复杂一点的程序，client/server模式的，用到信号，多线程，socket，select，文件I/O，IPC 等等，算是一个总结，后边开始进入kernel space的世界。

12. 从LKD开始

我们打开参考书<4>"Linux Kernel Development", 书的作者Robert love是kernel的设计者之一，但他并没有把书写得深奥难懂，分寸把握的很好，仅仅400页的篇幅，就讲解了Kernel的绝大多数要点，重点突出，细枝末节一笔带过，决不拖泥带水。书的篇幅少也和引用的代码少有关，不凑字数，相当有料。
尽管篇幅有限，但本书开头还是不厌其烦的给出了一些如何build kernel的说明，还对源码树各部分进行了说明；这从侧面表明了作者的态度，看书的时候也得动手啊。
在 http://www.kernel.org/ 得到kernel的源码，然后编译

$ cd linux-source-dir/
$ make menuconfig
$ make

关于menuconfig选项，升级kernel image，grub install的方法，这里就不赘述了，请同学自行解决，多练习练习没坏处。
尽管书写得比较易懂，但可能对于刚开始接触kernel的人还是有点难度，尤其是对于非科班出身的同学，没学习过体系结构和操作系统原理，先自行了解基本概念还是必要的。

横看成岭侧成峰，让我们从几个不同的角度来认识认识kernel同学：

1) 从原教旨主义的角度看，linux kernel就是一大坨文件目录树，主要由C/汇编源文件，脚本，配置文件，文档，以及某些二进制文件组成。由全球的志愿者(包括商业公司)在Linux社区开发维护。

2) 从存在主义的角度看，linux kernel就是一个二进制文件，从上面这些源文件编译生成，一般长期保存在PC的硬盘中，使用时，这个二进制文件会被加载到内存，CPU会执行里边的机器代码。

3) 从经典讲义的角度看，linux kernel上安application，下抚hardware：给app提供api让其访问hardware，同时给hardware提供driver来让其能正常工作。

4) 从发行版的角度看，linux kernel就是个悲剧，连自己的名分都保不住，用户只知道redhat, ubuntu不知道kernel是神马玩意。

5) 从我的角度看，kernel就是一个进程而已。

 

13 Kernel是一个进程
为什么这么讲呢？咱们看一下系统启动的过程：PC上电了，bootloader首先被执行，做完一些初始化工作，它把kernel image加载到了内存里，让CPU执行kernel的代码，这个时候kernel是PC上跑的第一个，也是唯一的一个进程，它一下就夺过对CPU的控制权，把CPU，内存，clock，中断控制器等等先调教了一番，又初始化了内部的一些算法和数据结构，它给自己起名字叫"swapper", 数字0是他的终身代号，然后，它就寂寞了......

swapper从硬盘上面又找了一个二进制文件，叫做init，加载到内存，代号1，允许CPU执行他的代码。然后它又创建了几个内核线程来分担它的工作，这些线程有自己独特的名字和代号。而kernel也从单独的一个进程，变成了由多个内核线程组成的大进程。

init并不是这个大进程的成员，但它努力产崽，有了许多子子孙孙进程，我们统称它们叫用户进程，这些进程访问资源的权限受到严格限制，尽管优先级有时可以调整到很高。

kernel线程也不停创建同类，但他们互相不称父子，因为他们有共同的身体，他们的权限不受限制。

这些用户进程和kernel线程在调度算法的指挥下，轮番取得对cpu的控制权，执行自己的代码。
而swapper呢？他其实算是第一个内核线程，不过它低调的调低自己的优先级，深居简出，当所有的进程线程都无事可做的时候，才会出来主持局面，取得cpu控制权，这时候系统处于idle状态。只要它发现其他进程有事可做，就会立刻交出CPU控制权。

面对swapper前辈转身离去时那落寞的背影，众kernel线程都是唏嘘不已，只有init进程在背后默默竖起中指，表达当初在权限上受到不公待遇的愤恨, 待续......

评论：

不考虑中断异常以及技术细节，本文从进程的角度让同学体会了kernel的存在感，kernel没有那么神秘，不是超然的造物主，仅仅是一个进程而已，只不过子线程们承担了很多特殊的管理任务而已，这些管理任务的详情和省掉的技术细节我们可以慢慢了解，找寻答案，但是对kernel的整体把握要有，头脑中始终有清晰的认识，无论系统跑到何时，我们都要知道身处何地(处于哪个进程或者中断服务程序)。

中断和异常表面上看起来优先级太高，执行过程过于霸道，但其实并没有破坏进程间调度轮番取得CPU控制权的工作模式，这点我不打算详细阐述了，书里边对中断异常描述的很好，同学们可以自己好好感悟一下。

从现在开始越来越不好写了啊，压力很大，不过我会加油的。

 

14 阅读思路

上文描述的启动过程涉及的源文件如下:
init/main.c
arch/x86/kernel/process_32.c
其实应该还包括更多的源文件，但 init/main.c 里的start_kernel()是启动过程的核心，只要抓住这个地方，我们很容易就可以按图索骥找到其他的源文件，同学要体会这个思路。

在看LKD的时候，同学除了要把概念原理算法弄清楚，还要像上面这样，根据书中提供的线索，把每个知识点对应的源文件名找出来，记录到笔记里，等将来需要的时候，我们再慢慢研究细节。
我们再举系统调用(system call)的例子：

看过LKD里关于system call的描述，有如下的问题：

1) 为什么要有system call，system call有什么功能？
2) Usersapce通过什么指令调用kernel的system call，传递了什么信息？
3) kernel怎么建立system call number和具体实现函数的对应关系？
4) system call在执行的时候处于什么上下文？
5) 实现system call handler的主要源文件在哪里？
6) 除了书中给出的例子，再找一个system call的实现。

对于初次阅读的我们，知道这些已经不错了，最好把答案整理到笔记里。等读完这本书，我们应该对基本概念有了了解，整体上对kernel有了把握。尽管对算法，实现细节不太了解，但是我们大体知道努力的方向了：后续深入的研究源码。对于开发人员，优先选择和我们的工作关系密切的部分深入钻研吧。 

15 内存管理

想要从整体上理解linux的内存管理，我们需要理解内存管理的两个大的功能：

1) 帮助MMU正常工作，实现物理地址和虚拟地址的转换(paging)
2) 对物理内存进行管理，分配，回收，共享等等

相应的，这两个功能分别对应下面两个核心table：

1) page table
2) page frame descriptor table, 源码中的名称 mem_map

我们顺着这个脉络，对两者进行比较，同时也就理顺了内存管理的大体思路:

从分配回收方面比较：
1) page table 用来作paging，每个进程各有一份(我们把kernel看作一个大进程), kernel 的 page table 叫做 swapper_pg_dir, 是在启动的时候创建的，每个进程在出生的时候会 以swapper_pg_dir为蓝本建立各自的page table，进程死亡的时候kernel会回收他的page table，page table 一般采用多级结构，最后一级page table的每个entry都对应一个page大小的内存，每个entry的size一般是4个字节。(arch/x86/kernel/head_32.S, setup_arch()@init/main.c, paging_init()@arch/x86/mm/init_32.c)

2) mem_map 用来管理物理内存，在启动的时候创建的，只有一个，永不释放，mem_map和物理内存一一对应，每个entry管理了一个page的物理内存，每个entry的size为40个字节左右。(free_area_init_nodes()@mm/page_alloc.c)

具体过程：以x86体系结构为例
1) Linux启动之后，指令中的地址必须是虚拟的，MMU负责转为物理地址，转化的过程就是查询更新TLB缓存，检索page table的过程。进程在运行时，会把顶级page table的首地址保存在CR3寄存器中，MMU根据CR3的值才得以找到正确的page table。进程切换的时候，需要更新CR3。
2) Kernel使用buddy算法对mem_map进行管理，申请释放内存的size必须是2的n次幂page大小，在buddy之上，kernel还使用了slab算法(或slub)对内存进行再次管理，可以提供更小单位的申请释放和cache功能，让内存的使用更有效率，速度更快。(mm/page_alloc.c)

理解了这两个table，我们就抓住了内存管理的核心，其中涉及的技术细节请自行了解，其他一些概念也很重要，如memory layout，zone，mm_struct, memory area management等，这里不展开了。

16 驱动程序概述

同学通过LKD对linux kernel进行了基础的理解，对于驱动方向的同学来讲，可以开始看LDD3，进行下一步对重点方向和任务的学习，本文给出一些重点需要关注的知识点。

从最简单的模型上看，kernel的职责就是管理hardware，给app提供访问接口。CPU, 内存，外设这些都是hardware；每个外设都有相应的驱动进行管理；从某种意义上讲，CPU和内存也有着相应的驱动进行管理。

* 把驱动的功能抽象一下看，无非要完成下面的工作：
1) 初始化工作：检测/PnP，供电，设置clock，设置register，及其他操作。
2) I/O工作：让app能够读，写，或控制hardware, 或许同时要提供多用户共享，访问保护，状态恢复等功能。
3) power management

* 驱动程序框架

LDD 的14章详细阐述了linux kernel model，这个是看驱动代码，写驱动程序的基础，需要好好揣摩，核心是这3个概念：device，driver，bus

大多数的驱动都要实现driver里边的函数指针(open, read, write等等)，然后注册给上层，提供app访问的接口。这是kernel里边常见的思路：定义结构，实现指针，注册接口；我们也可借鉴到自己平时的程序中。

另外还要了解kobj，sysfs的一些用法，我们在写程序的时候尽量用这个接口替换procfs。
另外，为了让我们的driver越来越简单，同时减少冗余的代码，kernel往往会把不同厂商的驱动中一些公共的代码抽出来，建立一套框架和公共接口。具体例子有:

input设备的驱动框架(drivers/input/input.c);
Video设备的驱动框架V4L2(drivers/media/video/videobuf-core.c)；
音频设备的框架(sound/sound_core.c)。

* 在驱动编程中，我们要熟悉下面这些东西：

kernel的重要概念：
irq, irq handler, dma
softirq, tasklet, timer
work queue, wait queue, kernel thread

debug相关
printk, oprofile, ftrace, oops, kdb, procfs, sysfs, errno

一些常用的api：
list操作 include/linux/list.h
lock操作 include/linux/spinlock.h
mutex操作 include/linux/mutex.h
semaphore操作 include/linux/semaphore.h
bit操作 include/asm-generic/bitops/atomic.h
atomic操作 include/asm-generic/atomic.h
kfifo操作 include/linux/kfifo.h
alloc_page操作 include/linux/gfp.h
readX/writeX include/asm-generic/io.h
ioremap(), remap_pfn_range(), kmalloc(), vmalloc()
schedule_timeout()

在书中对上面的知识点有大量的讲解，源码中也有很好的示例，我们要深刻理解，这里就不是掌握整体了，而是熟练掌握。

17 驱动开发任务

了解知识只是基础，还是要以任务为核心，找到解决问题的思路。我们在做驱动开发的时候，一般会面临下面几种任务：

1) 维护现成的驱动代码，改bug；负责写用户空间的接口库或者测试程序。
2) 从别的平台上移植驱动到linux上。
3) 从头开发一个驱动，我们可能只有硬件手册上面的伪代码参考。

对于1)，任务简单，往往是给新手的活，前几章的学习过程往往也是在执行这个任务的时候进行的，例如：组长给新员工分配了写测试程序的活，他需要学学类似APUE这样的书，分配修bug的任务时，他需要学学kernel和driver基础。
当我们经过了前几章的大量练习，可以很轻松的完成测试程序的任务，但是我们是有追求的程序员，我们需要给自己更高的要求，就像第六章提到的那样，不停的改进自己的测试程序，多参考开源代码成熟的例子，体会更好的编程技巧。
通过测试程序，有了对驱动接口直观的了解之后，我们开始详细的学习驱动的代码，只有完整的了解了驱动的方方面面，后边解bug的时候才能游刃有余。我们需要做到:
a) 仔细阅读硬件参考手册，了解硬件工作的原理，流程，时序图，寄存器介绍。
b) 了解对应的驱动框架，比如前文提到的input，alsa，V4L2等，看看你负责的驱动是否工作于一个框架下，涉及的内核基本知识要确保都能搞懂。
c) 分析驱动代码，不光是看，要把debug打开，跑跑测试程序，看看log，流程自然就清晰了，分析代码会快上许多，如果用示波器或者逻辑分析仪抓抓波形，可更好的加深印象。

能做到以上这些，解bug就是很容易的事情，把前文提到的debug方法熟悉一下是必要的。debug工作本身还是有一些技巧的，需要在实践中多总结，注意观察有经验同事的做法。有时驱动的bug是硬件造成的，接线错了，少了个电阻电容，这些都是常有的事，大家不要抱怨，沟通的时候注意技巧，想办法证明自己的代码没有问题，这样才能让硬件工程师甘心改板子。

为什么对任务1)费这么多口舌呢？因为，这个例子契合了本系列写作的初衷：完事开头难，我们要花大力气把开头的工作做好做精，基础打牢，掌握好的方法，树立信心，培养兴趣，后边的工作就会水到渠成，游刃有余。

对于任务2)，步骤和1)几乎一样，只需要额外注意2点:
a) 分析好原平台的代码，移植的时候多参考linux里边现有的例子
b) 测试程序尽早编写，集成和修bug工作离不开它。

对于任务3)，我觉得这里不需要再给出任何提示，一路走来的同学你自己琢磨吧。

有意思，讲驱动的文章，却不讨论如何从头编写驱动。其实，任何看起来复杂的任务都经不起推敲和分解，当分解成一个个小块的时候，我们就看到了当年做过的大量基础练习。我们要好好练习推敲和分解，掌握自己的思路。

18 网络进阶

为了内容结构的完整性，写一下网络的问题，我已经很久不搞了，别说细节，给轮廓都很难了。
网络始终是一个实践性特别强的部分，理论如果不联系着实际理解，会学得非常痛苦。
一般我们有了kernel和网络编程的基础之后，可以开始学习协议栈的实现，也就是参考书<9>，在虚拟机上面把kernel 网络部分的log打开，跟着书里描述的过程，大致了解一下网络协议栈。观察协议栈如何传递skbuf这个指针是很有意思的一个看点。
要想深入了解，可以从netfilter入手，它是目前国内网络方向的重点。

先从练习iptables命令开始，在虚拟机上面实现一个NAT网关还是不难的吧，最好把iproute这个包也安装一下，了解一下ip命令，这是配置路由表的工具，有了这两个工具的使用基础，你就会有了直观的概念。 如够看看iptable和ip的源码，了解一下网络层的用户接口，当然更好了。

进入到了解netfilter具体框架的阶段，我们要在头脑中深刻的建立这个图的印象：
http://upload.wikimedia.org/wikipedia/commons/8/8f/Diagrama_linux_netfilter_iptables.gif
阅读代码，找到图中每个关键点的位置，了解相关概念。当然，还要实践一下，添加一个自己的netfilter module，这都是必须的。

linux的路由选择过程也要彻底理解，这和netfiler也是息息相关的。
netfilter往往还需要配合流量控制，先学习tc这个用户空间的工具，然后在看kernel的实现。
ebtables是设置网桥规则的工具，也需要了解。


这章也得简单潦草，算是一个草稿，等将来再改进吧。

19 自我认知

曾经一位很很有经验的工程师和我讲过要学会对事情分类：
1) 重要且紧急的事情
2) 不重要且紧急的事情
3) 重要不紧急的事情
4) 不重要不紧急的事情
要按照这个顺序展开工作，这使我第一次思考除了技术以外的一些事情。

在工作开头的几年，我在打基础的同时，也经历着一个自我认知和行业认知的过程。

在浮躁的社会背景下，开发工作不是一个经济效益很高的选择，而且行业整体的竞争比较激烈，新陈代谢比较快，而且业内普遍追求急功近利，重营销，不重技术等等。

在这样的背景下，开发人员对未来进行选择很不容易，有些人天生对社会有很好的适应能力，他们很容易转型到非技术岗位，找到合适自己的方向，经济效益也不错，这是一个值得考虑的选择。
有些人不喜欢这个行业和自己的工作，于是选择了转行，
有些人也不喜欢但选择了硬挺，为了生存和家庭。
不管怎样，经历了最初的几年，每个人都要思考自己未来的职业生涯了，该怎么选择自己的道路？这是没有标准答案的问题，因为每个人的追求和价值观是不同的。

但对于那些踏实，勤奋，热爱开发的geek工程师们，你们不能迷茫，你们要好好的把握住自己的未来。你们需要迫切解决下面这两个问题：

成为一名优秀的工程师
在一个好的团队中找到适合自己的位置。

达成了这两个目标，你的职业生涯豁然开朗，你的生活既充实有惬意，这也会给你带来出色的表现，其他方方面面的问题也会迎刃而解。

 

20 成为牛人

刚走向社会的同学往往喜欢打听别人的薪水，羡慕别人的职位，但并不关注别人奋斗的过程和成长的体会；羡慕朋友所在的公司上市，却不关心他的团队运作和管理。我们是不是应该丰富一下关注的点？

我遇到过辗转进入心仪的大公司，拿到丰厚薪水，但抱怨生活不如意的
我遇到过拿到高薪，高职位，空有才干，却整天无所事事的
我也遇到过毕业就留在二线城市的小公司，至今做大，成为公司高管的
我也遇到过勤勤肯肯钻研技术，笔耕不辍，成为IT行业知名作家和创业公司CTO的
我也遇到过从编程转行做买卖发财的

上面这些人都是传统意义上的"牛人"，都有自己的性格特点和兴趣点，每个人的轨迹都不能简单的复制，但总体来说：牛人需要付出很大的辛苦，同时在工作中表现得也很好，其中比较幸运的在付出的同时也在享受自己的事业。

我不想做什么热爱工作的励志教育，我只是想说牛人是没有模板的，谁都有机会，希望同学们在打听薪水之余，能够多了解一下背后的故事，体会一下别人的辛勤付出，找到自己的路，即使你要混黑社会也要敬业不是