一、编译器
性能优化:启动优化、界面优化、架构优化
编译型语言:OC(编译器是clang)、C(编译器可以直接执行吗,不可以,编译出来的是一个可执行文件,然后再执行可执行文件)
解释型语言:Python(Python的解释器是python,解释器可以直接执行)
解释器和编译器就干一件事,把高级语言的代码翻译成计算机能够读懂的可执行文件、能够读懂的0、1的组合
架构:arm64、arm32 (硬件不一样,导致架构不一样,导致指令集不一样)
二、LLVM
LLVM概述
LLVM是架构编译器(compiler)的框架系统,以C++编写而成,用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time),对开发者保持开放,并兼容已有脚本。
LLVM计划启动于2000年,最初由美国UIUC大学的Chris Lattner博士主持开展。
2006年Chris Lattner加盟Apple Inc.并致力于LLVM在Apple开发体系中的应用。
Apple也是LLVM计划的主要资助者。
目前LLVM已经被苹果IOS开发工具、Xilinx Vivado、Facebook、Google等各大公司采用。
传统编译器设计
编译器前段(Frontend)
编译器前段的任务是解析源代码。它会进行:词法分析,语法分析,语义分析,检查源代码是否存在错误,然后构建抽象语法树(Abstract Syntax Tree,AST),LLVM的前段还会生成中间代码(intermediate representation,IR)
优化器(Optimizer)
优化器负责进行各种优化。改善代码的运行时间,例如消除冗余计算等。
后端(Backend)/代码生成器(CodeGenerator)
将代码映射到目标指令集。生成机器语言,并且进行机器相关的代码优化。
iOS的编译器架构
Objective C/C/C++使用的编译器前端是Clang,Swift是Swift,后端都是LLVM。
LLVM的设计
当编译器决定支持多种源语言或多种硬件架构时,LLVM最重要的地方就来了。其他的编译器如GCC,它方法非常成功,但由于它是作为整体应用程序设计的,因此它们的用途受到了很大的限制。
LLVM设计的最重要方面是,使用通用的代码表示形式(IR),它是用来在编译器中表示代码的形式。所以LLVM可以为任何编程语言独立编写前端,并且可以为任意硬件架构独立编写后端。
Clang
Clang是LLVM项目中的一个子项目。它是基于LLVM架构的轻量级编译器,诞生之初是为了替代GCC,提供更快的编译速度。它是负责编译C、C++、Objective-C语言的编译器,它属于整个LLVM架构中的,编译器前端。对于开发者来说,研究Clang可以给我们带来很多好处。
编译流程
通过命令可以打印源代码的编译阶段
.m(源码) --> .ll(IR) --> .bc --> .s(汇编) --> .o(目标文件)(Mach-O 64-bit
object
x86_64) --> 可执行文件( Mach-O 64-bitexecutable
x86_64)(黑黑的框框、.out)
Mach-O文件是.o的集合
目标文件 链接(linker) 生成可执行文件
clang -ccc-print-phases main.m
0: input, "main.m", objective-c
1: preprocessor, {0}, objective-c-cpp-output
2: compiler, {1}, ir
3: backend, {2}, assembler
4: assembler, {3}, object
5: linker, {4}, image
6: bind-arch, "x86_64", {5}, image
0:输入文件:找到源文件
1:预处理阶段:这个过程处理包括宏的替换,头文件的导入。
2:编译阶段:进行词法分析、语法分析、检测语法是否正确,最终生成IR。
3:后端:这里LLVM会通过一个一个的Pass去优化,每个Pass做一些事情,最终生成汇编代码。
4:生成目标文件。
5:链接:链接需要的动态库和静态库,生成可执行文件。
6:通过不同的架构,生成对应的可执行文件。
预处理阶段
执行如下命令
clang -E main.m
clang -E main.m >> main2.m //重定向到main2.m
执行完毕可以看到头文件的导入和宏的替换。
编译阶段
词法分析
预处理完成后就会进行词法分析。这里会把代码切成一个个Token,比如大小括号,等于号还有字符串等。
clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m
annot_module_include '#import
#define C 30
typedef int DYZ_INT_64;
int main(int argc, const char * argv[]) {
@autoreleasepool {
int a = 10;' Loc=
typedef 'typedef' [StartOfLine] Loc=
int 'int' [LeadingSpace] Loc=
identifier 'DYZ_INT_64' [LeadingSpace] Loc=
semi ';' Loc=
int 'int' [StartOfLine] Loc=
identifier 'main' [LeadingSpace] Loc=
l_paren '(' Loc=
int 'int' Loc=
identifier 'argc' [LeadingSpace] Loc=
comma ',' Loc=
const 'const' [LeadingSpace] Loc=
char 'char' [LeadingSpace] Loc=
star '*' [LeadingSpace] Loc=
identifier 'argv' [LeadingSpace] Loc=
l_square '[' Loc=
r_square ']' Loc=
r_paren ')' Loc=
l_brace '{' [LeadingSpace] Loc=
at '@' [StartOfLine] [LeadingSpace] Loc=
identifier 'autoreleasepool' Loc=
l_brace '{' [LeadingSpace] Loc=
int 'int' [StartOfLine] [LeadingSpace] Loc=
identifier 'a' [LeadingSpace] Loc=
equal '=' [LeadingSpace] Loc=
numeric_constant '10' [LeadingSpace] Loc=
semi ';' Loc=
identifier 'DYZ_INT_64' [StartOfLine] [LeadingSpace] Loc=
identifier 'b' [LeadingSpace] Loc=
equal '=' [LeadingSpace] Loc=
numeric_constant '20' [LeadingSpace] Loc=
semi ';' Loc=
identifier 'printf' [StartOfLine] [LeadingSpace] Loc=
l_paren '(' Loc=
string_literal '"%d\n"' Loc=
comma ',' Loc=
identifier 'a' Loc=
plus '+' [LeadingSpace] Loc=
identifier 'b' [LeadingSpace] Loc=
plus '+' [LeadingSpace] Loc=
numeric_constant '30' [LeadingSpace] Loc=>
r_paren ')' Loc=
semi ';' Loc=
r_brace '}' [StartOfLine] [LeadingSpace] Loc=
return 'return' [StartOfLine] [LeadingSpace] Loc=
numeric_constant '0' [LeadingSpace] Loc=
semi ';' Loc=
r_brace '}' [StartOfLine] Loc=
eof '' Loc=
语法分析
词法分析完成之后就是语法分析,它的任务是验证语法是否正确。在词法分析的基础上将单词序列组合成各类语法短语,如“程序”,“语句”,“表达式”等等,然后将所有节点组成抽象语法树(Abstract Syntax Tree, AST)。语法分析程序判断源程序在结构上是否正确。
clang -fmodules -fsyntax-only -Xclang -ast-dump main.m
TranslationUnitDecl 0x7fe55c01b608 <>
|-TypedefDecl 0x7fe55c01bea0 <> implicit __int128_t '__int128'
| `-BuiltinType 0x7fe55c01bba0 '__int128'
|-TypedefDecl 0x7fe55c01bf10 <> implicit __uint128_t 'unsigned __int128'
| `-BuiltinType 0x7fe55c01bbc0 'unsigned __int128'
|-TypedefDecl 0x7fe55c01bfb0 <> implicit SEL 'SEL *'
| `-PointerType 0x7fe55c01bf70 'SEL *'
| `-BuiltinType 0x7fe55c01be00 'SEL'
|-TypedefDecl 0x7fe55c01c098 <> implicit id 'id'
| `-ObjCObjectPointerType 0x7fe55c01c040 'id'
| `-ObjCObjectType 0x7fe55c01c010 'id'
|-TypedefDecl 0x7fe55c01c178 <> implicit Class 'Class'
| `-ObjCObjectPointerType 0x7fe55c01c120 'Class'
| `-ObjCObjectType 0x7fe55c01c0f0 'Class'
|-ObjCInterfaceDecl 0x7fe55c01c1d0 <> implicit Protocol
|-TypedefDecl 0x7fe55c01c548 <> implicit __NSConstantString 'struct __NSConstantString_tag'
| `-RecordType 0x7fe55c01c340 'struct __NSConstantString_tag'
| `-Record 0x7fe55c01c2a0 '__NSConstantString_tag'
|-TypedefDecl 0x7fe55c058c00 <> implicit __builtin_ms_va_list 'char *'
| `-PointerType 0x7fe55c01c5a0 'char *'
| `-BuiltinType 0x7fe55c01b6a0 'char'
|-TypedefDecl 0x7fe55c058ee8 <> implicit __builtin_va_list 'struct __va_list_tag [1]'
| `-ConstantArrayType 0x7fe55c058e90 'struct __va_list_tag [1]' 1
| `-RecordType 0x7fe55c058cf0 'struct __va_list_tag'
| `-Record 0x7fe55c058c58 '__va_list_tag'
|-ImportDecl 0x7fe55c059710 col:1 implicit Darwin.C.stdio
|-TypedefDecl 0x7fe55c059768 col:13 referenced DYZ_INT_64 'int'
| `-BuiltinType 0x7fe55c01b700 'int'
`-FunctionDecl 0x7fe55c059a40 line:14:5 main 'int (int, const char **)'
|-ParmVarDecl 0x7fe55c0597d8 col:14 argc 'int'
|-ParmVarDecl 0x7fe55c0598f0 col:33 argv 'const char **':'const char **'
`-CompoundStmt 0x7fe55c94eb80
|-ObjCAutoreleasePoolStmt 0x7fe55c94eb38
| `-CompoundStmt 0x7fe55c94eb10
| |-DeclStmt 0x7fe55c94e420
| | `-VarDecl 0x7fe55c059b90 col:13 used a 'int' cinit
| | `-IntegerLiteral 0x7fe55c94e400 'int' 10
| |-DeclStmt 0x7fe55c94e8d8
| | `-VarDecl 0x7fe55c94e470 col:20 used b 'DYZ_INT_64':'int' cinit
| | `-IntegerLiteral 0x7fe55c94e4d8 'int' 20
| `-CallExpr 0x7fe55c94eab0 'int'
| |-ImplicitCastExpr 0x7fe55c94ea98 'int (*)(const char *, ...)'
| | `-DeclRefExpr 0x7fe55c94e8f0 'int (const char *, ...)' Function 0x7fe55c94e500 'printf' 'int (const char *, ...)'
| |-ImplicitCastExpr 0x7fe55c94eaf8 'const char *'
| | `-ImplicitCastExpr 0x7fe55c94eae0 'char *'
| | `-StringLiteral 0x7fe55c94e948 'char [4]' lvalue "%d\n"
| `-BinaryOperator 0x7fe55c94ea48 'int' '+'
| |-BinaryOperator 0x7fe55c94ea08 'int' '+'
| | |-ImplicitCastExpr 0x7fe55c94e9d8 'int'
| | | `-DeclRefExpr 0x7fe55c94e968 'int' lvalue Var 0x7fe55c059b90 'a' 'int'
| | `-ImplicitCastExpr 0x7fe55c94e9f0 'DYZ_INT_64':'int'
| | `-DeclRefExpr 0x7fe55c94e9a0 'DYZ_INT_64':'int' lvalue Var 0x7fe55c94e470 'b' 'DYZ_INT_64':'int'
| `-IntegerLiteral 0x7fe55c94ea28 'int' 30
`-ReturnStmt 0x7fe55c94eb70
`-IntegerLiteral 0x7fe55c94eb50 'int' 0
如果导入头文件找不到,那么可以指定SDK
clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator12.2.sdk(自己SDK路径) -fmodules -fsyntax-only -Xclang -ast-dump main.m
clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator12.2.sdk(自己SDK路径) -fmodules -fsyntax-only -Xclang -ast-dump main.m
生成中间代码IR(intermediate representation)
完成以上步骤后就开始生成中间代码IR了,代码生成器(Code Generation)会将语法树自顶向下遍历逐步编译成LLVM IR。通过下面命令可以生成.ll的文本文件,查看IR代码。
clang -S -fobjc-arc -emit-llvm main.m
Objective C代码在这一步会进行runtime的桥接:property合成,ARC处理等
IR的基本语法
@ 全局标识
% 局部标识
alloca 开辟空间
align 内存对齐
i32 32个bit,4个字节
store 写入内存
load 读取数据
call 调用函数
ret 返回
IR的优化
LLVM的优化级别分别是 -O0 -O1 -O2 -O3 -Os(第一个是大写英文字母O)
clang -Os -S -fobjc-arc -emit-llvm main.m //生成main.ll
clang -Os -S -fobjc-arc -emit-llvm main.m -o main1.ll //生成main1.ll
对应Xcode中的优化级别选择
bitCode
xcode7 以后开启bitcode苹果会做进一步的优化。生成.bc的中间代码。
我们通过优化后的IR代码生成.bc代码
clang -emit-llvm -c main.ll -o main.bc
生成汇编代码
我们通过最终的.bc或者.ll 代码生成汇编代码
clang -S -fobjc-arc main.bc -o main.s
clang -S -fobjc-arc main.ll -o main.s
生成汇编代码也可以进行优化
clang -Os -S -fobjc-arc main.m -o main.s
生成目标文件(汇编器)
目标文件的生成,是汇编以汇编代码作为输入,将汇编代码转换为机器代码,最后输出目标文件(object file)。
clang -fmodules -c main.s -o main.o
通过nm命令,查看下main.o中的符号
$xcrun nm -nm main.o
(undefined) external _printf
0000000000000000 (__TEXT,__text) external _test
0000000000000020 (__TEXT,__text) external _main
_printf是一个是undefined external。
undefined表示在当前文件暂时找不到符号_printf
external表示这个符号是外部可以访问的。
生成可执行文件(链接)
连接器把编译产生的.o文件和(.dylib .a)文件,生成一个mach-o文件(黑框框)。
clang main.o -o main
查看链接之后的符号
$xcrun nm -nm main
(undefined) external _printf (from libSystem)
(undefined) external dyld_stub_binder (from libSystem)
0000000100000000 (__TEXT,__text) [referenced dynamically] external __mh_execute_header
0000000100000f20 (__TEXT,__text) external _test
0000000100000f40 (__TEXT,__text) external _main
0000000100002008 (__DATA,__data) non-external __dyld_private
三、Clang插件
LLVM下载
由于国内的网络限制,我们需要借助镜像下载LLVM的源码
https://mirror.tuna.tsinghua.edu.cn/help/llvm/
- 下载llvm项目
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/llvm.git
如果网速不好,就下载不下来。可以周末来公司下载。
- 在LLVM的tools目录下下载Clang
cd llvm/tools
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang.git
- 在LLVM的projects目录下下载compiler-rt,libcxx,libcxxabi
cd ../projects
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/compiler-rt.git
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxx.git
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxxabi.git
- 在Clang的tools下安装extra工具
cd ../tools/clang/tools
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang-tools-extra.git
LLVM编译
由于最新的LLVM只支持cmake来编译了,我们还需要安装cmake。
安装 cmake
- 查看brew是否安装cmake如果有就跳过下面步骤
brew list
- 通过brew安装cmake
brew install cmake
编译 LLVM
通过 xcode 编译 LLVM
- cmake编译成Xcode项目
mkdir build_xcode //创建一个build_xcode文件夹
cd build_xcode
cmake -G Xcode ../llvm //cmake -G Xcode llvm的路径 //编译成Xcode项目
- 使用Xcode编译Clang
- 自动创建Schemes,比较耗时,所以一般选择手动管理
- 自动创建Schemes,比较耗时,所以一般选择手动管理
- 编译,选择clang 进行编译,编译的时间会比较长。编译完成之后就可以Show in Finder,查看clang。
然后再选择libclang编译一下。
选中任意一个文件夹 command+A 全选,然后command+鼠标左键是反选,然后去掉command,此时键盘的方向键左右是合并和展开(前提是选中)
通过 ninja 编译LLVM
- 使用ninja进行编译则还需要安装ninja。使用
brew install ninja
命令即可安装ninja。 - 在llvm源码根目录下新建一个build_ninja目录,最终会在build_ninja目录下生成build.ninja。
- 在llvm源码根目录下新建一个llvm_release目录,最终编译文件会在llvm_release文件夹路径下。
cd llvm_build
cmake -G Ninja ../llvm -DCMAKE_INSTALL_PREFIX=安装路径(本机为/Users/xxx/xxx/LLVM/llvm_release,注意CMAKE_INSTALL_PREFIX后面不能有空格。)
- 依次执行编译、安装指令。
ninja
ninja install
创建插件
-
在
/llvm/tools/clang/tools
目录下新建插件DYZPlugin
-
修改
/llvm/tools/clang/tools
目录下的CMakeLists.txt
文件,新增add_clang_subdirectory(DYZPlugin)
。 在
DYZPlugin
目录下新建一个名为DYZPlugin.cpp
(终端指令创建 touch DYZPlugin.cpp)的文件和CMakeLists.txt
的文件。在CMakeLists.txt
中写上
add_llvm_library( DYZPlugin MODULE BUILDTREE_ONLY
DYZPlugin.cpp
)
接下来利用
cmake
重新生成一个Xcode项目,在build_xcode
中cmake -G Xcode ../llvm
-
打开
build_xcode
项目 -
最后可以在LLVM的Xcode项目中可以看到
Loadable modules
目录下有自己的Plugin目录了。我们可以在里面编写插件代码。
编写插件代码
#include
#include "clang/AST/AST.h"
#include "clang/AST/DeclObjC.h"
#include "clang/AST/ASTConsumer.h"
#include "clang/ASTMatchers/ASTMatchers.h"
#include "clang/Frontend/CompilerInstance.h"
#include "clang/ASTMatchers/ASTMatchFinder.h"
#include "clang/Frontend/FrontendPluginRegistry.h"
using namespace clang;
using namespace std;
using namespace llvm;
using namespace clang::ast_matchers;
namespace DYZPlugin {
class DYZMatchCallback: public MatchFinder::MatchCallback {
private:
CompilerInstance &CI;
//判断是否是自己的文件
bool isUserSourceCode(const string filename) {
if (filename.empty()) return false;
// 非Xcode中的源码都认为是用户源码
if (filename.find("/Applications/Xcode.app/") == 0) return false;
return true;
}
//判断是否应该用copy修饰。
bool isShouldUseCopy(const string typeStr) {
if (typeStr.find("NSString") != string::npos ||
typeStr.find("NSArray") != string::npos ||
typeStr.find("NSDictionary") != string::npos/*...*/) {
return true;
}
return false;
}
public:
DYZMatchCallback(CompilerInstance &CI):CI(CI){}
void run(const MatchFinder::MatchResult &Result){
//通过结果获取到节点。
const ObjCPropertyDecl *propertyDecl = Result.Nodes.getNodeAs("objcPropertyDecl");
//获取文件名称
string filename = CI.getSourceManager().getFilename(propertyDecl->getSourceRange().getBegin()).str();
if (propertyDecl && isUserSourceCode(filename)) {//如果节点有值,并且是用户文件
//拿到属性的类型
string typeStr = propertyDecl->getType().getAsString();
//拿到节点的描述信息
ObjCPropertyDecl::PropertyAttributeKind attrKind = propertyDecl->getPropertyAttributes();
//判断是不是应该用Copy
if (isShouldUseCopy(typeStr) && !(attrKind & ObjCPropertyDecl::OBJC_PR_copy)) {
cout<getBeginLoc(),diag.getCustomDiagID(DiagnosticsEngine::Warning, "%0这个地方推荐用Copy"))< &arg){
return true;
}
unique_ptr CreateASTConsumer(CompilerInstance &CI, StringRef InFile) {
return unique_ptr (new DYZConsumer(CI));
}
};
}
//注册插件
static FrontendPluginRegistry::Add X("DYZPlugin", "This is the description of the plugin");
测试插件
-
自己编译的clang文件路径
-isysroot/Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator12.2.sdk
-Xclang -load -Xclang插件(.dylib)路径
-Xclang -add-plugin -Xclang 插件名 -c 源码路径 - 链接完成之后生成.o文件
Xcode集成插件
加载插件
打开测试项目,在Build Settings -> Other C Flags 添加如下内容:
-Xclang -load -Xclang (.dylib)动态库路径 -Xclang -add-plugin -Xclang DYZPlugin
设置编译器
-
由于Clang插件需要使用对应的版本去加载,如果版本不一致则会导致编译错误,会出现如下图所示
- 在Build Settings栏目中新增两项用户定义的设置
-
分别是CC和CXX
CXX对应的是自己编译的clang++的绝对路径
CC对应的是自己编译的clang的绝对路径
- 接下来在Build Settings栏目中搜索index,将Enable Index-While-Building Functionality的Default改为NO。