LLVM

一、编译器

性能优化:启动优化、界面优化、架构优化

编译型语言:OC(编译器是clang)、C(编译器可以直接执行吗,不可以,编译出来的是一个可执行文件,然后再执行可执行文件)
解释型语言:Python(Python的解释器是python,解释器可以直接执行)

解释器和编译器就干一件事,把高级语言的代码翻译成计算机能够读懂的可执行文件、能够读懂的0、1的组合

架构:arm64、arm32 (硬件不一样,导致架构不一样,导致指令集不一样)

二、LLVM

LLVM概述

LLVM是架构编译器(compiler)的框架系统,以C++编写而成,用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time),对开发者保持开放,并兼容已有脚本。
LLVM计划启动于2000年,最初由美国UIUC大学的Chris Lattner博士主持开展。
2006年Chris Lattner加盟Apple Inc.并致力于LLVM在Apple开发体系中的应用。
Apple也是LLVM计划的主要资助者。
目前LLVM已经被苹果IOS开发工具、Xilinx Vivado、Facebook、Google等各大公司采用。

传统编译器设计

编译器前段(Frontend)

编译器前段的任务是解析源代码。它会进行:词法分析,语法分析,语义分析,检查源代码是否存在错误,然后构建抽象语法树(Abstract Syntax Tree,AST),LLVM的前段还会生成中间代码(intermediate representation,IR)

优化器(Optimizer)

优化器负责进行各种优化。改善代码的运行时间,例如消除冗余计算等。

后端(Backend)/代码生成器(CodeGenerator)

将代码映射到目标指令集。生成机器语言,并且进行机器相关的代码优化。

iOS的编译器架构

Objective C/C/C++使用的编译器前端是Clang,Swift是Swift,后端都是LLVM。

LLVM的设计

当编译器决定支持多种源语言或多种硬件架构时,LLVM最重要的地方就来了。其他的编译器如GCC,它方法非常成功,但由于它是作为整体应用程序设计的,因此它们的用途受到了很大的限制。
LLVM设计的最重要方面是,使用通用的代码表示形式(IR),它是用来在编译器中表示代码的形式。所以LLVM可以为任何编程语言独立编写前端,并且可以为任意硬件架构独立编写后端。


Clang

Clang是LLVM项目中的一个子项目。它是基于LLVM架构的轻量级编译器,诞生之初是为了替代GCC,提供更快的编译速度。它是负责编译C、C++、Objective-C语言的编译器,它属于整个LLVM架构中的,编译器前端。对于开发者来说,研究Clang可以给我们带来很多好处。

编译流程

通过命令可以打印源代码的编译阶段

.m(源码) --> .ll(IR) --> .bc --> .s(汇编) --> .o(目标文件)(Mach-O 64-bit object x86_64) --> 可执行文件( Mach-O 64-bit executable x86_64)(黑黑的框框、.out)
Mach-O文件是.o的集合
目标文件 链接(linker) 生成可执行文件

clang -ccc-print-phases main.m
0: input, "main.m", objective-c
1: preprocessor, {0}, objective-c-cpp-output
2: compiler, {1}, ir
3: backend, {2}, assembler
4: assembler, {3}, object
5: linker, {4}, image
6: bind-arch, "x86_64", {5}, image

0:输入文件:找到源文件
1:预处理阶段:这个过程处理包括宏的替换,头文件的导入。
2:编译阶段:进行词法分析、语法分析、检测语法是否正确,最终生成IR。
3:后端:这里LLVM会通过一个一个的Pass去优化,每个Pass做一些事情,最终生成汇编代码。
4:生成目标文件。
5:链接:链接需要的动态库和静态库,生成可执行文件。
6:通过不同的架构,生成对应的可执行文件。

预处理阶段

执行如下命令

clang -E main.m
clang -E main.m >> main2.m //重定向到main2.m

执行完毕可以看到头文件的导入和宏的替换。

编译阶段
词法分析

预处理完成后就会进行词法分析。这里会把代码切成一个个Token,比如大小括号,等于号还有字符串等。

clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m
annot_module_include '#import 

#define C 30
typedef int DYZ_INT_64;

int main(int argc, const char * argv[]) {
    @autoreleasepool {
        int a = 10;'        Loc=
typedef 'typedef'    [StartOfLine]  Loc=
int 'int'    [LeadingSpace] Loc=
identifier 'DYZ_INT_64'  [LeadingSpace] Loc=
semi ';'        Loc=
int 'int'    [StartOfLine]  Loc=
identifier 'main'    [LeadingSpace] Loc=
l_paren '('     Loc=
int 'int'       Loc=
identifier 'argc'    [LeadingSpace] Loc=
comma ','       Loc=
const 'const'    [LeadingSpace] Loc=
char 'char'  [LeadingSpace] Loc=
star '*'     [LeadingSpace] Loc=
identifier 'argv'    [LeadingSpace] Loc=
l_square '['        Loc=
r_square ']'        Loc=
r_paren ')'     Loc=
l_brace '{'  [LeadingSpace] Loc=
at '@'   [StartOfLine] [LeadingSpace]   Loc=
identifier 'autoreleasepool'        Loc=
l_brace '{'  [LeadingSpace] Loc=
int 'int'    [StartOfLine] [LeadingSpace]   Loc=
identifier 'a'   [LeadingSpace] Loc=
equal '='    [LeadingSpace] Loc=
numeric_constant '10'    [LeadingSpace] Loc=
semi ';'        Loc=
identifier 'DYZ_INT_64'  [StartOfLine] [LeadingSpace]   Loc=
identifier 'b'   [LeadingSpace] Loc=
equal '='    [LeadingSpace] Loc=
numeric_constant '20'    [LeadingSpace] Loc=
semi ';'        Loc=
identifier 'printf'  [StartOfLine] [LeadingSpace]   Loc=
l_paren '('     Loc=
string_literal '"%d\n"'     Loc=
comma ','       Loc=
identifier 'a'      Loc=
plus '+'     [LeadingSpace] Loc=
identifier 'b'   [LeadingSpace] Loc=
plus '+'     [LeadingSpace] Loc=
numeric_constant '30'    [LeadingSpace] Loc=>
r_paren ')'     Loc=
semi ';'        Loc=
r_brace '}'  [StartOfLine] [LeadingSpace]   Loc=
return 'return'  [StartOfLine] [LeadingSpace]   Loc=
numeric_constant '0'     [LeadingSpace] Loc=
semi ';'        Loc=
r_brace '}'  [StartOfLine]  Loc=
eof ''      Loc=
语法分析

词法分析完成之后就是语法分析,它的任务是验证语法是否正确。在词法分析的基础上将单词序列组合成各类语法短语,如“程序”,“语句”,“表达式”等等,然后将所有节点组成抽象语法树(Abstract Syntax Tree, AST)。语法分析程序判断源程序在结构上是否正确。

clang -fmodules -fsyntax-only -Xclang -ast-dump main.m
TranslationUnitDecl 0x7fe55c01b608 <>  
|-TypedefDecl 0x7fe55c01bea0 <>  implicit __int128_t '__int128'
| `-BuiltinType 0x7fe55c01bba0 '__int128'
|-TypedefDecl 0x7fe55c01bf10 <>  implicit __uint128_t 'unsigned __int128'
| `-BuiltinType 0x7fe55c01bbc0 'unsigned __int128'
|-TypedefDecl 0x7fe55c01bfb0 <>  implicit SEL 'SEL *'
| `-PointerType 0x7fe55c01bf70 'SEL *'
|   `-BuiltinType 0x7fe55c01be00 'SEL'
|-TypedefDecl 0x7fe55c01c098 <>  implicit id 'id'
| `-ObjCObjectPointerType 0x7fe55c01c040 'id'
|   `-ObjCObjectType 0x7fe55c01c010 'id'
|-TypedefDecl 0x7fe55c01c178 <>  implicit Class 'Class'
| `-ObjCObjectPointerType 0x7fe55c01c120 'Class'
|   `-ObjCObjectType 0x7fe55c01c0f0 'Class'
|-ObjCInterfaceDecl 0x7fe55c01c1d0 <>  implicit Protocol
|-TypedefDecl 0x7fe55c01c548 <>  implicit __NSConstantString 'struct __NSConstantString_tag'
| `-RecordType 0x7fe55c01c340 'struct __NSConstantString_tag'
|   `-Record 0x7fe55c01c2a0 '__NSConstantString_tag'
|-TypedefDecl 0x7fe55c058c00 <>  implicit __builtin_ms_va_list 'char *'
| `-PointerType 0x7fe55c01c5a0 'char *'
|   `-BuiltinType 0x7fe55c01b6a0 'char'
|-TypedefDecl 0x7fe55c058ee8 <>  implicit __builtin_va_list 'struct __va_list_tag [1]'
| `-ConstantArrayType 0x7fe55c058e90 'struct __va_list_tag [1]' 1 
|   `-RecordType 0x7fe55c058cf0 'struct __va_list_tag'
|     `-Record 0x7fe55c058c58 '__va_list_tag'
|-ImportDecl 0x7fe55c059710  col:1 implicit Darwin.C.stdio
|-TypedefDecl 0x7fe55c059768  col:13 referenced DYZ_INT_64 'int'
| `-BuiltinType 0x7fe55c01b700 'int'
`-FunctionDecl 0x7fe55c059a40  line:14:5 main 'int (int, const char **)'
  |-ParmVarDecl 0x7fe55c0597d8  col:14 argc 'int'
  |-ParmVarDecl 0x7fe55c0598f0  col:33 argv 'const char **':'const char **'
  `-CompoundStmt 0x7fe55c94eb80 
    |-ObjCAutoreleasePoolStmt 0x7fe55c94eb38 
    | `-CompoundStmt 0x7fe55c94eb10 
    |   |-DeclStmt 0x7fe55c94e420 
    |   | `-VarDecl 0x7fe55c059b90  col:13 used a 'int' cinit
    |   |   `-IntegerLiteral 0x7fe55c94e400  'int' 10
    |   |-DeclStmt 0x7fe55c94e8d8 
    |   | `-VarDecl 0x7fe55c94e470  col:20 used b 'DYZ_INT_64':'int' cinit
    |   |   `-IntegerLiteral 0x7fe55c94e4d8  'int' 20
    |   `-CallExpr 0x7fe55c94eab0  'int'
    |     |-ImplicitCastExpr 0x7fe55c94ea98  'int (*)(const char *, ...)' 
    |     | `-DeclRefExpr 0x7fe55c94e8f0  'int (const char *, ...)' Function 0x7fe55c94e500 'printf' 'int (const char *, ...)'
    |     |-ImplicitCastExpr 0x7fe55c94eaf8  'const char *' 
    |     | `-ImplicitCastExpr 0x7fe55c94eae0  'char *' 
    |     |   `-StringLiteral 0x7fe55c94e948  'char [4]' lvalue "%d\n"
    |     `-BinaryOperator 0x7fe55c94ea48  'int' '+'
    |       |-BinaryOperator 0x7fe55c94ea08  'int' '+'
    |       | |-ImplicitCastExpr 0x7fe55c94e9d8  'int' 
    |       | | `-DeclRefExpr 0x7fe55c94e968  'int' lvalue Var 0x7fe55c059b90 'a' 'int'
    |       | `-ImplicitCastExpr 0x7fe55c94e9f0  'DYZ_INT_64':'int' 
    |       |   `-DeclRefExpr 0x7fe55c94e9a0  'DYZ_INT_64':'int' lvalue Var 0x7fe55c94e470 'b' 'DYZ_INT_64':'int'
    |       `-IntegerLiteral 0x7fe55c94ea28  'int' 30
    `-ReturnStmt 0x7fe55c94eb70 
      `-IntegerLiteral 0x7fe55c94eb50  'int' 0

如果导入头文件找不到,那么可以指定SDK
clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator12.2.sdk(自己SDK路径) -fmodules -fsyntax-only -Xclang -ast-dump main.m

clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator12.2.sdk(自己SDK路径) -fmodules -fsyntax-only -Xclang -ast-dump main.m
生成中间代码IR(intermediate representation)

完成以上步骤后就开始生成中间代码IR了,代码生成器(Code Generation)会将语法树自顶向下遍历逐步编译成LLVM IR。通过下面命令可以生成.ll的文本文件,查看IR代码。

clang -S -fobjc-arc -emit-llvm main.m

Objective C代码在这一步会进行runtime的桥接:property合成,ARC处理等

IR的基本语法

@ 全局标识
% 局部标识
alloca 开辟空间
align 内存对齐
i32 32个bit,4个字节
store 写入内存
load 读取数据
call 调用函数
ret 返回

IR的优化

LLVM的优化级别分别是 -O0 -O1 -O2 -O3 -Os(第一个是大写英文字母O)

clang -Os -S -fobjc-arc -emit-llvm main.m //生成main.ll
clang -Os -S -fobjc-arc -emit-llvm main.m -o main1.ll //生成main1.ll

对应Xcode中的优化级别选择

bitCode

xcode7 以后开启bitcode苹果会做进一步的优化。生成.bc的中间代码。
我们通过优化后的IR代码生成.bc代码

clang -emit-llvm -c main.ll -o main.bc
生成汇编代码

我们通过最终的.bc或者.ll 代码生成汇编代码

clang -S -fobjc-arc main.bc -o main.s 
clang -S -fobjc-arc main.ll -o main.s

生成汇编代码也可以进行优化

clang -Os -S -fobjc-arc main.m -o main.s
生成目标文件(汇编器)

目标文件的生成,是汇编以汇编代码作为输入,将汇编代码转换为机器代码,最后输出目标文件(object file)。

clang -fmodules -c main.s -o main.o

通过nm命令,查看下main.o中的符号

$xcrun nm -nm main.o
                 (undefined) external _printf
0000000000000000 (__TEXT,__text) external _test
0000000000000020 (__TEXT,__text) external _main

_printf是一个是undefined external
undefined表示在当前文件暂时找不到符号_printf
external表示这个符号是外部可以访问的。

生成可执行文件(链接)

连接器把编译产生的.o文件和(.dylib .a)文件,生成一个mach-o文件(黑框框)。

clang main.o -o main

查看链接之后的符号

$xcrun nm -nm main
                 (undefined) external _printf (from libSystem)
                 (undefined) external dyld_stub_binder (from libSystem)
0000000100000000 (__TEXT,__text) [referenced dynamically] external __mh_execute_header
0000000100000f20 (__TEXT,__text) external _test
0000000100000f40 (__TEXT,__text) external _main
0000000100002008 (__DATA,__data) non-external __dyld_private

三、Clang插件

LLVM下载

由于国内的网络限制,我们需要借助镜像下载LLVM的源码
https://mirror.tuna.tsinghua.edu.cn/help/llvm/

  • 下载llvm项目
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/llvm.git

如果网速不好,就下载不下来。可以周末来公司下载。
  • 在LLVM的tools目录下下载Clang
cd llvm/tools
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang.git
  • 在LLVM的projects目录下下载compiler-rt,libcxx,libcxxabi
cd ../projects
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/compiler-rt.git
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxx.git
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxxabi.git
  • 在Clang的tools下安装extra工具
cd ../tools/clang/tools
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang-tools-extra.git

LLVM编译

由于最新的LLVM只支持cmake来编译了,我们还需要安装cmake。

安装 cmake
  • 查看brew是否安装cmake如果有就跳过下面步骤
brew list
  • 通过brew安装cmake
brew install cmake

编译 LLVM

通过 xcode 编译 LLVM

  • cmake编译成Xcode项目
mkdir build_xcode                   //创建一个build_xcode文件夹
cd build_xcode
cmake -G Xcode ../llvm           //cmake -G Xcode llvm的路径    //编译成Xcode项目

编译完成之后
  • 使用Xcode编译Clang
    • 自动创建Schemes,比较耗时,所以一般选择手动管理
  • 编译,选择clang 进行编译,编译的时间会比较长。编译完成之后就可以Show in Finder,查看clang。

    然后再选择libclang编译一下。
    选中任意一个文件夹 command+A 全选,然后command+鼠标左键是反选,然后去掉command,此时键盘的方向键左右是合并和展开(前提是选中)

通过 ninja 编译LLVM

  • 使用ninja进行编译则还需要安装ninja。使用brew install ninja命令即可安装ninja。
  • 在llvm源码根目录下新建一个build_ninja目录,最终会在build_ninja目录下生成build.ninja。
  • 在llvm源码根目录下新建一个llvm_release目录,最终编译文件会在llvm_release文件夹路径下。
cd llvm_build
cmake -G Ninja ../llvm -DCMAKE_INSTALL_PREFIX=安装路径(本机为/Users/xxx/xxx/LLVM/llvm_release,注意CMAKE_INSTALL_PREFIX后面不能有空格。)
  • 依次执行编译、安装指令。
ninja
ninja install

创建插件

  • /llvm/tools/clang/tools目录下新建插件DYZPlugin

  • 修改/llvm/tools/clang/tools目录下的CMakeLists.txt文件,新增add_clang_subdirectory(DYZPlugin)

  • DYZPlugin目录下新建一个名为DYZPlugin.cpp(终端指令创建 touch DYZPlugin.cpp)的文件和CMakeLists.txt的文件。在CMakeLists.txt中写上

add_llvm_library( DYZPlugin MODULE BUILDTREE_ONLY 
   DYZPlugin.cpp
)
  • 接下来利用cmake重新生成一个Xcode项目,在build_xcodecmake -G Xcode ../llvm

  • 打开build_xcode项目

  • 最后可以在LLVM的Xcode项目中可以看到Loadable modules目录下有自己的Plugin目录了。我们可以在里面编写插件代码。

编写插件代码

#include 
#include "clang/AST/AST.h"
#include "clang/AST/DeclObjC.h"
#include "clang/AST/ASTConsumer.h"
#include "clang/ASTMatchers/ASTMatchers.h"
#include "clang/Frontend/CompilerInstance.h"
#include "clang/ASTMatchers/ASTMatchFinder.h"
#include "clang/Frontend/FrontendPluginRegistry.h"

using namespace clang;
using namespace std;
using namespace llvm;
using namespace clang::ast_matchers;


namespace DYZPlugin {
    class DYZMatchCallback: public MatchFinder::MatchCallback {
    private:
        CompilerInstance &CI;
        //判断是否是自己的文件
        bool isUserSourceCode(const string filename) {
            if (filename.empty()) return false;
            
            // 非Xcode中的源码都认为是用户源码
            if (filename.find("/Applications/Xcode.app/") == 0) return false;
            
            return true;
        }
        
        //判断是否应该用copy修饰。
        bool isShouldUseCopy(const string typeStr) {
            if (typeStr.find("NSString") != string::npos ||
                typeStr.find("NSArray") != string::npos ||
                typeStr.find("NSDictionary") != string::npos/*...*/) {
                return true;
            }
            return false;
        }
        
    public:
        
        DYZMatchCallback(CompilerInstance &CI):CI(CI){}
        
        void run(const MatchFinder::MatchResult &Result){
            //通过结果获取到节点。
            const ObjCPropertyDecl *propertyDecl = Result.Nodes.getNodeAs("objcPropertyDecl");
            //获取文件名称
            string filename = CI.getSourceManager().getFilename(propertyDecl->getSourceRange().getBegin()).str();
            
            if (propertyDecl && isUserSourceCode(filename)) {//如果节点有值,并且是用户文件
                //拿到属性的类型
                string typeStr = propertyDecl->getType().getAsString();
                //拿到节点的描述信息
                ObjCPropertyDecl::PropertyAttributeKind attrKind = propertyDecl->getPropertyAttributes();
                
                //判断是不是应该用Copy
                if (isShouldUseCopy(typeStr) && !(attrKind & ObjCPropertyDecl::OBJC_PR_copy)) {
                    cout<getBeginLoc(),diag.getCustomDiagID(DiagnosticsEngine::Warning, "%0这个地方推荐用Copy"))< &arg){
            return true;
        }
        
        unique_ptr  CreateASTConsumer(CompilerInstance &CI, StringRef InFile) {
            return unique_ptr  (new DYZConsumer(CI));
        }
        
    };
    
}
//注册插件
static FrontendPluginRegistry::Add X("DYZPlugin", "This is the description of the plugin");

测试插件

  • 自己编译的clang文件路径 -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator12.2.sdk -Xclang -load -Xclang 插件(.dylib)路径 -Xclang -add-plugin -Xclang 插件名 -c 源码路径
  • 链接完成之后生成.o文件

测试结果:

Xcode集成插件

加载插件

打开测试项目,在Build Settings -> Other C Flags 添加如下内容:
-Xclang -load -Xclang (.dylib)动态库路径 -Xclang -add-plugin -Xclang DYZPlugin

设置编译器

  • 由于Clang插件需要使用对应的版本去加载,如果版本不一致则会导致编译错误,会出现如下图所示

  • 在Build Settings栏目中新增两项用户定义的设置
  • 分别是CC和CXX
    CC对应的是自己编译的clang的绝对路径

    CXX对应的是自己编译的clang++的绝对路径
  • 接下来在Build Settings栏目中搜索index,将Enable Index-While-Building Functionality的Default改为NO。

显示结果

你可能感兴趣的:(LLVM)