Linux 在海思3516上移植Oprofile----最新3.2虚拟上编译出错及解决办法

最近由于项目需求，需要将Oprofile移植到海思3516平台上。Oprofile是一款比较好用的开源的性能分析工具。它通过采样CPU来计算程序中每个部分占用的时间。应该说是比较准确的。

在安装oprofile之前，需要保证系统支持oprofile。即在系统编译内核的时候要将一下两项勾上

make menuconfig

General setup --->

[*] Profiling support 
<*> OProfile system profiling 

Oprofile 需要popt库和binutils库的支持，因此在安装Oprofile 之前，要先安装popt和binutils。

在安装之前需要设定几个环境变量

export CC=arm-none-linux-gnueabi-gcc //修改成你的编译器

export CXX=arm-none-linux-gnueabi-g++ //修改成你的编译器

export CFLAGS=-static

export CXXFLAGS=-static

export CPPFLAGS=-static

export ac_cv_va_copy=C99

一、安装popt库
下载地址：http://download.chinaunix.net/download.php?id=16763&ResourceID=8268

下载完成后，解压：

tar zxvf popt-1.7.tar.gz 

然后到目录中执行一下命令

./configure --with-kernel-support --target= <arm-hisiv100-linux> --host=<arm-hisiv100-linux> --prefix=</home/XXX/oprofile> && make && make install

--target 和 --host 都是你系统的名称。--prefix 是你要库的生成目录。 --with-kernel-support是在2.6的核才可以这样，不需要核的源码。在2.4的核上时，则需要指定--with-kernel=<核的源码路径>

编译完成之后，将生成的include和lib目录下的文件分别拷贝到交叉编译器的include和lib目录下。这样popt也就安装完成了。

二、安装binutils

下载地址：http://ftp.gnu.org/gnu/binutils/

下载完成后，解压：

tar zxvf binutils-2.20.1.tar.gz

然后在目录中执行以下命令：

./configure --with-kernel-support --target=arm-hisiv100-linux --host=arm-hisiv100-linux --enable-install-libbfd --prefix=/home/xxx/oprofile/binutils --disable-nls

--enable-install-libbfd 是为了安装bfd库，因为在默认情况下，binutils 是不安装bfd库的。这样会导致后面编译Oprofile 的时候出错

--disable-nls ，如果不增加这个选项，那么在后面编译的时候就会增加对/devel/gettext库的依赖。可能会导致后面Oprofile的编译出错。

三、安装oprofile

下载地址：http://oprofile.sourceforge.net/news/

解压：

tar zxvf oprofile-0.9.6.tar.gz

如果你是2.6的核，那么在编译之前你还需要修改几处代码，以消除对2.4核的支持（不然后面会出错的）。主要有以下几个地方(将红色部分删除)。

./daemon/Makefile.am

Line 1:

SUBDIRS = liblegacy .

Line 49:

bin_PROGRAMS = oprofiled

oprofiled_LDADD = \
 liblegacy/liblegacy.a \
 ../libabi/libabi.a \
 ../libdb/libodb.a \
 ../libop/libop.a \
 ../libutil/libutil.a

./daemon/Makefile.in

Line 73:

oprofiled_DEPENDENCIES = liblegacy/liblegacy.a  ../libabi/libabi.a \

Line 239:

SUBDIRS = liblegacy .

Line 284:

oprofiled_LDADD = \
 liblegacy/liblegacy.a \
 ../libabi/libabi.a \
 ../libdb/libodb.a \
 ../libop/libop.a \
 ../libutil/libutil.a

./daemon/oprofiled.c
Line 80:

extern struct oprofiled_ops opd_24_ops;

Line 480:

 switch (op_get_interface()) {
 case OP_INTERFACE_24:
 printf("Using 2.4 OProfile kernel interface.\n");
 return &opd_24_ops;
 case OP_INTERFACE_26:
 printf("Using 2.6+ OProfile kernel interface.\n");
 return &opd_26_ops;

主要就是以上的地方，可能由于版本不同等原因，行号等可能有变化。

修改完成后输入一下命令：

 ./configure --with-kernel-support --target=arm-hisiv100-linux --host=arm-hisiv100-linux --with-binutils=/home/xxx/oprofile/binutils --prefix=/home/xxx/oprofile/oprofile && make && make install 

命令执行完成之后，就在oprofile目录下生成了oprofile的文件。将这些文件拷贝到嵌入式平台上，至此，oprofile就移植成功了。

+++++++++++++++++++++++++++=

3.2版本中出现错误

18:30: error: linux/perf_event.h: No such file or directory

下载一个perf_event.h

添加__NR_perf_event_open 298

使用performance counter读取硬件或软件Event

博客分类： 
• 默认类别

performance Linux Cache Blog 

从Linux Kernel2.6.31版本开始，Linux内核开始提供一个叫__NR_perf_counter_open(最新的版本里叫__NR_perf_event_open)的系统调用。使用这个系统调用我们可以像使用文件一样打开一个Performance counter，通过设置不同的参数让这个Performance Counter统计不同的软件或硬件事件，然后就可以向读文件一样来读取这些事件的统计结果。比如我可以打开一个Performance Counter统计某一个进程的CPU Cache Miss次数。关于如何传递参数构造Performance Counter来统计不同的事件可以看这篇日志： http://tblog29.appspot.com/blog/1004

 

下面是我写的一个小程序，它为每个CPU和每个进程开一个Performance Counter，统计每个CPU上的Cache miss和每个进程上的Cache miss（不能统计每个进程在单个CPU上的事件，详见上边那篇日志）。本代码参考了 perf 的stat部分。运行需要CAP_SYS_ADMIN权限

 

1 mperf.h

 /*
  * eperf.h
  *
  *  Created on: Jan 28, 2010
  *      Author: hchen
  */

 #ifndef EPERF_H_
 #define EPERF_H_
 #include <time.h>
 #include <asm/unistd.h>
 #include "perf_event.h"

 #define MAX_COUNTERS        256
 #define MAX_NR_CPUS         32
 #define PROC        "/proc"
 /*
  * We define u64 as unsigned long long for every architecture
  * so that we can print it with %Lx without getting warnings.
  */
 typedef unsigned long long u64;
 typedef signed long long   s64;
 typedef unsigned int       u32;
 typedef signed int     s32;
 typedef unsigned short     u16;
 typedef signed short       s16;
 typedef unsigned char      u8;
 typedef signed char    s8;

 static inline int
 sys_perf_event_open(struct perf_event_attr *attr,
               pid_t pid, int cpu, int group_fd,
               unsigned long flags)
 {
     attr->size = sizeof(*attr);
     //This system call is defined in asm/unistd.h, in the latest linux kernel
     //it's name has been changed to __NR_perf_event_open .
     return syscall(__NR_perf_counter_open, attr, pid, cpu, group_fd, flags);
 }

 #endif /* EPERF_H_ */

 2 eperf.c

 #include <time.h>
 #include <unistd.h>
 #include <stdlib.h>
 #include <stdio.h>
 #include <asm/unistd.h>
 #include <dirent.h>

 #include "eperf.h"

 unsigned int verbose = 0;
 //event to be countered
 static struct perf_event_attr attrs[] = {
   { .type = PERF_TYPE_HARDWARE, .config = PERF_COUNT_HW_CACHE_MISSES    }
 };

 int nr_counters = 0;
 static unsigned int nr_cpus             =  0; // amount of cpus

 static int          inherit             =  1;
 static int          scale               =  1;
 //used to save performance counter
 static int          fd[MAX_COUNTERS];

 /*
  * Read out the results of a single counter:
  */
 static void read_counter(int counter)
 {
     u64 single_count[3];
     size_t res, nv;

     if (fd[counter] <= 0)
         return;

     nv = scale ? 3 : 1;
     res = read(fd[counter], single_count, nv * sizeof(u64));

     if(res == nv * sizeof(u64)){
         if(verbose)
             printf("Counter %d: %llu\n", counter, single_count[0]);
     }else{
         fprintf(stderr, "Fail to read counter %d\n", counter);
     }
 }

 void close_all_counters(){
     int counter, tn;
     tn = nr_cpus + nr_counters;

     for (counter = 0; counter < tn; counter++){
         if (fd[counter] <= 0)
             continue;

         close(fd[counter]);
         fd[counter] = -1;
     }

 }

 void run_perf_stat()
 {
     int counter, tn;
     tn = nr_cpus + nr_counters;

     for (counter = 0; counter < tn; counter++)
         read_counter(counter);
 }

 static void create_perf_stat_counter(int counter, int pid, int system_wide)
 {
     struct perf_event_attr attr; //cache miss
     memcpy(&attr, attrs, sizeof(struct perf_event_attr));

     if (scale)
         attr.read_format = PERF_FORMAT_TOTAL_TIME_ENABLED |
                     PERF_FORMAT_TOTAL_TIME_RUNNING;

     if (system_wide) {
         unsigned int cpu;

         for (cpu = 0; cpu < nr_cpus; cpu++) {
             fd[cpu] = sys_perf_event_open(&attr, -1, cpu, -1, 0);
         }
     } else {
         attr.inherit         = inherit;
         attr.disabled        = 0;
         attr.enable_on_exec = 1;

         fd[counter + nr_cpus] = sys_perf_event_open(&attr, pid, -1, -1, 0);
     }
 }

 int main(int argc, const char **argv)
 {
     if(argc > 1)
         verbose = atoi(argv[1]);

     DIR *dir;
     struct dirent *drp;
     int run_count, p, pid;
     struct timespec tim, tim2;
     tim.tv_sec = 1; tim.tv_nsec = 0;

     nr_cpus = sysconf(_SC_NPROCESSORS_ONLN);//the the number of CPU

     int counter = 0;
     /* Open /proc directory */
     if ((dir = opendir(PROC)) == NULL) {
         perror("opendir /proc error!");
         exit(4);
     }

     //create counters for each CPU
     create_perf_stat_counter(-1, 1, 1);

     p = 0;
     while ((p++) < 254) {
         /* Get directory entries */
         while ((drp = readdir(dir)) != NULL) {
             if (isdigit(drp->d_name[0]))
                 break;
         }

         if (drp) {
             pid = atoi(drp->d_name);
             create_perf_stat_counter(counter, pid, 0);
             if(fd[counter] != -1)
                 counter++;
         }

     }

     nr_counters = counter - 1;
     /* Close /proc directory */
     closedir(dir);

     run_count = 100;
 //  for (run_idx = 0; run_idx < run_count; run_idx++) {
     while (1) {
         nanosleep(&tim , &tim2);
         run_perf_stat();
     }

     close_all_counters();

     return 1;
 }