tytryfd一样
tytryfd一样

Android OTA升级详细流程分析（non-AB）

一、.ota_from_target_files.py分析

 


https://xueqiu.com/7883036826/168223386
https://xueqiu.com/7883036826/168223386?55333
https://xueqiu.com/7883036826/168223386?dtfnf
https://xueqiu.com/7883036826/168223386?NznFD
https://xueqiu.com/7532435821/168223387
https://xueqiu.com/7532435821/168223387?99717
https://xueqiu.com/7532435821/168223387?rjfhn
https://xueqiu.com/7532435821/168223387?p1nz7
https://xueqiu.com/7883036826/168223388
https://xueqiu.com/7883036826/168223388?73371
https://xueqiu.com/7883036826/168223388?xzjdp
https://xueqiu.com/7883036826/168223388?vF1N9
https://xueqiu.com/7532435821/168223389
https://xueqiu.com/7532435821/168223389?26040
https://xueqiu.com/7532435821/168223389?qcogq
https://xueqiu.com/7532435821/168223389?2cGY6
https://xueqiu.com/7883036826/168223395
https://xueqiu.com/7883036826/168223395?24248
https://xueqiu.com/7883036826/168223395?siicy
https://xueqiu.com/7883036826/168223395?km202
https://xueqiu.com/7532435821/168223396
https://xueqiu.com/7532435821/168223396?95135
https://xueqiu.com/7532435821/168223396?hlxlv
https://xueqiu.com/7532435821/168223396?jJ7D5
https://xueqiu.com/7883036826/168223400
https://xueqiu.com/7883036826/168223400?75791
https://xueqiu.com/7883036826/168223400?tbxxh
https://xueqiu.com/7883036826/168223400?nVP1l
https://xueqiu.com/7532435821/168223401
https://xueqiu.com/7532435821/168223401?17135
https://xueqiu.com/7532435821/168223401?lvlbl
https://xueqiu.com/7532435821/168223401?91H7l
https://xueqiu.com/7883036826/168223404
https://xueqiu.com/7883036826/168223404?19931
https://xueqiu.com/7883036826/168223404?vjbtl
https://xueqiu.com/7883036826/168223404?5vVt1
https://xueqiu.com/7532435821/168223405
https://xueqiu.com/7532435821/168223405?24282
https://xueqiu.com/7532435821/168223405?cscek
https://xueqiu.com/7532435821/168223405?WG26m
https://xueqiu.com/7883036826/168223408
https://xueqiu.com/7883036826/168223408?06028
https://xueqiu.com/7883036826/168223408?cusea
https://xueqiu.com/7883036826/168223408?Qm4K0
https://xueqiu.com/7532435821/168223410
https://xueqiu.com/7532435821/168223410?93973
https://xueqiu.com/7532435821/168223410?nhffr
https://xueqiu.com/7532435821/168223410?vj15b
https://xueqiu.com/7883036826/168223412
https://xueqiu.com/7883036826/168223412?59533
https://xueqiu.com/7883036826/168223412?lxrjr
https://xueqiu.com/7883036826/168223412?FP1J1
https://xueqiu.com/7532435821/168223414
https://xueqiu.com/7532435821/168223414?40044
https://xueqiu.com/7532435821/168223414?wmios
https://xueqiu.com/7532435821/168223414?qgOK2
https://xueqiu.com/7883036826/168223415
https://xueqiu.com/7883036826/168223415?66244
https://xueqiu.com/7883036826/168223415?wokgg
https://xueqiu.com/7883036826/168223415?yI60Q
https://xueqiu.com/7532435821/168223417
https://xueqiu.com/7532435821/168223417?17773
https://xueqiu.com/7532435821/168223417?xjzzr
https://xueqiu.com/7532435821/168223417?R5RvT
1.  if __name__ == '__main__':
    
2.    try:
    
3.      # common.CloseInheritedPipes()是用于在macOS环境下关闭文件描述符，
    
4.      # 通过platform.system() != "Darwin"判断是否是MacOS
    
5.      common.CloseInheritedPipes()
    
6.      main(sys.argv[1:])
    
7.    except common.ExternalError:
    
8.      logger.exception("n   ERROR:n")
    
9.      sys.exit(1)
    
10.    finally:
    
11.      common.Cleanup()

common.CloseInheritedPipes()是用于在macOS环境下关闭文件描述符，之后执行ota_from_target_files的主体部分代码，最后common.Cleanup()清理垃圾文件。

以下先说明common.CloseInheritedPipes()和common.Cleanup()的代码，因为它们非常简单。



1.  def main(argv):
    

3.    # 此处代码在common.ParseOptions传入
    
4.    def option_handler(o, a):
    
5.      if o in ("-k", "--package_key"):
    
6.        OPTIONS.package_key = a
    
7.      # 制作差量包
    
8.      elif o in ("-i", "--incremental_from"):
    
9.        OPTIONS.incremental_source = a
    
10.      elif o == "--full_radio":
    
11.        OPTIONS.full_radio = True
    
12.      elif o == "--full_bootloader":
    
13.        OPTIONS.full_bootloader = True
    
14.      # 清除用户数据
    
15.      elif o == "--wipe_user_data":
    
16.        OPTIONS.wipe_user_data = True
    
17.      elif o in ("-n", "--no_prereq"):
    
18.        OPTIONS.omit_prereq = True
    
19.      elif o == "--downgrade":
    
20.        OPTIONS.downgrade = True
    
21.        OPTIONS.wipe_user_data = True
    
22.      elif o == "--override_timestamp":
    
23.        OPTIONS.downgrade = True
    
24.      elif o in ("-o", "--oem_settings"):
    
25.        OPTIONS.oem_source = a.split(',')
    
26.      elif o == "--oem_no_mount":
    
27.        OPTIONS.oem_no_mount = True
    
28.      elif o in ("-e", "--extra_script"):
    
29.        OPTIONS.extra_script = a
    
30.      elif o in ("-t", "--worker_threads"):
    
31.        if a.isdigit():
    
32.          OPTIONS.worker_threads = int(a)
    
33.        else:
    
34.          raise ValueError("Cannot parse value %r for option %r - only "
    
35.                           "integers are allowed." % (a, o))
    
36.      elif o in ("-2", "--two_step"):
    
37.        OPTIONS.two_step = True
    
38.      elif o == "--include_secondary":
    
39.        OPTIONS.include_secondary = True
    
40.      elif o == "--no_signing":
    
41.        OPTIONS.no_signing = True
    
42.      elif o == "--verify":
    
43.        OPTIONS.verify = True
    
44.      elif o == "--block":
    
45.        OPTIONS.block_based = True
    
46.      elif o in ("-b", "--binary"):
    
47.        OPTIONS.updater_binary = a
    
48.      elif o == "--stash_threshold":
    
49.        try:
    
50.          OPTIONS.stash_threshold = float(a)
    
51.        except ValueError:
    
52.          raise ValueError("Cannot parse value %r for option %r - expecting "
    
53.                           "a float" % (a, o))
    
54.      elif o == "--log_diff":
    
55.        OPTIONS.log_diff = a
    
56.      elif o == "--payload_signer":
    
57.        OPTIONS.payload_signer = a
    
58.      elif o == "--payload_signer_args":
    
59.        OPTIONS.payload_signer_args = shlex.split(a)
    
60.      elif o == "--payload_signer_key_size":
    
61.        OPTIONS.payload_signer_key_size = a
    
62.      elif o == "--extracted_input_target_files":
    
63.        OPTIONS.extracted_input = a
    
64.      elif o == "--skip_postinstall":
    
65.        OPTIONS.skip_postinstall = True
    
66.      elif o == "--retrofit_dynamic_partitions":
    
67.        OPTIONS.retrofit_dynamic_partitions = True
    
68.      elif o == "--skip_compatibility_check":
    
69.        OPTIONS.skip_compatibility_check = True
    
70.      elif o == "--output_metadata_path":
    
71.        OPTIONS.output_metadata_path = a
    
72.      else:
    
73.        return False
    
74.      return True
    

76.    # 解析argv（传入的）参数，并返回所有不是标记的参数。__doc__指需要调用的模块，extra_opts和extra_long_opts都是标记，由传入者定义，它们将会交给option_handler进行处理。
    
77.    # 这一步完成之后，生成OTA脚本的所有配置应当都准备就绪了，存储在common.OPTIONS中，当前脚本有一个指向common.OPTIONS的引用，名为common.OPTIONS
    
78.    args = common.ParseOptions(argv, __doc__,
    
79.                               extra_opts="b:k:i:d:ne:t:a:2o:",
    
80.                               extra_long_opts=[
    
81.  .....
    

83.    # 如果之前处理后获得的参数不是两个，输出本脚本使用说明并退出程序
    
84.    if len(args) != 2:
    
85.      common.Usage(__doc__)
    
86.      sys.exit(1)
    

88.    # 初始化日志模块
    
89.    common.InitLogging()

分析如下：

主函数main是python的入口函数，我们从main函数开始看，大概看一下main函数（脚本最后）里的流程就能知道脚本的执行过程了。

    ① 在main函数的开头，首先将用户设定的option选项存入OPTIONS变量中，它是一个python中的类。紧接着判断有没有额外的脚本，如果有就读入到OPTIONS变量中。
    ② 解压缩输入的zip包，即我们在上文生成的原始zip包。然后判断是否用到device-specific extensions（设备扩展）如果用到，随即读入到OPTIONS变量中。
    ③ 判断是否签名，然后判断是否有新内容的增量源，有的话就解压该增量源包放入一个临时变量中（source_zip）。自此，所有的准备工作已完毕，随即会调用该 脚本中最主要的函数WriteFullOTAPackage(input_zip,output_zip)
    ④ WriteFullOTAPackage函数的处理过程是先获得脚本的生成器。默认格式是edify。然后获得metadata元数据，此数据来至于Android的一些环境变量。然后获得设备配置参数比如api函数的版本。然后判断是否忽略时间戳。
    ⑤ WriteFullOTAPackage函数做完准备工作后就开始生成升级用的脚本文件(updater-script)了。生成脚本文件后将上一步获得的metadata元数据写入到输出包out_zip。
    ⑥至此一个完整的update.zip升级包就生成了。生成位置在：out/target/product/tcc8800/trinket.zip。将升级包拷贝到SD卡中就可以用来升级了。
四、 Android OTA增量包update.zip的生成

1.2代码中的方法分析
显示进度条 （写入update_script） script.ShowProgress(增加百分比，持续时间)edify_generator.py

显示文字之类的 script.Print -> ui_print

显示进度条 script.ShowProgress -> show_progress

解压（写入）到指定区域 script.WriteRawImage -> package_extract_file

卸载所有分区 script.UnmountAll -> unmount

将另一个脚本的内容附加到当前脚本 script.AppendScript

二、update.zip升级包的制作

2.1 update.zip包的目录结构
          |----boot.img
          |----system/
          |----recovery/
                `|----recovery-from-boot.p
                `|----etc/
                        `|----install-recovery.sh
          |---META-INF/
              `|CERT.RSA
              `|CERT.SF
              `|MANIFEST.MF
              `|----com/
                     `|----google/
                             `|----android/
                                    `|----update-binary
                                    `|----updater-script
                             `|----android/
                                    `|----metadata
2.2 update.zip包目录结构详解
    以上是我们用命令make otapackage 制作的update.zip包的标准目录结构。
        2.2.1、boot.img是更新boot分区所需要的文件。这个boot.img主要包括kernel+ramdisk。

         2.2.2、system/目录的内容在升级后会放在系统的system分区。主要用来更新系统的一些应用或则应用会用到的一些库等等。可以将Android源码编译out/target/product/trinket/system/中的所有文件拷贝到这个目录来代替。

         2.2.3、recovery/目录中的recovery-from-boot.p是boot.img和recovery.img的补丁(patch),主要用来更新recovery分区，其中etc/目录下的install-recovery.sh是更新脚本。
         2.2.4、update-binary是一个二进制文件，相当于一个脚本解释器，能够识别updater-script中描述的操作。该文件在Android源码编译后out/target/product/trinket/system bin/updater生成，可将updater重命名为update-binary得到。
               该文件在具体的更新包中的名字由源码中bootable/recovery/install.c中的宏ASSUMED_UPDATE_BINARY_NAME的值而定。
         2.2.5、updater-script：此文件是一个脚本文件，具体描述了更新过程。我们可以根据具体情况编写该脚本来适应我们的具体需求。该文件的命名由源码中bootable/recovery/updater/updater.c文件中的宏SCRIPT_NAME的值而定。
         2.2.6、 metadata文件是描述设备信息及环境变量的元数据。主要包括一些编译选项，签名公钥，时间戳以及设备型号等。
         2.2.7、我们还可以在包中添加userdata目录，来更新系统中的用户数据部分。这部分内容在更新后会存放在系统的/data目录下。

         2.2.8、update.zip包的签名：update.zip更新包在制作完成后需要对其签名，否则在升级时会出现认证失败的错误提示。而且签名要使用和目标板一致的加密公钥。加密公钥及加密需要的三个文件在Android源码编译后生成的具体路径为：

               out/host/linux-x86/framework/signapk.jar 

               build/target/product/security/releasekey.x509.pem         

               build/target/product/security/releasekey.pk8 。

              我们用命令make otapackage制作生成的update.zip包是已签过名的，如果自己做update.zip包时必须手动对其签名。

              具体的加密方法：$ java -Xmx2048m -Djava.library.path="out/host/linux-x86/lib64" -jar out/host/linux-x86/framework/signapk.jar –w build/target/product/security/releasekey.x509.pem  build/target/product/security/releasekey.pk8 update.zip update_signed.zip
              以上命令在update.zip包所在的路径下执行，其中signapk.jar releasekey.x509.pem以及releasekey.pk8文件的引用使用绝对路径。update.zip 是我们已经打好的包，update_signed.zip包是命令执行完生成的已经签过名的包。
         2.2.9、MANIFEST.MF：这个manifest文件定义了与包的组成结构相关的数据。类似Android应用的mainfest.xml文件。
        2.2.10、CERT.RSA：与签名文件相关联的签名程序块文件，它存储了用于签名JAR文件的公共签名。
        2.2.11、CERT.SF：这是JAR文件的签名文件，其中前缀CERT代表签名者。
        另外，在具体升级时，对update.zip包检查时大致会分三步：①检验SF文件与RSA文件是否匹配。②检验MANIFEST.MF与签名文件中的digest是否一致。③检验包中的文件与MANIFEST中所描述的是否一致
2.3 Android升级包的生成过程分析

在源码根目录下执行make otapackage命令生成update.zip包主要分为两步，第一步是根据Makefile执行编译生成一个update原包（zip格式）。第二步是运行一个python脚本，并以上一步准备的zip包作为输入，最终生成我们需要的升级包。下面进一步分析这两个过程。

            第一步：编译Makefile。对应的Makefile文件所在位置：build/core/Makefile。开始会生成一个zip包，这个包最后会用来制作OTA package 或者filesystem image。先将这部分的对应的Makefile贴出来如下：
 

1.  # ----------------------------------------------------------------- 
    
2.  # A zip of the directories that map to the target filesystem. 
    
3.  # This zip can be used to create an OTA package or filesystem image 
    
4.  # as a post-build step. 
    
5.  # 
    
6.  name := $(TARGET_PRODUCT)  
    
7.  ifeq ($(TARGET_BUILD_TYPE),debug)  
    
8.    name := $(name)_debug  
    
9.  endif  
    
10.  name := $(name)-target_files-$(FILE_NAME_TAG)  
    

12.  intermediates := $(call intermediates-dir-for,PACKAGING,target_files)  
    
13.  BUILT_TARGET_FILES_PACKAGE := $(intermediates)/$(name).zip  
    
14.  $(BUILT_TARGET_FILES_PACKAGE): intermediates := $(intermediates)  
    
15.  $(BUILT_TARGET_FILES_PACKAGE):   
    
16.          zip_root := $(intermediates)/$(name)  
    

18.  # $(1): Directory to copy 
    
19.  # $(2): Location to copy it to 
    
20.  # The "ls -A" is to prevent "acp s/* d" from failing if s is empty. 
    
21.  define package_files-copy-root  
    
22.    if [ -d "$(strip $(1))" -a "$$(ls -A $(1))" ]; then   
    
23.      mkdir -p $(2) &&   
    
24.      $(ACP) -rd $(strip $(1))/* $(2);   
    
25.    fi  
    
26.  endef  
    

28.  built_ota_tools :=   
    
29.      $(call intermediates-dir-for,EXECUTABLES,applypatch)/applypatch   
    
30.      $(call intermediates-dir-for,EXECUTABLES,applypatch_static)/applypatch_static   
    
31.      $(call intermediates-dir-for,EXECUTABLES,check_prereq)/check_prereq   
    
32.      $(call intermediates-dir-for,EXECUTABLES,updater)/updater  
    
33.  $(BUILT_TARGET_FILES_PACKAGE): PRIVATE_OTA_TOOLS := $(built_ota_tools)  
    

35.  $(BUILT_TARGET_FILES_PACKAGE): PRIVATE_RECOVERY_API_VERSION := $(RECOVERY_API_VERSION)  
    

37.  ifeq ($(TARGET_RELEASETOOLS_EXTENSIONS),)  
    
38.  # default to common dir for device vendor 
    
39.  $(BUILT_TARGET_FILES_PACKAGE): tool_extensions := $(TARGET_DEVICE_DIR)/../common  
    
40.  else  
    
41.  $(BUILT_TARGET_FILES_PACKAGE): tool_extensions := $(TARGET_RELEASETOOLS_EXTENSIONS)  
    
42.  endif  
    

44.  # Depending on the various images guarantees that the underlying 
    
45.  # directories are up-to-date. 
    
46.  $(BUILT_TARGET_FILES_PACKAGE):   
    
47.          $(INSTALLED_BOOTIMAGE_TARGET)   
    
48.          $(INSTALLED_RADIOIMAGE_TARGET)   
    
49.          $(INSTALLED_RECOVERYIMAGE_TARGET)   
    
50.          $(INSTALLED_SYSTEMIMAGE)   
    
51.          $(INSTALLED_USERDATAIMAGE_TARGET)   
    
52.          $(INSTALLED_ANDROID_INFO_TXT_TARGET)   
    
53.          $(built_ota_tools)   
    
54.          $(APKCERTS_FILE)   
    
55.          $(HOST_OUT_EXECUTABLES)/fs_config   
    
56.          | $(ACP)  
    
57.      @echo "Package target files: $@"  
    
58.      $(hide) rm -rf $@ $(zip_root)  
    
59.      $(hide) mkdir -p $(dir $@) $(zip_root)  
    
60.      @# Components of the recovery image 
    
61.      $(hide) mkdir -p $(zip_root)/RECOVERY  
    
62.      $(hide) $(call package_files-copy-root,  
    
63.          $(TARGET_RECOVERY_ROOT_OUT),$(zip_root)/RECOVERY/RAMDISK)  
    
64.  ifdef INSTALLED_KERNEL_TARGET  
    
65.      $(hide) $(ACP) $(INSTALLED_KERNEL_TARGET) $(zip_root)/RECOVERY/kernel  
    
66.  endif  
    
67.  ifdef INSTALLED_2NDBOOTLOADER_TARGET  
    
68.      $(hide) $(ACP)   
    
69.          $(INSTALLED_2NDBOOTLOADER_TARGET) $(zip_root)/RECOVERY/second  
    
70.  endif  
    
71.  ifdef BOARD_KERNEL_CMDLINE  
    
72.      $(hide) echo "$(BOARD_KERNEL_CMDLINE)" > $(zip_root)/RECOVERY/cmdline  
    
73.  endif  
    
74.  ifdef BOARD_KERNEL_BASE  
    
75.      $(hide) echo "$(BOARD_KERNEL_BASE)" > $(zip_root)/RECOVERY/base  
    
76.  endif  
    
77.  ifdef BOARD_KERNEL_PAGESIZE  
    
78.      $(hide) echo "$(BOARD_KERNEL_PAGESIZE)" > $(zip_root)/RECOVERY/pagesize  
    
79.  endif  
    
80.      @# Components of the boot image 
    
81.      $(hide) mkdir -p $(zip_root)/BOOT  
    
82.      $(hide) $(call package_files-copy-root,  
    
83.          $(TARGET_ROOT_OUT),$(zip_root)/BOOT/RAMDISK)  
    
84.  ifdef INSTALLED_KERNEL_TARGET  
    
85.      $(hide) $(ACP) $(INSTALLED_KERNEL_TARGET) $(zip_root)/BOOT/kernel  
    
86.  endif  
    
87.  ifdef INSTALLED_2NDBOOTLOADER_TARGET  
    
88.      $(hide) $(ACP)   
    
89.          $(INSTALLED_2NDBOOTLOADER_TARGET) $(zip_root)/BOOT/second  
    
90.  endif  
    
91.  ifdef BOARD_KERNEL_CMDLINE  
    
92.      $(hide) echo "$(BOARD_KERNEL_CMDLINE)" > $(zip_root)/BOOT/cmdline  
    
93.  endif  
    
94.  ifdef BOARD_KERNEL_BASE  
    
95.      $(hide) echo "$(BOARD_KERNEL_BASE)" > $(zip_root)/BOOT/base  
    
96.  endif  
    
97.  ifdef BOARD_KERNEL_PAGESIZE  
    
98.      $(hide) echo "$(BOARD_KERNEL_PAGESIZE)" > $(zip_root)/BOOT/pagesize  
    
99.  endif  
    
100.      $(hide) $(foreach t,$(INSTALLED_RADIOIMAGE_TARGET), 
    
101.   mkdir -p $(zip_root)/RADIO;  
    
102.   $(ACP) $(t) $(zip_root)/RADIO/$(notdir $(t));)  
    
103.      @# Contents of the system image 
    
104.      $(hide) $(call package_files-copy-root,  
    
105.          $(SYSTEMIMAGE_SOURCE_DIR),$(zip_root)/SYSTEM)  
    
106.      @# Contents of the data image 
    
107.      $(hide) $(call package_files-copy-root,  
    
108.          $(TARGET_OUT_DATA),$(zip_root)/DATA)  
    
109.      @# Extra contents of the OTA package 
    
110.      $(hide) mkdir -p $(zip_root)/OTA/bin  
    
111.      $(hide) $(ACP) $(INSTALLED_ANDROID_INFO_TXT_TARGET) $(zip_root)/OTA/  
    
112.      $(hide) $(ACP) $(PRIVATE_OTA_TOOLS) $(zip_root)/OTA/bin/  
    
113.      @# Files that do not end up in any images, but are necessary to 
    
114.      @# build them. 
    
115.      $(hide) mkdir -p $(zip_root)/META  
    
116.      $(hide) $(ACP) $(APKCERTS_FILE) $(zip_root)/META/apkcerts.txt  
    
117.      $(hide) echo "$(PRODUCT_OTA_PUBLIC_KEYS)" > $(zip_root)/META/otakeys.txt  
    
118.      $(hide) echo "recovery_api_version=$(PRIVATE_RECOVERY_API_VERSION)" > $(zip_root)/META/misc_info.txt  
    
119.  ifdef BOARD_FLASH_BLOCK_SIZE  
    
120.      $(hide) echo "blocksize=$(BOARD_FLASH_BLOCK_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
121.  endif  
    
122.  ifdef BOARD_BOOTIMAGE_PARTITION_SIZE  
    
123.      $(hide) echo "boot_size=$(BOARD_BOOTIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
124.  endif  
    
125.  ifdef BOARD_RECOVERYIMAGE_PARTITION_SIZE  
    
126.      $(hide) echo "recovery_size=$(BOARD_RECOVERYIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
127.  endif  
    
128.  ifdef BOARD_SYSTEMIMAGE_PARTITION_SIZE  
    
129.      $(hide) echo "system_size=$(BOARD_SYSTEMIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
130.  endif  
    
131.  ifdef BOARD_USERDATAIMAGE_PARTITION_SIZE  
    
132.      $(hide) echo "userdata_size=$(BOARD_USERDATAIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
133.  endif  
    
134.      $(hide) echo "tool_extensions=$(tool_extensions)" >> $(zip_root)/META/misc_info.txt  
    
135.  ifdef mkyaffs2_extra_flags  
    
136.      $(hide) echo "mkyaffs2_extra_flags=$(mkyaffs2_extra_flags)" >> $(zip_root)/META/misc_info.txt  
    
137.  endif  
    
138.      @# Zip everything up, preserving symlinks 
    
139.      $(hide) (cd $(zip_root) && zip -qry ../$(notdir $@) .)  
    
140.      @# Run fs_config on all the system files in the zip, and save the output 
    
141.      $(hide) zipinfo -1 $@ | awk -F/ 'BEGIN { OFS="/" } /^SYSTEM// {$$1 = "system"; print}' | $(HOST_OUT_EXECUTABLES)/fs_config > $(zip_root)/META/filesystem_config.txt  
    
142.      $(hide) (cd $(zip_root) && zip -q ../$(notdir $@) META/filesystem_config.txt)  
    

145.  target-files-package: $(BUILT_TARGET_FILES_PACKAGE) 
    

148.  ifneq ($(TARGET_SIMULATOR),true)  
    
149.  ifneq ($(TARGET_PRODUCT),sdk)  
    
150.  ifneq ($(TARGET_DEVICE),generic)  
    
151.  ifneq ($(TARGET_NO_KERNEL),true)  
    
152.  ifneq ($(recovery_fstab),)
第一步：创建一个root_zip根目录，并依次在此目录下创建所需要的如下其他目录

       ①创建RECOVERY目录，并填充该目录的内容，包括kernel的镜像和recovery根文件系统的镜像。此目录最终用于生成recovery.img。

        ②创建并填充BOOT目录。包含kernel和cmdline以及pagesize大小等，该目录最终用来生成boot.img。
        ③向SYSTEM目录填充system image。
        ④向DATA填充data image。
        ⑤用于生成OTA package包所需要的额外的内容。主要包括一些bin命令。
        ⑥创建META目录并向该目录下添加一些文本文件，如apkcerts.txt(描述apk文件用到的认证证书)，misc_info.txt(描述Flash内存的块大小以及boot、recovery、system、userdata等分区的大小信息)。
        ⑦使用保留连接选项压缩我们在上面获得的root_zip目录。
        ⑧使用fs_config(build/tools/fs_config)配置上面的zip包内所有的系统文件(system/下各目录、文件)的权限属主等信息。fs_config包含了一个头文件#include“private/android_filesystem_config.h”。在这个头文件中以硬编码的方式设定了system目录下各文件的权限、属主。执行完配置后会将配置后的信息以文本方式输出 到META/filesystem_config.txt中。并再一次zip压缩成我们最终需要的原始包。

第二步：上面的zip包只是一个编译过程中生成的原始包。

        这个原始zip包在实际的编译过程中有两个作用，一是用来生成OTA update升级包，二是用来生成系统镜像。在编译过程中若生成OTA update升级包时会调用一个名为ota_from_target_files的python脚本，位置在/build/tools/releasetools/ota_from_target_files。这个脚本的作用是以第一步生成的zip原始包作为输入，最终生成可用的OTA升级zip包。

㈠ 首先看一下这个脚本开始部分的帮助文档。

Usage: ota_from_target_files [flags] input_target_files output_ota_package
    -b 过时的。
    -k 签名所使用的密钥
    -i 生成增量OTA包时使用此选项。后面我们会用到这个选项来生成OTA增量包。
    -w 是否清除userdata分区
    -n 在升级时是否不检查时间戳，缺省要检查，即缺省情况下只能基于旧版本升级。
    -e 是否有额外运行的脚本
    -m 执行过程中生成脚本(updater-script)所需要的格式,目前有两种即amend和edify。对应上两种版本升级时会采用不同的解释器。缺省会同时生成两种格式的脚 本。
    -p 定义脚本用到的一些可执行文件的路径。
    -s 定义额外运行脚本的路径。
    -x 定义额外运行的脚本可能用的键值对。
    -v 执行过程中打印出执行的命令。
    -h 命令帮助

三、Recovery服务的核心方法 install_package

      和Recovery服务中的wipe_data、wipe_cache不同，install_package()是升级update.zip特有的一部分，也是最核心的部分。在这一步才真正开始对我们的update.zip包进行处理。下面就开始分析这一部分。

Android系统进行升级的时候，有两种途径：

一种是通过接口传递升级包路径自动升级（Android系统SD卡升级），升级完之后系统自动重启。

另一种是手动进入recovery模式下，选择升级包进行升级，升级完成之后停留在recovery界面，需要手动选择重启。

前者多用于手机厂商的客户端在线升级，后者多用于开发和测试人员。但不管哪种，原理都是一样的，都要在recovery模式下进行升级。

下面介绍的是升级包保存在cache目录下，且升级包路径保存在/cache/recovery/command中的方式（升级包的存放路径，从BCB或者/cache/recovery/command里面解析得到的）。
 

重启进入升级主要流程：

  1. 系统重启进入Recovery模式。读取BCB的command，读取到”boot-recovery”后，加载recovery.img，启动recovery。
  2. _在install.cpp_进行升级操作
  3. try_update_binary执行升级脚本
  4. 调用finish_recovery方法，清除BCB信息,重启

1、系统重启进入Recovery模式

    系统重启时会判断/cache/recovery目录下是否有command文件，如果存在就进入recovery模式，否则就正常启动。

    进入到Recovery模式下，将执行recovery.cpp的main函数，下面贴出关键代码片段：

1.  static Device::BuiltinAction prompt_and_wait(Device* device, int status) {
    
2.    ...
    
3.      ui->SetProgressType(RecoveryUI::EMPTY);
    

5.      size_t chosen_item = ui->ShowMenu(
    
6.  ...
    
7.      // handled in the switch statement below.
    
8.      Device::BuiltinAction chosen_action =
    
9.          (chosen_item == static_cast(RecoveryUI::KeyError::TIMED_OUT))
    
10.              ? Device::REBOOT
    
11.              : device->InvokeMenuItem(chosen_item);
    

13.      switch (chosen_action) {
    
14.        case Device::NO_ACTION:
    
15.          break;
    
16.  .....
    

18.        case Device::APPLY_ADB_SIDELOAD:
    
19.        case Device::APPLY_SDCARD:
    
20.        case Device::ENTER_RESCUE: {
    
21.          save_current_log = true;
    

23.          bool adb = true;
    
24.          Device::BuiltinAction reboot_action;
    
25.          if (chosen_action == Device::ENTER_RESCUE) {
    
26.            // Switch to graphics screen.
    
27.            ui->ShowText(false);
    
28.            status = ApplyFromAdb(device, true /* rescue_mode */, &reboot_action);
    
29.          } else if (chosen_action == Device::APPLY_ADB_SIDELOAD) {
    
30.            status = ApplyFromAdb(device, false /* rescue_mode */, &reboot_action);
    
31.          } else {
    
32.            adb = false;
    
33.            int required_battery_level;
    
34.            if(is_battery_ok(&required_battery_level)){
    
35.                status = ApplyFromSdcard(device, ui);
    
36.  ....
    
37.  ...
    
38.  }

对上述函数的流程分析
1.bootable/recovery/recovery.cpp ShowMenu显示recovery各种菜单显示
InvokeMenuItem 表示选中的具体哪个item
2.bootable/recovery/recoveryui/device.cpp 
   

 1.   Device::BuiltinAction Device::InvokeMenuItem(size_t menu_position) {
    
2.        return g_menu_actions[menu_position].second;
    
3.      }
    
4.      static std::vector> g_menu_actions{
    
5.        { "Reboot system now", Device::REBOOT },
    
6.        { "Reboot to bootloader", Device::REBOOT_BOOTLOADER },
    
7.        { "Enter fastboot", Device::ENTER_FASTBOOT },
    
8.        { "Apply update from ADB", Device::APPLY_ADB_SIDELOAD },
    
9.        { "Apply update from SD card", Device::APPLY_SDCARD },
    
10.        { "Wipe data/factory reset", Device::WIPE_DATA },
    
11.        { "Wipe cache partition", Device::WIPE_CACHE },
    
12.        { "Mount /system", Device::MOUNT_SYSTEM },
    
13.        { "View recovery logs", Device::VIEW_RECOVERY_LOGS },
    
14.        { "Run graphics test", Device::RUN_GRAPHICS_TEST },
    
15.        { "Run locale test", Device::RUN_LOCALE_TEST },
    
16.        { "Enter rescue", Device::ENTER_RESCUE },
    
17.        { "Power off", Device::SHUTDOWN },
    
18.      };

  我们一般选择从sdcard选择升级，故选择Apply update from SD card 对应的device type是APPLY_SDCARD
   走到ApplyFromSdcard方法，其中ApplyFromSdcard是在bootable/recovery/install/fuse_sdcard_install.cpp中定义的  代码如下：
int ApplyFromSdcard(Device device, RecoveryUI ui) {
  .........    result = install_package(FUSE_SIDELOAD_HOST_PATHNAME, false, false, 0 /retry_count/, ui);
    break;
  }
 其中最为关键的方法就是install_package(bootable/recovery/install/install.cpp) 最终执行的是
really_install_package
 

 1.   static int really_install_package(const std::string& path, bool* wipe_cache, bool ...
    

3.    if (needs_mount) {
    
4.      if (path[0] == '@') {
    
5.        ensure_path_mounted(path.substr(1));
    
6.      } else {
    
7.        ensure_path_mounted(path);
    
8.      }
    
9.    }
    

11.    // Verify package.验证签名
    
12.    if (!verify_package(package.get(), ui)) {
    
13.      ...
    
14.    }
    

16.    // Try to open the package.打开升级包 
    
17.    ZipArchiveHandle zip = package->GetZipArchiveHandle();
    
18.      ....
    

20.    // Additionally verify the compatibility of the package if it's a fresh install.
    
21.    if (retry_count == 0 && !verify_package_compatibility(zip)) {
    
22.     .....
    
23.  . // 执行升级脚本文件，开始升级
    
24.    int result =
    
25.        try_update_binary(path, zip, wipe_cache, log_buffer, retry_count, max_temperature, .
    
26.  }

try_update_binary执行升级脚本



1.  // If the package contains an update binary, extract it and run it.
    
2.  static int try_update_binary(const std::string& package, ZipArchiveHandle zip, bool* wipe_cache,
    
3.                               std::vector* log_buffer, int retry_count,
    
4.                               int* max_temperature, RecoveryUI* ui) {
    
5.    std::map metadata;
    
6.    if (!ReadMetadataFromPackage(zip, &metadata)) {
    
7.      LOG(ERROR) << "Failed to parse metadata in the zip file";
    
8.      return INSTALL_CORRUPT;
    
9.    }
    

11.    bool is_ab = android::base::GetBoolProperty("ro.build.ab_update", false);
    
12.    // Verifies against the metadata in the package first.
    
13.    if (int check_status = is_ab ? CheckPackageMetadata(metadata, OtaType::AB) : 0;
    
14.        check_status != 0) {
    
15.      log_buffer->push_back(android::base::StringPrintf("error: %d", kUpdateBinaryCommandFailure));
    
16.      return check_status;
    
17.    }
    
18.  .......
    

20.    std::vector args;
    
21.    if (int update_status =
    
22.            is_ab ? SetUpAbUpdateCommands(package, zip, pipe_write.get(), &args)
    
23.                  : SetUpNonAbUpdateCommands(package, zip, retry_count, pipe_write.get(), &args);
    

25.  ......
    

27.    return INSTALL_SUCCESS;
    
28.  }

通过获取设备ro.build.ab_update信息获得  是否为AB动态分区   如果是AB分区升级（update_engine）进入CheckPackageMetadata 判断当前版本信息（版本号 系列号 fingerprint等）与目标版本信息是否匹配  否则fail
最终AB分区调用SetUpAbUpdateCommands  非AB分区升级调用SetUpNonAbUpdateCommands
 其中SetUpAbUpdateCommands  其实就是调用update_engine完成升级
*cmd = {
    "/system/bin/update_engine_sideload",
    "--payload=file://" + package,
    android::base::StringPrintf("--offset=%ld", payload_offset),
    "--headers=" + std::string(payload_properties.begin(), payload_properties.end()),
    android::base::StringPrintf("--status_fd=%d", status_fd),
  };
 

OTA升级成功，清空misc分区（BCB置零），并将保存到内存系统的升级日志/tmp/recovery.log保存到/cache/recovery/last_log。重启设备进入Main System，升级完成。

四 recovery升级过程中log调试方法

 

有客户反馈不知道如何调试recovery，在这里介绍下recovery的调试方法。

  1. 如何在recovery模式使用adb

在recovery模式下，init程序加载的rc文件是bootable/recovery/etc/init.rc。



1.  service adbd /sbin/adbd recovery
    
2.      disabled
    

4.  # Always start adbd on userdebug and eng builds
    
5.  on property:ro.debuggable=1
    
6.      write /sys/class/android_usb/android0/enable 1
    
7.      start adbd

这里可以看到如果是在userdebug或者eng编译模式，adbd服务是启动的。执行adb shell时提示不存在system/bin/sh，因为这个时候recovery/root/system为空，并没有sh程序可执行。

虽然adb shell不能执行，但adb的其他很多命令都是能够使用的。

adb devices

adb push/pull

  1. 如何增加log

在recovery的代码中能看到有两种方式添加的打印信息：printf和UI->Print。

printf输出到stdout好理解，UI->Print调用screen_ui的print函数，将信息显示在屏幕上。



1.  void ScreenRecoveryUI::Print(const char *fmt, ...)
    
2.  {
    
3.      char buf[256];
    
4.      va_list ap;
    
5.      va_start(ap, fmt);
    
6.      vsnprintf(buf, 256, fmt, ap);
    
7.      va_end(ap);
    

9.      fputs(buf, stdout);

除了显示在屏幕上，也将信息输出到了stdout标准输出。

  1. 标准输出信息在哪


1.  int
    
2.  main(int argc, char **argv) {
    

4.      // If these fail, there's not really anywhere to complain...
    
5.      freopen(TEMPORARY_LOG_FILE, "a", stdout); setbuf(stdout, NULL);
    
6.      freopen(TEMPORARY_LOG_FILE, "a", stderr); setbuf(stderr, NULL);

recovery.cpp的main函数中，最开始就将stdout的输出信息保存在了/tmp/recovery.log文件中。也就是说我们需要查看的log信息都在这里。

再看看recovery结束时做了什么



1.  static void
    
2.  finish_recovery(const char *send_intent) {
    
3.      // Copy logs to cache so the system can find out what happened.
    
4.      copy_log_file(TEMPORARY_LOG_FILE, LOG_FILE, true);
    
5.      copy_log_file(TEMPORARY_LOG_FILE, LAST_LOG_FILE, false);
    
6.      copy_log_file(TEMPORARY_INSTALL_FILE, LAST_INSTALL_FILE, false);
    
7.      chmod(LOG_FILE, 0600);
    
8.      chown(LOG_FILE, 1000, 1000);   // system user
    
9.      chmod(LAST_LOG_FILE, 0640);
    
10.      chmod(LAST_INSTALL_FILE, 0644);

将"/tmp/recovery.log"拷贝到了"/cache/recovery/last_log"。

  1. 如何查看log

1）如果能使用adb，在recovery模式下就能使用adb pull出log信息

adb pull /tmp/recovery.log .

2）即使adb服务不能使用，前一次recovery的log也会保存到cache/recovery目录下，在reboot正常进入系统后pull 出来查看。

adb pull /cache/recovery/last_log .

cache/recovery/last_install保存的是最后一次更新的OTA包。
 

eng 版本 如何在recovery mode下抓取LOG

[SOLUTION]

1、在recovery mode下,升级动作之后 adb pull /tmp/recovery.log

如果是KK之前版本：

2、在nomal mode下 adb pull /cache/recovery/last_log

如果是KK版本：

2、在nomal mode下 adb pull /cache/recovery/last_log_r

此两种方法均可

如果是user版本：

In recovery mode

目前没有办法在user版本也看到recovery.log，目前的办法是

直接用eng版本的recovery.img替换user版本的recovery.img，然后抓取log。

Reboot to normal mode

    在user版本也会产生/cache/recovery/last_log，但是可能会不能用adb pull出来！目前的办法是做完recovery，reboot到normal mode后，重新烧boot.img，用eng版本的boot.img替换user 版本的boot.img，然后将log pull出来！

你可能感兴趣的:(android,ota)

  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • 2.2.6 通知类控件 Toast、Menu 常思行
    本文例程下载：WillFlow_Toast、WillFlowMenu一、什么是Toast？Toast也被叫做吐司，是Android系统提供的一种非常好的提醒方式，在程序中可以使用它将一些短小的信息通知给用户，它有如下两个特点：Toast是没有焦点的Toast显示的时间有限过一定的时间就会自动消失所以一般来讲Toast的使用并不会影响我们的正常操作，并且它通常不会占用太大的屏幕空间，有着良好的用户体
  • mac 备份android 手机通讯录导入iphone,iphone如何导出通讯录（轻松教你iPhone备份通讯录的方法）... weixin_39762838 mac备份android手机通讯录导入iphone
    在日新月异的手机更替中，换手机已经成为一个非常稀松平常的事情，但将旧手机上面的通讯录导入到新手机还是让不少小伙伴为难，本篇将给大家详细讲解这方面的知识：“苹果手机通讯录怎么导入到新手机”及“安卓手机通讯录导入到新手机”的方法。一、苹果手机通讯录导入到新手机常用方法(SIM卡导入)在苹果手机主频幕上找到“设置”，单击进入设置菜单，下拉菜单列表，点击“邮件、通讯录、日历”，然后找到“导入SIM卡通讯录
  • android 更改窗口的层次,浮窗开发之窗口层级 Ms.Bu android更改窗口的层次
    最近在项目中遇到了这样的需求：需要在特定的其他应用之上悬浮自己的UI交互(拖动、输入等复杂的UI交互)，和九游的浮窗类似，不过我们的比九游的体验更好，我们越过了很多授权的限制。浮窗效果很多人都知道如何去实现一个简单的浮窗，但是却很少有人去深入的研究背后的流程机制，由于项目中浮窗交互比较复杂，遇到了些坑查看了很多资料，故总结浮窗涉及到的知识点：窗口层级关系(浮窗是如何“浮”的)？浮窗有哪些限制，如何
  • Android应用性能优化 轻口味 Android
    Android手机由于其本身的后台机制和硬件特点，性能上一直被诟病，所以软件开发者对软件本身的性能优化就显得尤为重要；本文将对Android开发过程中性能优化的各个方面做一个回顾与总结。Cache优化ListView缓存：ListView中有一个回收器，Item滑出界面的时候View会回收到这里，需要显示新的Item的时候，就尽量重用回收器里面的View；每次在getView函数中inflate新
  • ESP32-C3入门教程 网络篇⑩——基于esp_https_ota和MQTT实现开机主动升级和被动触发升级的OTA功能 小康师兄 ESP32-C3入门教程https服务器esp32OTAMQTT
    文章目录一、前言二、软件流程三、部分源码四、运行演示一、前言本文基于VSCodeIDE进行编程、编译、下载、运行等操作基础入门章节请查阅：ESP32-C3入门教程基础篇①——基于VSCode构建HelloWorld教程目录大纲请查阅：ESP32-C3入门教程——导读ESP32-C3入门教程网络篇⑨——基于esp_https_ota实现史上最简单的ESP32OTA远程固件升级功能二、软件流程
  • Spring Boot中实现跨域请求 BABA8891 springboot后端java
    在SpringBoot中实现跨域请求（CORS，Cross-OriginResourceSharing）可以通过多种方式，以下是几种常见的方法：1.使用@CrossOrigin注解在SpringBoot中，你可以在控制器或者具体的请求处理方法上使用@CrossOrigin注解来允许跨域请求。在控制器上应用：importorg.springframework.web.bind.annotation.
  • 【Python搞定车载自动化测试】——Python实现车载以太网DoIP刷写（含Python源码） 疯狂的机器人 Python搞定车载自动化pythonDoIPUDSISO142291SO13400Bootloadertcp/ip
    系列文章目录【Python搞定车载自动化测试】系列文章目录汇总文章目录系列文章目录前言一、环境搭建1.软件环境2.硬件环境二、目录结构三、源码展示1.DoIP诊断基础函数方法2.DoIP诊断业务函数方法3.27服务安全解锁4.DoIP自动化刷写四、测试日志1.测试日志五、完整源码链接前言随着智能电动汽车行业的发展，汽车=智能终端+四个轮子，各家车企都推出了各自的OTA升级方案，本章节主要介绍如何使
  • Android实现监听事件的方法 Amy木婉清
    1.通过内部类实现2.通过匿名内部类实现3.通过事件源所在类实现4.通过外部类实现5.布局文件中onclick属性(针对点击事件)1.通过内部类实现代码:privateButtonmBtnEvent;//oncreate中mBtnEvent.setOnClickListener(newOnClick());//内部类实现监听classOnClickimplementsView.OnClickLis
  • leetcode中等.数组(21-40)python 九日火 pythonleetcode
    80.RemoveDuplicatesfromSortedArrayII(m-21)Givenasortedarraynums,removetheduplicatesin-placesuchthatduplicatesappearedatmosttwiceandreturnthenewlength.Donotallocateextraspaceforanotherarray,youmustdoth
  • 高级UI<第二十四篇>：Android中用到的矩阵常识 NoBugException
    （1）定义在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合。由m×n个数aij排成的m行n列的数表称为m行n列的矩阵，简称m×n矩阵。记作：图片.png这m×n个数称为矩阵A的元素，简称为元，数aij位于矩阵A的第i行第j列，称为矩阵A的(i,j)元，以数aij为(i,j)元的矩阵可记为(aij)或(aij)m×n，m×n矩阵A也记作Amn。元素是实数的矩阵称为实矩阵，元素是复
  • RK3229_Android9.0_Box 4G模块EC200A调试 suifen_ 网络
    0、kernel修改这部分完全可以参考Linux的移植：RK3588EC200A-CN【4G模块】调试_rkec200a-cn-CSDN博客1、修改device/rockchip/rk322xdiff--gita/device.mkb/device.mkindexec6bfaa..e7c32d1100755---a/device.mk+++b/device.mk@@-105,6+105,8@@en
  • el-table实现全选整表，单元一页复选框功能 周bro vue.jselementuijavascript前端
    全选整表单选一页0":popper-append-to-body="false":total="tableData.length":page-size="pageObj.pagesize":page-sizes="[10,50,100]"layout="total,sizes,prev,pager,next"@size-change="handleSizeChange"@current-chang
  • kt文件和java文件_Java与Kotlin之间怎样进行互操作 铭空间 kt文件和java文件
    Java与Kotlin之间怎样进行互操作发布时间：2021-02-0210:50:43来源：亿速云阅读：98作者：小新这篇文章主要介绍了Java与Kotlin之间怎样进行互操作，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。前言目前kotlin是谷歌首推的开发Android的语言，但由于历史原因，我们绝大部分项目依旧还是以Java为主
  • Android shell 常用 debug 命令 晨春计 Audiodebugandroidlinux
    目录1、查看版本2、am命令3、pm命令4、dumpsys命令5、sed命令6、log定位查看APK进程号7、log定位使用场景1、查看版本1.1、Android串口终端执行getpropro.build.version.release#获取Android版本uname-a#查看linux内核版本信息uname-r#单独查看内核版本1.2、linux服务器执行lsb_release-a#查看Lin
  • Scanpy源码浅析之pp.normalize_total 何物昂
    版本导入Scanpy,其版本为'1.9.1'，如果你看到的源码和下文有差异，其可能是由于版本差异。importscanpyasscsc.__version__#'1.9.1'例子函数pp.normalize_total用于Normalizecountspercell，其源代码在scanpy/preprocessing/_normalization.py我们通过一个简单例子来了解该函数主要功能:将一
  • k8s证书过期问题处理 olina_qin kubernetes容器云原生
    k8s证书过期问题处理opensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-dateskubeadmcertsrenewallsystemctlrestartkubeleopensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-text|grep"NotAfter"cp/etc/kubernet
  • 2024年最全Flutter如何和Native通信-Android视角，Electron开发Android界面 2401_84544531 程序员android面试学习
    总结【Android详细知识点思维脑图（技能树）】其实Android开发的知识点就那么多，面试问来问去还是那么点东西。所以面试没有其他的诀窍，只看你对这些知识点准备的充分程度。so，出去面试时先看看自己复习到了哪个阶段就好。虽然Android没有前几年火热了，已经过去了会四大组件就能找到高薪职位的时代了。这只能说明Android中级以下的岗位饱和了，现在高级工程师还是比较缺少的，很多高级职位给的薪
  • python编写直方图和饼图 2301_80421078 python开发语言
    1.直方图#直方图的绘制#语法格式：plt.hist(x,bins),其中x:数据集；bins:统计数据的分布区间importmatplotlib.pyplotaspltimportpandasaspd#导入文件excel=pd.read_excel('成绩.xlsx')#print(excel)#避免乱码plt.rcParams['font.sans-serif']=['SimHei']x=ex
  • pythonpandas函数详解_Python pandas常用函数详解 Senvn
    本文研究的主要是pandas常用函数，具体介绍如下。1import语句importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportdatetimeimportre2文件读取df=pd.read_csv(path='file.csv')参数：header=None用默认列名，0，1，2，3...names=['A','B','C'
  • python画出分子化学空间分布（UMAP） Sakaiay python
    利用umap画出分子化学空间分布图安装pipinstallumap-learn下面是用一个数据集举的例子importtorchimportumapimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromsklearn.manifoldimportTSNEfromrdkit.Chemimport
  • opencv学习：图像旋转的两种方法，旋转后的图片进行模板匹配代码实现 夜清寒风 学习opencv机器学习人工智能计算机视觉
    图像旋转在图像处理中，rotate和rot90是两种常见的图像旋转方法，它们在功能和使用上有一些区别。下面我将分别介绍这两种方法，并解释它们的主要区别rot90方法rot90方法是NumPy提供的一种数组旋转函数，它主要用于对二维数组（如图像）进行90度的旋转。这个方法比较简单，只支持90度的倍数旋转，不支持任意角度旋转。使用NumPy进行旋转使用NumPy的rot90函数对模板图像进行旋转操作。
  • webstorm报错TypeError: this.cliEngine is not a constructor Blue_Color
    点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • python绘制等高线和等值面初步 bcbobo21cn 图形学和3Dpython开发语言MatplotlibNumPy等高线
    importmatplotlib.pyplotaspltimportnumpyasnpx=np.linspace(-5,6,210)y=np.linspace(-5,6,210)x,y=np.meshgrid(x,y)z=(1-x/2+x**5+y**4)*np.exp(-x**2-y**2)plt.contour(x,y,z,levels=9,colors='black')plt.show()i
  • android ndk 开发jni调用对象方法，数组参数 wulongkou 开发问题安卓的事ndkandroidstudiojni
    一、JNI和NDK关系JNI是Java语言提供的Java和C/C++相互沟通的机制，Java可以通过JNI调用本地的C/C++代码，本地的C/C++的代码也可以调用java代码。JNI是本地编程接口，Java和C/C++互相通过的接口。Java通过C/C++使用本地的代码的一个关键性原因在于C/C++代码的高效性。NDK是一系列工具的集合。它提供了一系列的工具，帮助开发者快速开发C（或C++）的动
  • Android jni中数组参数的传递方式 lokeyme Andriodandroid开发JNINDKjavac语言
    1、背景今天调试了一下Androidjni关于Java中调用C代码的程序，发现我的数组参数传递方式不对，导致值传递不正确，我的方法是：C代码，入口函数#include#includejintJava_sony_MedicalRecordDemo_MainActivity_decryptionSuccess(JNIEnv*env,jobjectthiz,jintAttr[]){returnAttr[
  • SpringBoot 设置传入参数非必要 loveLifeLoveCoding springbootspringbootjavaspring
    查看RequestParam源码packageorg.springframework.web.bind.annotation;importjava.lang.annotation.Documented;importjava.lang.annotation.ElementType;importjava.lang.annotation.Retention;importjava.lang.annotat
  • greenplum资源队列 李春田
    文章来源https://www.cnblogs.com/pl-boke/p/9852439.html官方文档：https://gpdb.docs.pivotal.io/6-8/admin_guide/workload_mgmt.html1、创建资源队列语法Command:CREATERESOURCEQUEUEDescription:createanewresourcequeueforworkloa
  • 1-1.Jetpack 之 Navigation 简单编码模板 我命由我12345 Android-Jetpack简化编程javajava-eeandroid-studioandroidstudio安卓androidjetpack
    一、Navigation1、Navigation概述Navigation是Jetpack中的一个重要成员，它主要是结合导航图（NavigationGraph）来控制和简化Fragment之间的导航，即往哪里走，该怎么走2、Navigate引入在模块级build.gradle中引入相关依赖implementation'androidx.navigation:navigation-fragment:2
  • Java序列化进阶篇 g21121 java序列化
            1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
  • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
    原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
  • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
    ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
  • Java集合框架概述 天子之骄 Java集合框架概述
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • 旗正4.0页面跳转传值问题 何必如此 javajsp
    跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
  • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
        移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
  • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
    关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
  • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
    当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
  • [置顶] 做有中国特色的程序员 aijuans 程序员
    从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
  • document.domain 跨域问题 avords document
    document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
  • 关于管理软件的一些思考 houxinyou 管理
    工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
  • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
    一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
  • Tomcat 一些技巧 征客丶 javatomcatdos
    以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
  • 【Spark七十二】Spark的日志配置 bit1129 spark
    在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
  • Haskell版冒泡排序 bookjovi 冒泡排序haskell
    面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
  • java 路径 配置文件读取 bro_feng java
    这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
  • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
  • SVN与JIRA的关联 chenyu19891124 SVN
    SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
  • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                       随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
  • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
        vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
  • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
    出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
  • 高一上学期难记忆单词 dcj3sjt126com wordenglish
    honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
  • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
          DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
  • Partition List hcx2013 partition
    Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
  • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
    上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
  • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
        回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
  • 不间断旋转的动画 pangyulei 动画
    CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
  • 自定义annotation sha1064616837 javaenumannotationreflect
    对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
  • Spring 源码 up2pu spring
    1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
  • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
    word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他