tytryfd一样
tytryfd一样

Android OTA升级详细流程分析（non-AB）

一、.ota_from_target_files.py分析

 


https://xueqiu.com/7883036826/168223386
https://xueqiu.com/7883036826/168223386?55333
https://xueqiu.com/7883036826/168223386?dtfnf
https://xueqiu.com/7883036826/168223386?NznFD
https://xueqiu.com/7532435821/168223387
https://xueqiu.com/7532435821/168223387?99717
https://xueqiu.com/7532435821/168223387?rjfhn
https://xueqiu.com/7532435821/168223387?p1nz7
https://xueqiu.com/7883036826/168223388
https://xueqiu.com/7883036826/168223388?73371
https://xueqiu.com/7883036826/168223388?xzjdp
https://xueqiu.com/7883036826/168223388?vF1N9
https://xueqiu.com/7532435821/168223389
https://xueqiu.com/7532435821/168223389?26040
https://xueqiu.com/7532435821/168223389?qcogq
https://xueqiu.com/7532435821/168223389?2cGY6
https://xueqiu.com/7883036826/168223395
https://xueqiu.com/7883036826/168223395?24248
https://xueqiu.com/7883036826/168223395?siicy
https://xueqiu.com/7883036826/168223395?km202
https://xueqiu.com/7532435821/168223396
https://xueqiu.com/7532435821/168223396?95135
https://xueqiu.com/7532435821/168223396?hlxlv
https://xueqiu.com/7532435821/168223396?jJ7D5
https://xueqiu.com/7883036826/168223400
https://xueqiu.com/7883036826/168223400?75791
https://xueqiu.com/7883036826/168223400?tbxxh
https://xueqiu.com/7883036826/168223400?nVP1l
https://xueqiu.com/7532435821/168223401
https://xueqiu.com/7532435821/168223401?17135
https://xueqiu.com/7532435821/168223401?lvlbl
https://xueqiu.com/7532435821/168223401?91H7l
https://xueqiu.com/7883036826/168223404
https://xueqiu.com/7883036826/168223404?19931
https://xueqiu.com/7883036826/168223404?vjbtl
https://xueqiu.com/7883036826/168223404?5vVt1
https://xueqiu.com/7532435821/168223405
https://xueqiu.com/7532435821/168223405?24282
https://xueqiu.com/7532435821/168223405?cscek
https://xueqiu.com/7532435821/168223405?WG26m
https://xueqiu.com/7883036826/168223408
https://xueqiu.com/7883036826/168223408?06028
https://xueqiu.com/7883036826/168223408?cusea
https://xueqiu.com/7883036826/168223408?Qm4K0
https://xueqiu.com/7532435821/168223410
https://xueqiu.com/7532435821/168223410?93973
https://xueqiu.com/7532435821/168223410?nhffr
https://xueqiu.com/7532435821/168223410?vj15b
https://xueqiu.com/7883036826/168223412
https://xueqiu.com/7883036826/168223412?59533
https://xueqiu.com/7883036826/168223412?lxrjr
https://xueqiu.com/7883036826/168223412?FP1J1
https://xueqiu.com/7532435821/168223414
https://xueqiu.com/7532435821/168223414?40044
https://xueqiu.com/7532435821/168223414?wmios
https://xueqiu.com/7532435821/168223414?qgOK2
https://xueqiu.com/7883036826/168223415
https://xueqiu.com/7883036826/168223415?66244
https://xueqiu.com/7883036826/168223415?wokgg
https://xueqiu.com/7883036826/168223415?yI60Q
https://xueqiu.com/7532435821/168223417
https://xueqiu.com/7532435821/168223417?17773
https://xueqiu.com/7532435821/168223417?xjzzr
https://xueqiu.com/7532435821/168223417?R5RvT
1.  if __name__ == '__main__':
    
2.    try:
    
3.      # common.CloseInheritedPipes()是用于在macOS环境下关闭文件描述符，
    
4.      # 通过platform.system() != "Darwin"判断是否是MacOS
    
5.      common.CloseInheritedPipes()
    
6.      main(sys.argv[1:])
    
7.    except common.ExternalError:
    
8.      logger.exception("n   ERROR:n")
    
9.      sys.exit(1)
    
10.    finally:
    
11.      common.Cleanup()

common.CloseInheritedPipes()是用于在macOS环境下关闭文件描述符，之后执行ota_from_target_files的主体部分代码，最后common.Cleanup()清理垃圾文件。

以下先说明common.CloseInheritedPipes()和common.Cleanup()的代码，因为它们非常简单。



1.  def main(argv):
    

3.    # 此处代码在common.ParseOptions传入
    
4.    def option_handler(o, a):
    
5.      if o in ("-k", "--package_key"):
    
6.        OPTIONS.package_key = a
    
7.      # 制作差量包
    
8.      elif o in ("-i", "--incremental_from"):
    
9.        OPTIONS.incremental_source = a
    
10.      elif o == "--full_radio":
    
11.        OPTIONS.full_radio = True
    
12.      elif o == "--full_bootloader":
    
13.        OPTIONS.full_bootloader = True
    
14.      # 清除用户数据
    
15.      elif o == "--wipe_user_data":
    
16.        OPTIONS.wipe_user_data = True
    
17.      elif o in ("-n", "--no_prereq"):
    
18.        OPTIONS.omit_prereq = True
    
19.      elif o == "--downgrade":
    
20.        OPTIONS.downgrade = True
    
21.        OPTIONS.wipe_user_data = True
    
22.      elif o == "--override_timestamp":
    
23.        OPTIONS.downgrade = True
    
24.      elif o in ("-o", "--oem_settings"):
    
25.        OPTIONS.oem_source = a.split(',')
    
26.      elif o == "--oem_no_mount":
    
27.        OPTIONS.oem_no_mount = True
    
28.      elif o in ("-e", "--extra_script"):
    
29.        OPTIONS.extra_script = a
    
30.      elif o in ("-t", "--worker_threads"):
    
31.        if a.isdigit():
    
32.          OPTIONS.worker_threads = int(a)
    
33.        else:
    
34.          raise ValueError("Cannot parse value %r for option %r - only "
    
35.                           "integers are allowed." % (a, o))
    
36.      elif o in ("-2", "--two_step"):
    
37.        OPTIONS.two_step = True
    
38.      elif o == "--include_secondary":
    
39.        OPTIONS.include_secondary = True
    
40.      elif o == "--no_signing":
    
41.        OPTIONS.no_signing = True
    
42.      elif o == "--verify":
    
43.        OPTIONS.verify = True
    
44.      elif o == "--block":
    
45.        OPTIONS.block_based = True
    
46.      elif o in ("-b", "--binary"):
    
47.        OPTIONS.updater_binary = a
    
48.      elif o == "--stash_threshold":
    
49.        try:
    
50.          OPTIONS.stash_threshold = float(a)
    
51.        except ValueError:
    
52.          raise ValueError("Cannot parse value %r for option %r - expecting "
    
53.                           "a float" % (a, o))
    
54.      elif o == "--log_diff":
    
55.        OPTIONS.log_diff = a
    
56.      elif o == "--payload_signer":
    
57.        OPTIONS.payload_signer = a
    
58.      elif o == "--payload_signer_args":
    
59.        OPTIONS.payload_signer_args = shlex.split(a)
    
60.      elif o == "--payload_signer_key_size":
    
61.        OPTIONS.payload_signer_key_size = a
    
62.      elif o == "--extracted_input_target_files":
    
63.        OPTIONS.extracted_input = a
    
64.      elif o == "--skip_postinstall":
    
65.        OPTIONS.skip_postinstall = True
    
66.      elif o == "--retrofit_dynamic_partitions":
    
67.        OPTIONS.retrofit_dynamic_partitions = True
    
68.      elif o == "--skip_compatibility_check":
    
69.        OPTIONS.skip_compatibility_check = True
    
70.      elif o == "--output_metadata_path":
    
71.        OPTIONS.output_metadata_path = a
    
72.      else:
    
73.        return False
    
74.      return True
    

76.    # 解析argv（传入的）参数，并返回所有不是标记的参数。__doc__指需要调用的模块，extra_opts和extra_long_opts都是标记，由传入者定义，它们将会交给option_handler进行处理。
    
77.    # 这一步完成之后，生成OTA脚本的所有配置应当都准备就绪了，存储在common.OPTIONS中，当前脚本有一个指向common.OPTIONS的引用，名为common.OPTIONS
    
78.    args = common.ParseOptions(argv, __doc__,
    
79.                               extra_opts="b:k:i:d:ne:t:a:2o:",
    
80.                               extra_long_opts=[
    
81.  .....
    

83.    # 如果之前处理后获得的参数不是两个，输出本脚本使用说明并退出程序
    
84.    if len(args) != 2:
    
85.      common.Usage(__doc__)
    
86.      sys.exit(1)
    

88.    # 初始化日志模块
    
89.    common.InitLogging()

分析如下：

主函数main是python的入口函数，我们从main函数开始看，大概看一下main函数（脚本最后）里的流程就能知道脚本的执行过程了。

    ① 在main函数的开头，首先将用户设定的option选项存入OPTIONS变量中，它是一个python中的类。紧接着判断有没有额外的脚本，如果有就读入到OPTIONS变量中。
    ② 解压缩输入的zip包，即我们在上文生成的原始zip包。然后判断是否用到device-specific extensions（设备扩展）如果用到，随即读入到OPTIONS变量中。
    ③ 判断是否签名，然后判断是否有新内容的增量源，有的话就解压该增量源包放入一个临时变量中（source_zip）。自此，所有的准备工作已完毕，随即会调用该 脚本中最主要的函数WriteFullOTAPackage(input_zip,output_zip)
    ④ WriteFullOTAPackage函数的处理过程是先获得脚本的生成器。默认格式是edify。然后获得metadata元数据，此数据来至于Android的一些环境变量。然后获得设备配置参数比如api函数的版本。然后判断是否忽略时间戳。
    ⑤ WriteFullOTAPackage函数做完准备工作后就开始生成升级用的脚本文件(updater-script)了。生成脚本文件后将上一步获得的metadata元数据写入到输出包out_zip。
    ⑥至此一个完整的update.zip升级包就生成了。生成位置在：out/target/product/tcc8800/trinket.zip。将升级包拷贝到SD卡中就可以用来升级了。
四、 Android OTA增量包update.zip的生成

1.2代码中的方法分析
显示进度条 （写入update_script） script.ShowProgress(增加百分比，持续时间)edify_generator.py

显示文字之类的 script.Print -> ui_print

显示进度条 script.ShowProgress -> show_progress

解压（写入）到指定区域 script.WriteRawImage -> package_extract_file

卸载所有分区 script.UnmountAll -> unmount

将另一个脚本的内容附加到当前脚本 script.AppendScript

二、update.zip升级包的制作

2.1 update.zip包的目录结构
          |----boot.img
          |----system/
          |----recovery/
                `|----recovery-from-boot.p
                `|----etc/
                        `|----install-recovery.sh
          |---META-INF/
              `|CERT.RSA
              `|CERT.SF
              `|MANIFEST.MF
              `|----com/
                     `|----google/
                             `|----android/
                                    `|----update-binary
                                    `|----updater-script
                             `|----android/
                                    `|----metadata
2.2 update.zip包目录结构详解
    以上是我们用命令make otapackage 制作的update.zip包的标准目录结构。
        2.2.1、boot.img是更新boot分区所需要的文件。这个boot.img主要包括kernel+ramdisk。

         2.2.2、system/目录的内容在升级后会放在系统的system分区。主要用来更新系统的一些应用或则应用会用到的一些库等等。可以将Android源码编译out/target/product/trinket/system/中的所有文件拷贝到这个目录来代替。

         2.2.3、recovery/目录中的recovery-from-boot.p是boot.img和recovery.img的补丁(patch),主要用来更新recovery分区，其中etc/目录下的install-recovery.sh是更新脚本。
         2.2.4、update-binary是一个二进制文件，相当于一个脚本解释器，能够识别updater-script中描述的操作。该文件在Android源码编译后out/target/product/trinket/system bin/updater生成，可将updater重命名为update-binary得到。
               该文件在具体的更新包中的名字由源码中bootable/recovery/install.c中的宏ASSUMED_UPDATE_BINARY_NAME的值而定。
         2.2.5、updater-script：此文件是一个脚本文件，具体描述了更新过程。我们可以根据具体情况编写该脚本来适应我们的具体需求。该文件的命名由源码中bootable/recovery/updater/updater.c文件中的宏SCRIPT_NAME的值而定。
         2.2.6、 metadata文件是描述设备信息及环境变量的元数据。主要包括一些编译选项，签名公钥，时间戳以及设备型号等。
         2.2.7、我们还可以在包中添加userdata目录，来更新系统中的用户数据部分。这部分内容在更新后会存放在系统的/data目录下。

         2.2.8、update.zip包的签名：update.zip更新包在制作完成后需要对其签名，否则在升级时会出现认证失败的错误提示。而且签名要使用和目标板一致的加密公钥。加密公钥及加密需要的三个文件在Android源码编译后生成的具体路径为：

               out/host/linux-x86/framework/signapk.jar 

               build/target/product/security/releasekey.x509.pem         

               build/target/product/security/releasekey.pk8 。

              我们用命令make otapackage制作生成的update.zip包是已签过名的，如果自己做update.zip包时必须手动对其签名。

              具体的加密方法：$ java -Xmx2048m -Djava.library.path="out/host/linux-x86/lib64" -jar out/host/linux-x86/framework/signapk.jar –w build/target/product/security/releasekey.x509.pem  build/target/product/security/releasekey.pk8 update.zip update_signed.zip
              以上命令在update.zip包所在的路径下执行，其中signapk.jar releasekey.x509.pem以及releasekey.pk8文件的引用使用绝对路径。update.zip 是我们已经打好的包，update_signed.zip包是命令执行完生成的已经签过名的包。
         2.2.9、MANIFEST.MF：这个manifest文件定义了与包的组成结构相关的数据。类似Android应用的mainfest.xml文件。
        2.2.10、CERT.RSA：与签名文件相关联的签名程序块文件，它存储了用于签名JAR文件的公共签名。
        2.2.11、CERT.SF：这是JAR文件的签名文件，其中前缀CERT代表签名者。
        另外，在具体升级时，对update.zip包检查时大致会分三步：①检验SF文件与RSA文件是否匹配。②检验MANIFEST.MF与签名文件中的digest是否一致。③检验包中的文件与MANIFEST中所描述的是否一致
2.3 Android升级包的生成过程分析

在源码根目录下执行make otapackage命令生成update.zip包主要分为两步，第一步是根据Makefile执行编译生成一个update原包（zip格式）。第二步是运行一个python脚本，并以上一步准备的zip包作为输入，最终生成我们需要的升级包。下面进一步分析这两个过程。

            第一步：编译Makefile。对应的Makefile文件所在位置：build/core/Makefile。开始会生成一个zip包，这个包最后会用来制作OTA package 或者filesystem image。先将这部分的对应的Makefile贴出来如下：
 

1.  # ----------------------------------------------------------------- 
    
2.  # A zip of the directories that map to the target filesystem. 
    
3.  # This zip can be used to create an OTA package or filesystem image 
    
4.  # as a post-build step. 
    
5.  # 
    
6.  name := $(TARGET_PRODUCT)  
    
7.  ifeq ($(TARGET_BUILD_TYPE),debug)  
    
8.    name := $(name)_debug  
    
9.  endif  
    
10.  name := $(name)-target_files-$(FILE_NAME_TAG)  
    

12.  intermediates := $(call intermediates-dir-for,PACKAGING,target_files)  
    
13.  BUILT_TARGET_FILES_PACKAGE := $(intermediates)/$(name).zip  
    
14.  $(BUILT_TARGET_FILES_PACKAGE): intermediates := $(intermediates)  
    
15.  $(BUILT_TARGET_FILES_PACKAGE):   
    
16.          zip_root := $(intermediates)/$(name)  
    

18.  # $(1): Directory to copy 
    
19.  # $(2): Location to copy it to 
    
20.  # The "ls -A" is to prevent "acp s/* d" from failing if s is empty. 
    
21.  define package_files-copy-root  
    
22.    if [ -d "$(strip $(1))" -a "$$(ls -A $(1))" ]; then   
    
23.      mkdir -p $(2) &&   
    
24.      $(ACP) -rd $(strip $(1))/* $(2);   
    
25.    fi  
    
26.  endef  
    

28.  built_ota_tools :=   
    
29.      $(call intermediates-dir-for,EXECUTABLES,applypatch)/applypatch   
    
30.      $(call intermediates-dir-for,EXECUTABLES,applypatch_static)/applypatch_static   
    
31.      $(call intermediates-dir-for,EXECUTABLES,check_prereq)/check_prereq   
    
32.      $(call intermediates-dir-for,EXECUTABLES,updater)/updater  
    
33.  $(BUILT_TARGET_FILES_PACKAGE): PRIVATE_OTA_TOOLS := $(built_ota_tools)  
    

35.  $(BUILT_TARGET_FILES_PACKAGE): PRIVATE_RECOVERY_API_VERSION := $(RECOVERY_API_VERSION)  
    

37.  ifeq ($(TARGET_RELEASETOOLS_EXTENSIONS),)  
    
38.  # default to common dir for device vendor 
    
39.  $(BUILT_TARGET_FILES_PACKAGE): tool_extensions := $(TARGET_DEVICE_DIR)/../common  
    
40.  else  
    
41.  $(BUILT_TARGET_FILES_PACKAGE): tool_extensions := $(TARGET_RELEASETOOLS_EXTENSIONS)  
    
42.  endif  
    

44.  # Depending on the various images guarantees that the underlying 
    
45.  # directories are up-to-date. 
    
46.  $(BUILT_TARGET_FILES_PACKAGE):   
    
47.          $(INSTALLED_BOOTIMAGE_TARGET)   
    
48.          $(INSTALLED_RADIOIMAGE_TARGET)   
    
49.          $(INSTALLED_RECOVERYIMAGE_TARGET)   
    
50.          $(INSTALLED_SYSTEMIMAGE)   
    
51.          $(INSTALLED_USERDATAIMAGE_TARGET)   
    
52.          $(INSTALLED_ANDROID_INFO_TXT_TARGET)   
    
53.          $(built_ota_tools)   
    
54.          $(APKCERTS_FILE)   
    
55.          $(HOST_OUT_EXECUTABLES)/fs_config   
    
56.          | $(ACP)  
    
57.      @echo "Package target files: $@"  
    
58.      $(hide) rm -rf $@ $(zip_root)  
    
59.      $(hide) mkdir -p $(dir $@) $(zip_root)  
    
60.      @# Components of the recovery image 
    
61.      $(hide) mkdir -p $(zip_root)/RECOVERY  
    
62.      $(hide) $(call package_files-copy-root,  
    
63.          $(TARGET_RECOVERY_ROOT_OUT),$(zip_root)/RECOVERY/RAMDISK)  
    
64.  ifdef INSTALLED_KERNEL_TARGET  
    
65.      $(hide) $(ACP) $(INSTALLED_KERNEL_TARGET) $(zip_root)/RECOVERY/kernel  
    
66.  endif  
    
67.  ifdef INSTALLED_2NDBOOTLOADER_TARGET  
    
68.      $(hide) $(ACP)   
    
69.          $(INSTALLED_2NDBOOTLOADER_TARGET) $(zip_root)/RECOVERY/second  
    
70.  endif  
    
71.  ifdef BOARD_KERNEL_CMDLINE  
    
72.      $(hide) echo "$(BOARD_KERNEL_CMDLINE)" > $(zip_root)/RECOVERY/cmdline  
    
73.  endif  
    
74.  ifdef BOARD_KERNEL_BASE  
    
75.      $(hide) echo "$(BOARD_KERNEL_BASE)" > $(zip_root)/RECOVERY/base  
    
76.  endif  
    
77.  ifdef BOARD_KERNEL_PAGESIZE  
    
78.      $(hide) echo "$(BOARD_KERNEL_PAGESIZE)" > $(zip_root)/RECOVERY/pagesize  
    
79.  endif  
    
80.      @# Components of the boot image 
    
81.      $(hide) mkdir -p $(zip_root)/BOOT  
    
82.      $(hide) $(call package_files-copy-root,  
    
83.          $(TARGET_ROOT_OUT),$(zip_root)/BOOT/RAMDISK)  
    
84.  ifdef INSTALLED_KERNEL_TARGET  
    
85.      $(hide) $(ACP) $(INSTALLED_KERNEL_TARGET) $(zip_root)/BOOT/kernel  
    
86.  endif  
    
87.  ifdef INSTALLED_2NDBOOTLOADER_TARGET  
    
88.      $(hide) $(ACP)   
    
89.          $(INSTALLED_2NDBOOTLOADER_TARGET) $(zip_root)/BOOT/second  
    
90.  endif  
    
91.  ifdef BOARD_KERNEL_CMDLINE  
    
92.      $(hide) echo "$(BOARD_KERNEL_CMDLINE)" > $(zip_root)/BOOT/cmdline  
    
93.  endif  
    
94.  ifdef BOARD_KERNEL_BASE  
    
95.      $(hide) echo "$(BOARD_KERNEL_BASE)" > $(zip_root)/BOOT/base  
    
96.  endif  
    
97.  ifdef BOARD_KERNEL_PAGESIZE  
    
98.      $(hide) echo "$(BOARD_KERNEL_PAGESIZE)" > $(zip_root)/BOOT/pagesize  
    
99.  endif  
    
100.      $(hide) $(foreach t,$(INSTALLED_RADIOIMAGE_TARGET), 
    
101.   mkdir -p $(zip_root)/RADIO;  
    
102.   $(ACP) $(t) $(zip_root)/RADIO/$(notdir $(t));)  
    
103.      @# Contents of the system image 
    
104.      $(hide) $(call package_files-copy-root,  
    
105.          $(SYSTEMIMAGE_SOURCE_DIR),$(zip_root)/SYSTEM)  
    
106.      @# Contents of the data image 
    
107.      $(hide) $(call package_files-copy-root,  
    
108.          $(TARGET_OUT_DATA),$(zip_root)/DATA)  
    
109.      @# Extra contents of the OTA package 
    
110.      $(hide) mkdir -p $(zip_root)/OTA/bin  
    
111.      $(hide) $(ACP) $(INSTALLED_ANDROID_INFO_TXT_TARGET) $(zip_root)/OTA/  
    
112.      $(hide) $(ACP) $(PRIVATE_OTA_TOOLS) $(zip_root)/OTA/bin/  
    
113.      @# Files that do not end up in any images, but are necessary to 
    
114.      @# build them. 
    
115.      $(hide) mkdir -p $(zip_root)/META  
    
116.      $(hide) $(ACP) $(APKCERTS_FILE) $(zip_root)/META/apkcerts.txt  
    
117.      $(hide) echo "$(PRODUCT_OTA_PUBLIC_KEYS)" > $(zip_root)/META/otakeys.txt  
    
118.      $(hide) echo "recovery_api_version=$(PRIVATE_RECOVERY_API_VERSION)" > $(zip_root)/META/misc_info.txt  
    
119.  ifdef BOARD_FLASH_BLOCK_SIZE  
    
120.      $(hide) echo "blocksize=$(BOARD_FLASH_BLOCK_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
121.  endif  
    
122.  ifdef BOARD_BOOTIMAGE_PARTITION_SIZE  
    
123.      $(hide) echo "boot_size=$(BOARD_BOOTIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
124.  endif  
    
125.  ifdef BOARD_RECOVERYIMAGE_PARTITION_SIZE  
    
126.      $(hide) echo "recovery_size=$(BOARD_RECOVERYIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
127.  endif  
    
128.  ifdef BOARD_SYSTEMIMAGE_PARTITION_SIZE  
    
129.      $(hide) echo "system_size=$(BOARD_SYSTEMIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
130.  endif  
    
131.  ifdef BOARD_USERDATAIMAGE_PARTITION_SIZE  
    
132.      $(hide) echo "userdata_size=$(BOARD_USERDATAIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt  
    
133.  endif  
    
134.      $(hide) echo "tool_extensions=$(tool_extensions)" >> $(zip_root)/META/misc_info.txt  
    
135.  ifdef mkyaffs2_extra_flags  
    
136.      $(hide) echo "mkyaffs2_extra_flags=$(mkyaffs2_extra_flags)" >> $(zip_root)/META/misc_info.txt  
    
137.  endif  
    
138.      @# Zip everything up, preserving symlinks 
    
139.      $(hide) (cd $(zip_root) && zip -qry ../$(notdir $@) .)  
    
140.      @# Run fs_config on all the system files in the zip, and save the output 
    
141.      $(hide) zipinfo -1 $@ | awk -F/ 'BEGIN { OFS="/" } /^SYSTEM// {$$1 = "system"; print}' | $(HOST_OUT_EXECUTABLES)/fs_config > $(zip_root)/META/filesystem_config.txt  
    
142.      $(hide) (cd $(zip_root) && zip -q ../$(notdir $@) META/filesystem_config.txt)  
    

145.  target-files-package: $(BUILT_TARGET_FILES_PACKAGE) 
    

148.  ifneq ($(TARGET_SIMULATOR),true)  
    
149.  ifneq ($(TARGET_PRODUCT),sdk)  
    
150.  ifneq ($(TARGET_DEVICE),generic)  
    
151.  ifneq ($(TARGET_NO_KERNEL),true)  
    
152.  ifneq ($(recovery_fstab),)
第一步：创建一个root_zip根目录，并依次在此目录下创建所需要的如下其他目录

       ①创建RECOVERY目录，并填充该目录的内容，包括kernel的镜像和recovery根文件系统的镜像。此目录最终用于生成recovery.img。

        ②创建并填充BOOT目录。包含kernel和cmdline以及pagesize大小等，该目录最终用来生成boot.img。
        ③向SYSTEM目录填充system image。
        ④向DATA填充data image。
        ⑤用于生成OTA package包所需要的额外的内容。主要包括一些bin命令。
        ⑥创建META目录并向该目录下添加一些文本文件，如apkcerts.txt(描述apk文件用到的认证证书)，misc_info.txt(描述Flash内存的块大小以及boot、recovery、system、userdata等分区的大小信息)。
        ⑦使用保留连接选项压缩我们在上面获得的root_zip目录。
        ⑧使用fs_config(build/tools/fs_config)配置上面的zip包内所有的系统文件(system/下各目录、文件)的权限属主等信息。fs_config包含了一个头文件#include“private/android_filesystem_config.h”。在这个头文件中以硬编码的方式设定了system目录下各文件的权限、属主。执行完配置后会将配置后的信息以文本方式输出 到META/filesystem_config.txt中。并再一次zip压缩成我们最终需要的原始包。

第二步：上面的zip包只是一个编译过程中生成的原始包。

        这个原始zip包在实际的编译过程中有两个作用，一是用来生成OTA update升级包，二是用来生成系统镜像。在编译过程中若生成OTA update升级包时会调用一个名为ota_from_target_files的python脚本，位置在/build/tools/releasetools/ota_from_target_files。这个脚本的作用是以第一步生成的zip原始包作为输入，最终生成可用的OTA升级zip包。

㈠ 首先看一下这个脚本开始部分的帮助文档。

Usage: ota_from_target_files [flags] input_target_files output_ota_package
    -b 过时的。
    -k 签名所使用的密钥
    -i 生成增量OTA包时使用此选项。后面我们会用到这个选项来生成OTA增量包。
    -w 是否清除userdata分区
    -n 在升级时是否不检查时间戳，缺省要检查，即缺省情况下只能基于旧版本升级。
    -e 是否有额外运行的脚本
    -m 执行过程中生成脚本(updater-script)所需要的格式,目前有两种即amend和edify。对应上两种版本升级时会采用不同的解释器。缺省会同时生成两种格式的脚 本。
    -p 定义脚本用到的一些可执行文件的路径。
    -s 定义额外运行脚本的路径。
    -x 定义额外运行的脚本可能用的键值对。
    -v 执行过程中打印出执行的命令。
    -h 命令帮助

三、Recovery服务的核心方法 install_package

      和Recovery服务中的wipe_data、wipe_cache不同，install_package()是升级update.zip特有的一部分，也是最核心的部分。在这一步才真正开始对我们的update.zip包进行处理。下面就开始分析这一部分。

Android系统进行升级的时候，有两种途径：

一种是通过接口传递升级包路径自动升级（Android系统SD卡升级），升级完之后系统自动重启。

另一种是手动进入recovery模式下，选择升级包进行升级，升级完成之后停留在recovery界面，需要手动选择重启。

前者多用于手机厂商的客户端在线升级，后者多用于开发和测试人员。但不管哪种，原理都是一样的，都要在recovery模式下进行升级。

下面介绍的是升级包保存在cache目录下，且升级包路径保存在/cache/recovery/command中的方式（升级包的存放路径，从BCB或者/cache/recovery/command里面解析得到的）。
 

Android OTA升级详细流程分析（non-AB）_第1张图片

重启进入升级主要流程：

  1. 系统重启进入Recovery模式。读取BCB的command，读取到”boot-recovery”后，加载recovery.img，启动recovery。
  2. _在install.cpp_进行升级操作
  3. try_update_binary执行升级脚本
  4. 调用finish_recovery方法，清除BCB信息,重启

1、系统重启进入Recovery模式

    系统重启时会判断/cache/recovery目录下是否有command文件，如果存在就进入recovery模式，否则就正常启动。

    进入到Recovery模式下，将执行recovery.cpp的main函数，下面贴出关键代码片段：

1.  static Device::BuiltinAction prompt_and_wait(Device* device, int status) {
    
2.    ...
    
3.      ui->SetProgressType(RecoveryUI::EMPTY);
    

5.      size_t chosen_item = ui->ShowMenu(
    
6.  ...
    
7.      // handled in the switch statement below.
    
8.      Device::BuiltinAction chosen_action =
    
9.          (chosen_item == static_cast(RecoveryUI::KeyError::TIMED_OUT))
    
10.              ? Device::REBOOT
    
11.              : device->InvokeMenuItem(chosen_item);
    

13.      switch (chosen_action) {
    
14.        case Device::NO_ACTION:
    
15.          break;
    
16.  .....
    

18.        case Device::APPLY_ADB_SIDELOAD:
    
19.        case Device::APPLY_SDCARD:
    
20.        case Device::ENTER_RESCUE: {
    
21.          save_current_log = true;
    

23.          bool adb = true;
    
24.          Device::BuiltinAction reboot_action;
    
25.          if (chosen_action == Device::ENTER_RESCUE) {
    
26.            // Switch to graphics screen.
    
27.            ui->ShowText(false);
    
28.            status = ApplyFromAdb(device, true /* rescue_mode */, &reboot_action);
    
29.          } else if (chosen_action == Device::APPLY_ADB_SIDELOAD) {
    
30.            status = ApplyFromAdb(device, false /* rescue_mode */, &reboot_action);
    
31.          } else {
    
32.            adb = false;
    
33.            int required_battery_level;
    
34.            if(is_battery_ok(&required_battery_level)){
    
35.                status = ApplyFromSdcard(device, ui);
    
36.  ....
    
37.  ...
    
38.  }

对上述函数的流程分析
1.bootable/recovery/recovery.cpp ShowMenu显示recovery各种菜单显示
InvokeMenuItem 表示选中的具体哪个item
2.bootable/recovery/recoveryui/device.cpp 
   

 1.   Device::BuiltinAction Device::InvokeMenuItem(size_t menu_position) {
    
2.        return g_menu_actions[menu_position].second;
    
3.      }
    
4.      static std::vector> g_menu_actions{
    
5.        { "Reboot system now", Device::REBOOT },
    
6.        { "Reboot to bootloader", Device::REBOOT_BOOTLOADER },
    
7.        { "Enter fastboot", Device::ENTER_FASTBOOT },
    
8.        { "Apply update from ADB", Device::APPLY_ADB_SIDELOAD },
    
9.        { "Apply update from SD card", Device::APPLY_SDCARD },
    
10.        { "Wipe data/factory reset", Device::WIPE_DATA },
    
11.        { "Wipe cache partition", Device::WIPE_CACHE },
    
12.        { "Mount /system", Device::MOUNT_SYSTEM },
    
13.        { "View recovery logs", Device::VIEW_RECOVERY_LOGS },
    
14.        { "Run graphics test", Device::RUN_GRAPHICS_TEST },
    
15.        { "Run locale test", Device::RUN_LOCALE_TEST },
    
16.        { "Enter rescue", Device::ENTER_RESCUE },
    
17.        { "Power off", Device::SHUTDOWN },
    
18.      };

  我们一般选择从sdcard选择升级，故选择Apply update from SD card 对应的device type是APPLY_SDCARD
   走到ApplyFromSdcard方法，其中ApplyFromSdcard是在bootable/recovery/install/fuse_sdcard_install.cpp中定义的  代码如下：
int ApplyFromSdcard(Device device, RecoveryUI ui) {
  .........    result = install_package(FUSE_SIDELOAD_HOST_PATHNAME, false, false, 0 /retry_count/, ui);
    break;
  }
 其中最为关键的方法就是install_package(bootable/recovery/install/install.cpp) 最终执行的是
really_install_package
 

 1.   static int really_install_package(const std::string& path, bool* wipe_cache, bool ...
    

3.    if (needs_mount) {
    
4.      if (path[0] == '@') {
    
5.        ensure_path_mounted(path.substr(1));
    
6.      } else {
    
7.        ensure_path_mounted(path);
    
8.      }
    
9.    }
    

11.    // Verify package.验证签名
    
12.    if (!verify_package(package.get(), ui)) {
    
13.      ...
    
14.    }
    

16.    // Try to open the package.打开升级包 
    
17.    ZipArchiveHandle zip = package->GetZipArchiveHandle();
    
18.      ....
    

20.    // Additionally verify the compatibility of the package if it's a fresh install.
    
21.    if (retry_count == 0 && !verify_package_compatibility(zip)) {
    
22.     .....
    
23.  . // 执行升级脚本文件，开始升级
    
24.    int result =
    
25.        try_update_binary(path, zip, wipe_cache, log_buffer, retry_count, max_temperature, .
    
26.  }

try_update_binary执行升级脚本



1.  // If the package contains an update binary, extract it and run it.
    
2.  static int try_update_binary(const std::string& package, ZipArchiveHandle zip, bool* wipe_cache,
    
3.                               std::vector* log_buffer, int retry_count,
    
4.                               int* max_temperature, RecoveryUI* ui) {
    
5.    std::map metadata;
    
6.    if (!ReadMetadataFromPackage(zip, &metadata)) {
    
7.      LOG(ERROR) << "Failed to parse metadata in the zip file";
    
8.      return INSTALL_CORRUPT;
    
9.    }
    

11.    bool is_ab = android::base::GetBoolProperty("ro.build.ab_update", false);
    
12.    // Verifies against the metadata in the package first.
    
13.    if (int check_status = is_ab ? CheckPackageMetadata(metadata, OtaType::AB) : 0;
    
14.        check_status != 0) {
    
15.      log_buffer->push_back(android::base::StringPrintf("error: %d", kUpdateBinaryCommandFailure));
    
16.      return check_status;
    
17.    }
    
18.  .......
    

20.    std::vector args;
    
21.    if (int update_status =
    
22.            is_ab ? SetUpAbUpdateCommands(package, zip, pipe_write.get(), &args)
    
23.                  : SetUpNonAbUpdateCommands(package, zip, retry_count, pipe_write.get(), &args);
    

25.  ......
    

27.    return INSTALL_SUCCESS;
    
28.  }

通过获取设备ro.build.ab_update信息获得  是否为AB动态分区   如果是AB分区升级（update_engine）进入CheckPackageMetadata 判断当前版本信息（版本号 系列号 fingerprint等）与目标版本信息是否匹配  否则fail
最终AB分区调用SetUpAbUpdateCommands  非AB分区升级调用SetUpNonAbUpdateCommands
 其中SetUpAbUpdateCommands  其实就是调用update_engine完成升级
*cmd = {
    "/system/bin/update_engine_sideload",
    "--payload=file://" + package,
    android::base::StringPrintf("--offset=%ld", payload_offset),
    "--headers=" + std::string(payload_properties.begin(), payload_properties.end()),
    android::base::StringPrintf("--status_fd=%d", status_fd),
  };
 

OTA升级成功，清空misc分区（BCB置零），并将保存到内存系统的升级日志/tmp/recovery.log保存到/cache/recovery/last_log。重启设备进入Main System，升级完成。

四 recovery升级过程中log调试方法

 

有客户反馈不知道如何调试recovery，在这里介绍下recovery的调试方法。

  1. 如何在recovery模式使用adb

在recovery模式下，init程序加载的rc文件是bootable/recovery/etc/init.rc。



1.  service adbd /sbin/adbd recovery
    
2.      disabled
    

4.  # Always start adbd on userdebug and eng builds
    
5.  on property:ro.debuggable=1
    
6.      write /sys/class/android_usb/android0/enable 1
    
7.      start adbd

这里可以看到如果是在userdebug或者eng编译模式，adbd服务是启动的。执行adb shell时提示不存在system/bin/sh，因为这个时候recovery/root/system为空，并没有sh程序可执行。

虽然adb shell不能执行，但adb的其他很多命令都是能够使用的。

adb devices

adb push/pull

  1. 如何增加log

在recovery的代码中能看到有两种方式添加的打印信息：printf和UI->Print。

printf输出到stdout好理解，UI->Print调用screen_ui的print函数，将信息显示在屏幕上。



1.  void ScreenRecoveryUI::Print(const char *fmt, ...)
    
2.  {
    
3.      char buf[256];
    
4.      va_list ap;
    
5.      va_start(ap, fmt);
    
6.      vsnprintf(buf, 256, fmt, ap);
    
7.      va_end(ap);
    

9.      fputs(buf, stdout);

除了显示在屏幕上，也将信息输出到了stdout标准输出。

  1. 标准输出信息在哪


1.  int
    
2.  main(int argc, char **argv) {
    

4.      // If these fail, there's not really anywhere to complain...
    
5.      freopen(TEMPORARY_LOG_FILE, "a", stdout); setbuf(stdout, NULL);
    
6.      freopen(TEMPORARY_LOG_FILE, "a", stderr); setbuf(stderr, NULL);

recovery.cpp的main函数中，最开始就将stdout的输出信息保存在了/tmp/recovery.log文件中。也就是说我们需要查看的log信息都在这里。

再看看recovery结束时做了什么



1.  static void
    
2.  finish_recovery(const char *send_intent) {
    
3.      // Copy logs to cache so the system can find out what happened.
    
4.      copy_log_file(TEMPORARY_LOG_FILE, LOG_FILE, true);
    
5.      copy_log_file(TEMPORARY_LOG_FILE, LAST_LOG_FILE, false);
    
6.      copy_log_file(TEMPORARY_INSTALL_FILE, LAST_INSTALL_FILE, false);
    
7.      chmod(LOG_FILE, 0600);
    
8.      chown(LOG_FILE, 1000, 1000);   // system user
    
9.      chmod(LAST_LOG_FILE, 0640);
    
10.      chmod(LAST_INSTALL_FILE, 0644);

将"/tmp/recovery.log"拷贝到了"/cache/recovery/last_log"。

  1. 如何查看log

1）如果能使用adb，在recovery模式下就能使用adb pull出log信息

adb pull /tmp/recovery.log .

2）即使adb服务不能使用，前一次recovery的log也会保存到cache/recovery目录下，在reboot正常进入系统后pull 出来查看。

adb pull /cache/recovery/last_log .

cache/recovery/last_install保存的是最后一次更新的OTA包。
 

eng 版本 如何在recovery mode下抓取LOG

[SOLUTION]

1、在recovery mode下,升级动作之后 adb pull /tmp/recovery.log

如果是KK之前版本：

2、在nomal mode下 adb pull /cache/recovery/last_log

如果是KK版本：

2、在nomal mode下 adb pull /cache/recovery/last_log_r

此两种方法均可

如果是user版本：

In recovery mode

目前没有办法在user版本也看到recovery.log，目前的办法是

直接用eng版本的recovery.img替换user版本的recovery.img，然后抓取log。

Reboot to normal mode

    在user版本也会产生/cache/recovery/last_log，但是可能会不能用adb pull出来！目前的办法是做完recovery，reboot到normal mode后，重新烧boot.img，用eng版本的boot.img替换user 版本的boot.img，然后将log pull出来！

你可能感兴趣的:(android,ota)

  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • 2.2.6 通知类控件 Toast、Menu 常思行
    本文例程下载：WillFlow_Toast、WillFlowMenu一、什么是Toast？Toast也被叫做吐司，是Android系统提供的一种非常好的提醒方式，在程序中可以使用它将一些短小的信息通知给用户，它有如下两个特点：Toast是没有焦点的Toast显示的时间有限过一定的时间就会自动消失所以一般来讲Toast的使用并不会影响我们的正常操作，并且它通常不会占用太大的屏幕空间，有着良好的用户体
  • mac 备份android 手机通讯录导入iphone,iphone如何导出通讯录（轻松教你iPhone备份通讯录的方法）... weixin_39762838 mac备份android手机通讯录导入iphone
    在日新月异的手机更替中，换手机已经成为一个非常稀松平常的事情，但将旧手机上面的通讯录导入到新手机还是让不少小伙伴为难，本篇将给大家详细讲解这方面的知识：“苹果手机通讯录怎么导入到新手机”及“安卓手机通讯录导入到新手机”的方法。一、苹果手机通讯录导入到新手机常用方法(SIM卡导入)在苹果手机主频幕上找到“设置”，单击进入设置菜单，下拉菜单列表，点击“邮件、通讯录、日历”，然后找到“导入SIM卡通讯录
  • android 更改窗口的层次,浮窗开发之窗口层级 Ms.Bu android更改窗口的层次
    最近在项目中遇到了这样的需求：需要在特定的其他应用之上悬浮自己的UI交互(拖动、输入等复杂的UI交互)，和九游的浮窗类似，不过我们的比九游的体验更好，我们越过了很多授权的限制。浮窗效果很多人都知道如何去实现一个简单的浮窗，但是却很少有人去深入的研究背后的流程机制，由于项目中浮窗交互比较复杂，遇到了些坑查看了很多资料，故总结浮窗涉及到的知识点：窗口层级关系(浮窗是如何“浮”的)？浮窗有哪些限制，如何
  • Android应用性能优化 轻口味 Android
    Android手机由于其本身的后台机制和硬件特点，性能上一直被诟病，所以软件开发者对软件本身的性能优化就显得尤为重要；本文将对Android开发过程中性能优化的各个方面做一个回顾与总结。Cache优化ListView缓存：ListView中有一个回收器，Item滑出界面的时候View会回收到这里，需要显示新的Item的时候，就尽量重用回收器里面的View；每次在getView函数中inflate新
  • ESP32-C3入门教程 网络篇⑩——基于esp_https_ota和MQTT实现开机主动升级和被动触发升级的OTA功能 小康师兄 ESP32-C3入门教程https服务器esp32OTAMQTT
    文章目录一、前言二、软件流程三、部分源码四、运行演示一、前言本文基于VSCodeIDE进行编程、编译、下载、运行等操作基础入门章节请查阅：ESP32-C3入门教程基础篇①——基于VSCode构建HelloWorld教程目录大纲请查阅：ESP32-C3入门教程——导读ESP32-C3入门教程网络篇⑨——基于esp_https_ota实现史上最简单的ESP32OTA远程固件升级功能二、软件流程
  • Spring Boot中实现跨域请求 BABA8891 springboot后端java
    在SpringBoot中实现跨域请求（CORS，Cross-OriginResourceSharing）可以通过多种方式，以下是几种常见的方法：1.使用@CrossOrigin注解在SpringBoot中，你可以在控制器或者具体的请求处理方法上使用@CrossOrigin注解来允许跨域请求。在控制器上应用：importorg.springframework.web.bind.annotation.
  • 【Python搞定车载自动化测试】——Python实现车载以太网DoIP刷写（含Python源码） 疯狂的机器人 Python搞定车载自动化pythonDoIPUDSISO142291SO13400Bootloadertcp/ip
    系列文章目录【Python搞定车载自动化测试】系列文章目录汇总文章目录系列文章目录前言一、环境搭建1.软件环境2.硬件环境二、目录结构三、源码展示1.DoIP诊断基础函数方法2.DoIP诊断业务函数方法3.27服务安全解锁4.DoIP自动化刷写四、测试日志1.测试日志五、完整源码链接前言随着智能电动汽车行业的发展，汽车=智能终端+四个轮子，各家车企都推出了各自的OTA升级方案，本章节主要介绍如何使
  • Android实现监听事件的方法 Amy木婉清
    1.通过内部类实现2.通过匿名内部类实现3.通过事件源所在类实现4.通过外部类实现5.布局文件中onclick属性(针对点击事件)1.通过内部类实现代码:privateButtonmBtnEvent;//oncreate中mBtnEvent.setOnClickListener(newOnClick());//内部类实现监听classOnClickimplementsView.OnClickLis
  • leetcode中等.数组(21-40)python 九日火 pythonleetcode
    80.RemoveDuplicatesfromSortedArrayII(m-21)Givenasortedarraynums,removetheduplicatesin-placesuchthatduplicatesappearedatmosttwiceandreturnthenewlength.Donotallocateextraspaceforanotherarray,youmustdoth
  • 高级UI<第二十四篇>：Android中用到的矩阵常识 NoBugException
    （1）定义在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合。由m×n个数aij排成的m行n列的数表称为m行n列的矩阵，简称m×n矩阵。记作：图片.png这m×n个数称为矩阵A的元素，简称为元，数aij位于矩阵A的第i行第j列，称为矩阵A的(i,j)元，以数aij为(i,j)元的矩阵可记为(aij)或(aij)m×n，m×n矩阵A也记作Amn。元素是实数的矩阵称为实矩阵，元素是复
  • RK3229_Android9.0_Box 4G模块EC200A调试 suifen_ 网络
    0、kernel修改这部分完全可以参考Linux的移植：RK3588EC200A-CN【4G模块】调试_rkec200a-cn-CSDN博客1、修改device/rockchip/rk322xdiff--gita/device.mkb/device.mkindexec6bfaa..e7c32d1100755---a/device.mk+++b/device.mk@@-105,6+105,8@@en
  • el-table实现全选整表，单元一页复选框功能 周bro vue.jselementuijavascript前端
    全选整表单选一页0":popper-append-to-body="false":total="tableData.length":page-size="pageObj.pagesize":page-sizes="[10,50,100]"layout="total,sizes,prev,pager,next"@size-change="handleSizeChange"@current-chang
  • kt文件和java文件_Java与Kotlin之间怎样进行互操作 铭空间 kt文件和java文件
    Java与Kotlin之间怎样进行互操作发布时间：2021-02-0210:50:43来源：亿速云阅读：98作者：小新这篇文章主要介绍了Java与Kotlin之间怎样进行互操作，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。前言目前kotlin是谷歌首推的开发Android的语言，但由于历史原因，我们绝大部分项目依旧还是以Java为主
  • Android shell 常用 debug 命令 晨春计 Audiodebugandroidlinux
    目录1、查看版本2、am命令3、pm命令4、dumpsys命令5、sed命令6、log定位查看APK进程号7、log定位使用场景1、查看版本1.1、Android串口终端执行getpropro.build.version.release#获取Android版本uname-a#查看linux内核版本信息uname-r#单独查看内核版本1.2、linux服务器执行lsb_release-a#查看Lin
  • Scanpy源码浅析之pp.normalize_total 何物昂
    版本导入Scanpy,其版本为'1.9.1'，如果你看到的源码和下文有差异，其可能是由于版本差异。importscanpyasscsc.__version__#'1.9.1'例子函数pp.normalize_total用于Normalizecountspercell，其源代码在scanpy/preprocessing/_normalization.py我们通过一个简单例子来了解该函数主要功能:将一
  • k8s证书过期问题处理 olina_qin kubernetes容器云原生
    k8s证书过期问题处理opensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-dateskubeadmcertsrenewallsystemctlrestartkubeleopensslx509-in/etc/kubernetes/pki/apiserver.crt-noout-text|grep"NotAfter"cp/etc/kubernet
  • 2024年最全Flutter如何和Native通信-Android视角，Electron开发Android界面 2401_84544531 程序员android面试学习
    总结【Android详细知识点思维脑图（技能树）】其实Android开发的知识点就那么多，面试问来问去还是那么点东西。所以面试没有其他的诀窍，只看你对这些知识点准备的充分程度。so，出去面试时先看看自己复习到了哪个阶段就好。虽然Android没有前几年火热了，已经过去了会四大组件就能找到高薪职位的时代了。这只能说明Android中级以下的岗位饱和了，现在高级工程师还是比较缺少的，很多高级职位给的薪
  • python编写直方图和饼图 2301_80421078 python开发语言
    1.直方图#直方图的绘制#语法格式：plt.hist(x,bins),其中x:数据集；bins:统计数据的分布区间importmatplotlib.pyplotaspltimportpandasaspd#导入文件excel=pd.read_excel('成绩.xlsx')#print(excel)#避免乱码plt.rcParams['font.sans-serif']=['SimHei']x=ex
  • pythonpandas函数详解_Python pandas常用函数详解 Senvn
    本文研究的主要是pandas常用函数，具体介绍如下。1import语句importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportdatetimeimportre2文件读取df=pd.read_csv(path='file.csv')参数：header=None用默认列名，0，1，2，3...names=['A','B','C'
  • python画出分子化学空间分布（UMAP） Sakaiay python
    利用umap画出分子化学空间分布图安装pipinstallumap-learn下面是用一个数据集举的例子importtorchimportumapimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromsklearn.manifoldimportTSNEfromrdkit.Chemimport
  • opencv学习：图像旋转的两种方法，旋转后的图片进行模板匹配代码实现 夜清寒风 学习opencv机器学习人工智能计算机视觉
    图像旋转在图像处理中，rotate和rot90是两种常见的图像旋转方法，它们在功能和使用上有一些区别。下面我将分别介绍这两种方法，并解释它们的主要区别rot90方法rot90方法是NumPy提供的一种数组旋转函数，它主要用于对二维数组（如图像）进行90度的旋转。这个方法比较简单，只支持90度的倍数旋转，不支持任意角度旋转。使用NumPy进行旋转使用NumPy的rot90函数对模板图像进行旋转操作。
  • webstorm报错TypeError: this.cliEngine is not a constructor Blue_Color
    点击Details在控制台会显示报错的位置TypeError:this.cliEngineisnotaconstructoratESLintPlugin.invokeESLint(/Applications/RubyMine.app/Contents/plugins/JavaScriptLanguage/languageService/eslint/bin/eslint-plugin.js:97:
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • python绘制等高线和等值面初步 bcbobo21cn 图形学和3Dpython开发语言MatplotlibNumPy等高线
    importmatplotlib.pyplotaspltimportnumpyasnpx=np.linspace(-5,6,210)y=np.linspace(-5,6,210)x,y=np.meshgrid(x,y)z=(1-x/2+x**5+y**4)*np.exp(-x**2-y**2)plt.contour(x,y,z,levels=9,colors='black')plt.show()i
  • android ndk 开发jni调用对象方法，数组参数 wulongkou 开发问题安卓的事ndkandroidstudiojni
    一、JNI和NDK关系JNI是Java语言提供的Java和C/C++相互沟通的机制，Java可以通过JNI调用本地的C/C++代码，本地的C/C++的代码也可以调用java代码。JNI是本地编程接口，Java和C/C++互相通过的接口。Java通过C/C++使用本地的代码的一个关键性原因在于C/C++代码的高效性。NDK是一系列工具的集合。它提供了一系列的工具，帮助开发者快速开发C（或C++）的动
  • Android jni中数组参数的传递方式 lokeyme Andriodandroid开发JNINDKjavac语言
    1、背景今天调试了一下Androidjni关于Java中调用C代码的程序，发现我的数组参数传递方式不对，导致值传递不正确，我的方法是：C代码，入口函数#include#includejintJava_sony_MedicalRecordDemo_MainActivity_decryptionSuccess(JNIEnv*env,jobjectthiz,jintAttr[]){returnAttr[
  • SpringBoot 设置传入参数非必要 loveLifeLoveCoding springbootspringbootjavaspring
    查看RequestParam源码packageorg.springframework.web.bind.annotation;importjava.lang.annotation.Documented;importjava.lang.annotation.ElementType;importjava.lang.annotation.Retention;importjava.lang.annotat
  • greenplum资源队列 李春田
    文章来源https://www.cnblogs.com/pl-boke/p/9852439.html官方文档：https://gpdb.docs.pivotal.io/6-8/admin_guide/workload_mgmt.html1、创建资源队列语法Command:CREATERESOURCEQUEUEDescription:createanewresourcequeueforworkloa
  • 1-1.Jetpack 之 Navigation 简单编码模板 我命由我12345 Android-Jetpack简化编程javajava-eeandroid-studioandroidstudio安卓androidjetpack
    一、Navigation1、Navigation概述Navigation是Jetpack中的一个重要成员，它主要是结合导航图（NavigationGraph）来控制和简化Fragment之间的导航，即往哪里走，该怎么走2、Navigate引入在模块级build.gradle中引入相关依赖implementation'androidx.navigation:navigation-fragment:2
  • scala的option和some 矮蛋蛋 编程scala
    原文地址： http://blog.sina.com.cn/s/blog_68af3f090100qkt8.html 对于学习 Scala 的 Java™ 开发人员来说，对象是一个比较自然、简单的入口点。在 本系列 前几期文章中，我介绍了 Scala 中一些面向对象的编程方法，这些方法实际上与 Java 编程的区别不是很大。我还向您展示了 Scala 如何重新应用传统的面向对象概念，找到其缺点
  • NullPointerException Cb123456 androidBaseAdapter
        java.lang.NullPointerException: Attempt to invoke virtual method 'int android.view.View.getImportantForAccessibility()' on a null object reference     出现以上异常.然后就在baidu上
  • PHP使用文件和目录 天子之骄 php文件和目录读取和写入php验证文件php锁定文件
    PHP使用文件和目录 1.使用include()包含文件 (1)：使用include()从一个被包含文档返回一个值 (2)：在控制结构中使用include()   include_once()函数需要一个包含文件的路径，此外，第一次调用它的情况和include()一样，如果在脚本执行中再次对同一个文件调用，那么这个文件不会再次包含。   在php.ini文件中设置
  • SQL SELECT DISTINCT 语句 何必如此 sql
    SELECT DISTINCT 语句用于返回唯一不同的值。 SQL SELECT DISTINCT 语句 在表中，一个列可能会包含多个重复值，有时您也许希望仅仅列出不同（distinct）的值。 DISTINCT 关键词用于返回唯一不同的值。 SQL SELECT DISTINCT 语法 SELECT DISTINCT column_name,column_name F
  • java冒泡排序 3213213333332132 java冒泡排序
    package com.algorithm; /** * @Description 冒泡 * @author FuJianyong * 2015-1-22上午09:58:39 */ public class MaoPao { public static void main(String[] args) { int[] mao = {17,50,26,18,9,10
  • struts2.18 +json,struts2-json-plugin-2.1.8.1.jar配置及问题！ 7454103 DAOspringAjaxjsonqq
    struts2.18  出来有段时间了！ （貌似是 稳定版）   闲时研究下下！  貌似 sruts2 搭配 json 做 ajax 很吃香！   实践了下下！ 不当之处请绕过！ 呵呵   网上一大堆 struts2+json  不过大多的json 插件 都是 jsonplugin.34.jar   strut
  • struts2 数据标签说明 darkranger jspbeanstrutsservletScheme
    数据标签主要用于提供各种数据访问相关的功能，包括显示一个Action里的属性，以及生成国际化输出等功能 数据标签主要包括： action ：该标签用于在JSP页面中直接调用一个Action，通过指定executeResult参数，还可将该Action的处理结果包含到本页面来。 bean ：该标签用于创建一个javabean实例。如果指定了id属性，则可以将创建的javabean实例放入Sta
  • 链表.简单的链表节点构建 aijuans 编程技巧
    /*编程环境WIN-TC*/ #include "stdio.h" #include "conio.h" #define NODE(name, key_word, help) \  Node name[1]={{NULL, NULL, NULL, key_word, help}} typedef struct node {  &nbs
  • tomcat下jndi的三种配置方式 avords tomcat
    jndi(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。命名服务将名称和对象联系起来，使得我们可以用名称 访问对象。目录服务是一种命名服务，在这种服务里，对象不但有名称，还有属性。          tomcat配置
  • 关于敏捷的一些想法 houxinyou 敏捷
    从网上看到这样一句话：“敏捷开发的最重要目标就是：满足用户多变的需求，说白了就是最大程度的让客户满意。” 感觉表达的不太清楚。 感觉容易被人误解的地方主要在“用户多变的需求”上。 第一种多变，实际上就是没有从根本上了解了用户的需求。用户的需求实际是稳定的，只是比较多，也比较混乱，用户一般只能了解自己的那一小部分，所以没有用户能清楚的表达出整体需求。而由于各种条件的，用户表达自己那一部分时也有
  • 富养还是穷养，决定孩子的一生 bijian1013 教育人生
    是什么决定孩子未来物质能否丰盛？为什么说寒门很难出贵子，三代才能出贵族？真的是父母必须有钱，才能大概率保证孩子未来富有吗？-----作者：@李雪爱与自由 事实并非由物质决定，而是由心灵决定。一朋友富有而且修养气质很好，兄弟姐妹也都如此。她的童年时代，物质上大家都很贫乏，但妈妈总是保持生活中的美感，时不时给孩子们带回一些美好小玩意，从来不对孩子传递生活艰辛、金钱来之不易、要懂得珍惜
  • oracle 日期时间格式转化 征客丶 oracle
    oracle 系统时间有 SYSDATE 与 SYSTIMESTAMP； SYSDATE：不支持毫秒，取的是系统时间； SYSTIMESTAMP：支持毫秒，日期，时间是给时区转换的，秒和毫秒是取的系统的。 日期转字符窜： 一、不取毫秒： TO_CHAR(SYSDATE, 'YYYY-MM-DD HH24:MI:SS') 简要说明， YYYY 年 MM   月
  • 【Scala六】分析Spark源代码总结的Scala语法四 bit1129 scala
    1. apply语法   FileShuffleBlockManager中定义的类ShuffleFileGroup，定义：   private class ShuffleFileGroup(val shuffleId: Int, val fileId: Int, val files: Array[File]) { ... def apply(bucketId
  • Erlang中有意思的bug bookjovi erlang
      代码中常有一些很搞笑的bug，如下面的一行代码被调用两次（Erlang beam） commit f667e4a47b07b07ed035073b94d699ff5fe0ba9b Author: Jovi Zhang <[email protected]> Date: Fri Dec 2 16:19:22 2011 +0100 erts:
  • 移位打印10进制数转16进制-2008-08-18 ljy325 java基础
    /** * Description 移位打印10进制的16进制形式 * Creation Date 15-08-2008 9:00 * @author 卢俊宇 * @version 1.0 * */ public class PrintHex { // 备选字符 static final char di
  • 读《研磨设计模式》-代码笔记-组合模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; abstract class Component { public abstract void printStruct(Str
  • 利用cmd命令将.class文件打包成jar chenyu19891124 cmdjar
    cmd命令打jar是如下实现： 在运行里输入cmd，利用cmd命令进入到本地的工作盘符。(如我的是D盘下的文件有此路径 D:\workspace\prpall\WEB-INF\classes) 现在是想把D:\workspace\prpall\WEB-INF\classes路径下所有的文件打包成prpall.jar。然后继续如下操作： cd D: 回车 cd workspace/prpal
  • [原创]JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明 comsci eclipse设计模式算法工作swing
                           JWFD v0.96 工作流系统二次开发包 for Eclipse 简要说明     &nb
  • SecureCRT右键粘贴的设置 daizj secureCRT右键粘贴
    一般都习惯鼠标右键自动粘贴的功能，对于SecureCRT6.7.5 ，这个功能也已经是默认配置了。 老版本的SecureCRT其实也有这个功能，只是不是默认设置，很多人不知道罢了。 菜单： Options->Global Options ...->Terminal 右边有个Mouse的选项块。 Copy on Select Paste on Right/Middle
  • Linux 软链接和硬链接 dongwei_6688 linux
    1.Linux链接概念Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。 【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指向同一索引节点是存在的。一般这种连
  • DIV底部自适应 dcj3sjt126com JavaScript
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • Centos6.5使用yum安装mysql——快速上手必备 dcj3sjt126com mysql
    第1步、yum安装mysql [root@stonex ~]#  yum -y install mysql-server 安装结果： Installed:     mysql-server.x86_64 0:5.1.73-3.el6_5                   &nb
  • 如何调试JDK源码 frank1234 jdk
    相信各位小伙伴们跟我一样，想通过JDK源码来学习Java，比如collections包，java.util.concurrent包。 可惜的是sun提供的jdk并不能查看运行中的局部变量，需要重新编译一下rt.jar。 下面是编译jdk的具体步骤：         1.把C:\java\jdk1.6.0_26\sr
  • Maximal Rectangle hcx2013 max
    Given a 2D binary matrix filled with 0's and 1's, find the largest rectangle containing all ones and return its area.   public class Solution { public int maximalRectangle(char[][] matrix)
  • Spring MVC测试框架详解——服务端测试 jinnianshilongnian spring mvc test
    随着RESTful Web Service的流行，测试对外的Service是否满足期望也变的必要的。从Spring 3.2开始Spring了Spring Web测试框架，如果版本低于3.2，请使用spring-test-mvc项目（合并到spring3.2中了）。   Spring MVC测试框架提供了对服务器端和客户端（基于RestTemplate的客户端）提供了支持。 &nbs
  • Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0 liyong0802 hadoop
    一、准备编译软件   1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。     环境变量设置如下：   （1）执行vim /etc/profile （2）在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7 export MAVEN_HOME=/ho
  • StatusBar 字体白色 pangyulei status
    [[UIApplication sharedApplication] setStatusBarStyle:UIStatusBarStyleLightContent]; /*you'll also need to set UIViewControllerBasedStatusBarAppearance to NO in the plist file if you use this method
  • 如何分析Java虚拟机死锁 sesame javathreadoracle虚拟机jdbc
    英文资料： Thread Dump and Concurrency Locks   Thread dumps are very useful for diagnosing synchronization related problems such as deadlocks on object monitors. Ctrl-\ on Solaris/Linux or Ctrl-B
  • 位运算简介及实用技巧（一）：基础篇 tw_wangzhengquan 位运算
    http://www.matrix67.com/blog/archives/263    去年年底写的关于位运算的日志是这个Blog里少数大受欢迎的文章之一，很多人都希望我能不断完善那篇文章。后来我看到了不少其它的资料，学习到了更多关于位运算的知识，有了重新整理位运算技巧的想法。从今天起我就开始写这一系列位运算讲解文章，与其说是原来那篇文章的follow-up，不如说是一个r
  • jsearch的索引文件结构 yangshangchuan 搜索引擎jsearch全文检索信息检索word分词
    jsearch是一个高性能的全文检索工具包，基于倒排索引，基于java8，类似于lucene，但更轻量级。   jsearch的索引文件结构定义如下：     1、一个词的索引由=分割的三部分组成：        第一部分是词        第二部分是这个词在多少
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他