Android | 文件存储

前言

Android中经常需要使用文件存储用户数据
本文将梳理各个版本中的文件存储，希望能帮上忙。

文件存储思维导图

1. 简介

Android开发中有五种数据持久化API：

持久化示意图

2. 内部存储空间（Internal Storage）

2.1 划分

内部存储示意图

目录：/data/data/
特点：
- 每个应用独占一个以包名命名的私有文件夹
- 在应用卸载时被删除
- 对MediaScanner不可见
适用场景：私密数据

2.2 API

内部存储 API

相关的API

data/data/<包名>/	描述
Context#getDir(String name,int mode):File!	内部存储根目录下的文件夹(不存在则新建)

data/data/<包名>/files/	描述
Context#getFilesDir():File!	files文件夹
Context#fileList():Array!	列举文件和文件夹
Context#openFileInput(String name):FileInputStream!	打开文件输入流(不存在则抛出FileNotFoundException)
Context#openFileOut(String name,int mode):FileOutputStream!	打开文件输出流(文件不存在则新建)
Context#deleteFile(String name):Boolean!	删除文件或文件夹

data/data/<包名>/cache/	描述
Context#getCacheDir():File!	cache文件夹

data/data/<包名>/code_cache/	描述
Context#getCodeCacheDir():File!	存放优化过的代码(如JIT优化)

data/data/<包名>/no_backup/	描述
Context#getNoBackUpFIlesDir():File!	在Backup过程中被忽略的文件

访问模式参数
- MODE_PRIVATE：只对在应用内可见
- MODE_APPEND：如果文件存在，则在文件末尾追加；文件不存在，则与 MODE_PRIVATE 相同。
- MODE_WORLD_READABLE 和 MODE_WORLD_WRITEABLE：允许其他应用访问（不要使用）
- 版本变更：弃用常量 MODE_WORLD_READABLE 和 MODE_WORLD_WRITEABLE（API 17）
- 版本变更：禁用常量 MODE_WORLD_READABLE 和 MODE_WORLD_WRITEABLE（API 24）
```
// 举例（targetSdkVersion >= 24）：
try(FileOutputStream fos  = openFileOutput("file_name",MODE_WORLD_WRITEABLE)){
      fos.write("Not sensitive information".getBytes());
}catch (IOException e){
      e.printStackTrace();
}
```
```
// 异常：
Caused by: java.lang.SecurityException: MODE_WORLD_READABLE no longer supported
Caused by: java.lang.SecurityException: MODE_WORLD_WRITEABLE no longer supported
```

3. 外部存储（External Storage/Shared Storage）

3.1 定义

早期的Android设备存储空间较小，有一个内置（build-in）的存储空间，即内部存储，另外还有一个可以移除的存储介质，即外部存储（如SD卡）。但是随着设备内置存储空间增大，很多设备已经足以将内置存储空间一分为二，一块为内部存储，一块为外部存储。

所有应用均可读写，原则上不应保存敏感信息
检查是否挂载

外部存储并不总是可用的，因为外部存储可以移除（早期设备）或者作为USB存储设备连接到PC，访问前必须检查是否挂载（mounted）：

boolean mExternalStorageAvailable = false;
boolean mExternalStorageWriteable = false;
/* 检查外部存储是否可读写 */
void updateExternalStorageState() {
    String state = Environment.getExternalStorageState();
    if (Environment.MEDIA_MOUNTED.equals(state)) {
            // 可读写
        mExternalStorageAvailable = mExternalStorageWriteable = true;
    } else if (Environment.MEDIA_MOUNTED_READ_ONLY.equals(state)) {
            // 可读
        mExternalStorageAvailable = true;
        mExternalStorageWriteable = false;
    } else {
        mExternalStorageAvailable = mExternalStorageWriteable = false;
    }
}

监听外部存储状态

BroadcastReceiver mExternalStorageReceiver;
/* 开始监听 */
void startWatchingExternalStorage() {
    mExternalStorageReceiver = new BroadcastReceiver() {
        @Override
        public void onReceive(Context context, Intent intent) {
                // 更新状态
            updateExternalStorageState();
        }
    };
    IntentFilter filter = new IntentFilter();
    filter.addAction(Intent.ACTION_MEDIA_MOUNTED);
    filter.addAction(Intent.ACTION_MEDIA_REMOVED);
    // 动态注册广播接收器
    registerReceiver(mExternalStorageReceiver, filter);
    updateExternalStorageState();
}
/* 停止监听 */
void stopWatchingExternalStorage() {
        // 注销广播接收器
    unregisterReceiver(mExternalStorageReceiver);
}

权限
- 读权限：android.permission.READ_EXTERNAL_STORAGE
- 读+写权限：android.permission.WRITE_EXTERNAL_STORAGE
- 版本变更：访问外部存储的私有目录不需要申请权限（API 19）
```
        
        ...
```
- 版本变更：动态权限（API 23）

3.2 划分

外部存储示意图

私有目录（private）：storage/emulated/0/Android/
- 特点
  - 每个应用独占以包名命名的私有文件夹
  - 在应用卸载时被删除
  - 对MediaScanner不可见（例外：多媒体文件夹 API 21）
- 适用场景：非私密数据，需要随应用卸载删除
公共目录（public）：外部存储中除了私有目录外的其他空间
- 特点
  - 所有应用共享
  - 在应用卸载时不会被删除
  - 对MediaScanner可见
- 适用场景：非私密数据，不需要随应用卸载删除

3.3 外部存储API

外部存储 API

因为外部存储不一定可用，所以返回值可为空或空数组

storage/emulated/0/	描述
Environment.getExternalStorageDirectory():File?	外部存储根目录
Environment.getExternalStoragePublicDirectory(name:String?):File?	外部存储根目录下的文件夹
Environment.getExternalStorageState():String!	外部存储状态

storage/emulated/0/Android/data/<包名>/	描述
Context.getExternalCacheDir():File?	cache文件夹
Context.getExternalCacheDirs():Array!	多部分cache文件夹(API 18)
Context.getExternalFilesDir(type: String?):File?	files文件夹
Context.getExternalFIlesDirs(type:String?):Array!	多部分files文件夹(API 18)
Context.getExternalMediaDirs():Array!	多部分多媒体文件夹(API 21)

版本变更：多部分外部存储——Context#getExternalFilesDirs()（API 18）

有些设备可以外接存储设备（如SD卡）来获得更大的外部存储空间，相当于有多部分外部存储空间，一块内置，一块外置。在存储空间足够时，应该优先存储在内置的部分。

兼容：Context.getExternalFilesDirs():Arra!，在低版本中数组只会返回一个元素，指向内置的外置存储的路径
版本变更：外部存储多媒体文件夹——Context.getExternalMediaDirs()（API 21）：对MediaScanner可见

4. 补充

4.1 缓存文件

内部存储和外部存储中都有一个缓存文件夹：
- data/data/<包名>/cache/
- storage/emulated/0/Android/data/<包名>/cache/
当设备存储空间不足时，缓存文件可以被回收，系统回收策略为：
- before Android O（before API 26）
  策略：按照文件修改时间（modified time）排序，越早时间将优先被删除
  
  漏洞：应用可以设置文件修改时间到一个稍晚的时间（比如2050年），保持不被删除
- since Android O（since API 26）
  策略：系统分别为每个应用设置缓存空间阈值，设备存储空间不足时，超过阈值的应用将优先删除缓存，低于阈值的应用缓存会被保留。系统会动态修改阈值，用户使用频率越高的应用阈值越高。
  - 阈值
```
StorageManager sm = (StorageManager) getSystemService(Context.STORAGE_SERVICE);
UUID uuid  = sm.getUuidForPath(getCacheDir());
long byteSize = sm.getCacheQuotaBytes(uuid);
```
  - 查询已分配的缓存空间
```
sm.getCacheSizeBytes(uuid)
```
  - 行为——缓存粒度
```
// 整个文件夹视为一个缓存整体，在系统回收空间时清空文件夹
sm.setCacheBehaviorGroup(dirFile,true)
```
  - 行为——保留文件结构
```
// 在系统回收文件时，清空文件数据(length=0)，而不是直接删除文件
sm.setCacheBehaviorTombstone(dirFile,true)
```
清除应用的数据的选项（在系统设置或手机管家中）：
- 清除缓存：清除应用的内部存储缓存文件夹 与 外部存储缓存文件夹；
- 清除数据：清除应用的内部存储 与 外部存储空间私有目录；

4.2 android:installLocation

可选值
- internalOnly（默认）：安装在内部存储，内部存储空间不足时无法安装；
- auto：优先安装在内部存储，内部存储空间不足时，尝试安装在外部存储；
- preferExternal：优先安装在外部存储，外部存储空间不足时，尝试安装在内部存储；
外部存储被移除时，安装在外部存储空间上的应用会被系统杀死。直到外部存储重新挂载时，系统发出ACTION_EXTERNAL_APPLICATIONS_AVAILABLE广播。
对于占用存储空间较大的应用来说，就有必要考虑安装在外部存储。举例：反编译王者荣耀查看AndroidManifest文件，可以看到使用了“auto”选项。

4.3 存储空间

4.3.1 查询

File

val target = File(context.filesDir,"my-download")
target.freeSpace   // 未分配容量（Root用户可用的容量）
target.usableSpace // 可用容量（非Root用户可用的容量）
target.totalSpace  // 全部容量（包括已分配容量和未分配容量）

StatFs（API 18）

val target = File(context.filesDir,"my-download")
val stat = StatFs(target)
val blockSize = stat.blockSizeLong
stat.freeBlocksLong * blockSize      // 同上
stat.availableBlocksLong * blockSize // 同上
stat.blockCountLong * blockSIze      // 同上

StorageManager（API 26）

val target = File(context.filesDir,"my-download")
val sm = getSystemService(Context.STORAGE_SERVICE) as StorageManager
val uuid = sm.getUuidForPath(target)
sm.getAllocatableBytes(uuid) // 当前应用的可用容量（包括可用容量和全部应用的缓存空间）

StorageStatsManager（API 26）

val target = File(context.filesDir,"my-download")
val ssm = getSystemService(Context.STORAGE_STATS_SERVICE) as   StorageStatsManager
val sm = getSystemService(Context.STORAGE_SERVICE) as StorageManager
val uuid = sm.getUuidForPath(target)
ssm.getFreeBytes(uuid)  // 可用容量（非Root用户可用的容量）
ssm.getTotalBytes(uuid) // 完整的物理容量（比如64G）

4.3.2 分配

before API 26
```
val target = File(context.filesDir,"my-download")
if(downloadSize <= target.getAvailableSpace()){
      // 磁盘空间充足，可以写入
      ...
}
```
注意：即使判断磁盘空间充足，也可能在写入过程中抛出IOException（空间不足），因为无法避免多线程或多进程并发写入。

since API 26

val target = File(context.filesDir,"my-download")
val sm = getSystemService(Context.STORAGE_SERVICE) as StorageManager
val uuid = sm.getUuidForPath(target)
if(downloadSize <= sm.getAllocatableBytes(uuid){
      try(FileOutPutStream os = FileOutPutStream(target)){
              // 预分配downloadSize大小的空间给当前应用
              sm.allocateBytes(os.getFD(),downloadSize)
              // 写入
              ...
      }
}else{
      // 空间不足，请求用户自行清理空间
      val intent = Intent(StorageManager.ACTION_MANAGE_STORAGE);
      intent.putExtra(StorageManager.EXTRA_UUID,uuid);
      // 需要的空间
      intent.putExtra(StorageManager.EXTRA_REQUESTED_BYTES,downloadSize);
      context.tartActivityForResult(intent,REQUEST_CODE);
}

StorageManager#allocateBytes()可以避免了并发写入造成空间不足异常

5. 总结

隐私性

位置其他应用未root用户 root用户 MediaScanner

内部存储 X X √ X

私有内部存储 √ √ √ 仅多媒体文件夹

公共内部存储 √ √ √ √
生存期

生存期示意图
版本演进

版本演进示意图

位置	其他应用	未root用户	root用户	MediaScanner
内部存储	X	X	√	X
私有内部存储	√	√	√	仅多媒体文件夹
公共内部存储	√	√	√	√

参考文献

《Android Application Secure Design/Secure Coding Guidebook》日本安全编码工作组著
《Android高性能编程》[西]Enrique Lopez Manas,[意]Diego Grancini 著
《Keep Sensitive Data Safe and Private》— Developers
《App data & file》— Developers
《Files for Miles: Where to Store Them All?》 — Android Dev Summit