[Doc] Update paddledetection/android app example (PaddlePaddle#663)

* [Bug Fix] fix android app detail page errors

* [Android] fix realtime camera mode and shutter

* [Bug Fix] fix AllocateSegmentationResultFromJava error

* [Bug Fix] fix camera preview size setting problem

* [Model] use uint8 buffer instead of fp32 in ppseg postprocess

* [Model] revert changes in ppseg

* [Model] revert postprocess changes in ppseg

* [Android] add fastdeploy android sdk download task

* [Bug Fix] fix yolov5face scale error in small image

* [Doc] Update Android SDK docs

* [Doc] Update Android SDK usage docs

* [Android] Update paddledetection/android app example

Author: DefTruth

examples/vision/detection/paddledetection/android/.gitignore

@@ -11,3 +11,10 @@ app/build
 app/src/main/assets/models/*
 app/.gradle
 app/.idea
+fastdeploy/cache
+fastdeploy/libs/fastdeploy*
+fastdeploy/.cxx
+fastdeploy/build
+fastdeploy/src/main/assets/models/*
+fastdeploy/.gradle
+fastdeploy/.idea

examples/vision/detection/paddledetection/android/README.md

@@ -7,32 +7,27 @@
 1. 在本地环境安装好 Android Studio 工具，详细安装方法请见[Android Stuido 官网](https://developer.android.com/studio)。
 2. 准备一部 Android 手机，并开启 USB 调试模式。开启方法: `手机设置 -> 查找开发者选项 -> 打开开发者选项和 USB 调试模式`
 
-**注意**：如果您的 Android Studio 尚未配置 NDK ，请根据 Android Studio 用户指南中的[安装及配置 NDK 和 CMake ](https://developer.android.com/studio/projects/install-ndk)内容，预先配置好 NDK 。您可以选择最新的 NDK 版本，或者使用 FastDeploy Android 预测库版本一样的 NDK
-
 ## 部署步骤
 
 1. 目标检测 PicoDet Demo 位于 `fastdeploy/examples/vision/detection/paddledetection/android` 目录
 2. 用 Android Studio 打开 paddledetection/android 工程
 3. 手机连接电脑，打开 USB 调试和文件传输模式，并在 Android Studio 上连接自己的手机设备（手机需要开启允许从 USB 安装软件权限）
 
 <p align="center">
-<img width="1280" alt="image" src="https://user-images.githubusercontent.com/31974251/197168120-7f77fbb7-3850-44f0-b6fa-865a98951226.png">
+<img width="1440" alt="image" src="https://user-images.githubusercontent.com/31974251/203257262-71b908ab-bb2b-47d3-9efb-67631687b774.png">
 </p>
 
 > **注意：**
->> 如果您在导入项目、编译或者运行过程中遇到 NDK 配置错误的提示，请打开 ` File > Project Structure > SDK Location`，修改 `Andriod NDK location` 为您本机配置的 NDK 所在路径。本工程默认使用的NDK版本为20.
->> 如果您是通过 Andriod Studio 的 SDK Tools 下载的 NDK (见本章节"环境准备")，可以直接点击下拉框选择默认路径。
->> 还有一种 NDK 配置方法，你可以在 `paddledetection/android/local.properties` 文件中手动完成 NDK 路径配置，如下图所示
->> 如果以上步骤仍旧无法解决 NDK 配置错误，请尝试根据 Andriod Studio 官方文档中的[更新 Android Gradle 插件](https://developer.android.com/studio/releases/gradle-plugin?hl=zh-cn#updating-plugin)章节，尝试更新Android Gradle plugin版本。
+>> 如果您在导入项目、编译或者运行过程中遇到 NDK 配置错误的提示，请打开 ` File > Project Structure > SDK Location`，修改 `Andriod SDK location` 为您本机配置的 SDK 所在路径。
 
-4. 点击 Run 按钮，自动编译 APP 并安装到手机。(该过程会自动下载预编译的 FastDeploy Android 库，需要联网)
+4. 点击 Run 按钮，自动编译 APP 并安装到手机。(该过程会自动下载预编译的 FastDeploy Android 库 以及 模型文件，需要联网)
 成功后效果如下，图一：APP 安装到手机；图二： APP 打开后的效果，会自动识别图片中的物体并标记；图三：APP设置选项，点击右上角的设置图片，可以设置不同选项进行体验。
 
-  | APP 图标 | APP 效果 | APP设置项
+ | APP 图标 | APP 效果 | APP设置项
   | ---     | --- | --- |
-  | ![app_pic ](https://user-images.githubusercontent.com/31974251/197170082-a2bdd49d-60ea-4df0-af63-18ed898a746e.jpg)   | ![app_res](https://user-images.githubusercontent.com/31974251/197169609-bb214af3-d6e7-4433-bb96-1225cddd441c.jpg) |  ![app_setup](https://user-images.githubusercontent.com/31974251/197332983-afbfa6d5-4a3b-4c54-a528-4a3e58441be1.jpg) |
+  | ![app_pic](https://user-images.githubusercontent.com/31974251/203268599-c94018d8-3683-490a-a5c7-a8136a4fa284.jpg)   | ![app_res](https://user-images.githubusercontent.com/31974251/197169609-bb214af3-d6e7-4433-bb96-1225cddd441c.jpg) |  ![app_setup](https://user-images.githubusercontent.com/31974251/197332983-afbfa6d5-4a3b-4c54-a528-4a3e58441be1.jpg) |  
 
-## PicoDet Java API 说明  
+### PicoDet Java API 说明  
 - 模型初始化 API: 模型初始化API包含两种方式，方式一是通过构造函数直接初始化；方式二是，通过调用init函数，在合适的程序节点进行初始化。PicoDet初始化参数说明如下：  
   - modelFile: String, paddle格式的模型文件路径，如 model.pdmodel
   - paramFile: String, paddle格式的参数文件路径，如 model.pdiparams  
@@ -56,30 +51,34 @@ public boolean init(String modelFile, String paramsFile, String configFile, Stri
 // 直接预测：不保存图片以及不渲染结果到Bitmap上
 public DetectionResult predict(Bitmap ARGB8888Bitmap)；
 // 预测并且可视化：预测结果以及可视化，并将可视化后的图片保存到指定的途径，以及将可视化结果渲染在Bitmap上
-public DetectionResult predict(Bitmap ARGB8888Bitmap, String savedImagePath, float scoreThreshold)
+public DetectionResult predict(Bitmap ARGB8888Bitmap, String savedImagePath, float scoreThreshold);
+public DetectionResult predict(Bitmap ARGB8888Bitmap, boolean rendering, float scoreThreshold); // 只渲染 不保存图片
 ```
 - 模型资源释放 API：调用 release() API 可以释放模型资源，返回true表示释放成功，false表示失败；调用 initialized() 可以判断模型是否初始化成功，true表示初始化成功，false表示失败。
 ```java
 public boolean release(); // 释放native资源  
 public boolean initialized(); // 检查是否初始化成功
-```
+```  
+
 - RuntimeOption设置说明  
 ```java  
 public void enableLiteFp16(); // 开启fp16精度推理
 public void disableLiteFP16(); // 关闭fp16精度推理
 public void setCpuThreadNum(int threadNum); // 设置线程数
 public void setLitePowerMode(LitePowerMode mode);  // 设置能耗模式
 public void setLitePowerMode(String modeStr);  // 通过字符串形式设置能耗模式
-public void enableRecordTimeOfRuntime();  // 是否打印模型运行耗时
 ```
 
 - 模型结果DetectionResult说明  
 ```java
-public float[][] mBoxes; // [n,4] 检测框 (x1,y1,x2,y2)
-public float[] mScores;  // [n]   得分
-public int[] mLabelIds;  // [n]   分类ID
-public boolean initialized(); // 检测结果是否有效
+public class DetectionResult {
+  public float[][] mBoxes; // [n,4] 检测框 (x1,y1,x2,y2)
+  public float[] mScores;  // [n]   每个检测框得分(置信度，概率值)
+  public int[] mLabelIds;  // [n]   分类ID
+  public boolean initialized(); // 检测结果是否有效
+}
 ```  
+其他参考：C++/Python对应的DetectionResult说明: [api/vision_results/detection_result.md](https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/api/vision_results/detection_result.md)  
 
 - 模型调用示例1：使用构造函数以及默认的RuntimeOption
 ```java  
@@ -125,32 +124,28 @@ String configFile = "picodet_s_320_coco_lcnet/infer_cfg.yml";
 RuntimeOption option = new RuntimeOption();
 option.setCpuThreadNum(2);
 option.setLitePowerMode(LitePowerMode.LITE_POWER_HIGH);
-option.enableRecordTimeOfRuntime();
 option.enableLiteFp16();
 // 使用init函数初始化  
 model.init(modelFile, paramFile, configFile, option);
 // Bitmap读取、模型预测、资源释放 同上 ...
 ```
-更详细的用法请参考 [MainActivity](./app/src/main/java/com/baidu/paddle/fastdeploy/examples/MainActivity.java#L207) 中的用法
-
-## 替换 FastDeploy 预测库和模型  
-替换FastDeploy预测库和模型的步骤非常简单。预测库所在的位置为 `app/libs/fastdeploy-android-xxx-shared`，其中 `xxx` 表示当前您使用的预测库版本号。模型所在的位置为，`app/src/main/assets/models/picodet_s_320_coco_lcnet`。  
-- 替换FastDeploy预测库的步骤:  
-  - 下载或编译最新的FastDeploy Android预测库，解压缩后放在 `app/libs` 目录下；  
-  - 修改 `app/src/main/cpp/CMakeLists.txt` 中的预测库路径，指向您下载或编译的预测库路径。如：  
-```cmake  
-set(FastDeploy_DIR "${CMAKE_CURRENT_SOURCE_DIR}/../../../libs/fastdeploy-android-xxx-shared")
-```
+更详细的用法请参考 [DetectionMainActivity](./app/src/main/java/com/baidu/paddle/fastdeploy/app/examples/detection/DetectionMainActivity.java) 中的用法
+
+## 替换 FastDeploy SDK和模型  
+替换FastDeploy预测库和模型的步骤非常简单。预测库所在的位置为 `app/libs/fastdeploy-android-sdk-xxx.aar`，其中 `xxx` 表示当前您使用的预测库版本号。模型所在的位置为，`app/src/main/assets/models/picodet_s_320_coco_lcnet`。  
+- 替换FastDeploy Android SDK: 下载或编译最新的FastDeploy Android SDK，解压缩后放在 `app/libs` 目录下；详细配置文档可参考:  
+     - [在 Android 中使用 FastDeploy Java SDK](../../../../../java/android/)
+
 - 替换PicoDet模型的步骤：  
   - 将您的PicoDet模型放在 `app/src/main/assets/models` 目录下；  
   - 修改 `app/src/main/res/values/strings.xml` 中模型路径的默认值，如：  
 ```xml
 <!-- 将这个路径指修改成您的模型，如 models/picodet_l_320_coco_lcnet -->
-<string name="MODEL_DIR_DEFAULT">models/picodet_s_320_coco_lcnet</string>  
-<string name="LABEL_PATH_DEFAULT">labels/coco_label_list.txt</string>
+<string name="DETECTION_MODEL_DIR_DEFAULT">models/picodet_s_320_coco_lcnet</string>  
+<string name="DETECTION_LABEL_PATH_DEFAULT">labels/coco_label_list.txt</string>
 ```  
 
-## 如何通过 JNI 在 Native 层接入 FastDeploy C++ API ?  
-如果您对如何通过JNI来接入FastDeploy C++ API感兴趣，可以参考以下内容:  
-- [app/src/main/cpp 代码实现](./app/src/main/cpp/)
+## 更多参考文档
+如果您想知道更多的FastDeploy Java API文档以及如何通过JNI来接入FastDeploy C++ API感兴趣，可以参考以下内容:  
+- [在 Android 中使用 FastDeploy Java SDK](../../../../../java/android/)
 - [在 Android 中使用 FastDeploy C++ SDK](../../../../../docs/cn/faq/use_cpp_sdk_on_android.md)  

examples/vision/detection/paddledetection/android/app/build.gradle

@@ -6,21 +6,13 @@ android {
     compileSdk 28
 
     defaultConfig {
-        applicationId "com.baidu.paddle.fastdeploy"
+        applicationId 'com.baidu.paddle.fastdeploy.app.examples'
         minSdkVersion 15
         //noinspection ExpiredTargetSdkVersion
         targetSdkVersion 28
         versionCode 1
         versionName "1.0"
         testInstrumentationRunner "android.support.test.runner.AndroidJUnitRunner"
-
-        externalNativeBuild {
-            cmake {
-                arguments '-DANDROID_PLATFORM=android-21', '-DANDROID_STL=c++_shared', "-DANDROID_TOOLCHAIN=clang"
-                abiFilters 'armeabi-v7a', 'arm64-v8a'
-                cppFlags "-std=c++11"
-            }
-        }
     }
 
     buildTypes {
@@ -30,17 +22,10 @@ android {
         }
     }
 
-    externalNativeBuild {
-        cmake {
-            path file('src/main/cpp/CMakeLists.txt')
-            version '3.10.2'
-        }
-    }
-    ndkVersion '20.1.5948944'
 }
 
 dependencies {
-    implementation fileTree(include: ['*.jar'], dir: 'libs')
+    implementation fileTree(include: ['*.aar'], dir: 'libs')
     implementation 'com.android.support:appcompat-v7:28.0.0'
     //noinspection GradleDependency
     implementation 'com.android.support.constraint:constraint-layout:1.1.3'
@@ -52,49 +37,81 @@ dependencies {
     androidTestImplementation 'com.android.support.test.espresso:espresso-core:3.0.2'
 }
 
-def archives = [
-        [
-                'src' : 'https://bj.bcebos.com/fastdeploy/release/android/fastdeploy-android-0.4.0-shared.tgz',
-                'dest': 'libs'
-        ],
+def FD_MODEL = [
         [
-                'src': 'https://bj.bcebos.com/paddlehub/fastdeploy/picodet_s_320_coco_lcnet.tgz',
-                'dest' : 'src/main/assets/models'
-        ],
+                'src' : 'https://bj.bcebos.com/paddlehub/fastdeploy/picodet_s_320_coco_lcnet.tgz',
+                'dest': 'src/main/assets/models'
+        ]
+]
+
+def FD_JAVA_SDK = [
         [
-                'src': 'https://bj.bcebos.com/paddlehub/fastdeploy/picodet_l_320_coco_lcnet.tgz',
-                'dest' : 'src/main/assets/models'
+                'src' : 'https://bj.bcebos.com/fastdeploy/test/fastdeploy-android-sdk-latest-dev.aar',
+                'dest': 'libs'
         ]
 ]
 
-task downloadAndExtractArchives(type: DefaultTask) {
+task downloadAndExtractModels(type: DefaultTask) {
     doFirst {
-        println "Downloading and extracting archives including libs and models"
+        println "Downloading and extracting fastdeploy models ..."
     }
     doLast {
-        // Prepare cache folder for archives
         String cachePath = "cache"
         if (!file("${cachePath}").exists()) {
             mkdir "${cachePath}"
         }
-        archives.eachWithIndex { archive, index ->
+        FD_MODEL.eachWithIndex { model, index ->
             MessageDigest messageDigest = MessageDigest.getInstance('MD5')
-            messageDigest.update(archive.src.bytes)
-            String cacheName = new BigInteger(1, messageDigest.digest()).toString(32)
-            // Download the target archive if not exists
-            boolean copyFiles = !file("${archive.dest}").exists()
-            if (!file("${cachePath}/${cacheName}.tgz").exists()) {
-                ant.get(src: archive.src, dest: file("${cachePath}/${cacheName}.tgz"))
-                copyFiles = true // force to copy files from the latest archive files
+            messageDigest.update(model.src.bytes)
+            String[] modelPaths = model.src.split("/")
+            String modelName = modelPaths[modelPaths.length - 1]
+            // Download the target model if not exists
+            boolean copyFiles = !file("${model.dest}").exists()
+            if (!file("${cachePath}/${modelName}").exists()) {
+                println "Downloading ${model.src} -> ${cachePath}/${modelName}"
+                ant.get(src: model.src, dest: file("${cachePath}/${modelName}"))
+                copyFiles = true
+            }
+            if (copyFiles) {
+                println "Coping ${cachePath}/${modelName} -> ${model.dest}"
+                copy {
+                    from tarTree("${cachePath}/${modelName}")
+                    into "${model.dest}"
+                }
+            }
+        }
+    }
+}
+
+task downloadAndExtractSDKs(type: DefaultTask) {
+    doFirst {
+        println "Downloading and extracting fastdeploy android java sdk ..."
+    }
+    doLast {
+        String cachePath = "cache"
+        if (!file("${cachePath}").exists()) {
+            mkdir "${cachePath}"
+        }
+        FD_JAVA_SDK.eachWithIndex { sdk, index ->
+            String[] sdkPaths = sdk.src.split("/")
+            String sdkName = sdkPaths[sdkPaths.length - 1]
+            // Download the target SDK if not exists
+            boolean copyFiles = !file("${sdk.dest}/${sdkName}").exists()
+            if (!file("${cachePath}/${sdkName}").exists()) {
+                println "Downloading ${sdk.src} -> ${cachePath}/${sdkName}"
+                ant.get(src: sdk.src, dest: file("${cachePath}/${sdkName}"))
+                copyFiles = true
             }
-            // Extract the target archive if its dest path does not exists
             if (copyFiles) {
+                println "Coping ${cachePath}/${sdkName} -> ${sdk.dest}/${sdkName}"
                 copy {
-                    from tarTree("${cachePath}/${cacheName}.tgz")
-                    into "${archive.dest}"
+                    from "${cachePath}/${sdkName}"
+                    into "${sdk.dest}"
                 }
             }
         }
     }
 }
-preBuild.dependsOn downloadAndExtractArchives
+
+preBuild.dependsOn downloadAndExtractSDKs
+preBuild.dependsOn downloadAndExtractModels

examples/vision/detection/paddledetection/android/app/libs/.gitignore

@@ -1,6 +1,6 @@
 <?xml version="1.0" encoding="utf-8"?>
 <manifest xmlns:android="http://schemas.android.com/apk/res/android"
-    package="com.baidu.paddle.fastdeploy.examples">
+    package="com.baidu.paddle.fastdeploy.app.examples">
 
     <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
     <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/>
@@ -15,14 +15,14 @@
         android:roundIcon="@mipmap/ic_launcher_round"
         android:supportsRtl="true"
         android:theme="@style/AppTheme">
-        <activity android:name="com.baidu.paddle.fastdeploy.examples.MainActivity">
+        <activity android:name=".detection.DetectionMainActivity">
             <intent-filter>
                 <action android:name="android.intent.action.MAIN"/>
                 <category android:name="android.intent.category.LAUNCHER"/>
             </intent-filter>
         </activity>
         <activity
-            android:name="com.baidu.paddle.fastdeploy.examples.SettingsActivity"
+            android:name=".detection.DetectionSettingsActivity"
             android:label="Settings">
         </activity>
     </application>