Support TensorFlow Lite benchmark for android platform

Release bench result of embedded-ai.bench for ncnn/tnn/mnn

• 测试标准基于：embedded-ai.bench Spec（ADB Shell环境 benchmark公约）；

• 测试框架：4个。MNN/TNN/NCNN/TFLite；

• 测试平台：2个。android-armv7，android-aarch64；

• 硬件后端：CPU（1/2/4线程），GPU（CL/GL/VK，若有），XNNPACK（仅TFLite）；

• 测试模型：4个。tensorflow_mobilenetv1、tensorflow_mobilenetv2、caffe_mobilenetv1、caffe_mobilenetv2。TFLite仅有TF模型+tf_squeezeNet1.1，NCNN仅有Caffe模型；

• 涵盖12部手机，对应SoC分别为：

  1. 高通骁龙系列：865/855/845/835/625/410；
  2. 华为麒麟系列：990/980/820/810；
  3. 三星猎户座系列：exynos5。

• 总计1514条benchmark数据；

• 具体见本仓库根目录下的文件：20200920-bench:ncnn-tnn-mnn-tflite-androidv7v8-cpugpu.csv。

• 具体见本仓库根目录下的文件：20200920-bench:ncnn-tnn-mnn-tflite-androidv7v8-cpugpu.csv。

• 具体见本仓库根目录下的文件：20200920-bench:ncnn-tnn-mnn-tflite-androidv7v8-cpugpu.csv。

注：因为是CSV文件，可以用Excel表格打开。通过对【表格】->【筛选】功能，对表头筛选，进行细致分析。本次不给结论，在不同的手机上，不同框架表现不同。

下图是benchmark的参考示例：

framework	branch	commit_id	model_name	platform	soc_code	soc_name	cpu	gpu	npu	product	power_mode	backend	cpu_thread_num	avg	max	min	std_dev	battery_level	system_version	repeats	warmup	imei
mnn	master	3ea9dd1	caffe_mobilenetv1	android-armv7	kirin810	kirin810	[email protected][email protected]	Mali-G52	D100@Lite	SPN-AL00	big_cores	ARM	1	249.221	252.995	246.358	1.495	100	9	100	20	A00000B7D25778
mnn	master	3ea9dd1	caffe_mobilenetv1	android-armv7	kirin810	kirin810	[email protected][email protected]	Mali-G52	D100@Lite	SPN-AL00	big_cores	ARM	2	125.97	133.192	124.363	1.038	100	9	100	20	A00000B7D25778
mnn	master	3ea9dd1	caffe_mobilenetv1	android-armv7	kirin810	kirin810	[email protected][email protected]	Mali-G52	D100@Lite	SPN-AL00	big_cores	ARM	4	70.384	75.003	68.117	1.08	100	9	100	20	A00000B7D25778

定期发布性能数据

1. 网站：https://ai-performance.com/embedded-ai.bench；
2. 微信：NeuralTalk：
   

---

Support TFLite benchmark in embedded-ai.bench

v0.04

Merge branch 'master' of https://github.com/AI-performance/embedded-a…

Support multi-threadings bench, accelerate benchmark

• Support multi-threadings bench, accelerate benchmark. Enable in ./core/global_config.py;
• More device information of benchmark result about SoC such as GPU/CPU/DSP etc;
• Fix bugs.

Support MNN/NCNN benchmark for android platform

Release bench result of embedded-ai.bench for ncnn/tnn/mnn

• 测试标准基于：embedded-ai.bench Spec（ADB Shell环境 benchmark公约）；

• 测试框架：3个。MNN/TNN/NCNN；

• 测试平台：2个。android-armv7，android-aarch64；

• 硬件后端：CPU（1/2/4线程），GPU（CL/GL/VK，若有）；

• 测试模型：4个。tensorflow_mobilenetv1、tensorflow_mobilenetv2、caffe_mobilenetv1、caffe_mobilenetv2；

• 涵盖12部手机，对应SoC分别为：

  1. 高通骁龙系列：865/855/845/835/625/410；
  2. 华为麒麟系列：990/980/970/820/810；
  3. 三星猎户座系列：exynos5。

• 总计1153条benchmark数据；

• 具体请详见下方assets的文件：20200809-bench.ncnn-tnn-mnn-androidv7v8-cpugpu.csv。

• 具体请详见下方assets的文件：20200809-bench.ncnn-tnn-mnn-androidv7v8-cpugpu.csv。

• 具体请详见下方assets的文件：20200809-bench.ncnn-tnn-mnn-androidv7v8-cpugpu.csv。

• 2020.08.12更新：NCNN当前的shape有错：每个模型都是1x3x227x227，按理应为1x3x224x224，详见issues/25；

• 2020.08.11更新：增加SoC关于CPU/GPU/DSP等信息；

注：因为是CSV文件，可以用Excel表格打开。通过对【表格】->【筛选】功能，对表头筛选，进行细致分析。本次不给结论，在不同的手机上，不同框架表现不同。

下图是benchmark的参考示例：

framework	branch	commit_id	model_name	input_shape	platform	soc_code	soc_name	cpu	gpu	npu	product	power_mode	backend	cpu_thread_num	avg	max	min	std_dev	battery_level	system_version	repeats	warmup	imei
mnn	master	d7fb0ed	caffe_mobilenetv1	1x3x224x224	android-armv7	sdm845	SD845	Kyro385:[email protected]	Adreno-630@710	Hexagon-685	MI 8	big_cores	ARM	1	66.515	66.773	66.217	0.107	100	8.1.0	100	20	8.61268E+14
tnn	master	22632fa	caffe_mobilenetv1	1x3x224x224	android-armv7	sdm845	SD845	Kyro385:[email protected]	Adreno-630@710	Hexagon-685	MI 8	big_cores	GPU_OPENCL	1	10.742	11.648	9.544	0.247	100	8.1.0	1000	20	8.61268E+14
ncnn	master	e2557c1	caffe_mobilenetv2	1x3x227x227	android-armv7	msmnile	SD855	Kyro485:[email protected][email protected][email protected]	Adreno-640@585	Hexagon-690	MI 9	big_cores	ARM	1	32.76	32.95	32.57	nan	100	10	100	20	8.65883E+14

定期发布性能数据

1. 网站：https://ai-performance.com/embedded-ai.bench；
2. 微信：NeuralTalk：
   

---

Support TNN benchmark for android platform

Support TNN benchmark for android platform

build TNN:

# root dir
cd tnn/
./build.sh

run bench:

# root dir
python3 bench.py

Note: Tested on MacOS, Ubuntu.