人脸活体识别4：Android实现人脸眨眼 张嘴 点头 摇头识别(可实时检测)

人脸活体识别4：Android实现人脸眨眼 张嘴 点头 摇头识别(可实时检测)

目录

人脸活体识别4：Android实现人脸眨眼 张嘴 点头 摇头识别(可实时检测)

1. 前言

2.人脸活体识别方法

（1）基于人脸动作的检测​​

（2）​​基于红外的活体识别​​

（3）基于深度的活体识别​​

 3.人脸检测模型

 4. 活体识别模型

（1） 将Pytorch模型转换ONNX模型

（2） 将Pytorch模型转换为NCNN模型

5. 活体识别Android部署

（1） Android部署NCNN模型

（2） Android编译异常解决方法

6.活体识别效果（Android版本）

7. 项目Android源码下载

1. 前言

人脸活体识别技术是确保人脸识别系统安全性的关键，主要用于区分真实人脸与伪造攻击（如照片、视频、3D面具等）。本项目基于深度学习技术，构建了一套高鲁棒性的面部活体检测系统，可精准识别眨眼（闭眼）、张嘴、点头（低头）、摇头（侧脸）等生物特征动作，可有效防范照片、视频、3D面具等伪造攻击等多种场景，​​可应用于金融支付、远程身份核验（如银行开户）等场景。

整套项目分为人脸活体识别数据集说明，模型开发和训练，模型边缘侧部署C++/Android等多个章节，本篇是项目《​​​​人脸活体识别》系列文章之《Android实现人脸眨眼 张嘴 点头 摇头识别》；为了方便后续模型工程化和Android平台部署，项目对活体识别模型进行轻量化，并提供Python/C++/Android多个版本；

整套活体识别系统，在普通Android手机上可以达到实时的检测效果，CPU(4线程)约40ms左右，GPU约30ms左右 ，基本满足业务的性能需求。准确率还挺高的，采用轻量级mobilenet_v2模型的人脸活体识别准确率也可以高达99.9661%左右，满足业务性能需求。

模型input sizeTest准确率
Mobilenet112×11299.9661
Resnet18112×11299.9322
MobileVit112×11299.9322

     

【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/148774240

 【Android APP Demo体验】https://download.csdn.net/download/guyuealian/91133467

 更多人脸识别和活体识别文章，请参考：

  1. 人脸活体识别1：眨眼 张嘴 点头 摇头人脸数据集
  2. 人脸活体识别2：Pytorch实现人脸眨眼 张嘴 点头 摇头识别(含训练代码和数据集)
  3. 人脸活体识别3：C/C++实现人脸眨眼 张嘴 点头 摇头识别(可实时检测)
  4. 人脸活体识别4：Android实现人脸眨眼 张嘴 点头 摇头识别(可实时检测)
  5. 人脸识别2：InsightFace实现人脸识别Face Recognition(含源码下载)
  6. 人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)
  7. 人脸识别4：Android InsightFace实现人脸识别Face Recognition(含源码)

2.人脸活体识别方法

人脸活体识别的方法有很多，如基于人脸动作的活体识别​，基于红外的活体识别，基于深度的活体识别等等方法。

（1）基于人脸动作的检测​​

    要求用户配合完成随机指令动作（如眨眼、点头、张嘴、摇头等），通过计算机视觉算法（如光流法、关键点跟踪）分析动作的自然性和时序连贯性。

优点​​：实现简单，能有效抵御照片和静态视频攻击。​​

缺点​​：依赖用户配合，体验较差；可能被高仿动态视频（如Deepfake）欺骗。

（2）​​基于红外的活体识别​​

​​     利用红外摄像头捕捉人脸的红外反射特性或热辐射分布，如采用红外光谱分析​​，活体皮肤对特定波长红外光的吸收/反射模式与非活体不同。​​

优点​​：无需用户配合，可抵御照片、视频及部分3D面具攻击。

缺点​​：设备成本较高；受环境温度影响（如低温可能降低检测精度）。

（3）基于深度的活体识别​​

    通过3D深度摄像头（如结构光、ToF）获取人脸的三维几何信息（如鼻梁高度、曲面曲率），非活体（照片、屏幕）缺乏真实的深度结构。​​

优点​​：防御能力最强，可识别高级3D头套攻击。

​​缺点​​：硬件成本高，需专用3D传感器。

本项目实现方案是采用基于人脸动作的活体识别方法，即先采用通用的人脸检测模型，进行人脸检测定位人脸区域，然后按照一定规则裁剪人脸检测区域，再训练一个人脸活体识别分类器，完成人脸活体识别的任务。人脸动作主要包含：眨眼（闭眼）、张嘴、点头（低头）、摇头（侧脸）。

 3.人脸检测模型

本项目人脸检测训练代码请参考：https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB 

这是一个基于SSD改进且轻量化后人脸检测模型，很slim，整个模型仅仅1.7M左右，在普通Android手机都可以实时检测。人脸检测方法在网上有一大堆现成的方法可以使用，完全可以不局限我这个方法。

当然可以基于YOLOv5训练一个人脸检测模型：人脸检测和行人检测2：YOLOv5实现人脸检测和行人检测(含数据集和训练代码)

​

 4. 活体识别模型

关于人脸活体识别模型训练，请参考《人脸活体识别2：Pytorch实现人脸眨眼 张嘴 点头 摇头识别(含训练代码和数据集)》

整套活体识别系统，在NCNN加速下，可以达到实时的检测效果，基本满足业务的性能需求。下表格给出Mobilenet，Resnet18和MobileVit模型识别的准确率：

模型input sizeTest准确率
Mobilenet112×11299.9661
Resnet18112×11299.9322
MobileVit112×11299.9322

模型训练完成后，需要将Pytorch模型转换为NCNN格式，转换方法请参考如下

考虑到端上硬件处理性能比较弱鸡，项目C++和Android部署仅使用Mobilenet模型。

（1） 将Pytorch模型转换ONNX模型

项目Python源码提供了转换工具，可实现将Pytorch的模型转换为ONNX模型文件，且文件会默认保存在Pytorch的模型文件同一目录下。

python libs/convertor/convert2onnx.py

（2） 将Pytorch模型转换为NCNN模型

你也可以一步到位，使用PNNX工具，直接将Pytorch模型直接转换为NCNN文件

python libs/convertor/convert2ncnn.py

NCNN转换工具说明，请参考：

  • https://github.com/Tencent/ncnn/wiki/use-ncnn-with-pytorch-or-onnx
  •  将ONNX模型转换为NCNN模型，请参考NCNN官方说明：GitHub - Tencent/ncnn: ncnn is a high-performance neural network inference framework optimized for the mobile platform

5. 活体识别Android部署

项目实现了Android版本的活体识别，模型部署框架采用NCNN，支持多线程CPU和GPU加速推理，在普通手机上可以实时处理。

（1） Android部署NCNN模型

模型推理采用NCNN，图像处理和Android核心算法部分均采用C++实现，上层Java通过JNI接口调用C++算法。

如果你想在这个Android Demo部署你自己训练的模型，你可将训练好的Pytorch模型转换ONNX ，再转换成NCNN模型，然后把原始的模型替换成你自己的TNCNN模型即可。

package com.cv.dl.model;import android.graphics.Bitmap;public class Detector {static {System.loadLibrary("cvdl-lib");}/**** 初始化检测模型* @param root：模型文件的根目录，放在assets文件夹下* @param det_model： 检测模型（不含后缀名）* @param rec_model： 识别模型（不含后缀名）* @param model_type：模型类型* @param num_thread：开启线程数* @param useGPU：是否开启GPU进行加速*/public static native void init(String root, String det_model, String rec_model, int model_type, int num_thread, boolean useGPU);/**** 进行检测(用于静态图)* @param bitmap 图像（bitmap），ARGB_8888格式* @param score_thresh：置信度阈值* @param iou_thresh：  IOU阈值* @return*/public static native FrameInfo[] detect(Bitmap bitmap, float score_thresh, float iou_thresh);}

JNI接口

#include <jni.h>
#include <string>
#include <fstream>
#include "src/classifier.h"
#include "src/object_detection.h"
#include "src/Types.h"
#include "debug.h"
#include "android_utils.h"
#include "opencv2/opencv.hpp"
#include "file_utils.h"using namespace dl;
using namespace vision;static ObjectDetection *detector = nullptr;
static Classifier *recognize = nullptr;JNIEXPORT jint JNI_OnLoad(JavaVM *vm, void *reserved) {return JNI_VERSION_1_6;
}JNIEXPORT void JNI_OnUnload(JavaVM *vm, void *reserved) {}extern "C"
JNIEXPORT void JNICALL
Java_com_cv_dl_model_Detector_init(JNIEnv *env,jclass clazz,jstring root,jstring det_model,jstring rec_model,jint model_type,jint num_thread,jboolean use_gpu) {if (detector != nullptr) {delete detector;detector = nullptr;}std::string parent = env->GetStringUTFChars(root, 0);std::string det_model_ = env->GetStringUTFChars(det_model, 0);std::string rec_model_ = env->GetStringUTFChars(rec_model, 0);string det_pam_file = path_joint(parent, det_model_ + ".param");string det_bin_file = path_joint(parent, det_model_ + ".bin");string rec_pam_file = path_joint(parent, rec_model_ + ".param");string rec_bin_file = path_joint(parent, rec_model_ + ".bin");DeviceType device = use_gpu ? GPU : CPU;LOGW("parent         : %s", parent.c_str());LOGW("useGPU         : %d", use_gpu);LOGW("device_type    : %d", device);LOGW("model_type     : %d", model_type);LOGW("num_thread     : %d", num_thread);DetParam det_param = MODEL_TYPE[model_type];//模型参数detector = new ObjectDetection(det_bin_file, det_pam_file, det_param, num_thread, device, -1);RecParam rec_param = REC_MODEL;recognize = new Classifier(rec_bin_file, rec_pam_file, rec_param, num_thread, device);}extern "C"
JNIEXPORT jobjectArray JNICALL
Java_com_cv_dl_model_Detector_detect(JNIEnv *env, jclass clazz, jobject bitmap,jfloat score_thresh, jfloat iou_thresh) {cv::Mat bgr;BitmapToMatrix(env, bitmap, bgr);int src_h = bgr.rows;int src_w = bgr.cols;// 检测区域为整张图片的大小FrameInfo resultInfo;// 开始检测detector->detect(bgr, &resultInfo, score_thresh, iou_thresh);recognize->detect(bgr, &resultInfo);int nums = resultInfo.info.size();LOGW("image is (%d,%d,%d),score_thresh=%3.3f, iou_thresh=%3.3f, object nums: %d\n", bgr.cols,bgr.rows, bgr.channels(), score_thresh, iou_thresh, nums);auto BoxInfo = env->FindClass("com/cv/dl/model/FrameInfo");auto init_id = env->GetMethodID(BoxInfo, "<init>", "()V");auto box_id = env->GetMethodID(BoxInfo, "addBox", "(FFFFIFLjava/lang/String;)V");auto ky_id = env->GetMethodID(BoxInfo, "addKeyPoint", "(FFF)V");auto po_id = env->GetMethodID(BoxInfo, "addPolygon", "(FFFI)V");jobjectArray ret = env->NewObjectArray(resultInfo.info.size(), BoxInfo, nullptr);for (int i = 0; i < nums; ++i) {auto info = resultInfo.info[i];env->PushLocalFrame(1);//jobject obj = env->AllocObject(BoxInfo);jobject obj = env->NewObject(BoxInfo, init_id);// set bbox//LOGW("rect:[%f,%f,%f，%f] label:%d,score:%f \n", info.rect.x,info.rect.y, info.rect.w, info.rect.h, 0, 1.0f);jstring name = env->NewStringUTF(info.name.c_str());env->CallVoidMethod(obj, box_id, info.x1, info.y1, info.x2 - info.x1, info.y2 - info.y1,info.category.label, info.category.score, name);// set keypointfor (const auto &kps: info.points) {//LOGW("point:[%f,%f] score:%f \n", lm.point.x, lm.point.y, lm.score);env->CallVoidMethod(obj, ky_id, (float) kps.x, (float) kps.y, 1.0f);}// set contours// LOGW("jni contours.size=%d\n", info.segInfo.contours.size());for (int group = 0; group < info.segInfo.contours.size(); ++group) {for (const auto &kps: info.segInfo.contours.at(group)) {//LOGW("jni contours group=%d,point:[%f,%f]\n", group, (float)kps.x, (float)kps.y);env->CallVoidMethod(obj, po_id, (float) kps.x, (float) kps.y, 1.0f, group);}}obj = env->PopLocalFrame(obj);env->SetObjectArrayElement(ret, i, obj);}return ret;
}

（2） Android编译异常解决方法

参考解决方法：Android项目常见问题解决办法

6.活体识别效果（Android版本）

活体识别Android APP在普通Android手机上可以达到实时的检测和识别效果，CPU(4线程)约40ms左右，GPU约30ms左右 ，基本满足业务的性能需求。

 【Android APP Demo体验】https://download.csdn.net/download/guyuealian/91133467

     

7. 项目Android源码下载

  【Android APP Demo体验】https://download.csdn.net/download/guyuealian/91133467

如需下载项目源码，请WX关注【AI吃大瓜】，回复【活体识别】即可下载

项目资源内容包含：

  1. 提供轻量化人脸检测模型
  2. 提供轻量化人脸活体识别模型(Mobilenet)，支持眨眼（闭眼）、张嘴、点头（低头）、摇头（侧脸）动作识别，识别准确率可以高达99.9661%左右。
  3. 提供整套人脸活体识别Android Demo项目源码
  4. Android Demo源码可用于二次开发
  5. Android Demo在普通手机CPU/GPU上可以实时检测，CPU约40ms，GPU约30ms左右
  6. Android Demo支持图片、视频和摄像头测试
  7. 所有依赖库都已经配置好，可直接build运行，若运行出现异常，请参考Android项目常见问题解决办法

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/bicheng/87302.shtml
繁体地址，请注明出处：http://hk.pswp.cn/bicheng/87302.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

DAY1-Linux操作系统1

DAY1-Linux操作系统1

文章参考【黑马程序员Python教程_600集Python从入门到精通教程&#xff08;懂中文就能学会&#xff09;】 https://www.bilibili.com/video/BV1ex411x7Em/?p40&share_sourcecopy_web&vd_source263bbee2ddeb835c3ab6d9d3c80e0f7c 一.常用命令简单介绍 使用软件 虚拟机…
阅读更多...
第十二节：Vben Admin 最新 v5.0 (vben5) + Python Flask 快速入门 - 两种权限控制方式（附前后端代码）

第十二节：Vben Admin 最新 v5.0 (vben5) + Python Flask 快速入门 - 两种权限控制方式（附前后端代码）

Vben5 系列文章目录 💻 基础篇 ✅ 第一节：Vben Admin 最新 v5.0 (vben5) + Python Flask 快速入门 ✅ 第二节：Vben Admin 最新 v5.0 (vben5) + Python Flask 快速入门 - Python Flask 后端开发详解(附源码) ✅ 第三节：Vben Admin 最新 v5.0 (vben5) + Python Flask 快速入…
阅读更多...
华为云Flexus+DeepSeek征文 | 华为云 ModelArts Studio 赋能 AI 法务：合同审查与法律文件生成系统

华为云Flexus+DeepSeek征文 | 华为云 ModelArts Studio 赋能 AI 法务：合同审查与法律文件生成系统

一、引言 在法律行业数字化转型的浪潮中&#xff0c;AI 技术正重塑法律服务的流程与效率。本文介绍如何利用华为云 ModelArts Studio 构建一套完整的 AI 法务系统&#xff0c;实现合同审查、法律文件生成、法律咨询与风险识别的智能化解决方案。 二、系统架构设计 &#xff0…
阅读更多...
SQL的底层逻辑解析

SQL的底层逻辑解析

SQL的底层逻辑涉及数据库管理系统(DBMS)如何解析、优化和执行SQL查询&#xff0c;主要包括以下几个层面&#xff1a; ​查询处理流程​ 解析器(Parser)&#xff1a;将SQL语句转换为语法树查询优化器(Optimizer)&#xff1a;基于统计信息和成本模型生成最优执行计划执行引擎(Exe…
阅读更多...
深入剖析AI大模型：PyTorch 技术详解

深入剖析AI大模型：PyTorch 技术详解

今天说一说PyTorch。作为一名python程序员&#xff0c;可能对它了解起来还是很快的。在人工智能浪潮席卷全球的当下&#xff0c;深度学习作为其核心技术&#xff0c;被广泛应用于图像识别、自然语言处理、语音识别等多个领域。而在深度学习的开发框架中&#xff0c;PyTorch 凭借…
阅读更多...
物联网架构：定义、解释和实例

物联网架构：定义、解释和实例

物联网&#xff08;IoT&#xff09;架构是一个复杂且多维度的概念&#xff0c;构成了物联网系统的核心框架。它是勾勒物联网设备、应用程序和技术如何相互交互以实现预期功能的蓝图。物联网架构并非 “一刀切” 的模型&#xff0c;而是会根据相关物联网系统的具体需求而有所不同…
阅读更多...
拿到一台新服务器，怎么跑AI项目

拿到一台新服务器，怎么跑AI项目

公司新采购一台AI服务器&#xff0c;花大本钱装了个A6000显卡&#xff0c;今天来记录下新服务的使用步骤。 1、查看系统。 这台服务器预装了Ubuntu20.04系统。 lsb_release -a 查看下cpu、内存情况 top 看着还行。 再看下硬盘空间 df -h 空间不算小&#xff0c;2T。 2、…
阅读更多...
IO--进程实操

IO--进程实操

1.创建一个进程扇 #include <051head.h> int main(int argc, const char *argv[]) {pid_t pid;for(int i0;i<4;i){pidfork();if(pid-1) //父进程{ERRLOG("fork error..\n");} else if(pid0) //这是子进程{ …
阅读更多...
模型预测控制（MPC）概览

模型预测控制（MPC）概览

模型预测控制&#xff08;Model Predictive Control, MPC&#xff09; 一、理论基础与发展脉络 1. 历史起源 20世纪70年代起源于工业过程控制&#xff08;如化工领域的动态矩阵控制DMC、模型算法控制MAC&#xff09;&#xff0c;由Richalet、Mehra等学者提出&#xff0c;核心…
阅读更多...
Python初体验：从入门到实践

Python初体验：从入门到实践

Python无疑是开启编程世界大门的绝佳钥匙。今天，就让我们一起踏上Python的学习之旅。 #01 编写第一个Python程序 环境搭建好之后，上节已经编写了第一个Python程序。现在就好比，我们已经准备好了厨房和食材，要开始做第一道菜了。启动Jupyter后，在Jupyter中新建一个文件，…
阅读更多...
【数字后端】- 什么是AOI、OAI cell？它们后面数字的含义

【数字后端】- 什么是AOI、OAI cell？它们后面数字的含义

是什么&#xff1f; 不管是在DC综合阶段&#xff0c;还是在PR阶段&#xff0c;尝尝会出现OAI、AOI组合逻辑单元的身影。因为它们可以通过巧妙的串联和并联晶体管非常高效地实现组合逻辑&#xff0c;因此在VLSI设计中非常常用。但是它们也是高pin密度单元&#xff0c;也可能会造…
阅读更多...
MQTTServer服务器根据MQTTClient客户端已订阅的主题推送 分发消息

MQTTServer服务器根据MQTTClient客户端已订阅的主题推送 分发消息

网络读卡器介绍&#xff1a;https://item.taobao.com/item.htm?ftt&id22173428704&spma21dvs.23580594.0.0.52de2c1bgK3bgZ 本示例使用了MQTTNet插件 C# MQTTNETServer 源码 using MQTTnet.Client.Receiving; using MQTTnet.Server; using MQTTnet; using System; u…
阅读更多...
【seismic unix 合并两个su文件】

【seismic unix 合并两个su文件】

Seismic Unix简介 Seismic Unix&#xff08;SU&#xff09;是由科罗拉多矿业学院开发的开源地震数据处理软件包&#xff0c;基于Unix/Linux环境运行。它提供了一系列命令行工具&#xff0c;用于地震数据加载、处理、分析和可视化&#xff0c;支持SEG-Y格式和SU自定义格式。SU广…
阅读更多...
【vmware虚拟机使用】安装vmware workstations17

【vmware虚拟机使用】安装vmware workstations17

安装vmware17 本章学习目标VMware虚拟机简介开始实操下载VMware workstation虚拟机安装虚拟机配置虚拟机网络 总结 本章学习目标 1.安装vmware workstation虚拟机 2.自定义配置虚拟机网络&#xff0c;避免网络冲突 VMware虚拟机简介 ​ VMware的核心是Hypervisor&#xff0…
阅读更多...
QT6 源（147）模型视图架构里的表格窗体 QTableWidget 的范例代码举例，以及其条目 QTableWidgetItem 类型的源代码。

QT6 源（147）模型视图架构里的表格窗体 QTableWidget 的范例代码举例，以及其条目 QTableWidgetItem 类型的源代码。

&#xff08;1&#xff09;先用一个简单的例子&#xff0c;学习一下本类里的成员函数的使用。生成如下图的界面&#xff0c;表格窗体与初始数据&#xff1a; 查看其 ui_widget . h 文件 &#xff0c;里面的将是最标准的表格窗体的使用代码 &#xff1a; #ifndef UI_WIDGET_H #…
阅读更多...
URL时间戳参数深度解析：缓存破坏与前端优化的前世今生

URL时间戳参数深度解析：缓存破坏与前端优化的前世今生

&#x1f50d; URL时间戳参数深度解析&#xff1a;缓存破坏与前端优化的前世今生 在日常的Web开发中&#xff0c;你是否注意到很多接口URL后面都会带有一个时间戳参数&#xff1f;比如 xxx/getMsg?_1751413509056。这个看似简单的参数背后&#xff0c;却隐藏着前端缓存策略、性…
阅读更多...
分布式锁实现方式：基于Redis的分布式锁实现（Spring Boot + Redis）

分布式锁实现方式：基于Redis的分布式锁实现（Spring Boot + Redis）

Redis实现分布式锁的原理 Redis分布式锁基于其单线程执行命令的特性&#xff0c;通过原子操作实现多节点间的互斥访问。下面从原理、实现、问题及优化四个方面详细解析&#xff1a; 1.原子性与互斥性 Redis分布式锁的核心是原子性操作&#xff1a; 获取锁&#xff1a;使用SE…
阅读更多...
linux升级降级内核实验

linux升级降级内核实验

✅实验环境 vmware workstation 17 centos7.9 下载链接&#xff1a; https://vault.centos.org/7.9.2009/isos/x86_64/ ubuntu24.04 下载链接&#xff1a; https://old-releases.ubuntu.com/releases/24.04/ ✅实验目的 为了解决日常环境部署中某些驱动软件依赖特定内…
阅读更多...
华为云开始了“开发者空间 AI Agent 开发”活动

华为云开始了“开发者空间 AI Agent 开发”活动

引言 今天在华为云App上偶然看到一个新活动&#xff1a;Developer Events_Developer Alliance-Huawei Cloud。这个活动要求开发者可结合自己的工作实践&#xff0c;须在华为开发者空间内完成应用构建&#xff0c;应用构建类型和主题为AI Agent应用开发。 AI Agent平台 华为开…
阅读更多...
2025.6.26总结

2025.6.26总结

今天和我做同一业务得同事进行了工作交接&#xff0c;主要给我讲了怎么去执行自动化。包括性能自动化&#xff0c;API自动化&#xff0c;UI自动化&#xff0c;除了UI自动化要写些代码&#xff0c;其他跑得话也就在工具上配个参数&#xff0c;就是个搬砖得活&#xff0c;没太大技…
阅读更多...
最新文章

Copyright @ 2022~2023