Détection de visages (détection de faces)

Sous Android, il est possible de lancer une détection de visages sur les images qui sont envoyées par la caméra.

Pour cela, il faut que vous ayez locké une caméra et que celle-ci soit en mode preview.

L'ajout de votre code se fera donc au moins en grande partie dans la procédure callback surfaceCreated(SurfaceHolder holder) de votre SurfaceHolder.

Détection possible ?

Première chose à faire, vérifier que votre appareil peut détecter des visages:

camera.getParameters().getMaxNumDetectedFaces();

Listener de détection de visage

Si c'est le cas, positionner un listener sur la caméra:

Vous utiliserez la méthode setFaceDetectionListener()

camera.setFaceDetectionListener(new FaceDetectionListener() { @Override public void onFaceDetection(Face[] faces, Camera camera) { if (faces.length > 0){ Log.d("FaceDetection", "Nb. visages detectés: "+ faces.length); for (int idxVisage=0; idxVisage < faces.length; idxVisage++) { Log.d("FaceDetection", " - Visage " + idxVisage + " en X: " + faces[idxVisage].rect.centerX() + " en Y: " + faces[idxVisage].rect.centerY() ); } } } });

Lorsque le listener se déclenche, celui-ci indique l'instance de camera pour laquelle au moins un visage est détecté ainsi qu'un tableau de type Camera.Face contenant l'ensemble des informations des visages détectés:

public int id identifiant unique par visage.

public Point leftEye Coordonnées de l'oeil gauche (au centre)

public Point rightEye Coordonnées de l'oeil droit (au centre)

public Point mouth Coordonnées de la bouche (au centre)
public Rect rect Coordonnées d'un rectangle entourant le visage pour la caméra. (cf. Rect), voir note ci-après.

public int score Probabilité de détection variant de 1 à 100, 100 pour 100% fiable. Il est recommandé d'oublier les faces dont la valeur de score est inférieure à 50%.

Les coordonnées du rectangle entourant le visage sont les coordonnées dans le repère de la caméra, et non celui de l'écran. Les coordonnées dans ce repère pouvant aller de (-1000, 1000) à (1000, -1000)

Démarrer la détection

Maintenant que tout est prêt, il ne reste plus qu'à demander à lancer le traitement des visages:

camera.startFaceDetection();

Simple non ?

Des erreurs peuvent se produire:

IllegalArgumentException Dans le cas ou la détection de visages n'est pas supportée
RuntimeException Echec dans la méthode ou déjà lancée

Stopper la détection

Vous pouvez bien entendu stopper la détection des visages !

public final void stopFaceDetection ()

Informations complémentaires

setWhiteBalance(String), setFocusAreas(List), and setMeteringAreas(List) seront sans effet, la caméra passant tout en automatique durant la détection.

La détection de visage sera désactivée si vous utilisez l'autoFocus(AutoFocusCallback). Elle reprendra automatiquement à la fin de l'autofocus ou suite à un abandon autofocus (cancelAutoFocus()).

Exemple

Le code est assez important !

But:

Lancer une caméra (arrière car numCamera=0) pour qu'elle détecte des visages (FaceDetectionListener()).

Si au moins un visage est détecté, prise d'une photo de l'intru.

L'affichage du preview sera effectué sur la surfaceView1

De plus, sera affiché en superposé une seconde SurfaceView (surfaceView2) qui affiche des boîtes autour des visages détectés. Cette surface aura un fond transparent.

Avec le gros problème de conversion des coordonnées provenant de la caméra avec celui qu'utilise la SurfaceView1 (pour le preview) et 2 (pour afficher les boîtes. Conversion via la classe imbriquée FactoryBoxVisage) en prenant en compte la position de l'appareil entre les mains de l'utilisateur.

L'affichage des boîtes autour des visages se fait dans un thread pouvant dessiner sur la SurfaceView 2

D'autres méthodes pour les caméras sont mises en oeuvre ici.

package fr.free.supertos; import java.io.IOException; import java.util.ArrayList; import java.util.List; import android.app.Activity; import android.graphics.Canvas; import android.graphics.Color; import android.graphics.Paint; import android.graphics.Paint.Style; import android.graphics.PixelFormat; import android.graphics.Rect; import android.hardware.Camera; import android.hardware.Camera.CameraInfo; import android.hardware.Camera.Face; import android.hardware.Camera.FaceDetectionListener; import android.hardware.Camera.Parameters; import android.hardware.Camera.PictureCallback; import android.hardware.Camera.ShutterCallback; import android.os.Build; import android.os.Bundle; import android.util.Log; import android.view.Surface; import android.view.SurfaceHolder; import android.view.SurfaceView; import android.view.View; public class MainActivity extends Activity implements SurfaceHolder.Callback, Runnable { private Camera camera=null; // Instance Camera private int numCamera=0; //0 appareil arrière, 1 frontal private boolean execute; // Thread en cours de fonctionnement private Thread renderThread; protected int seq=0; // Séquenceur pour sauver dans des fichiers protected boolean takePicture=false; // A vrai, une photo est déjà en cours d'enregistrement, ne pas en prendre une autre ! protected SurfaceHolder surfaceHolder; protected List<Rect> listBoxVisage=new ArrayList<Rect>(); // Gestion de l'axe suivant la verticale, arrière, ne rien faire, frontal, il faut supprimer // des effets mirois public final static int INVERSERY=1; public final static int NORMALY=0; int axeY; // Résolution de la surface public final static int RESOLUTIONX=400; public final static int RESOLUTIONY=RESOLUTIONX; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); SurfaceView surface1 = (SurfaceView)findViewById(R.id.surfaceView1); SurfaceHolder holder= surface1.getHolder(); holder.addCallback(this); SurfaceView surface2 = (SurfaceView)findViewById(R.id.surfaceView2); surfaceHolder= surface2.getHolder(); surface2.setZOrderOnTop(true); // Passer la surface en avant plan surfaceHolder.setFormat(PixelFormat.TRANSLUCENT); // Si version d'android avant HONEYCOMB, il faut faire ce qui suit. // Sinon rien à faire, c'est fait automatiquement if(Build.VERSION.SDK_INT < Build.VERSION_CODES.HONEYCOMB) holder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS); // Taille holder.setFixedSize(RESOLUTIONX, RESOLUTIONY); surfaceHolder.setFixedSize(RESOLUTIONX, RESOLUTIONY); surface1.setVisibility (View.VISIBLE); surface2.setVisibility (View.VISIBLE); } @Override public void surfaceCreated(SurfaceHolder holder) { try { camera.setPreviewDisplay(holder); camera.startPreview(); setCameraDisplayOrientation (this, numCamera, camera); final int rotation = this.getWindowManager().getDefaultDisplay().getRotation(); axeY=getOrientationAxeY(this, numCamera, camera); int facesDetectable = camera.getParameters().getMaxNumDetectedFaces(); Log.d ("Test", "Nombre maxi de faces détectables:"+facesDetectable); if (facesDetectable>0) { camera.setFaceDetectionListener(new FaceDetectionListener() { @Override public void onFaceDetection(Face[] faces, Camera camera) { if (faces.length > 0){ listBoxVisage.clear(); // On vire les précédents enregistrements de coordonnées for (int i=0; i<faces.length; i++) { if (faces[i].score>80) // Il faut au moins 80% de fiabilité pour prendre en compte ce visage { // Affichage des coordonnées centrales Log.d("FaceDetection", "Nbr. faces detectées: "+ faces.length + " Face 1 Localisation X: " + faces[0].rect.centerX() + " Y: " + faces[0].rect.centerY() ); // Des coordonnées de la boîte entre les yeux et la bouche Log.d("FaceDetection", "x1=" + faces[0].rect.left + " y1="+faces[0].rect.top+ " x2=" + faces[0].rect.right + " y2="+faces[0].rect.bottom); // Construire une boîte à visage compatible avec les coordonnées de la SurfaceView Rect boxVisage=FactoryBoxVisage.boxVisage (faces[i], axeY, rotation); // Mémorisation des coordonnées listBoxVisage.add(boxVisage); if (!takePicture) { Log.d("FaceDetection", "Prendre une photo !"); takePicture=true; takePicture(); } else { Log.d("FaceDetection", "Prise de photo impossible, programme occupé !"); } } } } } }); camera.startFaceDetection(); } } catch (IOException e) { Log.d("TST", "IO Exception", e); } } @Override public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) { // TODO Auto-generated method stub } @Override public void surfaceDestroyed(SurfaceHolder holder) { camera.release(); camera=null; Log.d ("TST", "Destruction de la surface"); } @Override protected void onPause() { super.onPause(); execute = false; renderThread.interrupt(); camera.stopFaceDetection(); camera.stopPreview(); Log.d ("TST", "Pause de la surface"); } @Override protected void onResume() { super.onResume(); // Lancement d'un thread qui va gérer l'affichage de boites autour des visages détectés execute = true; renderThread = new Thread(this); renderThread.start(); Log.d ("TST", "Résume de la surface"); // On affecte la caméra à l'application if (camera == null) camera = Camera.open(numCamera); else { try { // Ou si pb. on se reconnecte camera.reconnect(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } Parameters param = camera.getParameters(); // Initialisation de la qualité du jpeg param.setJpegQuality (100); camera.setParameters(param); CameraInfo cameraInfo=new CameraInfo(); Camera.getCameraInfo (numCamera, cameraInfo); // Désactivation du son lors de la "fermeture de l'obturateur" if (cameraInfo.canDisableShutterSound) { camera.enableShutterSound (false); Log.d ("Test", "Désactivation du son !"); } else { Log.d ("Test", "Désactivation du son impossible !"); } } public static void setCameraDisplayOrientation(Activity activity, int cameraId, android.hardware.Camera camera) { android.hardware.Camera.CameraInfo info = new android.hardware.Camera.CameraInfo(); android.hardware.Camera.getCameraInfo(cameraId, info); // Récupération de l'orientation de l'écran int rotationEcran = activity.getWindowManager().getDefaultDisplay().getRotation(); // Et positionner ainsi le nombre de degrés de rotation pour la caméra int degrees = 0; switch (rotationEcran) { case Surface.ROTATION_0: degrees = 0; break; case Surface.ROTATION_90: degrees = 90; break; case Surface.ROTATION_180: degrees = 180; break; case Surface.ROTATION_270: degrees = 270; break; } int rotationAffichage; if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) { // Cas de la caméra frontale, il y a un effet mirroir à compenser ! rotationAffichage = (info.orientation + degrees) % 360; rotationAffichage = (360 - rotationAffichage) % 360; Log.d ("SetDisplayOrientation", "Compensation effet miroir activée."); } else { // back-facing // Correction de la rotation rotationAffichage = (info.orientation - degrees + 360) % 360; } Log.d ("SetDisplayOrientation", "°="+degrees+", rotation:"+ rotationAffichage); camera.setDisplayOrientation(rotationAffichage); } public static int getOrientationAxeY(Activity activity, int cameraId, android.hardware.Camera camera) { int y; android.hardware.Camera.CameraInfo info = new android.hardware.Camera.CameraInfo(); android.hardware.Camera.getCameraInfo(cameraId, info); if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) { // Cas de la caméra frontale, il y a un effet mirroir à compenser ! y = INVERSERY; } else { y = NORMALY; } return y; } ShutterCallback shutterCallback = new ShutterCallback() { public void onShutter() { // TODO Faire le travail lorsque l'obturateur est fermé. } }; PictureCallback rawCallback = new PictureCallback() { public void onPictureTaken(byte[] data, Camera camera) { // TODO image RAW. } }; PictureCallback jpegCallback = new PictureCallback() { public void onPictureTaken(byte[] data, Camera camera) { // Sauver l'image JPEG /* FileOutputStream outStream = null; try { String path = Environment.getExternalStorageDirectory() + "/test" + seq + ".jpg"; Log.d("test", path); seq++; outStream = new FileOutputStream(path); outStream.write(data); outStream.close(); } catch (FileNotFoundException e) { Log.e("test", "File Note Found", e); } catch (IOException e) { Log.e("test", "IO Exception", e); }*/ takePicture=false; camera.startPreview(); camera.startFaceDetection(); } }; private void takePicture() { Log.d ("test", "Prise de photo !"); camera.takePicture(shutterCallback, rawCallback, jpegCallback); Log.d ("test", "Photo prise !"); } @Override // Code du thread qui va dessiner les box autours des visages détectés par la caméra public void run() { while (execute) { if (surfaceHolder.getSurface().isValid()) { Canvas canvas = surfaceHolder.lockCanvas(); Paint paint = new Paint(); paint.setStyle(Style.STROKE); // Boite vide, on veut voir les visages et mettre à cadre autour ! canvas.drawColor( 0, android.graphics.PorterDuff.Mode.CLEAR ); paint.setColor(Color.RED); // Cadre en rouge // Dessinons les boîtes autours des visages for (Rect boxVisage:listBoxVisage) { Log.d("Thread", "x1:"+boxVisage.left+ " y1:"+boxVisage.top + " x2:"+boxVisage.right + " y2:"+boxVisage.bottom); canvas.drawRect(boxVisage, paint); } surfaceHolder.unlockCanvasAndPost(canvas); // Ce qui provoquera l'affichage try { Thread.sleep(100); // On dort un peu, le dessin d'une boîte, c'est pas des plus urgents ! } catch (InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); Thread.currentThread().interrupt(); // Marque le thread comme interrompu execute =false; return; } } } } public static class FactoryBoxVisage { public static Rect boxVisage(Face face, int axeY, int rotation) { Rect boxVisage=new Rect(); // L'orgine de l'axe est au milieu de la zone de prise de la photo (-1000,1000) (1000, -1000) // dans une caméra, Or l'axe se trouve // rn haut à gauche sur la surface2 (0, RESOLUTIONx) (0, RESOLUTIONY) // Il faut donc déplacer le repère origine de la caméra pour être similaire à celui de la surface // De plus les Y sont inversés boxVisage.top=2000-((face.rect.top)+1000); boxVisage.bottom=2000-((face.rect.bottom)+1000); // Mais dans le même sens en X boxVisage.left=((face.rect.left)+1000); boxVisage.right=((face.rect.right)+1000); int temp; Log.d("FaceDetection", "Rotation:"+rotation); switch (rotation) { case Surface.ROTATION_0: // Position normal de l'appareil (vue portrait) // Il faut faire une rotation des coordonnées reçues de 90° // Dans le sens anti-horaire temp=boxVisage.top; boxVisage.top=boxVisage.right; boxVisage.right=boxVisage.bottom; boxVisage.bottom=boxVisage.left; boxVisage.left=temp; // Seul l'axe des X peut être inversé si appareil frontal // Pour supprimer l'effet miroir qui va se reproduire sur le cadre if (axeY==INVERSERY) // Il y a un effet miroir à prendre en compte { boxVisage.top=2000-boxVisage.top; boxVisage.bottom=2000-boxVisage.bottom; } break; case Surface.ROTATION_90: // Position paysage de l'appareil (vue landscape, le bouton // se trouve sur la gauche) // Il n' a pas de rotations à faire if (axeY==INVERSERY) // Il y a un effet miroir à prendre en compte sur les deux axes { boxVisage.bottom=2000-boxVisage.bottom; boxVisage.top=2000-boxVisage.top; boxVisage.left=2000-boxVisage.left; boxVisage.right=2000-boxVisage.right; } else { boxVisage.bottom=2000-boxVisage.bottom; boxVisage.top=2000-boxVisage.top; } break; /* case Surface.ROTATION_180: * // Généralement inexistant break;*/ case Surface.ROTATION_270: // Position paysage de l'appareil (vue landscape, le bouton // se trouve sur la droite) // Il n' a pas de rotations à faire break; } // Puis ramener à l'échelle de la surface boxVisage.top=boxVisage.top/(2000/RESOLUTIONY); boxVisage.bottom=boxVisage.bottom/(2000/RESOLUTIONY); boxVisage.left=boxVisage.left/(2000/RESOLUTIONX); boxVisage.right=boxVisage.right/(2000/RESOLUTIONX); return boxVisage; } } }

Et le layout nommé activity_main.xml

<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" android:id="@+id/container" android:layout_width="match_parent" android:layout_height="match_parent" tools:context="fr.free.supertos.MainActivity" android:keepScreenOn="true" > <TextView android:id="@+id/textView1" android:layout_width="wrap_content" android:layout_height="wrap_content" android:layout_alignParentLeft="true" android:layout_alignParentTop="true" android:layout_marginLeft="59dp" android:layout_marginTop="22dp" android:text="Test caméra !" /> <SurfaceView android:id="@+id/surfaceView2" android:layout_width="wrap_content" android:layout_height="wrap_content" android:layout_alignParentLeft="true" android:layout_below="@+id/textView1" android:layout_marginLeft="25dp" android:layout_marginTop="23dp" /> <SurfaceView android:id="@+id/surfaceView1" android:layout_width="wrap_content" android:layout_height="wrap_content" android:layout_alignParentLeft="true" android:layout_below="@+id/textView1" android:layout_marginLeft="25dp" android:layout_marginTop="23dp" /> </RelativeLayout>

Sera défini 2 SurfaceViews:

• La première pour la caméra, elle affichera dedans son image preview.
• La seconde, pour nous, superposée sur la première et en mode transparent pour afficher du texte, des boîtes ou autres informations. Ici, des boites autour des visages

Je fait exprès de dessiner la SurfaceView destinée à la caméra en dernier, alors qu'elle devrait être la première à être dessinée pour se retrouver sous celle qui nous est destinée.

C'est en effet par code que l'ordre d'affichage sera traité. Ce que je pense être préférable, cela évitera des erreurs suite à manipulation de ce fichier activity_main.xml via le "Graphical Layout" qui pourrait justement désordonner ces SurfaceViews !

Et strings.xml (très secondaire)

<?xml version="1.0" encoding="utf-8"?> <resources> <string name="app_name">tstcamera</string> <string name="hello_world">Hello world!</string> <string name="action_settings">Settings</string> </resources>

La sauvegarde est très basique ici (et mis en commentaire). De plus, des informations exif pourraient être ajoutées...

Pour finir avec le fichier AndroidManifest.xml

<?xml version="1.0" encoding="utf-8"?> <manifest xmlns:android="http://schemas.android.com/apk/res/android" package="fr.free.supertos" android:versionCode="1" android:versionName="1.0" > <uses-sdk android:minSdkVersion="8" android:targetSdkVersion="19" /> <uses-permission android:name="android.permission.CAMERA"/> <uses-feature android:name="android.hardware.camera.autofocus" /> <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/> <application android:allowBackup="true" android:icon="@drawable/ic_launcher" android:label="@string/app_name" android:theme="@style/AppTheme" > <activity android:name="fr.free.supertos.MainActivity" android:label="@string/app_name" > <ntent-filter> <action android:name="android.intent.action.MAIN" /> <category android:name="android.intent.category.LAUNCHER" /> </intent-filter> </activity> </application> </manifest>