Programme de recherche : Etablir des Indicateurs de suivi et d’évaluation de la politique publique de Protection de l’Enfance sur les territoires (IPE)

Recherche initiée en 2023 et menée conjointement par : 

Efis/Cref : Gilles Séraphin, professeur des universités. 

CREAI Bretagne : Bastian Besson, conseiller technique ; Sara Calmanti, directrice et animatrice Indice ; Gabriel Correia, pair-mentor ; Rachelle Le Duff, directrice adjointe.  

CREAI PACA et Corse : Katarzyna Halasa, responsable des études et appuis méthodologiques et pilote Indice ; Jérôme Bégarie, directeur ; Johanne Girard, conseillère technique. 

Contexte : 

Gilles Séraphin mène depuis des années des recherches pour déterminer de façon concertée avec les acteurs des indicateurs permettant de décrire la qualité de l’accompagnement en protection de l’enfance. Ce travail a été engagé au sein de l’Observatoire national de protection de l’enfance (ONPE), entre 2012 et 2017, notamment dans le cadre du dispositif Olinpe mais aussi dans le cadre d’un travail mené avec des conseils départementaux afin d’établir une batterie d’indicateurs « IP » partagés entre les Crip et le Snated/119.

Ce travail s’est poursuivi lorsqu’il a coordonné scientifiquement au Maroc un colloque international portant sur ce sujet, organisé par le ministère de la Solidarité, de la Femme, de la Famille et du Développement social, dans le cadre d’un programme d’appui à la mise en œuvre d’une politique intégrée de protection de l’enfance, dirigé par Katarzyna Halasa et bénéficiant de l’appui de l’Union européenne. Ce colloque intitulé : « Les indicateurs de qualité de l’accompagnement de l’enfant en protection de l’enfance », devait initialement se tenir en présentiel à Tanger, les 2 et 3 novembre 2020 mais, pour des raisons sanitaires (covid19), il s’est tenu en distanciel. Il a donné lieu à la publication d’un ouvrage (SÉRAPHIN Gilles (dir.), La qualité de l’accompagnement en protection de l’enfance. Etablir des indicateurs, Paris, L’Harmattan, Coll. Savoir et Formation, 2022) ayant comme principal objectif « la définition d’indicateurs pertinents pour, d’une part, rendre visibles en les quantifiant les maltraitances dont sont victimes les enfants et, d’autre part, veiller au suivi de l’accompagnement offert aux mineur·es protégé·es ».

Les CREAI Bretagne et PACA et Corse ont engagé un travail portant sur ce même thème des indicateurs dans le cadre de la mise en œuvre de la politique publique et des services en protection de l’enfance. Tous ces acteurs ont alors décidé de réunir leurs expériences, leurs réseaux et leurs objectifs dans le cadre d’un programme de recherche commun, croisant deux axes spécifiques. 

Le programme de recherche « Etablir des Indicateurs de suivi et d’évaluation de la politique publique de Protection de l’Enfance sur les territoires (IPE) »

L’indicateur est la clé de voûte de l’élaboration, de la mise en œuvre et de l’évaluation d’une politique publique. Or, de nombreux travaux – les derniers rapports de l’ONPE (2022) et de l’IGAS (2022) peuvent être indiqués à titre d’exemple – mettent en avant le manque d’indicateurs communs et partagés, ainsi qu’une utilisation sous-optimale des logiciels métiers censés faciliter le suivi des besoins et des réponses apportées sur les territoires en matière de protection de l’enfance.  

Notre programme de recherche vise ainsi à établir avec les principaux acteurs concernés (enfants/jeunes, familles, proches, associations, pouvoirs publics) des indicateurs permettant le le suivi et l’évaluation de la politique publique de protection de l’enfance sur les territoires français. L’objectif est de déterminer des indicateurs qui soient robustes, c’est-à-dire qui soient valides, fiables, compréhensibles, connus, communs, partagés, comparables, inscrits dans la durée, faisables, expérimentés, consolidés et facilement interprétables :  

« Pour être valide, un indicateur doit mesurer l’aspect du phénomène qu’il est censé mesurer, et seulement cet aspect. Il est donc nécessaire d’indiquer précisément ce que signifie l’indicateur : quelle information fournit-il ? auprès de qui/quoi porte cette information (périmètre d’observation) ? comment est obtenue cette information (méthode de construction) ? 

Pour être fiable, un indicateur devrait réduire au minimum les possibilités d’erreur de mesure et devrait produire systématiquement le même résultat dans le temps, indépendamment de l’observateur ou de la personne interrogée.

Pour être compréhensible, il doit être accompagné d’une notice explicative, accessible à toute personne qui doit l’utiliser (produire ou interpréter). 

Pour être connu, un indicateur doit faire l’objet d’une information auprès des personnes et organismes qui doivent l’utiliser, voire d’une communication plus large. 

Pour être commun, il doit être utilisé par tous exactement de la même façon, base de la comparaison ‘’spatiale’’ et ‘’temporelle’’. 

Pour être partagé, il doit être utilisé par toute personne qui œuvre dans la politique publique concernée. 

Pour être comparable, il doit utiliser des unités et des dénominateurs comparables qui permettront de mieux comprendre l’impact par comparaison entre différents groupes de population.

Pour répondre à l’inscription dans la durée, le même indicateur – y compris s’il est parfois imparfait (si on connaît ses limites) – doit être utilisé sur une période assez longue, afin d’établir des comparaisons temporelles. 

Pour être faisable, il doit être possible de mesurer un indicateur à l’aide des outils et des méthodes disponibles.

Pour être expérimenté, avant d’être généralisé, il doit être testé, tant dans sa construction que dans son utilisation (que ce soit pour donner ou pour recevoir une information), par les acteurs-types qui en feront usage ensuite. 

Pour être consolidé, un indicateur doit faire lui-même l’objet d’une évaluation pour tester les éléments ci-avant mentionnés. 

Enfin, dans le cadre de notre sujet, l’indicateur doit également être facilement interprétable par toute personne intéressée par le sujet qui lit la notice explicative.

Il est nécessaire également de penser un indicateur en lien avec les autres, c’est-à-dire la complémentarité. Un seul indicateur n’est pas suffisant pour évaluer par exemple une politique publique. Le risque est d’avoir une vision partielle, voire tronquée. Il est donc nécessaire de penser l’intégralité de cette politique, donc une batterie d’indicateurs complémentaires qui permette de couvrir l’intégralité du champ de celle-ci. » (Séraphin, 2022, pp. 13-14). 

Ce programme de recherche se compose de deux volets complémentaires : le premier, piloté par le CREAI Bretagne, porte sur la contextualisation et analyse des critères identifiés dans le Référentiel d’évaluation de la qualité des établissements et services sociaux et médico-sociaux. En particulier, leur capacité à rendre lisible l’impact de la politique de protection de l’enfance à travers les accompagnements proposés par des établissements et services de protection de l’enfance. Le second, piloté par le CREAI PACA et Corse vise à élaborer des indicateurs permettant d’analyser et de suivre la déclinaison de la politique publique de protection de l’enfance sur les territoires. 

En effet, les services et leur façon de se traduire en pratiques (ou vice versa) devraient théoriquement être la traduction opérationnelle d’une politique publique, quel que soit l’échelon auquel elle est menée (national ou départemental essentiellement en ce qui concerne la protection de l’enfance). A ce titre, il est légitime de se questionner sur l’articulation et le réciproque enrichissement de ces deux approches. Dans un exercice vertueusement itératif, la mesure de leur impact, leur résultat, leur qualité devrait nous informer sur la qualité d’une politique, surtout dès lors que nous nous appuyons sur l’investigation de l’expression du bénéficiaire de ce service, voire de cette mission.

Projet de recherche : « Etablir des Indicateurs de suivi et d’évaluation de la politique publique de Protection de l’Enfance sur les territoires (IPE-Services) » (Pilotage : CREAI Bretagne)

Le nouveau dispositif de la Haute autorité de santé concernant le Référentiel d’évaluation de la qualité des établissements et services sociaux et médico-sociaux pose au centre de ce dispositif la personne concernée et la capacité des services à répondre à ses besoins. Il ne s’agit pas tant d’une évaluation des process mis en place mais bien des résultats effectifs des modalités d’accompagnement sur le parcours.

Ce dispositif mobilise 3 méthodes lors de la visite d’évaluation (l’accompagné traceur, le traceur ciblé et l’audit système) et s’appuie sur les principes suivants : l’expression de la personne, la capacités des services et professionnels à répondre à cette expression du besoin et l’écosystème dans lequel les réponses se développent et s’inscrivent. Il comporte 157 critères dont :

• 139 critères dits « standards » qui correspondent aux attendus de l’évaluation ;
• 18 critères dits « impératifs » qui correspondent à des exigences impliquant la mise en place d’actions spécifiques dans la continuité immédiate de la visite d’évaluation, si elles ne sont pas satisfaites.

Contextualiser ces critères qualité en tant que clés de lecture de l’implémentation et impact de la politique publique protection de l’enfance est l’objectif du volet 1 de ce programme de recherche. 

Projet de recherche : « Etablir des Indicateurs de suivi et d’évaluation de la politique publique de Protection de l’Enfance sur les territoires (IPE-Politique publique) » (Pilotage : CREAI PACA et Corse)

Les dernières évolutions dans le champ de la protection de l’enfance ont repositionné l’Etat au cœur des politiques de prévention et de protection de l’enfance. 

En effet, d’une part la stratégie nationale de prévention et de protection de l’enfance 2020-2022 a posé le cadre des contrats locaux tripartites – Préfet / ARS / département – afin de soutenir les actions concrètes pour assurer une meilleure convergence des réponses aux besoins des territoires en faveur des mineurs en danger. D’autre part, la loi du 7 février 2022 a confirmé l’Etat dans le rôle de « coordination de ses missions avec celles exercées par les collectivités territoriales, notamment les départements, en matière de protection de l’enfance (…) Il [Etat] promeut la coopération entre l’ensemble des administrations et des organismes qui participent à la protection de l’enfance »  (L. 121-10 CASF). 

Ce nouveau cadre de coopération nécessite non seulement d’identifier finement les besoins existant sur les territoires, d’estimer les moyens nécessaires pour apporter des réponses adaptées, mais également d’évaluer d’une part la qualité des services et des prestations déjà existants et, d’autre part, ceux qui manquent et devraient être mis en place.

Pour répondre à ces enjeux, la DREETS PACA a sollicité le CREAI PACA et Corse pour l’étayer dans ses missions en matière de protection de l’enfance. Ainsi, en lien étroit avec les conseils départementaux et tous les acteurs-clés, l’objectif visé est de co-construire des indicateurs pertinents et partagés qui permettent de rendre compte de l’effectivité de la mise en œuvre de la politique de protection de l’enfance en régions PACA et Corse, et de la suivre.