Cadre de référence
CADRE DE RÉFÉRENCE
pour la collecte des données et l'évaluation des impacts sociaux de la culture
UNE DÉMARCHE EN SIX ÉTAPES
Afin de guider votre démarche d’évaluation d’impacts sociaux, nous vous proposons six étapes clés, allant de la conceptualisation à l’appropriation des résultats obtenus. Chaque étape joue un rôle fondamental dans la cohérence globale de l’évaluation et la pertinence de ses questionnements. En respecter l’ordre favorise une progression logique, un ancrage dans la réalité du projet évalué et la production de résultats probants qui serviront vos objectifs.
A) Définir les objectifs
Pour amorcer une démarche d’évaluation d’impact, il est important de bien cerner les enjeux et les motivations qui vous y amènent et qui orienteront la collecte et l’analyse de vos données.
Ces objectifs correspondent généralement à deux grands ensembles:
- On peut vouloir démontrer ou rendre compte. C’est le cas lorsqu’il s’agit de pérenniser un programme, de démontrer la valeur ou l’utilité sociale d’une activité, de mobiliser un financement ou encore d’accroître la reconnaissance ou la valorisation d’un projet.
- On peut chercher à améliorer ou à construire, par exemple lorsqu’on a besoin d’identifier des pistes d’action, d’adapter des activités et d’ajuster des pratiques, ou encore d’orienter des politiques culturelles et de développer des stratégies. Vous pouvez aussi vouloir mieux comprendre les besoins, mieux rejoindre ou inclure les communautés et maximiser la contribution positive d’un projet à la société.
Peu importe l’objectif qu’on se donne, la démarche devra être abordée comme une quête de connaissance sur l’état réel des choses. Elle ne devrait pas être guidée par le besoin d’un résultat favorable.
B) Délimiter le sujet
Qu’il s’agisse d’une activité, d’un projet ou d’un programme, il est important d’identifier ce qu’on veut évaluer et de déterminer le public ciblé par la démarche, et sur lequel vous aimeriez obtenir plus d’informations. Celui-ci peut, par exemple, comporter des groupes précis d’usagers ou être représentatif de la population d’un quartier.
C) Cerner les impacts
Il faut identifier les impacts précis que vous désirez connaître à travers votre démarche d’évaluation. Il s’agit ici de faire des hypothèses d’impacts en fonction des objectifs globaux de l’évaluation, en vous basant sur la logique d’intention du projet à évaluer.
Pour rendre la démarche d’évaluation plus profitable, mieux vaut limiter le nombre d’impacts examinés: vous devrez explorer chacun d’eux sous différents angles afin d’en approfondir la compréhension. En augmentant leur nombre, vous multipliez le temps et le coût de votre analyse. Choisissez donc le ou les impacts les plus significatifs pour vous et vos parties prenantes (vous pouvez vous inspirer de notre liste).
Cette étape consiste à cerner, pour chaque impact que vous venez d’identifier, le type d’information pouvant en confirmer ou en infirmer la présence. Vous devez trouver les indicateurs d’impacts, c’est-à-dire des mesures ou des unités spécifiques permettant de quantifier ou de qualifier les effets des projets culturels.
Notez que plusieurs indicateurs sont généralement nécessaires afin de saisir les différentes dimensions d’un seul impact. Ces indicateurs peuvent porter sur des faits, des opinions, des intentions, des comportements et des attitudes. Ils doivent être précis, mesurables et pertinents par rapport aux objectifs que vous vous êtes fixés. Il n’existe pas de liste prédéfinie et exhaustive d’indicateurs; il vous appartient d’identifier ceux dont vous aurez besoin à partir des particularités de votre terrain d’évaluation.
En plus des indicateurs se rapportant directement aux impacts, vous devrez peut-être identifier des indicateurs rattachés au contexte, aux caractéristiques des personnes qui répondront à vos questions et à l’activité visée. Si vous désirez, par exemple, comparer les données provenant de différents groupes sociaux ou cerner les caractéristiques des usagers d’un projet, vous devrez peut-être connaître le pourcentage de représentation de ces groupes dans la population en général ainsi que le profil de vos participants (groupe d’âge, occupation, genre, etc.). Des indicateurs portant sur l’activité que vous désirez évaluer (ex.: nombre, comportement et niveau d’engagement des participantes et participants durant l’activité) peuvent aussi s’avérer essentiels pour mieux dimensionner et expliquer ses effets.
A) Passer en revue les données existantes
Avant de construire de nouveaux outils de collecte de données, vous devez repérer les sources de données déjà à votre disposition.
Une première source de données existantes est celle des outils et bases de données développés par votre organisation pour faire le suivi de vos activités: listes de membres, données de billetterie, fiches d’inscription, rapports d’activités, etc. Ces données peuvent vous apporter des informations portant, par exemple, sur le taux de participation ou sur le profil des publics.
Vous pouvez aussi consulter les bases de données ouvertes spécialisées et complémentaires, comme celles de Statistique Canada ou de Données Québec, les statistiques culturelles des municipalités ou d’autres bases de connaissances, par exemple dans le domaine de la santé, du tourisme, de la mobilité, etc. Ces sources comportent des données ouvertes mises à profit sans restriction qui pourraient vous renseigner sur les caractéristiques de votre population cible ou sur les tendances socioéconomiques dans un territoire donné.
Vous pouvez également avoir recours à des bases de données collaboratives, telles que Wikidata, ou à des outils comme OpenStreetMap, qui facilitent l’analyse et la visualisation spatiale. Consultez aussi les données du secteur culturel accessibles dans le site de Culturepédia.
B) Construire de nouveaux outils
Si vous n’avez pas trouvé les informations dont vous avez besoin, vous devez élaborer un outil qui permettra de produire de nouvelles données. Les outils les plus fréquemment utilisés pour évaluer les impacts sociaux de projets culturels sont le sondage en ligne, le questionnaire papier ou la grille d’entretien.
La première étape pour concevoir un tel outil est de déterminer, en fonction des indicateurs sélectionnés, le type d’outil et de questions pouvant vous donner accès aux informations recherchées.
Certains outils ou questions considérés quantitatifs produisent des informations mesurables en nombre ou en quantité. Ils permettent une analyse statistique et des comparaisons objectives. Dans un questionnaire, les données quantitatives sont produites à travers des questions fermées (auxquelles on répond, par exemple, par oui ou non), des questions à échelle (qui permettent de mesurer une opinion ou un degré d’accord, d’efficacité, de fréquence ou de satisfaction) ou encore des questions offrant des options de réponses prédéfinies. Vous pouvez aussi avoir recours à des questions semi-fermées, dont le choix de réponse comprend une catégorie «autre».
D’autres méthodes sont considérées qualitatives parce qu’elles permettent de collecter des informations descriptives qui détaillent des perceptions, des opinions, des expériences ou des comportements et donnent accès à des perspectives nuancées. Parmi celles-ci, on retrouve l’observation directe, l’entretien individuel ou de groupe. Il peut s’agir également d’un questionnaire comportant des questions ouvertes. Les données produites par ce genre d’outils nécessitent une analyse interprétative.
A) Collecter les données
Pour collecter des informations auprès de vos publics, la première étape consiste à rejoindre les gens qui les constituent. Il s’agit ici de trouver la façon la plus efficace de contacter vos participantes et participants et de les inviter à répondre à vos questions. Pour ce faire, explorez les canaux et les méthodes de recrutement qui maximiseront l’atteinte de votre population cible. Vous devez également déterminer dans quel format vos données seront recueillies, en tenant compte des caractéristiques des participants, du contexte de votre évaluation et de vos ressources.
Déterminez la taille de l’échantillon en fonction du «quoi» et de vos ressources. Le nombre de personnes à atteindre variera en fonction de ce que vous voulez évaluer. Par exemple, s’il s’agit d’une activité réunissant une quinzaine de personnes, on peut viser la participation de l’ensemble de celles-ci. Toutefois, dans le cas d’une programmation annuelle, collecter les réponses de tout le monde est quasi impossible. Il faudra alors définir un échantillon, soit une partie des participants. Toute enquête n’est pas forcément représentative d’une plus large population, cela n’enlève en rien à son intérêt! Un sondage représentatif nécessite plusieurs éléments: bien connaître sa population cible, définir les marges d’erreur, l’intervalle de confiance et une stratégie de recrutement non-nominative. Dans tous les cas, vous pouvez recruter les participants de manière aléatoire ou réaliser un échantillonnage stratifié, en assurant un équilibre selon les caractéristiques de votre public (âge, milieu de vie, communauté, etc.). Pour recruter vos participants dans le cadre d’un sondage non représentatif, voici quelques exemples de prises de contact possibles:
– Invitation par courriel à participer à un sondage en ligne, à partir de vos listes de diffusion ou celles de vos partenaires;
– Distribution de formulaires papier sur les lieux d’une activité, relayés par des intervenants de différents milieux;
– Enquête effectuée oralement, en face à face, sur les lieux fréquentés par votre population cible, ou par téléphone avec l’appui d’une personne chargée de remplir le questionnaire.
B) Protéger les données
Cette étape concerne les données brutes que vous aurez obtenues lors de la collecte, c’est-à-dire celles qui ne sont pas traitées, comprenant par exemple les formulaires de consentement, les réponses aux questionnaires papier ou numériques, les fichiers de traitement préanalyse. Comme ces données contiennent souvent des informations personnelles qui peuvent être sensibles, vous avez l’obligation d’en assurer la confidentialité.
Vous devez planifier leur conservation en établissant des procédures permettant de prévenir tout accès non autorisé ainsi que des mesures en cas de fuite des données. Il est conseillé de transférer ces données vers des archives numériques sécurisées avec des copies de sauvegarde. Il faut également déterminer la durée de conservation de ces données, en fonction des besoins du projet, du consentement que vous avez obtenu de vos utilisateur.trices et de leur utilité sociale. Vous devrez finalement prévoir une manière de les détruire de façon sécurisée à la fin de cette échéance.
Conformément à la Loi 25, vous devez identifier une personne clé de votre organisation qui sera responsable de la sécurité et de la confidentialité des données personnelles, et diffuser son adresse courriel sur votre site Web.
C) Anonymiser les données
Afin de respecter la Loi 25, toutes les informations personnelles doivent être retirées des jeux de données avant leur partage. Cette bonne pratique vise à obtenir des jeux de données exempts de données sensibles, permettant par la suite la production de résultats d’analyse anonymisés. En anonymisant ses données, on s’assure que les résultats finaux ne contiennent aucune information permettant l’identification des participants, à un sondage, par exemple.
Une fois la collecte de données complétée et expurgée de toute donnée personnelle, vous pouvez remettre une copie de votre jeu de données à Culturepédia, qui prendra la relève. La fiducie mettra à profit l’expertise de ses partenaires pour organiser et conserver vos données, les transformer en information riche permettant de mieux cerner les impacts sociaux de la culture ciblés à la première étape et en fonction de vos objectifs, mais aussi pour les rendre accessibles à d’autres utilisateurs.
A) Signer une entente
Lorsqu’une contributrice ou un contributeur est prêt à verser un jeu de données dans l’infrastructure de Culturepédia, on l’invite à officialiser sa participation par la signature d’une entente. Celle-ci stipule que le jeu de données versé servira exclusivement aux fins de la conduite de l’affectation de Culturepédia et ne pourra en aucun cas servir à la réalisation de bénéfices ou à l’exploitation d’une entreprise.
En signant cette entente, chaque contributeur déclare détenir la propriété des droits sur le jeu de données et accepte de le céder à la Culturepédia pour la durée de l’existence de la fiducie. Le contributeur se réserve toutefois le droit d’utiliser une copie de son jeu de données aux fins de la conduite des activités propres et selon ses règles de gouvernance.
Les droits patrimoniaux du jeu de données que les contributeurs consentent à céder sont:
– Droit de reproduire la base de données contractuelle, en tout ou partie, sur tout support, quelle qu’en soit la nature et notamment tout support numérique, actuel ou futur, par tout procédé; ledit droit de reproduction comporte notamment la faculté pour le cessionnaire d’intégrer ladite base de données à toute autre base de données et de la valoriser sous cette nouvelle forme;
– Droit de traduire en tout langage, y compris informatique, d’adapter, d’arranger ou de transformer la base de données contractuelle;
– Droit d’accorder à des tiers toute licence d’exploitation sur la base de données cédées;
– Droit de communiquer au public la base de données contractuelle, en tout ou partie, par tout procédé.
En contrepartie, Culturepédia s’engage à intégrer le jeu de données au sein de son patrimoine et à faire preuve de la plus grande prudence quant à la gestion de celui-là.
Une fois l’entente signée, le jeu de données peut être transféré physiquement à Culturepédia, dans un format partageable et modifiable, par exemple un document .csv ou une feuille Excel. Les données sont ensuite stockées dans un espace tiers virtuel, sécurisé et souverain, en l’occurrence au centre d’hébergement en nuage OVH Canada, situé à Beauharnois, Québec. Ce «sas» permet à l’équipe de Culturepédia de s’assurer que les jeux de données versés sont bien exempts de données personnelles. Cette vérification faite, les données sont ensuite analysées en vue de leur traitement et de leur versement dans l’infrastructure de données de Culturepédia.
B) Assurer la gouvernance
Une fois les données confiées à Culturepédia, leur gouvernance revient aux fiduciaires. Personnellement responsables des données, ces derniers doivent s’assurer qu’elles sont traitées de façon éthique et en conformité avec l’affectation (ou vocation) de Culturepédia.
L’engagement des fiduciaires est encadré par l’Acte constitutif de Culturepédia. Notarié le 25 juin 2024 pour une période de deux ans, ce document légal énonce les principes, règles et normes visant à encadrer et orienter les actions et décisions des fiduciaires, selon des principes de gouvernance éthique.
Les fiduciaires peuvent prendre conseil auprès d’un comité consultatif dont les membres ne disposent cependant d’aucun droit de vote. Dans le cadre de leurs fonctions, les membres de ce comité sont tenus de s’engager formellement à respecter la politique de confidentialité et de gestion des renseignements personnels édictée par Culturepédia, ainsi que son code de déontologie.
Les fiduciaires confient la gestion des données versées dans Culturepédia à une équipe de partenaires de réalisation qui s’engagent à faire usage des données qui leur sont confiées dans le respect de la vocation, de l’Acte constitutif et du Cadre de gestion de Culturepédia.
Le cadre de gouvernance des données dans Culturepédia sous-tend les décisions prises et les actions posées par tous les intervenants, qu’il s’agisse des fiduciaires, des membres du comité consultatif, des partenaires de réalisation ou des contributeurs de données.
Chaque individu appelé à travailler à l’élaboration et à l’évolution de Culturepédia est tenu de signer une entente contractuelle pour la durée de vie de la fiducie. Ce faisant, il convient que tous les matériaux et éléments d’information, y compris les données, restent la propriété intellectuelle de Culturepédia, et s’engage à appliquer les plus hauts standards et normes en matière de gestion des données.
Actuellement, le coffre à outils légal de Culturepédia inclut une politique de confidentialité et de gestion des données personnelles. L’élaboration d’un plan complet de gestion des données est en cours. Ce plan se penchera sur les données descriptives, d’usage et faisant l’objet de droit d’auteur ainsi que sur les renseignements personnels.
C) Préparer et analyser
Avant d’être analysées, les données doivent être préparées (on dit aussi «nettoyées»). Cette étape consiste à les uniformiser: corriger les erreurs de saisie, supprimer les réponses dupliquées, vérifier la cohérence des réponses, s’assurer qu’un terme utilisé plusieurs fois est écrit de la même manière partout, etc.
L’objectif est que la version finale d’un jeu de données soit structuré, cohérent et «propre», dans un format qui pourra être partagé. On pense ici à un format .CSV (ou feuille Excel) ou à une base de données accessible qui pourra rassembler les données nettoyées et prêtes à l’analyse.
L’analyse des données se fait en dialogue avec les organismes qui acceptent de céder des jeux de données à Culturepédia.
L’exploration des données, aussi appelée «fouille de données» ou data mining, est un processus qui consiste à les examiner pour y découvrir des modèles, des tendances et des relations cachées. C’est comme chercher des trésors dans une montagne d’informations.
Pour transformer vos données en informations significatives, Culturepédia utilise des techniques d’analyse rattachées aux outils déployés, tout en gardant en tête les objectifs de l’évaluation et des impacts qu’on cherche à identifier.
Pour les questions fermées, Culturepédia transforme les choix de réponses en valeurs numériques, puis utilise des statistiques pour les «faire parler» et les croiser avec d’autres jeux de données internes, ou de données ouvertes.
Les réponses aux questions ouvertes seront quant à elles regroupées en catégories significatives, desquelles émergeront les thèmes ou les idées fréquemment mentionnés. Culturepédia pourra ensuite sélectionner les citations qui illustrent bien les opinions ou les sentiments des participants.
Pour tirer le meilleur parti de vos données, Culturepédia les croisera entre elles et comparera les réponses de différents groupes de participants.
D) Transformer en format sémantique
À cette étape, les données sont sémantisées, c’est-à-dire enrichies avec des informations supplémentaires qui les rendent plus compréhensibles et découvrables. Il s’agit par exemple d’ajouter des descriptions formelles qui permettent de replacer ces données dans un contexte spécifique, en utilisant un vocabulaire standard facilement identifiable par un système automatisé qui facilitera leur interopérabilité.
En vue de leur stockage, les données doivent également être structurées pour être facilement accessibles et compréhensibles, à travers leur classification dans des dossiers et sous-dossiers portant des noms descriptifs. Un archivage cohérent facilitera la réutilisation future de ces données. Culturepédia s’assurera que les informations qui les accompagnent établissent clairement leur provenance ainsi que les conditions de leur réutilisation.
E) Visualiser
Une fois toutes les étapes du cycle des données complétées, les résultats d’analyse font en dernier lieu l’objet de représentations visuelles afin de faciliter la compréhension des enjeux abordés et de permettre une diffusion au grand public ou à des auditoires restreints. Jusqu’à maintenant, trois types de visualisation ont été utilisés dans Culturepédia pour représenter des résultats d’analyse à la suite des collectes et des croisements de données: une carte de chaleur dynamique, des graphiques interactifs et des graphiques statiques.
Les données ne font pas toujours l’objet de représentations visuelles publiques. Le type et le nombre de visualisations à produire et à diffuser sont décidés de concert par les contributeurs de données et Culturepédia.
Ces représentations visuelles constituent une nouvelle propriété intellectuelle, qui sera rendue publique. La société civile et l’écosystème culturel pourront s’en inspirer et les utiliser dans le respect de l’affectation de Culturepédia, mais pas les commercialiser.
Dans le cas d’espèce ou cette nouvelle propriété intellectuelle est créée en tout ou partie grâce aux données transmises par un contributeur ou une contributrice, cette personne ou organisation s’en verra octroyer les crédits conformément aux termes de la licence Creative Commons 4.0 CC BY-NC-SA.
A) Interpréter
Afin d’enrichir la lecture de ces résultats en fonction des objectifs qui ont guidé votre démarche, et en lien avec les hypothèses d’impacts que vous avez identifiées, il est nécessaire de poursuivre le dialogue entamé avec vos parties prenantes. Assurez-vous de leur présenter les résultats obtenus de manière claire et engageante et prévoyez des rencontres pour discuter de leur implication.
Il s’agit ici de tirer des apprentissages tout en évitant certains écueils. Une corrélation, c’est-à-dire une relation apparente entre deux éléments, n’indique pas forcément une causalité, soit qu’un élément en affecte un autre. Les changements identifiés à travers votre évaluation n’auront pas nécessairement été causés par l’activité ou la programmation évaluée. Évitez également les généralisations. Vos résultats vous permettront de parler des personnes qui auront répondu à vos questions, non pas de l’ensemble de la population. Comprendre l’information recueillie dans son contexte n’annule en rien sa pertinence, au contraire!
Évitez finalement de masquer les résultats qui pourraient être moins favorables pour valoriser l’activité à tout prix. L’évaluation vise d’abord à connaître et à améliorer l’état des choses, et non à faire la promotion d’une pratique.
B) Intégrer à sa stratégie
Vous pourrez utiliser les résultats pour apporter des ajustements à vos projets, proposer des améliorations de vos pratiques, formuler des recommandations ou élaborer vos plans d’action.
Pour terminer, il est conseillé de faire un bilan de l’exercice en réfléchissant à l’efficacité de l’évaluation et en cernant les besoins d’information non comblés, qui pourraient faire l’objet d’une prochaine démarche.
