Publié par : Memento Mouloud | décembre 3, 2013

Qu’est-ce qu’évaluent les tests Pisa ?

?????????????????????

Le programme Pisa, soutenu par l’OCDE, a été lancé en 1997. Il est étroitement lié au concept néo-libéral de capital cognitif où il n’est plus question d’acquis, donc de savoirs, ou de bildung mais de compétences indexées sur des performances. L’ensemble des questions-réponses d’une évaluation PISA représente 7 heures de QCM et d’outputs construits qu’on hésite à appeler des réponses. Aussi chaque élève de l’échantillon dit représentatif y passe 2 heures, planchant sur 50 questions-réponses. Le temps est limité ce qui exclut toute réflexion. Ce processus est basé sur la « théorie de la réponse à l’item » qui « postule qu’il est possible de spécifier une fonction mathématique reliant la probabilité d’une réponse à un item au niveau d’habileté du répondant ». Dans la plupart des tests utilisés actuellement, le type de réponses aux questions est dichotomique (bonne ou mauvaise réponse) et l’unidimensionnalité de l’habileté sur une échelle continue est supposée. Dans le cas des tests Pisa, on y ajoute des items polytomiques (les réponses peuvent faire l’objet d’un codage ordonné selon des niveaux de réussite). Ce format d’item est facile à traiter par le modèle de Rasch dont Pisa dérive (on sépare le paramètre de difficulté en une partie représentant la difficulté générale de l’item et une autre partie représentant le passage d’un niveau de difficulté à un autre).

En fonction de ces caractéristiques, trois modèles ont été privilégiés. Ils ne diffèrent que par le nombre de paramètres impliqués dans la fonction modélisant la probabilité d’obtenir une bonne réponse. Dans le modèle à un paramètre (1960), celui de PISA, seul le niveau de difficulté de l’item, bg, est considéré. Selon le modèle, la probabilité d’obtenir une bonne réponse est nulle lorsque le niveau d’habileté est très faible. Elle est certaine lorsque le niveau d’habileté est élevé. Le  modèle à deux paramètres, celui de l’Educational Testing Service, ajoute un paramètre de discrimination, ag, qui correspond à la  pente maximale de la fonction et dont les valeurs sont comprises entre les deux infinis. Aussi l’intervalle raisonnable du paramètre de discrimination varie entre 0,50 et 2,00. Le modèle à trois paramètres intègre de plus un paramètre  de pseudo-chance, cg. Dans ce modèle, il est postulé que la probabilité d’une bonne  réponse à un item n’est pas nécessairement nulle lorsque le niveau d’habileté est très  faible. De façon similaire, le modèle à quatre paramètres incorpore un paramètre, g γ, qui correspond à la valeur asymptotique supérieure de la probabilité d’une bonne réponse à  l’item. Il y est postulé que, même si le niveau d’habileté est très élevé, la probabilité d’une  bonne réponse à l’item n’est pas nécessairement égale à 1, donc certaine. Ce dernier  modèle ne semble cependant pas utilisé dans la pratique. Dans tous les cas qui dit tests comparatifs dit calibrage des paramètres d’items et recherche des items dont le fonctionnement est différentiel.

Outre les procédures du test d’évaluation, les élèves rédigent, durant 30 minutes, un questionnaire sur leur milieu familial et eux-mêmes, tandis que les directeurs d’établissent évoquent la vie à l’école. Et ce questionnaire n’a rien d’optionnel.

Avec les tests Pisa, la compétence du sujet est définie comme sa probabilité de résoudre des items d’une difficulté donnée. La compétence se définit donc par rapport à des tâches et non par rapport à d’autres sujets. Exit le QI. Comme la définition d’un seuil de compétence est floue, il est donc certain qu’un sujet ne réussit pas uniquement tous les items correspondant à son niveau et a – au moins pour les sujets proches de la borne supérieure – une probabilité non négligeable de réussir ceux du niveau supérieur. Le test Pisa possède donc une structure en chiasme. De plus, la compétence n’est connue que conditionnellement aux réponses du sujet à un nombre réduit de questions : celles qui sont incluses dans le test qu’il a passé y compris dans le cas où il a répondu à toutes les questions du test. Cette formulation a conduit à repenser l’algorithme d’estimation des paramètres en utilisant l’algorithme EM, procédure implantée dans les logiciels BILOG dédiés à l’estimation des paramètres, en introduisant dans l’algorithme d’estimation les données descriptives du contexte du sujet (background variables). Il s’agit d’estimer la compétence des sujets conditionnellement aux réponses qu’ils ont données aux items auxquels ils ont répondu et conditionnellement aux variables décrivant le contexte socio-économique des sujets. C’est donc un choix purement idéologique qui satisfait les deux faces de Janus du libéralisme, celles de Friedman et de Rawls, et lisse dans le sens du poil les égos collectifs des nations. En effet, conditionnellement aux réponses et aux caractéristiques de ce sujet, on infère la distribution du paramètre de compétence d’un sujet ayant ces caractéristiques et ce patron de réponses aux items. On ne connaît pas la valeur vraie du paramètre de compétence mais sa distribution. Cette procédure d’estimation aboutit à un ensemble (cinq dans PISA) de valeurs plausibles pour chaque sujet. En conséquence, la dispersion de ces valeurs plausibles est aussi importante que leur moyenne. Toutes les analyses statistiques devraient donc être élaborées à partir des différentes valeurs plausibles et non d’une seule ou d’une agrégation de celles-ci.

Les critiques de ce modèle sont nombreuses et argumentées. M. Reuchlin (1996) conteste le caractère continu du modèle qui présuppose qu’un sujet peut toujours réussir un item. La réponse à un item a un caractère discret. La réussite à un item difficile n’est pas peu probable pour un sujet peu compétent, elle est tout simplement impossible. Les différences de niveau reflètent des différences de nature.

On présuppose que les différences interindividuelles ne sont que des différences de puissance, que les différences de difficulté entre items ne sont que des différences quantitatives. On accrédite ainsi l’idée absurde que quel que soit le niveau de compétence des sujets, ceux-ci mettent en œuvre des processus et des stratégies similaires pour répondre aux items. Il s’agit, encore une fois, d’évacuer toutes les historicités, celles des traditions culturelles nationales, celles des lignées familiales, celles singulières, du cerveau individuel.

L’unidimensionnalité est à la fois la structure recherchée et la condition de validité du test Pisa. En effet, les tests nécessitent la condition d’unidimensionnalité : on doit rendre compte des relations entre items (estimés par leurs paramètres) et entre les sujets ainsi qu’entre items et sujets par une seule variable latente. L’expert mesure son expertise, c’est le serpent qui se mord la queue.

Les trois échelles de « littéracie » contenues dans Pisa sont les suivantes : 1) retrouver de l’information ; 2) développer une interprétation ; 3) réfléchir sur le contenu du texte. Dans les faits, ces trois échelles sont si étroitement corrélées qu’elles se résument à une seule où la littérature comme la langue sont ramenées à des petits calculs de traitement de l’information.

Dans le cas français et pour les Mathématiques, les contenus des questions de PISA couvrent environ 15% des contenus des programmes du collège, c’est à dire du programme étudié par plus de 85% des jeunes gens concernés. Un quart des questions de PISA ne correspondent pas à ce que les élèves étudient au collège. C’est en particulier le cas pour les questions du domaine “incertitude” et pour des questions de combinatoire.

Pierre Vrignaud / Uqam / Antoine Bodin / BAM

Bilan Pisa pour la France

Questions Pisa


Responses

  1. Il est clair que ce que teste PISA est précisément ce qui ne donnera aucun prix Nobel ou Médaille Fields.
    Je pense que l’on s’honorerait ( je ne sais pas qui est « on », mais c’est plusieurs) à refuser ce type d’évaluation; ça aurait quand même de la gueule si scientifiques et littéraires français s’unissaient pour dire « votre vulgaire bilan de compétences, vous pouvez vous le rouler menu menu… »

  2. Je le pense aussi Hippocrate après avoir cherché ce que c’était exactement que cette évaluation que tout le monde commente sans en connaître le fonctionnement, encore moins la nature et le but

  3. Ce qu’évalue PISA , ce sont au fond des recettes mathématiques empiriques- donc dotées d’une certaine efficacité purement pratique- des scribes et des architectes de l’Egypte Ancienne, ou de Babylone, ou encore des « neufs chapitres » chinois.
    Retour à l’efficacité purement empirique, abandon de la haute pensée mathématique( la géométrie grecque, mathématique non chiffrée et démonstrative, est une révolution dans la pensée).
    Impossibité d’abstraire le réel pour éventuellement y retourner
    Contrairement à Heidegger, j’établis une différence irréductible entre Science et Technique…….PISA n’évalue, et encore, que de la basse technicité.
    « Pensée » d’ingénieur de production, d’ « adapté à l’entreprise »…….
    Le tout sous l’égide d’un totem appelé « docimologie ».

  4. Je vous rejoins parfaitement sur le constat, j’ajoute que c’est aussi une destruction de l’héritage alexandrin quant à la réflexion sur la langue et la littérature ou le récit historique. En ce qui concerne Heidegger, il distingue la science et la « technique mécanisée ». Cette dernière, il la définit, en tant que phénomène, comme « une transformation autonome de la pratique » si bien que c’est elle qui vassalise les sciences mathématisées, ce qui s’observe dans les modèles de simulation, l’usage forcené des statistiques, l’engouement pour les fractales, la pseudo-théorie du chaos ou celle des cordes. Ce qu’Heidegger établit c’est la synonymie entre métaphysique moderne, technique moderne et technique mécanisée. Il ajoute que dans le même temps, on conçoit l’art comme une expression de la vie humaine (les artistocrates d’aujourd’hui avec leurs installations et leurs performances le prouvent chaque jour qui passe). Il y conjoint deux autres phénomènes, l’interprétation culturelle de l’Histoire et le dépouillement des dieux dont la conclusion est le marketing des valeurs et le vide absolu de la dévotion réduite à un sentiment ou à une démythologisation infinie (dernier titre en date, ce que ne dit pas le Coran ou l’éthique selon le gaon de Vilna voire saint Thomas is back). Or Heidegger prend bien garde de distinguer la science moderne de l’épistémé grecque ou de la théologie médiévale. Pour Heidegger l’essence de la science moderne c’est l’enquête sur l’Histoire ou la Nature où il s’agit de distinguer un patron, un modèle, quasiment un plan méthodologique et rigoureux dont les mathématiques assurent ou non la cohérence. Il en vient à l’étymologie, ta mathemata c’est ce qui est connu d’avance dans l’objet (corps ou choses). La physique moderne se définit donc comme l’ensemble des mouvements spatio-temporels de différents centres de gravité, la biologie comme une combinatoire d’éléments simples (nucléotides ou acides aminés) ou la linguistique comme un arbre cohérent de règles qu’on peut déduire. Le but est d’établir mathématiquement la nécessité du processus de changement d’un phénomène (une loi toujours locale et conditionnée) via une série d’expérimentations, série tout à fait inconnue des sciences grecque et médiévale qui, après Aristote, observent certaines modifications et qualités des corps mais n’expérimentent pas. Le procédé prime sur l’étant (Nature ou Histoire) si bien que le chercheur, comme le dit Heidegger, n’a pas besoin de bibliothèque, « il délibère dans les sessions et s’informe dans les congrès », son recul doit avoisiner les 5 ans au maximum, il slalome entre des boîtes noires qu’il se garde bien d’interroger. Le chercheur est donc « poussé dans la sphère du technicien ». L’homme calculant est donc celui qui définit la vérité comme une certitude de la représentation. Par conséquent, dans « aucune époque précédente le non-individuel n’a eu tant d’importance sous la forme du collectif », du fameux On qui parle, dicte et voit. Heidegger termine sa méditation par ce poème d’Hölderlin, « Et si ton âme s’élance / Nostalgique au-delà de ton propre temps / Triste, alors, tu demeures sur la froide berge / Auprès des tiens sans les connaître jamais ».


Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

Catégories

%d blogueurs aiment cette page :