QCM ULM, le crash test
Article paru dans ULMiste n°4, mars 2011
QCM : le crash test
“Les pilotes ULM sont mal formés”. Que ce soit entendu de l’intérieur de notre petit milieu ou de l’extérieur, cet avis définitif est fort répandu et assez mollement contesté. Parce que nous sommes aussi une force de proposition, ULMiste a mené une petite expérience afin de savoir si, concernant l’examen théorique, la méthode du QCM proposée par l’Etat est la meilleure…
Le petit exercice auquel nous nous sommes livrés est très simple et s’est déroulé en deux temps. Nous avons tout d’abord fait appel à un panel de 12 candidats, de toutes classes d’ULM et tous niveaux : débutants qui viennent d’obtenir leur théorique et pilotes confirmés. A ces “cobayes”, nous avons dans un premier temps envoyé un QCM de 15 questions choisies en fonction de leur récurrence dans les examens organisés par l’Aviation civile.
Dans un second temps et après avoir laissé passer au moins une semaine, nous avons posé des questions ouvertes, à l’oral. Bien entendu, ce qui en découle reste anonyme, car comme expliqué à nos complices, ce ne sont pas leurs connaissances qui étaient testées, mais la pertinence de l’examen en lui-même. Voici les questions posées sous forme de QCM, puis les questions ouvertes. Surprises en vue !
• Question 1 :
- Le variomètre est un instrument qui indique :
La vitesse sol
La vitesse propre
Les variations de la force du vent
Les vitesses verticales de montée ou de descente
- Question ouverte : Qu’est-ce que le variomètre et quel est son principe de fonctionnement ?
- Résultat et commentaires : cette question est fort simple et ne demande aucune réflexion. Seule la connaissance de ce qu’est le variomètre permet de répondre. Par conséquent, tous ceux qui répondent juste au QCM donnent également de bonnes réponses au questionnaire, bien que le principe de fonctionnement est mal connu.
• Question 2 :
- Vous suivez une route vraie de 025°, la déclinaison magnétique est de 3°W, et la déviation du compas est de +2°. Si le vent est nul, votre cap compas est :
030°
024°
020°
026°
- Question ouverte : Vous suivez une route vraie de 025°, la déclinaison magnétique est de 3°W, et la déviation du compas est de +2°. Si le vent est nul, quel est votre cap compas ?
- Résultat et commentaires : ici aussi, ceux qui ont faux au QCM donnent également de mauvaises réponses à la question ouverte. Néanmoins, ceux qui ont juste au QCM n’ont pas forcément la bonne réponse sans la possibilité de procéder par élimination. Un candidat, qui avait donné la bonne réponse au QCM, nous a avoué ne pas vraiment savoir ce qu’est la déclinaison magnétique. Il convient de préciser que des calculs avec une telle précision sont très éloignés des réalités des pilotes d’ULM, qui privilégient la carte au compas, avec raison. Voire le GPS, qui, lui, “ne se trompe pas”.
• Question 3 :
- LFBB SIGMET 2 VALID 130530/140930 LFBD BORDEAUX FIR/UIR EMBD TS OBS OF N45 MAINLY OVER MAR MOV E NC=
Ce message est un :
Avis de phénomènes météorologiques dangereux prévus
SIGMET prévoyant des vents de 45 kt en mer au large de Bordeaux
TAF court prévoyant des orages
Bulletin de situation météo observé au large des côtes de Bordeaux
- Question ouverte : LFBB SIGMET 2 VALID 130530/140930 LFBD BORDEAUX FIR/UIR EMBD TS OBS OF N45 MAINLY OVER MAR MOV E NC=
Transcrivez ce message en français.
- Résultat et commentaires : étonnamment, nous avons eu un fort taux de mauvaises réponses au QCM, alors que le second terme du message à observer est “SIGMET” et donne donc la réponse. Par élimination, on ne pouvait pas se tromper. Au “débriefing”, quelques candidats admettront avoir vu ce terme, mais imaginé que la réponse serait trop simple. En clair, ils se sont demandés où était le piège et sont tombés dedans, ce qui est d’autant plus dommage qu’il n’existait pas. Cet élément est important à noter : pour certains candidats, la fonction du QCM est autant de valider leur niveau de connaissance que leur capacité à déjouer les pièges qui s’y cachent. En revanche, sur la transcription en français, donc la compréhension du message, les bonnes réponses, même hésitantes, n’ont rien à voir avec les résultats du QCM. On peut savoir ce qu’est un SIGMET mais ne pas savoir le lire et inversement.
• Question 4 :
- En matière de circulation aérienne, la référence de mesure du temps est:
Le temps universel coordonné (UTC)
L’heure légale
Le temps du fuseau
L’heure locale
- Question ouverte : En matière de circulation aérienne, quelle est la référence de mesure du temps ?
- Résultat et commentaires : la tendance notée jusque-là se confirme, pas d’équité entre les bonnes réponses au QCM et les éléments explicatifs donnés par oral. Voire même, ici plus qu’ailleurs, l’absence de possibilité d’élimination révèle une nette ignorance.
• Question 5 :
- Pour un vol contrôlé en circuit d’aérodrome, la phase d’urgence “ALERFA” est déclenchée si la perte des contacts radio et visuel est confirmée à :
H + 15 min
H + 20 min
H + 10 min
H + 5 min
- Question ouverte : Qu’est-ce que la phase ALERFA ?
- Résultat et commentaires : très peu de bonnes réponses dans un cas comme dans l’autre. Cependant que le QCM ne demandait que du “par cœur” visiblement mal assimilé, la question ouverte, elle, exigeait que l’on sache de quoi il s’agit. Or, même quand la bonne réponse est donnée au QCM, il n’est pas garanti que l’on sache ce qu’est l’ALERFA. Ceci étant dit, la radio étant facultative en ULM et exigeant une qualification supplémentaire au brevet, cette question n’a rien à faire dans l’examen du tronc commun.
• Question 6 :
- De l’air maritime humide devient brouillard par passage sur un sol froid. C’est un brouillard :
D’advection
De mélange
De rayonnement
De pente
- Question ouverte : Qu’est-ce qu’un brouillard d’advection ?
- Résultat et commentaires : cependant que le taux de bonnes réponses au QCM est relativement satisfaisant, la question ouverte, elle, apporte pas mal de fantaisies. Rappelons que nous avons laissé un délai minimal d’une semaine entre le QCM et les questions ouvertes. Mais il nous semble que la question importante est de savoir quoi faire en cas de brouillard ou comment l’anticiper, plutôt que de chercher à savoir si on connaît son petit nom.
• Question 7 :
- La surface de référence utilisée pour les minima VMC de visibilité et de distance par rapport aux nuages est définie par le plus élevé des 2 niveaux suivants :
3000 ft AMSL et 1000 ft AGL
5000 ft AMSL et 1000 ft AGL
5000 ft AGL et 1000 ft AMSL
3000 ft AGL et 1000 ft AMSL
- Question ouverte : Qu’est-ce qui définit la surface de référence utilisée pour les minima VMC de visibilité et de distance par rapport aux nuages?
- Résultat et commentaires : toujours pas de surprise, par élimination le taux de bonnes réponses est plus élevé que lorsque l’on pose la question ouvertement.
• Question 8 :
- La vitesse lue sur l’anémomètre de votre ULM est :
La vitesse verticale
La vitesse indiquée
La vitesse sol
La vitesse propre
- Question ouverte : Qu’est-ce que la vitesse lue ? Est-elle confondue avec la vitesse propre ? Développez.
- Résultat et commentaires : beaucoup de mauvaises réponses au QCM. A la question ouverte, une réponse affirmative arrive largement en tête ! Il nous semble qu’une mauvaise réponse à cette question précise devrait être éliminatoire, car ignorer l’influence de la pression atmosphérique sur la vitesse lue génère de graves accidents, notamment pour dépassement de la VNE en altitude. Mais l’élimination n’est pas prévue, selon les méthodes actuelles.
• Question 9 :
- Accompagné d’un autre passager, vous faites une navigation entre 2 aérodromes sur un ULM équipé d’une radio : les documents qui doivent obligatoirement se trouver à bord sont :
1.Votre licence de pilote ULM
2.Une attestation d’emport passager
3.Le certificat de navigabilité
4.La carte d’identification de votre ULM
5.La licence de station d’aéronef
1,2 et 3
1,2,4 et 5
1,3 et 5
1,2 et 4
- Question ouverte : Accompagné d’un autre passager, vous faites une navigation entre 2 aérodromes sur un ULM équipé d’une radio : quels documents doivent obligatoirement se trouver à bord ?
- Résultat et commentaires : cette question 9 a été intéressante, car pour la première et unique fois les bonnes réponses sont égales selon que l’on propose un choix ou non. Mais là encore, la radio devrait être absente de la question.
• Question 10 :
- L’activation de votre plan de vol ATC est effective :
Au moment du dépôt du plan de vol
Au décollage
Au premier contact radio avec un organisme de la circulation aérienne
A l’heure de départ prévue indiquée sur le plan de vol
- Question ouverte : Qu’est-ce qu’un plan de vol ATC ?
- Résultat et commentaires : cependant que les réponses au QCM sont plutôt satisfaisantes, la question ouverte, elle, amène beaucoup de longs silences…
Le dépôt d’un plan de vol et son suivi n’étant possibles qu’avec une radio, cette question n’a rien à faire au tronc commun.
• Question 11 :
- La température du point de rosée est la température :
A partir de laquelle de la vapeur d’eau pourrait se condenser en rosée ou en brouillard
La plus basse atteinte au cours de la nuit
Au-dessus de laquelle de la vapeur d’eau pourrait se condenser en rosée ou en brouillard
Mesurée au lever du jour
- Question ouverte : Qu’est-ce que le point de rosée ?
- Résultat et commentaires : toujours le même constat : pas de similitude absolue entre le QCM et la question ouverte. L’élimination, encore une fois, fait des miracles. Néanmoins, elle est ici compliquée par le fait que l’on propose deux fois la même réponse! Or, aucun correcteur ne travaille, seule une fiche perforée valide le bon résultat. On peut donc donner la bonne réponse à cette question, en parfaite maîtrise du sujet, mais avoir tout faux…
• Question 12 :
- En VFR de jour, pour entreprendre un vol local au voisinage de votre lieu de départ, vous devez embarquer la quantité minimale de carburant permettant de voler pendant :
15 min
45 min
20 min
30 min
- Question ouverte : En VFR de jour, quelles sont les dispositions réglementaires en matière de carburant ?
- Résultat et commentaires : assez peu de différences ici entre le QCM et la question ouverte. En l’occurrence, ignorance quasi absolue.
• Question 13 :
- Les conditions propices au givrage carburateur sont :
1. température extérieure élevée
2. température extérieure basse
3. forte humidité relative
4. faible humidité relative
5. puissance moteur élevée
6. puissance moteur réduite
Choisir la combinaison exacte la plus complète
1,3 et 5
2,3 et 5
2,4 et 6
2,3 et 6
- Question ouverte : Qu’est-ce que le givrage carburateur et quand peut-il survenir ?
- Résultat et commentaires : le QCM donne de bons résultats, mais la question ouverte est fertile en approximations. Ceci dit, le givrage carburateur ne concernant essentiellement que les quatre temps, qui sont minoritaires et dont beaucoup, dans le parc ULM, comportent une réchauffe automatique, on peut s’interroger sur la pertinence de cette question.
• Question 14 :
- Dans un espace aérien contrôlé, la visibilité minimale en vol est :
8 NM
5 Km
5 NM
1,5 Km (ou la distance parcourue en 30 secondes de vol si cette valeur est plus élevée)
- Question ouverte : Quelles sont les classes d’espaces aériens contrôlés et quels y sont le minima à respecter?
- Résultat et commentaires : nous avons ajouté un petit supplément au QCM. Les réponses sont satisfaisantes lorsque l’on pose la simple question en proposant des réponses, mais en revanche, à la question de savoir quels sont les espaces aériens contrôlés, des lacunes sont observées. A quoi sert-il de savoir comment se comporter en espace contrôlé si l’on ne sait pas le reconnaître ? La question n’est pas posée.
• Question 15 :
- Lorsque de la brume est signalée par les services météorologiques, vous considérez que la visibilité est :
Comprise entre 5 et 10 km
D’environ 10 km
Comprise entre 1 km et 5 km
Inférieure à 1 km
- Question ouverte : Qu’est-ce que la brume, quelle différence avec le brouillard ?
- Résultat et commentaires : bien plus de bonnes réponses avec le choix de réponses que sans. En tous les cas, la différence entre brume et brouillard est mal connue.
Et alors ?
Nous avons volontairement occulté les valeurs chiffrées telles que le pourcentage de bonnes ou mauvaises réponses car cette petite expérience n’a aucune prétention scientifique. Il faudrait refaire un travail similaire avec des moyens et méthodes que nous ne maîtrisons pas. Par ailleurs, nous avons gardé pour la fin les commentaires liés au niveau des candidats : la plupart des jeunes brevetés donnent encore de fort bonnes réponses au QCM mais de piètres explications, tandis que les pilotes aguerris sont médiocres au QCM mais expliquent mieux, même sans posséder parfaitement leur sujet.
On peut donc poser comme hypothèse (et certainement pas en conclusion), que le bachotage des QCM est la méthode la plus répandue, tandis que la pratique assidue permettra de comprendre, au moins en partie, ce que l’on avait jusque-là simplement appris par cœur sans réfléchir.
Au vu de cette informelle expérience, difficile de conclure ou de proposer la bonne solution. Toutefois, il nous semble que les critiques les plus souvent formulées aux pilotes d’ULM, en premier lieu par les autorités, concernent leur niveau de connaissances théoriques, plus que leur pilotage. A l’inverse de l’avion, par exemple, encore que la réalité soit plus complexe. Les ULMistes sont de bons manœuvriers mais de piètres théoriciens et inversement. En aviation générale, question de culture franco-française, quand on songe qu’un pilote professionnel peut démarrer en compagnie avec moins de 300 heures de vol (donc rien) mais un niveau théorique d’ingénieur (donc beaucoup trop)…
Or, il apparaît que c’est le système mis en place par ces mêmes autorités qui serait pour le moins imparfait. Quel remède y apporter ? Nous voyons ici que poser des questions ouvertes permet de mesurer avec précision le niveau de maîtrise du candidat. Pourquoi ne pas déléguer aux instructeurs le rôle de l’examen théorique, comme c’est déjà le cas pour l’examen théorique spécifique à chaque classe d’ULM et comme cela se passe dans le vol à voile ? Certes, il pourrait y avoir des dérives et du copinage, mais certainement pas plus que pour l’examen pratique, que les instructeurs ULM ont le privilège de mener eux-mêmes depuis toujours. En tous les cas, selon nous l’idée mérite d’être observée.
On pourrait même imaginer une phase expérimentale comme pour l’hélicoptère ULM, sur lequel une grande énergie et beaucoup d’argent sont mobilisés par la FFPlUM et l’administration, alors qu’il ne concernera que quelques dizaines de personnes…
En tout état de fait, on peut considérer que les écoles qui ne proposent pas d’autre méthode que le bachotage des QCM, voire qui les proposent en ligne et plus généralement ceux qui font commerce d’outils d’apprentissage par cœur, ne sont pas les plus recommandables. Certes, c’est un bon moyen d’obtenir le sésame, mais pour ce qui est de la compréhension du sujet, il y a visiblement à redire…
… au QCM, 8 candidats sur 12 sont admis. Aux questions ouvertes qui obtiennent une bonne réponse sans hésiter, on divise par deux.