Docimologia

Da Wikipedia, l'enciclopedia libera.

La docimologia è un ramo della pedagogia che si può collocare specificamente tra le tecniche sperimentali che si occupano dello studio dei sistemi di valutazione, dove la valutazione rappresenta uno snodo fondamentale, in quanto il voto non viene più inteso in ambito strettamente numerico.

In questo senso il fine della docimologia è quello di dare indicazioni su come trovare parametri oggettivi per l'attribuzione di punteggi nelle prove, solitamente in rapporto a 4 o 5 fattori, per esempio tempo di esposizione dei concetti esposti in rapporto a tempi assegnati.

La docimologia si pone come obiettivo quello di trovare metodi di valutazione oggettivi, tramite varie tipologie di prove, come test, prove strutturate, prove non strutturate.

All'interno della docimologia, la docimatica (da docimologia + automatica) è il settore che si occupa della ricerca scientifica e tecnologica riguardo i problemi dell'automazione nei sistemi di valutazione dell'apprendimento (valutazione (pedagogica)) e della qualità dell'istruzione. Nell'ambito delle scienze dell'educazione si colloca nell'intersezione dei campi di studio della pedagogia sperimentale e delle tecnologie dell'istruzione.

[modifica] Scopi della valutazione

Conviene in primo luogo porsi la domanda del perché della valutazione.

La valutazione è un modo di seguire i progressi rispetto ad una formazione degli obiettivi da raggiungere. Alcuni di questi, per esempio in didattica sono:

1. capacità di trasmissione del sapere (conoscenza)
2. capacità di azione (pratica)
3. capacità d'interazione o saper essere (atteggiamenti).

La valutazione permette dunque di collocare coloro che apprendono in corrispondenza ad un livello, su una scala ordinata di obiettivi. Ciò permette di far prendere coscienza agli studenti dei progressi conseguiti e del livello di competenza maturato

Ciò permette anche al docente di mettersi in discussione e di adattare la formazione in termini di forma e contenuto alle mutate condizioni del discente.

La valutazione è quindi un mezzo per certificare che gli obiettivi sono stati raggiunti. Ciò prende in generale la forma di un diploma, che può essere riconosciuto da altri organismi e dunque dare accesso ad un impiego od una funzione pubblica che richiede un livello di formazione più elevato.

La valutazione è, secondo alcuni, anche uno strumento pedagogico (valutazione formativa), in quanto può contribuire alla realizzazione dei progressi dello studente; è certamente uno strumento di selezione (valutazione certificativa) nel sistema scolastico statale.

Sono tuttavia presenti alcune teorie pedagogiche che hanno sfumature e connotazioni differenti, come ad esempio la metodologia steineriana od alcuni progetti formativi degli anni sessanta.

[modifica] Tipi di valutazione

• valutazione continua
• valutazione formativa
• valutazione sommativa
  • valutazione certificativa
  • esame

[modifica] Che cosa si valuta?

La complessità della valutazione è sapere ciò che si valuta esattamente. Così, durante un esame, non si valutano solamente le conoscenze, ma anche la gestione della tensione nervosa (stress), la strategia (impasses, corsa ai punti), l'ingegnosità (imbrogliare senza farsi prendere), la fortuna... Al contrario, la valutazione continua permette di seguire di giorno in giorno il progresso delle conoscenze, ma è poco propizia alla sintesi e alla memoria a lungo termine (la parte valutata è ristretta e recente).

In un questionario a scelte multiple, si valuta la capacità di tirare ad indovinare, di ricordare attraverso un supporto. Con una composizione (redazione, dissertazione), si valutano le conoscenze, ma anche la capacità di analisi, di sintesi, l'espressione scritta. In un esame orale si valuta inoltre l'espressione orale. In un gioco di ruolo, si può valutare la gestione della tensione nervosa, la reattività, la capacità d'adattamento.

In una valutazione collettiva (valutazione per progetto), si valuta in particolare il saper fare, la capacità di lavoro di squadra.

Nel momento in cui si concorre ad una valutazione, bisogna in primo luogo sapere quali sono gli obiettivi della formazione, in modo da poter determinare quali saranno valutati. Inoltre occorre porsi la domanda dell'adeguatezza tra il metodo di valutazione e gli obiettivi della formazione.

[modifica] Rischi di una valutazione non adatta

Una valutazione inadatta è una valutazione che non risponde alla domanda posta, vale a dire che non valuta, o valuta male, gli studenti rispetto agli obiettivi della formazione.

Ciò può inizialmente sfociare in un problema di selezione: si rischia di selezionare un candidato non corrispondente al profilo (cattiva selettività) e eliminare al contrario un candidato interessante (cattiva sensibilità).

Ciò può essere anche un fattore di demotivazione per lo studente.

[modifica] La valutazione autentica nell'ambito della formazione professionale e tecnica nel Quebec

Da alcuni anni si assiste ad un crescente interesse per la valutazione autentica nel mondo della Misura e Valutazione. Nella letteratura specialistica americana, tale approccio si ritrova sotto le rubriche Authentic Assessment o Valutazione e Performance Based Assessment. Nel quadro di questo breve lavoro, cercheremo di definire cosa si intende con Valutazione Autentica. Faremo alcuni esempi di applicazioni nella formazione generale e nella formazione specialistica. Solleveremo alcuni problemi associati a tale metodo di valutazione. Infine, illustreremo grazie ad alcuni casi come la Direzione generale della formazione professionale e tecnica utilizza la valutazione pratica per certificare la competenza dei suoi studenti. Tali valutazioni pratiche si avvicinano molto alla valutazione autentica precognizzata da Grant Wiggins.

[modifica] Definizione del concetto

Secondo Grant Wiggins, ricercatore e specialista di riforme scolastiche:

	«La docimologia è autentica quando esaminiamo direttamente la prestazione degli studenti su specifici compiti intellettuali. La docimologia tradizionale, per contrasto, si affida a elementi indiretti - efficienti, semplicistici sostituti da cui pensiamo di poter fare valide inferenze sulle prestazioni dello studente nelle prove valutate.»

Secondo lui, lo studente può dimostrare attraverso la valutazione autentica la sua maestria nelle competenze utilizzandole in un quadro il più reale possibile. Gli esami tradizionali sono solo mezzi per mostrare che lo studente ricorda degli elementi di informazione o che può applicare meccanicamente delle tecniche.

La validità del test varia a seconda se il test simula prove di abilità del mondo reale o meno. La validità della maggior parte dei test a scelta multipla è determinata semplicemente abbinando elementi al contenuto del curriculum. (Wiggins2, pagina 1).

Secondo Janine Huot: Un compito basato sulla performance consiste in un'attività che richiede la dimostrazione per gli studenti delle loro attitudini a integrare e utilizzare il loro sapere, saper fare e giudizio in un contesto autentico. Un tale compito possiede una o più caratteristiche seguenti:

• esige l’uso di conoscenze e di abilità in un contesto che rappresenta delle situazioni o problemi reali:
• permette di scoprire i passi utilizzati dagli studenti per affrontare una situazione data, piuttosto che limitarsi al risultato finale:
• fa appello a molti risultati d’apprendimento o competenze;
• esige l’uso di attitudini intellettuali complesse;
• permette di osservare le molteplici sfaccettature dell'apprendimento;
• dà agli studenti la scelta del tipo di produzione per esibire ciò che hanno appreso. (Huot2, pagina 3).

[modifica] Alcuni esempi di applicazioni

Da molto tempo, la valutazione autentica è utilizzata negli ambiti professionali. Si può pensare al diritto e al notariato che venivano insegnati per apprendimento e che erano valutati da un ufficio di esaminatori. Gli eserciti americano, britannico e canadese si servono della valutazione autentica nell'attribuzione dei brevetti di ufficiale.

Nei corsi di studio degli aspiranti ufficiali delle Forze armate canadesi, si utilizza la valutazione autentica per verificare le competenze in leadership. Un allievo-ufficiale riceve l’ordine di andare a cercare due ribelli dell’Esercito di liberazione dell’Ontario su una strada situata a più di 15 chilometri dalla base militare. Per farlo, dirige una squadra di 6 soldati. Si mette a sua disposizione un camion con autista e tutto l’equipaggiamento militare necessario. Durante tutta l’operazione, le azioni dell’allievo-ufficiale sono esaminate da un sergente o da un aiutante che le valuta metodicamente. Si studia il modo in cui pianifica l’operazione e il modo di passare gli ordini ai suoi subalterni. Si prepara una valutazione globale di tutta l’operazione. L’osservatore interverrà solo se è in gioco la vita dei partecipanti o se ci sono dei rischi di distruzione di materiale.

Per rendere l’operazione più realistica, i ribelli possono opporre resistenza al loro arresto o un membro della squadra può morire immediatamente. La valutazione dei membri del corpo medico si fa anch'essa attraverso la valutazione autentica. Nel momento in cui l’interrogatorio si trova au capezzale d’un pseudo-paziente e gli pone delle domande, quest'ultimo può morire senza avvertimento. (Swanson, pagina 9). Tale messa in scena può essere realizzata anche con un modello informatico.

Ogni prova è seguita da uno dei briefing con l’aspirante in cui tutta l’operazione sarà passata in rassegna. Tale metodo permette alle autorità militari di fare allo stesso tempo una valutazione formativa delle conoscenze dei candidati. Colligando i rapporti, le autorità producono una valutazione sommative della performance degli individui.

Tale metodo di valutazione rispetta la validità e la fedeltà. Si può definire la validità di un test o di un esame come la valutazione globale, fondata su delle prove empiriche e su un teoria razionale, in base all’adeguatezza ed alla correttezza delle inferenze e delle azioni stabilite dai punteggi del test. La fedeltà si definisce come la qualità che possiede uno strumento di misurare con la stessa esattezza ogni volta che è amministrato. Il MEQ considera la fedeltà come la qualità di uno strumento di misura i cui risultati restano stabili per gli stessi soggetti che si trovano in condizioni identiche nonostante modalità di somministrazione diverse. (Legendre, pagina 609)

Nel caso dei corsi degli aspiranti ufficiali, la validità della valutazione è assicurata dalla correlazione tra i contenuti del corso dati e le competenze valutate. La fedeltà inter-juge è favorita preparando un corso che tutti i valutatori devono seguire.

Nell'ambito dell'insegnamento nella scuola secondaria, Guillermo Solano-Flores e Richard J. Shavelson portano alcuni esempi d'uso della valutazione autentica. L’esperienza Astronomie diurne consiste nel ricreare con un globo terrestre, una lampada da tasca e una scatola, le ombre create dal sole dall’alba al crepuscolo. (Solano-Flores, pagina 18).

In tal caso, la valutazione di una sola competenza richiede del materiale a volte ingombrante. Una di tali esperienze permette solamente di verificare un solo obiettivo. Si deve così lasciare da parte gli altri obiettivi.

[modifica] Alcuni problemi associati alla valutazione autentica

Samuel Messick, dell'Educational Testing Service, sostiene che esistono due standard di valutazione quando si tratta di valutare le competenze. Il primo tipo è lo standard di contenuto che riguarda ciò che lo studente deve conoscere e essere capace di fare per un soggetto preciso. L’altro tipo riguarda lo standard di performance che indica il grado di competenza che uno studente deve reggiungere in un dato momento. Per lui, la performance deve riflettere la complessità del costruire e non la complessità della prova. Ciò che si vuole verificare è la capacità dello studente di trasferire in pratica ciò che ha appreso in modo teorico.

Messick vede un conflitto tra il tempo necessario per passare una valutazione autentica e la necessità di valutare tutta la materia appresa. Una prova autentica richiede molto tempo e valuta poche cose. Egli sostiene che questo genere di prova può avere delle conseguenze avverse sullo studente. Costui può non sentirsi a suo agio con la manipolazione degli strumenti maneggiando perfettamente i concetti che deve utilizzare. (Messick, pagina 6)

Solano-Flores solleva qualche problema con l’amministrazione di alcuni test. Sottolinea che il montaggio e le smontaggio dell'equipaggiamento può richiedere così tanto tempo che l’amministrazione dei test diventa quasi impossibile. L’utilizzo di materiale che sarà distrutto nel corso della valutazione autentica diventa costoso. Le istituzioni allora possono utilizzare del materiale meno caro ma di qualità inferiore. La cattiva qualità dei materiali introduce allora degli errori di misura e falsa i risultati finali. Sottolinea anche il problema della fedeltà tra i diversi valutatori. Per lui, è molto importante formare i valutatori in modo che generalmente la loro valutazione sia standardizzata. (Solano-Flores, pagina 19).

Per Bert F. Green, della Johns Hopkins University, se le autorità scolastiche vogliono poter comparare i risultati della valutazione authentique da un'anno all’altro, occorre assicurarsi che i risultati di performance possano essere comparabili. Dei cambiamenti nell’amministrazione dei test creano delle difficoltà di comparazione. D’altra parte, se di anno in anno, si utilizzano gli stessi test, l’informazione circola tra gli studenti. Gli studenti si preparano allora solo in funzione di una prova specifica. Si assiste allora a una preparazione affrettata all'esame. (Green, pagina 12)

Presso molti autori che abbiamo consultato, sembra il disimpegnarsi una costante. La valutazione autentica possiede numerose qualità ma non può in tutti i casi sostituire l’esame tradizionale, carta e penna. Per verificare l’acquisizione della conoscenza, l’esame tradizionale funziona. Si può facilmente determinarne l'affidabilità, la validità e la comparabilità.

[modifica] La valutazione nella formazione professionale

Le Guida generale di valutazione per la formazione professionale e tecnica ci indica che tale tipo di formazione au secondaire è basato sulla valutazione della competenza acquisita. Sotto questa luce, due aspetti sono ritenuti importanti: la maestria nel mestiere e la formazione fondamentale.

Per certificare il raggiungimento degli obiettivi, si possono utilizzare uno o più di questi metodi:

• la valutazione di un prodotto, che dà luogo a una prova pratica
• la valutazione di un processo di lavoro, che dà luogo anch'essa a una prova pratica
• la valutazione delle conoscenze pratiche, che dà luogo a una prova teorica.

Si privilegia la valutazione di un prodotto piuttosto che la valutazione di un processo di lavoro in tutti i casi in cui si può confermare per inferenza l’acquisizione della competenza considerata.

L’amministrazione di una prova in vista della valutazione di un prodotto è generalmente meno complessa di quella di una prova in vista della valutazione di un processo di lavoro. In più, la valutazione di un prodotto permette all’esaminatore di osservare più candidati ogni volta.

La formazione professionale del ministero dell’Educazione si fa per programma. Ogni programma contiene un certo numero di moduli che corrispondono ognuno ad una competenza specifica. Il processo di acquisizione delle conoscenze segue un logigramma specifico di ogni programma. Ogni modulo è l'oggetto di una valutazione. Questa può essere locale o essere oggetto di una prova ministeriale. La legge della pubblica Istruzione prevede che il ministro dell’Educazione possa imporre delle prove per tutti i programmi della formazione professionale. Generalmente, un modulo su cinque sarà sottomesso a una prova ministeriale.

Lo scopo della valutazione nella formazione professionale è di certificare che lo studente ha raggiunto le competenze contenute nel modulo. Uno studente che completa un programma specifico dovrebbe possedere le competenze per reggiungere le qualifiche minime d'entrata nel mestiere o nella professione. È certo che non avrà l’abilità che viene con molti anni di pratica di un mestiere.

Poiché si tratta di mestieri professionali, le prove di valutazione devono se rapportare il più possibile alla realtà del lavoro. Così gli studenti in meccanica procedono a dei cambiamenti del silenziatore su una vettura o alla messa a punto di un motore. Ogni valutazione verterà sia sul processo sia sul prodotto finale, e talvolta i due al medesimo tempo. Se si valuta il lavoro di uno studente in un corso di ausiliario ai malati, gli si farà spostare un malato d’une civière a un letto d’ospedale. In tal caso, il processo è più importante del risultato finale. In altri casi, è il risultato finale, una lettera ben redatta o un motore ben aggiustato che dimostreranno il raggiungimento della competenza.

L’utilizzo di prove pratiche pone alcuni problemi logistici. Il problema dei costi e della fattibilità degli esami si presentano spesso. Nel caso degli esami sullo spargimento dei pesticidi, occorrerebbe mischiare dei pesticidi e spargerli in un campo con un trattore. L’utilizzo di un trattore non è sempre fattibile e il fatto di spargere dei pesticidi non è molto ecologico. Allora, una prova carta e penna chiede di determinare le azioni da intraprendere a partire situazione data.

Nel quadro del modulo della Confezione di una giacca da donna su misura, le candidate imparano a confezionare una giacca per signora. Gli si insegna a prendere delle misure e poi a modificare un modello esistente conformemente alle specifiche di una cliente prima di confezionare la giacca. Nel quadro di un corso di 90 ore, riescono a realizzare uno o due giacche prima di presentarsi alla valutazione finale. Dispongono di 12 ore per realizzare una giacca completa. Al momento della valutazione, gli esaminatori avevano a loro disposizione una cartella di valutazione in cui annotavano la performance in tutte le tappe necessarie al confezionamento. Ogni criterio è valutato in modo dicotomico. La studentessa raggiungeva o no ognuno dei criteri. Alla fine della prova, la studentessa deve raggiungere 80 punti su un totale di 100. Si tratta di una valutazione critica con una soglia di passaggio di 80 punti.

Malgrado la migliore preparazione possibile en ce qui concerne la validità e la fedeltà della prova, so è scoperto che occorrono fino a 24 ore per realizzare la prova. Così, molte studentesse falliscono. Questi fallimenti non sono necessariamente dovuti a una carenza di competenze delle studentesse ma alla mancanza di tempo per realizzare tutte le tappe della realizzazione d’una giacca. Dopo una consultatione, è stato compreso di allungare la durata della prova.

Per assicurare una certa fedeltà nella somministrazione delle prove ministeriali, la Direzione generale della formazione professionale e tecnica prepara delle prove. Queste sono redatte da insegnanti in formazione professionale sotto la direzione di un consigliere in valutazione. Dopo la loro redazione, le prove sono sottomesse alla valutazione d’un gruppo d'insegnanti che ne verifica la validità. In seguito, ci sono delle sessioni di valutazione nelle commissioni scolastiche. C'è dunque un'interazione tra gli esaminatori che gli faranno passare le prove e coloro che le hanno concepite. Dopo aver fatto passare gli esami ai loro studenti, i professori possono fare una valutazione retroattiva sulle prove. Ciò permette di modificare, chiarificare o cambiare i criteri che stanno alla base dell’esecuzione delle prove.

[modifica] Conclusione

I metodi di valutazione della formazione professionale del ministero dell’Educazione incontrano gli stessi problemi e le stesse difficoltà di quelli sollevati da Wiggins, Messick e altri. Al momento della redazione delle prove, occorre sempre fare attenzione alla validità del contenuto. Non bisogna che difetti nelle prove o nelle apparecchiature nuocciano alle possibilità di riuscita degli studenti. Il ministero prova di assicurare la fedeltà inter-juge imponendo delle prove ministeriali. Il sistema di retroazione permette un riallineamento delle prove in caso di necessità. Somme toute, la valutazione basata sulla performance rappresenta un eccellente strumento per determinare se gli studenti possiedono le competenze di ogni modulo.

[modifica] Bibliografia

• Bert F.Green, A Comparability of Scores from Performance Assesssments @, in Educational Measurement: Issues and Practice, Winter 1995.
• Janine Huot, A Learning Outcomes: A Performance Assessment Perspective @,

www.collegequrterly.org/CQ.html/HHH.064.CQ.F96.huot.html. (Huot1)

• Janine Huot, A Un aperçu de l’approche pédagogique basée sur la performance @,

fox.nstn.ca/huot/formation/edu-perf.html (Huot2)

• Ministère de l’Éducation, Guide général d’évaluation, La formation professionnelle et technique, Québec, 1993.
• Renald Legendre, Dictionnaire actuel de l’éducation, 2e édition, Edition 2000, Guérin, Montréal 1993.
• Robert L. Linn, David B. Swanson and Geoffrey R. Norman, A Performance-Based Assessment: Lessons From the Health Professions @, in Educational Researcher, June/July 1995.
• Robert L. Linn, Eva Baker e Stephen B. Dunbar, A Complex, Performance Based Assessment: Expectations and Validation Criteria @, in Educational Researcher, November 1991.
• Samuel Messick, A Standards of Validity and the Validity of Standards in Performance Assessment @, in Educational Measurement: Issues and Practice, Winter 1995.
• Guilermo Solanor-Flores e Richard J. Shavelson, A Development of Performance Assessment in Science: Conceptual, Practical and Logistical Issues @, Educational Measurement: Issues and Practice, Fall 1997.
• Grant P. Wiggins, Assessing Student Performance: Exploring the Purpose and Limits of Testing, Jossey-Bass Publishers, San Francisco, 1993. (Wiggins1)
• Grant, P. Wiggins, AThe case for authentic Assessment. ERIC Digest@, http://ericae.net/db/edo/ED328611.htm (Wiggins2)