Dimostrata l’irregolarità del metodo utilizzato dal Cisia per equalizzare i punteggi. Saltano i Tolc a febbraio e, dopo le nostre azioni, il Ministero ammette gli errori commessi e cambia ancora le modalità di selezione per Medicina. Appuntamento il 9 gennaio a Roma!
La conferenza stampa
“L’ammissione dei ricorrenti in sovrannumero è lo scenario più plausibile, vista l’ormai dimostrata irregolarità dei Tolc e dell’equalizzatore utilizzato per stilare la graduatoria dei candidati ammessi ai corsi di laurea in Medicina, Odontoiatria e Veterinaria”. Sono queste le prospettive annunciate da Francesco Leone e Simona Fell, soci fondatori dello studio legale Leone-Fell & C. che ha incardinato oltre tremila ricorsi al Tar Lazio, che hanno tenuto una conferenza stampa online a cui ha preso parte anche l’Ingegnere Carmelo Pino, esperto in Intelligenza artificiale, che ha stilato una relazione che confuta e mette in discussione l’intero sistema utilizzato dal Cisia per equalizzare i punteggi dei Tolc.
Facciamo alcuni esempi reali, con i risultati dei test:
- Un punteggio di 5 arriva a 50 con l’equalizzatore, un punteggio di 29.50 raggiunge soltanto 42.20 con l’equalizzatore;
- Il punteggio di 38.5, una volta equalizzato, è diventato per la sessione di aprile il punteggio attuale più alto per accedere al cdl in Medicina: 74.89
“Il criterio prescelto dall’Amministrazione non è idoneo ad assicurare il raggiungimento dell’obiettivo che la stessa si era prefissata di raggiungere attraverso il ricorso all’equalizzazione, ossia maggiore equità tra i candidati. (…) La principale criticità nella modalità di selezione casuale da inserire nel test risiede nel mancato controllo, da parte del CISIA, della difficoltà media del test. Difatti, non esiste alcun un meccanismo per evitare che ad uno studente siano assegnate solo domande “difficili” o solo domande “facili”. Tuttavia è ampiamente noto in letteratura che il livello di complessità del test influenza le prestazioni sul test stesso e pertanto somministrare test con livelli non controllati di difficoltà, anche in presenza di un meccanismo di equalizzazione, è una scelta errata”. Questo è quanto sostiene l’ingegnere Carmelo Pino, che vanta collaborazioni con Università italiane, multinazionali e che è stato anche assistente di ricerca presso l’INAF (Istituto Nazionale di Astrofisica).
Niente Tolc a febbraio. Le novità annunciate dalla Bernini
Intanto, nessun decreto ministeriale è stato pubblicato con le date dei prossimi Tolc che si sarebbero dovuti tenere già a febbraio 2024. “Il fatto che la prossima sessione dei Tolc sia saltata (non ci sono più i tempi tecnici per indire le date, consentire ai candidati l’iscrizione ed espletare le prove, ndr) – spiegano i legali – è già una grande vittoria! Abbiamo lottato sin da subito per dimostrare la fallacità del sistema e tutelare il diritto allo studio dei nostri ragazzi. La decisione del Ministero di studiare sistemi alternativi ai Tolc per l’accesso a Medicina, ancor prima della decisione dei giudici è un risultato che ci rende fieri del lavoro svolto finora”.
Qualche settimana fa, in occasione del meeting di Forza Italia a Taormina, anche la ministra dell’Università e della ricerca Annamaria Bernini era tornata a parlare di test di Medicina: “Il Tolc è ciò che ritengo più anti storico di tutto, non funzionano. I Tolc selezionano in modo sbagliato, non so se io passerei un Tolc – aveva detto al meeting – L’alternativa è un periodo filtro per selezionare in base alle attitudini degli studenti senza perdere troppo tempo e valutando da qui a sei anni di quanti medici abbiamo bisogno”.
“Dalle sue dichiarazioni pubbliche – spiegano i legali – si evince che c’è una volontà chiara che è quella di abbandonare definitivamente un sistema fallace che non ha garantito né equità di trattamento né meritocrazia e di vagliare nuove metodologie di selezione. Ci auguriamo che queste ipotesi vengano attuate già nei prossimi mesi”. Gli avvocati, che da oltre un decennio si occupano di test d’accesso e di selezioni pubbliche, hanno ribadito durante la conferenza stampa la loro massima apertura a dare il via a un’interlocuzione fattiva con il Ministero e offrire allo staff tutto il supporto possibile per dare il via a una nuova stagione di selezione e scongiurare, una volta e per tutte, il collasso del Sistema sanitario nazione e ridurre, anno dopo anno, quella carenza medici che sembra diventata endemica in ogni ambito.
E ora, a seguito delle nostre proteste e delle noste azioni legali, il Ministero torna sui suoi passi e annuncia un cambio di modalità di selezione per Medicina. La conferma arriva dal ministero dell’Università che, oltre a far slittare le date, annuncia che il nuovo test si baserà su quesiti selezionati da una banca dati aperta e pubblica, archiviando così anche il meccanismo di equalizzazione.
Dal Tolc a oggi, cosa è successo?
Lo scorso 25 ottobre, il giudice del Tar Lazio, avendo rilevato la fondatezza delle censure presentate nei ricorsi dello studio legale Leone-Fell, ha ritenuto necessario chiedere opportuni chiarimenti al Cisia in merito al funzionamento dell’equalizzatore e in particolare:
– al numero dei quesiti componenti la banca dati;
– ai criteri e modalità di individuazione dei quesiti da sottoporre ai candidati nei vari turni della medesima sessione e nelle diverse sessioni;
– alle modalità di calcolo del punteggio equalizzato, a tal fine indicando gli effetti del meccanismo di equalizzazione sul punteggio del singolo quesito, in relazione a ciascun possibile esito (risposta esatta, errata o non data) e, per ciascuno di detti esiti, rispetto a diversi scenari di difficoltà del quesito, e prendendo altresì specifica posizione sugli esempi numerici dedotti a supporto delle censure mosse.
La relazione presentata oltre i termini dal Cisia infatti non chiarisce i dubbi sollevati dal giudice e inoltre conferma la fallacità di un metodo che non consente la selezione dei migliori candidati al Tolc.
La risposta del Cisia non convince. Dall’analisi condotta dal nostro esperto, l’ingegnere Carmelo Pino, emerge che il sistema di equalizzazione utilizzato per la formazione della graduatoria unica nazionale non è un metodo affidabile. Anzi, essendo stato utilizzato in maniera non corretta ha comportato una enorme falla, falsando completamente i risultati del test.
Perché l’equalizzazione non ha funzionato?
Il Tar Lazio ha chiesto al Cisia di specificare il numero dei quesiti componenti la banca dati. L’ente, nella sua relazione, ha specificato di aver formulato 1700 quiz. Tale numero – come è spiegato nella relazione dell’ing. Pino – non è assolutamente congruo in quanto, nel caso del calcolo coefficienti di facilità del Tolc Med, supponendo una popolazione di 80.000 studenti (dato che fa riferimento al numero dei candidati che hanno preso parte al Tolc) e, considerata l’importanza di tale punteggio ai fini della graduatoria, un livello di confidenza del 99% e un margine di errore dell’1%, ogni singola domanda avrebbe dovuto essere stata somministrata ad almeno 13.776 studenti.
Dal calcolo condotto dal nostro esperto emerge che ogni quesito sarebbe stato somministrato a 2.352 ((80.000 × 50 (domande per test))/1700) studenti, ossia non abbastanza per ottenere un errore pari all’1% e una certezza pari al 99% sull’accuratezza del calcolo. Secondo l’esperto “se si vuole un livello di confidenza più elevato (e.g., 99.9%) e un margine di errore dello 0.1%, il numero passa da 13.776 ad 20.221”.
E infatti, il margine d’errore che il Cisia ha considerato è del 2%, con un intervallo di confidenza del 95% (ben lontano da un errore dello 0,1% con un intervallo di confidenza del 99% al quale si punta in
queste situazioni). Con un margine del 2% possono oscillare migliaia di posti. Supponendo che uno studente abbia fatto 22 punti non equalizzati, successivamente gli vengono assegnati 35 di punti di equalizzazione, per un totale di 57. I 35 punti, con il sistema attuale, avranno un margine di errore del 2% quindi il suo punteggio potrebbe oscillare tra 57.7 a 56.3. In quel range di 1.4 rientrano migliaia di persone. Infatti: 57 punti – posizione 18109 (dentro) 56.3 punti – posizione 19784 (fuori) oltre 1660 posizioni indietro
In altre parole, il metodo seguito dal Cisia per stabilire il numero di quesiti da somministrare non è supportato da alcuna evidenza statistica.
Per quanto riguarda i criteri e modalità di individuazione dei quesiti da sottoporre ai candidati nei vari turni della medesima sessione e nelle diverse sessioni il Cisia si è limitato ad affermare che “In letteratura si rileva come nella maggior parte delle situazioni per l’individuazione dei quesiti da sottoporre ai candidati è sufficiente utilizzare l’equivalent group design, detto anche random group design: a ciascun partecipante al test viene somministrata casualmente una delle possibili diverse prove”.
Tale criterio però non sarebbe idoneo ad assicurare maggiore equità tra i candidati. E ciò per due motivi:
1) in Letteratura esistono casi che evidenziano come tale “design” può portare a dei risultati inattesi e distorti;
2) la principale criticità nella modalità di selezione casuale da inserire nel test risiede nel mancato controllo, da parte del Cisia, della difficoltà media del test.
Nel parere di parte stilato dall’ing. Pino viene dimostrato che non esiste alcun meccanismo per evitare che a uno studente siano assegnate solo domande “difficili” o solo domande “facili”. E poiché è ampiamente dimostrato in Letteratura che il livello di complessità del test influenza le prestazioni dell’intero test, somministrare test con livelli non controllati di difficoltà, anche in presenza di un meccanismo di equalizzazione, è una scelta errata.
Per quanto riguarda le modalità di calcolo del punteggio equalizzato, secondo l’ing. Pino, il meccanismo scelto dal Cisia presenta diverse criticità. Innanzitutto, il metodo “mean equating” è particolarmente problematico nel caso in cui i test presentino livelli di difficoltà significativamente differenti. L’equalizzazione della media, che rappresenta un tratto distintivo di questo approccio scientifico, potrebbe non essere adeguata a garantire una comparabilità accurata dei punteggi conseguiti dai partecipanti.
Il Cisia ha precisato di aver utilizzato il metodo mean equating non a livello di prova, ma già a livello di singolo quesito, applicandolo dunque in maniera distorta, utilizzandolo cioè non a livello di test, bensì a livello di singola domanda. La Letteratura in Psicometria, specifica nel settore dell’equalizzazione, è infatti concorde nello stabilire che il metodo mean equating debba essere applicato a livello di test e non a livello di singola domanda.
“Il comportamento adottato dal Cisia – precisano i legali – è dunque particolarmente grave, di per sé sufficiente a invalidare il sistema di equalizzazione della prova”.
Un altro fattore da non sottovalutare è il numero di studenti per la determinazione del coefficiente di facilità (CdF) di ogni singolo quesito che deve essere identico per ogni quesito, altrimenti i risultati presentano delle distorsioni che possono diventare significative nel caso di molti partecipanti come nel caso del Tolc Med. Così non è stato perché il Cisia non ha somministrato i quesiti allo stesso numero di persone!
Per i legali dunque, viste le evidenti anomalie nel metodo utilizzato per equalizzare i punteggi, non potendo a posteriori attuare misure correttive, l’unica soluzione auspicabile è quella di ammettere i ricorrenti in sovrannumero e ristabilire così un diritto illegittimamente negato, ovvero quello allo studio.
La manifestazione del 9 gennaio a Roma
Il 9 gennaio, a Roma, in piazza dei Santi Apostoli, si terrà una grande manifestazione organizzata dal Comitato #IONONHOIMBROGLIATO e che nei mesi scorsi aveva lanciato una petizione su Change.org superando le 60mila firme in pochi giorni e girato l’Italia per sensibilizzare i cittadini sulla carenza medici e sulle restrizioni ancora in vigore che limitano l’accesso ai corsi di laurea in Medicina.
31/01/2024
