ECVET - Applicazione ai percorsi di mobilità

Il confronto tra Stato e Stato, nello specifico caso analizzato nel prototipo, si basa su informazioni rilevate in casi di studio nel settore dell'ICT appartenenti a cinque strutture delle qualifiche nazionali di Francia, Italia, Olanda, Svezia e Inghilterra, e utilizzate per popolare una base di conoscenza semantica.

Per definire i metadati utilizzati nell'annotazione si sono sfruttati i modelli dei sistemi formativi - mappe - in modo da caratterizzare ciascun elemento di una qualifica nazionale. L'annotazione è stata realizzata manualmente, anche se era stato sviluppato un prototipo per l'annotazione automatica in riferimento a un dizionario di termini condiviso (keywords) definito dagli esperti. Sono stati poi assegnati ai metadati dei pesi per specificare l'importanza di una keyword.

Per il testing del sistema, l'annotazione è stata effettuata al livello più basso del modello, per esempio dove un elemento è rappresentato da un learning outcome che corrisponde nel modello italiano a Contenuto, Descrittore e Indicatore, o nel modello francese a Compétence professionnelle, Critère d'évaluation e Niveaux de performance.

La Tabella 1 mostra una porzione dei metadati e delle parole chiave collegate ad alcuni elementi di basso livello del modello italiano. A titolo di esempio, la competenza "Individuare le caratteristiche peculiari dell'oggetto da installare", che è di tipo Contenuto, può essere caratterizzata da tre keywords: install (con peso 50%), features (con peso 25%) e identify (con peso 25%). E' importante sottolineare che in un contesto reale, in cui si analizza un preciso scenario di riferimento, i pesi devono essere assegnati dagli esperti in base al significato di uno specifico elemento. Un estratto di una possibile annotazione per la qualifica francese è mostrato nella Tabella 2. In questo caso gli elementi della qualifica sono descritti in base a tre metadati: Compétence professionnelle, Critère d'évaluation, e Niveaux de performance. Le relazioni tra gli elementi del modello italiano e di quello francese sono mostrate in Figura 1.
Avere popolato la base di conoscenza con le informazioni relative ai casi di studio selezionati, ha reso possibile lo sviluppo del motore di ricerca semantico per il calcolo del matching tra elementi appartenenti a diverse qualifiche.

Si evidenzia inoltre che:

• le regole di raccordo dei meta-modelli UML sono state in un primo tempo descritte tramite un formalismo semantico e poi incluse nella base di conoscenza insieme ai pesi attribuiti ai valori nelle matrici di analisi;
• la logica semantica è stata configurata al fine di determinare il matching o grado di somiglianza tra qualifiche a due livelli di dettaglio:

- un livello più basso, che confronta ogni elemento di basso livello (ad esempio Contenuto, Descrittore, Indicatore, Compétence professionnelle, Limite de connaissance, Niveaux de performance, ecc.) con i restanti elementi di basso livello della meta-ontologia;
- un livello più alto, che confronta un elemento aggregato (ad esempio un contenitore di Contenuto, Descrittore, Indicatore, e cioè una Competenza o un contenitore di una Competenza, ad esempio una Unità Capitalizzabile come "Installare software e sistemi hardware" con un elemento di destinazione;

• il confronto tra elementi di basso livello implica la selezione di una riga dalla Tabella 1 e il suo confronto con ogni riga della tabella di destinazione (Tabella 2);
• il confronto per calcolare un matching di alto livello implica l'uso di tutte le keywords e i pesi del sistema di partenza e il confronto con tutti gli elementi del sistema formativo di destinazione, sfruttando le informazioni di basso livello;
• la definizione della strategia di suddivisione del calcolo del matching in due fasi consente di meglio focalizzare come i cambiamenti nelle regole di raccordo tra concetti di basso livello possano migliorare o peggiorare un matching di alto livello. Secondo le osservazioni sperimentali, questo accade quando vi è una differenza sostanziale tra il peso atteso del collegamento tra due elementi di basso livello e il valore fornito da un caso di studio concreto; tramite questa strategia è quindi possibile identificare le informazioni che sono state messe nel contenitore sbagliato, nel documento che descrive la qualifica;
• la modifica dei pesi che regolano le relazioni tra elementi di basso livello consente di rilevare e correggere eventuali errori e fornire un valore di matching più corretto.

I calcoli per il matching variano nei seguenti casi:

• matching di basso livello: se una coppia di concetti di basso livello ha le stesse keyword, il sistema calcola il grado di matching come la somma dei pesi delle keywords trovate in entrambi gli elementi e divisa per il numero totale delle keywords associate a ogni elemento ed ancora divisa per la somma dell'inversa del numero totale di keywords collegate a ogni elemento di basso livello;
• matching di alto livello, calcolato in due modi:

- senza usare le regole di raccordo: media dei valori trovati nel matching di basso livello, che non considera i pesi delle regole di raccordo tra elementi di basso livello;
- sfruttando le regole di raccordo: il risultato del matching di basso livello è moltiplicato per il peso delle regole di raccordo tra gli elementi di livello inferiore, e poi è diviso per il numero delle possibili combinazioni (elemento di partenza - obiettivo).

I metodi di calcolo sono importanti per il raggiungimento del risultato finale e cioè per capire il livello di comparabilità tra due qualifiche. Il doppio modo di calcolo nel matching di alto livello permette di modificare, ottimizzandoli, i pesi relativi al raccordo e di raggiungere così risultati migliori.

L'identificazione dei pesi corretti, fatta ora manualmente dagli esperti, è potenzialmente gestibile in modo automatico e sicuramente aiuterà gli attori nazionali ad allineare meglio le proprie qualifiche in uno scenario transnazionale e di applicazione e raccordo attraverso EQF.

I risultati parziali di un test effettuato su casi di studio italiani e francesi dimostrano che effettivamente un buon utilizzo dei pesi di raccordo ottimizza i trend del matching.

A titolo di esempio di quanto appena affermato si riporta nella Figura 3 l'elemento italiano di alto livello "Installare software e sistemi hardware" e lo si confronta con l'elemento francese appartenente al profilo considerato. Senza usare i pesi di raccordo, il migliore matching è 38.04%, mentre, se si utilizzano i pesi corretti inseriti dagli esperti (Figura 4), questo valore aumenta fino raggiungere 46.04%. Inoltre, il peggior valore di matching tra "Installare software e sistemi hardware" e "Dépanner un système informatique" scende da 6.46% a 4.17%.

I risultati del matching di basso livello sono mostrati in Figura 5, dove un Descrittore italiano "Saper effettuare l'installazione dei principali prodotti di office automation" è confrontato con tutti gli elementi di basso livello francesi. I valori nella penultima colonna sono calcolati senza considerare i pesi relativi al raccordo, mentre i valori nell'ultima colonna considerano anche i pesi. E' importante sottolineare che, quando il confronto è effettuato con un Critère d'évaluation o un Niveaux de performance, elementi del modello francese, il matching di basso livello è uguale a zero, a causa dei pesi assegnati in base alle regole di raccordo.