← Approfondimenti
Selezione & bias

Il primo selezionatore non è umano

Lo screening automatico dei CV è il punto in cui l'intelligenza artificiale entra per prima — e più spesso — nei processi HR. Cosa fa davvero, perché il costo ricade su chi lo usa e non sul fornitore, e cosa la legge italiana ed europea già impone. Oggi, non nel 2027.

Prendi un curriculum. Lascia tutto identico — esperienza, competenze, titoli di studio — e cambia solo il nome in cima alla pagina. Da Marco a Fatima. Da Giulia a Giovanni. In molti sistemi di selezione automatica il punteggio cambia. E chi ha pubblicato l'annuncio non se ne accorge.

Non è un'ipotesi. Tra il 2014 e il 2017 Amazon ha costruito uno strumento che assegnava ai candidati un punteggio da una a cinque stelle, come i prodotti sul suo marketplace. Addestrato su dieci anni di curriculum ricevuti — in larga parte maschili, perché il settore tech lo è — il sistema imparò che gli uomini erano preferibili: penalizzava i CV che contenevano la parola «women's» (come in women's chess club) e declassava le laureate di due college femminili. Amazon provò a correggerlo, non riuscì a renderlo affidabilmente neutro e lo abbandonò. Il punto non è che fosse uno strumento difettoso. Il punto è che faceva esattamente ciò che un sistema del genere fa per impostazione predefinita: imparare dal passato e ripeterlo.

Quel passato, oggi, è quasi ovunque. Lo screening automatico è il primo — e spesso unico — filtro che un curriculum incontra prima di un occhio umano. Negli Stati Uniti si stima che circa il 99% delle società Fortune 500 ricorra a una qualche forma di automazione nelle assunzioni, e che gran parte di chi adotta un Applicant Tracking System vi abbia ormai integrato l'intelligenza artificiale. In Italia l'adozione è più bassa ma in crescita netta, e si concentra proprio nel recruiting. La caratteristica che conta è un'altra: questo primo lettore è invisibile, è veloce e non è umano — e in molti casi ordina o scarta una candidatura prima che un occhio umano la veda.

Lo stesso CV, un altro nome

La domanda non è se questi sistemi sbaglino, ma quanto è misurabile lo sbaglio. La risposta più solida arriva da uno studio dell'Università di Washington presentato nell'ottobre 2024 alla conferenza AAAI/ACM su intelligenza artificiale ed etica. I ricercatori hanno preso oltre 550 curriculum reali, vi hanno applicato 120 nomi statisticamente associati a uomini e donne di diverse origini, e hanno chiesto a tre modelli di embedding linguistico — lo stesso tipo di tecnologia che, nei software di selezione, misura quanto un CV «somiglia» a un annuncio per ordinare i candidati — di classificare quei curriculum rispetto a oltre 500 offerte di lavoro reali. Oltre tre milioni di confronti.

Il risultato, misurato su 27 test: i modelli hanno favorito i nomi associati a candidati bianchi circa l'85% delle volte e i nomi femminili solo nell'11%; in nessun test hanno preferito un nome maschile di origine afroamericana a un nome maschile bianco a parità di curriculum. Un dettaglio rende il problema più scomodo per chi crede di averlo risolto: togliere il nome non basta. Indizi indiretti — la scelta delle parole, il nome di una scuola, un'associazione studentesca — continuano a segnalare l'identità, e il modello continua a usarli.

Niente di tutto ciò è nato con l'AI. Già nel 2004 un celebre esperimento sul campo di Bertrand e Mullainathan aveva inviato a vere offerte di lavoro curriculum identici, variando solo il nome: quelli con nomi «bianchi» ricevevano circa il 50% di richiami in più. Il bias di selezione è un problema umano antico. L'AI non lo ha inventato: lo ha ereditato dai dati storici e lo ha applicato su scala industriale, a costo marginale quasi nullo e senza lasciare traccia visibile.

Non è il software a essere «cattivo»

Qui serve precisione, perché è il punto che distingue un'analisi seria da un allarme tecnofobico. Questi sistemi non hanno un'intenzione discriminatoria. Producono distorsioni per due vie distinte, ed entrambe riconducono a scelte umane.

La prima è il dato di addestramento. Un modello che impara da assunzioni passate squilibrate impara lo squilibrio: è esattamente ciò che è accaduto ad Amazon. La seconda, meno discussa ma più diffusa, è la configurazione. Lo studio Hidden Workers: Untapped Talent di Harvard Business School e Accenture (2021), basato su 2.250 dirigenti tra Stati Uniti, Regno Unito e Germania, ha rilevato che l'88% degli intervistati riconosce che il proprio sistema scarta candidati qualificati solo perché non combaciano in modo esatto con i criteri impostati — percentuale che sale al 94% per i profili intermedi. Lo stesso studio stima in circa 27 milioni, nei soli Stati Uniti, i «lavoratori nascosti»: persone idonee e disponibili, sistematicamente filtrate prima di arrivare a un colloquio. Quasi metà delle aziende, ad esempio, elimina in automatico chi presenta un'interruzione di carriera di sei mesi o più.

In altre parole: spesso il problema non è «l'algoritmo cattivo», ma una regola di selezione mal definita da un umano e poi applicata rigidamente, su migliaia di candidature, da una macchina che non discute. Il filtro fa quello per cui è stato impostato. È la rigidità invisibile, non la malizia, a produrre il danno.

Perché il costo ricade su chi usa il sistema, non sul fornitore

Per un'azienda il costo di tutto questo è doppio, e nessuno dei due lo paga il fornitore.

Il primo costo è di business. In un mercato del lavoro in cui quasi tutti lamentano carenza di profili, un filtro tarato sull'esattezza dei requisiti restringe il bacino fino a escludere persone che farebbero benissimo il lavoro. Si finisce per cercare a lungo candidati «perfetti sulla carta» mentre candidati capaci vengono scartati al secondo decimale di un punteggio. È una carenza di talenti in parte autoinflitta.

Il secondo costo è legale, ed è qui che la responsabilità si sposta in modo netto sull'azienda che usa lo strumento — non su chi lo ha venduto. Affidarsi a un modello fornito da terzi non mette al riparo dalle conseguenze di un esito discriminatorio: la decisione resta del datore di lavoro.

Cosa dice già la legge — e non è l'AI Act

C'è un equivoco diffuso: che il tema sia regolato dall'AI Act e che quindi ci sia tempo. È vero il contrario. Gli obblighi per i sistemi di reclutamento ad alto rischio (Allegato III, punto 4 del Regolamento UE 2024/1689) sono stati differiti — con il Digital Omnibus, accordo politico del 7 maggio 2026 — al 2 dicembre 2027. L'adozione formale è, allo stato, ancora pendente: finché il testo non è pubblicato in Gazzetta Ufficiale dell'Unione, la data del 2 agosto 2026 resta formalmente in piedi. In ogni caso, l'AI Act è il livello futuro della disciplina. Non è ciò che vincola oggi.

Ciò che vincola oggi è una terna già pienamente in vigore.

Il diritto antidiscriminatorio. Un criterio apparentemente neutro che svantaggia in modo sproporzionato un gruppo protetto è discriminazione indiretta, ed è già vietato a prescindere dall'AI Act. Un filtro automatico che produce un impatto disparato non diventa lecito perché lo applica una macchina.

Il GDPR, art. 22. Una decisione basata unicamente su trattamento automatizzato che produce effetti giuridici o incide in modo analogo sulla persona è in linea di principio vietata, salvo basi legittime e con garanzie: diritto a ottenere l'intervento umano, a esprimere la propria opinione, a contestare la decisione. La Corte di Giustizia UE, nel caso Schufa (C-634/21, 7 dicembre 2023) — nato in materia di credit scoring — ha chiarito un punto decisivo per chi pensa di cavarsela con un «umano nel processo»: un punteggio prodotto in automatico costituisce esso stesso una decisione ai sensi dell'art. 22 quando chi lo riceve vi «fa forte affidamento». Tradotto sul recruiting (l'estensione è analogica, ma il principio è lo stesso): se lo scarto di un candidato è di fatto determinato dal punteggio del sistema, e la revisione umana è solo formale, si rientra nell'art. 22 — con tutti gli obblighi che ne derivano, inclusa la trasparenza sulla logica del trattamento (art. 15) e, dove ricorrano i presupposti, la valutazione d'impatto (art. 35).

Il Decreto Trasparenza. È il livello che molti datori di lavoro italiani ignorano. L'art. 1-bis del D.Lgs. 152/1997 — introdotto dal D.Lgs. 104/2022 e modificato dal D.L. 48/2023 — impone di informare i lavoratori e le rappresentanze sindacali sull'uso di «sistemi decisionali o di monitoraggio integralmente automatizzati» deputati a fornire indicazioni rilevanti, tra l'altro, «ai fini della assunzione». L'aggettivo «integralmente», aggiunto nel 2023, restringe l'obbligo informativo ai sistemi interamente automatizzati — ed è qui che i due livelli si saldano: dove l'intervento umano esiste ma è solo formale, soccorre comunque il GDPR, perché secondo la logica della sentenza Schufa quel punteggio resta una decisione automatizzata. Quando l'obbligo si applica, la norma richiede di dichiarare la logica e il funzionamento del sistema, i dati e i parametri usati per addestrarlo e — alla lettera f) — «il livello di accuratezza, robustezza e cybersicurezza dei sistemi … nonché gli impatti potenzialmente discriminatori delle metriche stesse»; e impone, in raccordo con gli artt. 35-36 GDPR, l'analisi dei rischi, la valutazione d'impatto e, dove ne ricorrano i presupposti, la consultazione preventiva del Garante. È diritto positivo italiano, in vigore: la legge italiana nomina già, testualmente, il rischio discriminatorio al centro di questo articolo.

Che il rischio non sia teorico lo ha mostrato il Garante per la protezione dei dati personali. Nel novembre 2024 ha sanzionato Foodinho (gruppo Glovo) con cinque milioni di euro per il trattamento illecito dei dati di oltre 35.000 rider — e non era la prima volta, perché la stessa società era già stata sanzionata nel 2021 — contestando tra l'altro l'assenza delle garanzie previste per i sistemi automatizzati — il diritto a ottenere l'intervento umano, a esprimere la propria opinione, a contestare la decisione — e prescrivendo che le decisioni dell'algoritmo siano verificate da operatori adeguatamente formati. Il caso riguarda la gestione del lavoro tramite piattaforma, non lo screening dei CV. Ma il principio è identico e trasferibile: una decisione automatizzata sulle persone, nel contesto del lavoro, richiede garanzie, sorveglianza umana effettiva e assenza di discriminazione. E in Italia è già sanzionata.

Come guardare dentro la propria black box

La risposta non è rinunciare allo strumento. È smettere di trattare il suo risultato come oggettivo e verificarlo. Cinque controlli concreti, eseguibili senza un reparto data science.

  1. Test del nome. Si prendono 15-20 curriculum reali, si duplicano cambiando solo il nome (genere e origine diversi), si ripassano nel sistema e si confrontano i ranking. Se l'ordine cambia a parità di contenuto, il problema è in casa.
  2. Cinque domande al fornitore, per iscritto. Quali variabili usa il modello per il punteggio? È stato sottoposto a un audit sui bias, e con quali risultati? È in grado di spiegare perché un candidato è stato scartato? Su quali dati è stato addestrato? Un operatore può ribaltarne l'esito, e come?
  3. Mappa delle regole di esclusione. Quali filtri sono vincoli rigidi (titolo esatto, anni esatti, laurea specifica, interruzioni di carriera) e quali semplici preferenze? Ogni vincolo rigido è un punto in cui si stanno scartando candidati idonei senza saperlo.
  4. Campione degli scartati. Si estraggono 50 curriculum respinti in automatico e si fanno rivedere da una persona. Quanti erano effettivamente non qualificati? La differenza è il costo nascosto del filtro.
  5. Sorveglianza umana — e documentata. L'intervento umano deve essere reale, non un timbro, e va tracciato. È al tempo stesso la migliore difesa contro un esito discriminatorio e l'evidenza che dimostra di averlo presidiato.

Lo screening automatico era nato con una promessa: togliere il pregiudizio umano dalla selezione. Nella pratica, troppo spesso, lo ha fatto l'opposto — lo ha reso più rapido, più esteso e più difficile da vedere. Il rimedio non è tornare a leggere a mano migliaia di curriculum. È riconoscere che un punteggio prodotto da una macchina non è un fatto neutro: è una decisione. E le decisioni sulle persone, soprattutto quando le prende un sistema che nessuno ha guardato dentro, hanno bisogno di qualcuno che risponda. Oggi, non nel 2027.

Probum AI

Questi controlli, applicati alla tua azienda e messi nero su bianco.

Se la tua azienda usa screening automatico o altri sistemi di decisione automatizzata sul personale, il dossier di conformità Probum AI documenta logica, garanzie e sorveglianza umana in un documento firmato e difendibile.

Prenota una call conoscitiva

Fonti

  1. University of Washington — K. Wilson, A. Caliskan, Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval, AAAI/ACM Conference on AI, Ethics, and Society, ottobre 2024.
  2. M. Bertrand, S. Mullainathan, Are Emily and Greg More Employable Than Lakisha and Jamal?, American Economic Review, 2004.
  3. Reuters (J. Dastin), Amazon scraps secret AI recruiting tool that showed bias against women, ottobre 2018.
  4. Harvard Business School & Accenture, Hidden Workers: Untapped Talent, 2021.
  5. Corte di Giustizia UE, causa C-634/21 SCHUFA Holding (Scoring), sentenza 7 dicembre 2023.
  6. Regolamento (UE) 2024/1689 (AI Act), Allegato III, punto 4; Digital Omnibus, accordo politico 7 maggio 2026 (differimento obblighi alto rischio Allegato III al 2 dicembre 2027, adozione formale in corso).
  7. D.Lgs. 152/1997, art. 1-bis (introdotto dal D.Lgs. 104/2022, «Decreto Trasparenza», e modificato dal D.L. 48/2023, conv. L. 85/2023).
  8. Regolamento (UE) 2016/679 (GDPR), artt. 15, 22, 35-36.
  9. Garante per la protezione dei dati personali, provvedimento su Foodinho S.r.l., novembre 2024 (sanzione € 5.000.000); precedente provvedimento sanzionatorio sulla stessa società, 2021.