Per superare la selezione e iniziare a lavorare per Cognizant, una delle società alle quali Facebook appalta la revisione giornaliera dei contenuti segnalati o che possano violare le policy del social network, Chloe è chiamata a valutare davanti agli altri candidati un video pubblicato su Facebook e motivare in aula la sua decisione. Nessuno dei candidati ha mai visto prima della prova cosa dovrà moderare.

Il video mostra un uomo ucciso, pugnalato una decina di volte, mentre urla e implora che gli venga risparmiata la vita. Chloe sa bene, dopo quasi un mese di tirocinio in azienda passato a prepararsi per affrontare contenuti violenti, pedopornografici, di incitamento all’odio, che la sezione 13 degli standard di Facebook proibisce la pubblicazione di video che mostrano l’omicidio di una o più persone. Quando Chloe lo spiega agli altri tirocinanti presenti e pronti a sostenere l’esame, la sua voce trema. Tornando al suo posto, inizia a singhiozzare. Nessuno cerca di confortarla. Nel frattempo, un altro candidato inizia a descrivere il contenuto da valutare a lui assegnato, ma Chloe non riesce a restare in aula. Lascia la stanza e inizia a piangere così forte da non riuscire a respirare. Rientrata in classe, Chloe ascolta un’altra tirocinante che sta descrivendo il video di un drone che spara verso alcune persone dall’alto. Quando i corpi, colpiti, iniziano a riversarsi per terra, Chloe comincia di nuovo ad avere difficoltà a respirare ed è costretta a lasciare l’aula. Solo in quel momento, un supervisore la segue in bagno e cerca di rassicurarla. Le dice di concentrarsi sul suo respiro e di assicurarsi di non rimanere troppo coinvolta in ciò che guarda. «Mi ha detto di non preoccuparmi, che avrei potuto continuare a fare quel lavoro», racconterà successivamente Chloe, ricordando l’episodio. Col tempo, erano le parole del supervisor, Chloe avrebbe imparato a controllare le sue reazione guardando i contenuti di Facebook da moderare e non avrebbe avuto più problemi. Da quel giorno, invece, per Chloe iniziarono gli attacchi di panico.

Today I want to tell you what it's like to be a content moderator for Facebook at its site in Phoenix, Arizona. It's a job that pays just $28,800 a year — but can have lasting mental health consequences for those who do it. https://t.co/quieXG1Bm9 pic.twitter.com/cwtHXIqgol

— Casey Newton (@CaseyNewton) 25 febbraio 2019

Quella di Chloe è una delle tante storie raccolte da Casey Newton su The Verge sulle condizioni lavorative di chi ha lavorato (o continua a farlo) per Cognizant, una delle società (insieme ad Accenture e Genpact, ad esempio) alle quali Facebook appalta la moderazione dei contenuti pubblicati dagli utenti della propria piattaforma segnalati perché potrebbero aver violato le linee guida del social network. I suoi dipendenti sono esposti quotidianamente a leggere e visionare post, foto e video molto aggressivi, violenti, razzisti.

Da quando, il 3 maggio 2017, Mark Zuckerberg ha annunciato l'espansione del team che si sarebbe occupato della community di Facebook, il social network ha incrementato il numero dei responsabili della revisione dei contenuti segnalati per violazione dei suoi standard. Entro la fine del 2018, in risposta alle critiche ricevute per la presenza prevalente di contenuti violenti sulla sua piattaforma, Facebook ha fatto assumere oltre 15mila moderatori.

Alcuni sono dipendenti a tempo pieno, molti sono impiegati di ditte alle quali la società diretta da Zuckerberg appalta il lavoro di moderazione. In questo modo, dichiarava l'anno scorso Ellen Silver, vice-presidente operativo del società di Menlo Park, Facebook ha potuto avere moderatori di contenuti (valutati per la loro "capacità di gestire immagini violente" attraverso attività di monitoraggio) che lavorano 24 ore su 24, valutando i post in più di 50 lingue, in più di 20 siti in tutto il mondo.

Leggi anche >> Come funziona la moderazione su Facebook. Una fonte lo rivela a Valigia Blu

Ma a quale costo? Nel suo pezzo Newton ha parlato con diversi dipendenti di Cognizant, ancora in carica o licenziati, che sotto anonimato (ognuno, nel momento in cui viene assunto, firma un contratto di riservatezza) hanno raccontato le loro condizioni di lavoro, lo stress continuo al quale erano (o sono ancora) sottoposti, sia per gli orari molto contingentati sia per le tipologie di contenuti che dovevano visionare, gli effetti sulla loro salute psico-fisica. Il tutto per uno stipendio imparagonabile con quello dei dipendenti del social network: se un impiegato di Facebook guadagna in media 240mila dollari l’anno, un moderatore di Cognizant ne percepisce quasi 29mila (esattamente 4 dollari l’ora). Una condizione, scrive Joshua Brustein su Bloomberg, comune anche ai dipendenti di Accenture ad Austin e, riporta Ryan Broderick su BuzzFeed, migliore di quelli di Genpact in India, dove ogni moderatore guadagna circa 1400 dollari l’anno (approssimativamente 75 centesimi l’ora) per esaminare 2000 post al giorno.

Nel corso della sua indagine giornalistica, Newton è andato da Cognizant durante una visita organizzata da Facebook. Le testimonianze raccolte in questa occasione sono state diverse da quelle raccolte anonimamente. I dipendenti intervistati hanno parlato di un lavoro complicato ma non traumatico.

Dopo la pubblicazione dell’articolo su The Verge, Facebook ha promesso in un post di migliorare i processi di audit e le modalità di comunicazione delle linee guida ai moderatori, e di impegnarsi a chiedere ai propri partner un alto livello di supporto dei loro dipendenti, incrementando i momenti di scambio, le visite periodiche e i processi di revisione anche in termini di benessere e cura garantiti. Tuttavia, ha commentato Nick Statt sempre su The Verge, quanto descritto nel post di Facebook sono procedure già in atto prima dell’inchiesta giornalistica di Casey Newton su Cognizant. Non sono stati forniti elementi per pensare che le condizioni descritte nell’articolo di Newton miglioreranno: Facebook ha specificato che continuerà a fare affidamento su aziende come Accenture e Cognizant, standardizzando i contratti dei loro dipendenti. In questo modo, scrive Sarah Frier di Bloomberg su Twitter, Facebook potrebbe essere protetta da potenziali cause legali da parte dei moderatori per aver provocato un disturbo da stress post-traumatico. Lo scorso settembre, Selena Scola, moderatrice dei contenuti per la ditta esterna Pro Unlimited, ha fatto causa a Facebook ritenendola responsabile del suo disturbo da stress post-traumatico. Durante il processo, la società ha risposto affermando che Scola non aveva il diritto di agire in giudizio perché era una libera professionista e, quindi, qualsiasi danno avesse sofferto, non era di responsabilità della società guidata da Mark Zuckerberg. La causa è ancora in corso.

Le condizioni lavorative molto stressanti

A differenza dei dipendenti della sede centrale di Facebook di Menlo Park, quelli di Cognizant, in Arizona, lavorano in spazi molto stretti e a ritmi serratissimi. E se chi lavora direttamente per il social network ha un ampio grado di libertà nel modo in cui poter gestire la propria giornata lavorativa, spiega Newton, i tempi di lavoro a Cognizant sono contingentati al secondo.

Già all’ingresso, alle 7 del mattino, il personale di sicurezza controlla che non entrino ex dipendenti scontenti o utenti di Facebook che vorrebbero discutere direttamente con i moderatori, faccia a faccia, i post rimossi. Fogli di carta e smartphone devono essere conservati negli armadietti per evitare che i moderatori cerchino (e annotino) informazioni personali sugli utenti di Facebook.

Una volta entrati nella stanza dove ci sono tutti i computer, ognuno dovrà cercare un posto a caso dove sedersi. Per fronteggiare l’elevato ricambio di dipendenti durante la giornata (sono previsti, infatti, 4 turni giornalieri) Cognizant non assegna a ciascun dipendente una scrivania personale, quasi a doversi abituare alla precarietà della propria posizione lavorativa. A quel punto, i moderatori si loggano a un software chiamato Single Review Tool (o SRT) e iniziano a moderare i contenuti segnalati: battute razziste, uomini che fanno sesso con animali in fattoria, video di omicidi, frasi di incitamento all’odio, bullismo. In media, spiega Newton, ogni dipendente valuta 400 contenuti per turno di lavoro, restando in media 30 secondi su ciascuno di esso.

I tempi di lavoro, come detto, sono contingentati. Ognuno può fermarsi per pranzare per 30 minuti e ha diritto a due pause di 15 minuti e a una sosta “benessere” di 9 minuti. Le due pause sono spesso utilizzate per andare in bagno ma spesso si rivelano insufficienti. Ci sono solo due wc per gli uomini e tre per le donne a fronte della centinaia di dipendenti che devono usufruire del servizio. Una volta andati in bagno, per chi ci è riuscito, racconta un moderatore, Miguel, a The Verge, restano poi pochi minuti per controllare velocemente il cellulare e tornare in postazione.

I 9 minuti di “pausa benessere” sono a disposizione di chi è rimasto sconvolto per i contenuti visualizzati e ha bisogno di allontanarsi dalla scrivania. Diversi moderatori hanno dichiarato di usare abitualmente questa pausa per poter andare in bagno quando le code erano meno lunghe ma nel momento in cui la direzione di Cognizant si è accorta di questa prassi ha ordinato ai propri dipendenti di non farlo. Ad alcuni lavoratori musulmani che utilizzavano questi 9 minuti per eseguire una delle loro cinque preghiere giornaliere è stato proibito di pregare ed è stato detto loro di farlo in una delle due pause di 15 minuti.

Le contraddittorie linee guide di moderazione

A questo si aggiunge poi la difficoltà nel riuscire a valutare in modo oggettivo i contenuti che ognuno è chiamato a monitorare.

Per prendere una decisione corretta i moderatori devono gestire diversi piani: devono conoscere il contesto in cui è stato pubblicato un contenuto, saper cogliere se si tratta di qualcosa di ironico o umoristico, sapersi muovere nei criteri di valutazione di Facebook, secondo le cui linee guida: ad esempio, dire che “le persone autistiche andrebbero sterilizzate” non viola gli standard perché l’autismo non è classificato come “caratteristica protetta” come il genere o l’etnia, mentre sostenere che “gli uomini andrebbero sterilizzati” o che “odio tutti gli uomini” lo fa. Scrivere, invece, “mi sono appena lasciata con il mio ragazzo, e odio tutti gli uomini” non va rimosso.

Ogni moderatore deve prendere in considerazione 4 fonti diverse che stabiliscono i criteri di valutazione dei contenuti che, sovrapposti tra di loro, contribuiscono a generare ulteriore confusione nel lavoro da fare.

In primo luogo ci sono le linee guida di Facebook integrate, a loro volta, da un documento interno di 15mila parole, chiamato "Domande conosciute", nel quale ci sono altre indicazioni su spinose questioni spinose di moderazione: “una sorta di Talmud delle linee guida della comunità”, scrive Newton.

Una terza fonte, prosegue il giornalista, è il cosiddetto passaparola tra i dipendenti. Durante gli eventi di cronaca, come una sparatoria di massa, i moderatori cercano di mettersi d'accordo sui criteri di valutazione da adottare, spesso senza riuscirci.

La quarta fonte è forse la più problematica. Oltre alle linee guida pubbliche, ridefinite più o meno ogni settimana, ai moderatori arrivano aggiornamenti praticamente ogni giorno su una piattaforma chiamata Workplace, una sorta di Facebook per i dipendenti di Facebook che il social network ha introdotto nel 2016. Gli aggiornamenti non appaiono su Workplace in ordine cronologico ma in base a un algoritmo che mostra i post in base alle reazioni e ai commenti ricevuti. Questo ha generato ulteriore confusione sulle decisioni da prendere. Sei dipendenti hanno riferito di aver commesso degli errori perché avevano visualizzato un aggiornamento nella parte superiore del loro feed che però nel frattempo era diventato obsoleto.

«Accadeva in continuazione ed è stata una delle cose peggiori che ho dovuto affrontare di persona», ha raccontato a The Verge Diana, una ex moderatrice. La situazione diventa caotica soprattutto durante la gestione delle cosiddette breaking news. Ad esempio, nel caso della strage di Las Vegas nel 2017, nella quale ci furono 59 morti (incluso il killer) e 851 feriti, a proposito di alcuni video arrivarono in rapida successione indicazioni discordanti che invitavano prima a rimuovere e poi a mantenere i contenuti.

Mantenere l’efficienza: monitorare tanto, in poco tempo e sbagliando poco

In questo contesto così caotico i moderatori sono chiamati a garantire livelli di efficacia molto alti. I dipendenti impiegati nelle società cui Facebook subappalta la moderazione dei contenuti devono valutare correttamente il 95% dei post che monitorano (definita nell’articolo “percentuale di accuratezza”). Un obiettivo – spiega Newton – che, viste anche le condizioni lavorative, appare fuori portata. Cognizant, ad esempio, riesce a garantire tra l’80% e il 90% di decisioni corrette.

Ogni moderatore deve determinare se un post viola gli standard del social network e indicare la giusta motivazione per cui lo viola. Se riconosce con precisione che un post deve essere rimosso, ma seleziona la motivazione "sbagliata", la sua percentuale di accuratezza si abbasserà.

Il lavoro somiglia a un videogioco in cui si parte da 100 punti e man mano che si commettono degli errori il proprio punteggio si abbassa. Sotto i 95 punti si comincia a essere a rischio licenziamento.

La valutazione dei livelli di accuratezza avviene per scale gerarchiche. Ogni sette giorni Facebook seleziona a caso 50 o 60 tra i 1500 contenuti valutati settimanalmente da ciascun moderatore. Questi post vengono poi esaminati da un altro dipendente di Cognizant, addetto all’assicurazione della qualità (QA).

I moderatori possono fare ricorso contro le valutazioni dei QA. Ufficialmente è loro proibito di avvicinarsi agli addetti alla qualità e fare pressione per modificare un giudizio. Ma è accaduto spesso, racconta un ex QA, Randy, che i moderatori abbiano avvicinato o aspettato nell’area parcheggio a fine turno i valutatori. Da allora, temendo per la sua sicurezza, Randy ha cominciato ad andare a lavoro con una pistola in tasca per paura di aggressioni o intimidazioni. I dipendenti licenziati regolarmente minacciavano di tornare al lavoro e fare del male ai loro vecchi colleghi, e Randy riteneva che alcuni di loro fossero seri. Una decisione di cui altri colleghi erano a conoscenza e che approvavano, ritenendo che il posto di lavoro non fosse sicuro in caso di attacco.

Gli effetti psico-fisici della moderazione

Le storie di Randy e Chloe sono emblematiche. Le condizioni in cui viene svolta la moderazione hanno effetti devastanti dal punto di vista psico-fisico ed emotivo. Molti dipendenti si licenziano dopo appena un anno di lavoro.

«In parte ho deciso di lasciare perché mi sentivo insicuro anche a casa mia», racconta Randy. Da quando si è licenziato, l’ex QA ha continuato a dormire con la pistola al suo fianco, ogni giorno ripercorre mentalmente cosa fare per scappare di casa se attaccato e, quando si sveglia al mattino, pulisce casa impugnando l'arma. Di recente, dopo che gli sono stati diagnosticati un disturbo da stress post-traumatico e d’ansia generalizzato, Randy ha iniziato ad andare da uno nuovo psico-terapeuta. «Sono fottuto, amico», dice. «La mia salute mentale va su e giù, un giorno posso essere davvero felice e fare bene, il giorno dopo sono più o meno uno zombie. Non sono depresso, sono solo paralizzato. Non credo sia possibile non uscire da quel lavoro senza avere un disturbo acuto da stress», aggiunge.

Diversi moderatori hanno riferito a The Verge di aver provato sintomi da stress post-traumatico, probabilmente in seguito all’osservazione continua durante i turni di lavoro di traumi vissuti da altri. Anche Chloe ha avuto questi sintomi nei mesi successivi al suo licenziamento: ha avuto un attacco di panico mentre era al cinema durante una scena di violenza che le ha ricordato quel primo video che ha moderato di fronte ai suoi colleghi tirocinanti, e un'altra volta ha iniziato «a dare di matto» quando è stata svegliata da colpi di mitragliatrice provenienti dalla televisione e ha pensato di trovarsi di fronte a un attacco reale.

Un giorno, ha raccontato Sara, una ex moderatrice, l’attenzione di tutti è stata destata da una persona che minacciava di lanciarsi dal tetto di un edificio vicino al loro. L’uomo – che poi non si è più buttato – era un suo collega che si era allontanato durante una delle due pause giornaliere.

Per far fronte allo stress da lavoro, Cognizant consiglia ai propri dipendenti di consultarsi con esperti messi a disposizione della società, di chiamare una hotline, di utilizzare un programma di assistenza per i moderatori e, più recentemente, di svolgere attività terapeutiche e lo yoga. Ma alcuni impiegati hanno detto a Newton che si tratta di risorse inadeguate e che superano lo stress da lavoro in altri modi: facendo sesso, fumando marijuana e sfogandosi in battute offensive. 

La clausola di non divulgazione dei contenuti visionati a lavoro e le difficili condizioni lavorative hanno fatto sì che nascessero legami molto forti fra i dipendenti. «Ti avvicini ai tuoi colleghi molto velocemente. Se non ti è permesso di parlare con i tuoi amici o la tua famiglia del tuo lavoro, finisci per sentirti più vicino a chi lavora con te. Può sembrare una connessione emotiva, ma è solo un legame traumatico», spiega Sara, una ex moderatrice.

Infine, c’è il ricorso a una sorta di umorismo nero, spiega Lì, un altro ex moderatore. Col passare del tempo si diventa assuefatti ai contenuti visionati e si finisce con l’aderire a teorie cospirative o a posizioni estremiste. Durante il suo anno di lavoro i dipendenti hanno fatto a gara a mandarsi a vicenda i meme più offensivi o razzisti nel tentativo di alleviare l’umore. Provenendo da una minoranza, Lì è stato spesso bersaglio dei suoi colleghi e a sua volta si è lanciato in battute di questo genere.

E poi c’erano le battute su contenuti sui quali i moderatori avrebbero dovuto mantenere una certa distanza, come, ad esempio, quelle sugli studenti di Parkland. Dopo la strage alla Marjory Stoneman Douglas High School di un anno fa, alcuni dipendenti hanno cominciato a fare battute sull’attivismo degli studenti mettendo in dubbio anche la loro età. 

L’importanza della moderazione dei contenuti

L’articolo di Newton ha suscitato diverse discussioni sull’importanza e sui costi della moderazione dei contenuti. In due lunghi thread su Twitter, Antonio García Martínez, ex product manager di Facebook, e Alex Stamos, ex responsabile della sicurezza di Facebook e ora docente al Center for International Security and Cooperation della Stanford University, hanno difeso il social network ponendo l’attenzione sui costi umani della revisione di miliardi di post pubblicati ogni giorno sulla piattaforma. Forse è ora che chi chiede a Facebook di assumersi la responsabilità di moderare i contenuti, si renda conto dei costi fisici e psichici di questo lavoro, ha scritto García Martínez, rivolgendosi fondamentalmente ai giornalisti.

The same FB critics who call on the company to take on responsibility for moderating content (an operational job they don't want, and had to be pressed to perform), will of course be shocked, shocked at the human cost in reviewing billions of pieces of random content. https://t.co/GSzzA6k2Nt

— Antonio García Martínez (@antoniogm) 25 febbraio 2019

I tweet di García Martínez sono stati poi ripresi da Alex Stamos che ha specificato che articoli come quello di Newton sono importanti perché "le persone hanno bisogno di conoscere i costi umani della moderazione online, che ho visto io stesso. Gli accordi che fa Facebook con le società appaltatrici rendono più difficile il supporto di queste persone".

I think Casey's piece is important. People need to know the human cost of policing online humanity, which I saw myself. FB's contractor arrangement makes caring for these people harder.

AGM has a point, however, about journalists having it both ways. Nice to not be responsible. https://t.co/ccWTdCARai

— Alex Stamos (@alexstamos) 25 febbraio 2019

Cosa fare, dunque? Dopo le forti pressioni alle quali Facebook è stato sottoposto per garantire una maggiore attenzione alla moderazione dei contenuti pubblicati sulla sua piattaforma e dopo le inchieste pubblicate negli anni scorsi su Wired e Guardian (che hanno rivelato criteri e modalità con cui vengono moderati i contenuti), lo scorso aprile la società guidata da Mark Zuckerberg ha reso note le linee guida attraverso le quali tenta di “governare” gli oltre 2 miliardi di utenti connessi ogni mese.

In passato, il social network era stato criticato per alcune decisioni discutibili, come quando fu censurata (per poi essere ripristinata) la foto simbolo della guerra in Vietnam, le Nazioni Unite scoprirono che era stato complice nel diffondere discorsi di incitamento all'odio durante il genocidio della comunità Rohingya in Myanmar, o un moderatore aveva rimosso un post che conteneva un passaggio della Dichiarazione di Indipendenza degli Stati Uniti. Tuttavia, nonostante gli sforzi, scriveva Motherboard lo scorso agosto in una lunga inchiesta in cui sono stati intervistati moderatori esperti e analizzati centinaia di pagine di documenti, moderare i contenuti su Facebook sembra “un lavoro impossibile” perché ci sono “carenze di policy, di comunicazione e nel prevedere gli impulsi più oscuri della natura umana”. E il ricorso all’intelligenza artificiale non è sufficiente perché se ha successo nell’individuare lo spam e immagini di nudo, non riesce a rilevare le sfumature dei linguaggi utilizzati, dei registri discorsivi, delle differenze a seconda dei contesti culturali. L’intelligenza artificiale di Facebook riscontra solo il 38% dei post relativi a incitamento all’odio che alla fine vengono rimossi e, al momento, è più o meno efficace solo in lingua inglese e portoghese.

Forse un giorno l'intelligenza artificiale sarà in grado di controllare istantaneamente ed efficacemente l'intera rete, commenta Ryan Broderick su BuzzFeed, ma nel frattempo la strada da seguire richiede linee guida non contraddittorie e investimenti in risorse umane che lavorino in tanti, a ritmi sostenibili e a condizioni di contratto e di lavoro dignitosi. In questo momento, prosegue il giornalista, non c’è chiarezza su come Facebook definisce l'incitamento all'odio, YouTube non riesce a capire cosa costituisce una teoria del complotto o come verificarla correttamente, Twitter non riesce a dire se bloccherà utenti potenti come i capi di Stato o i ministri nel caso in cui violano le sue linee guida. In altre parole, siti come Facebook, YouTube e Twitter non sono stati in grado di supportare linee guida di moderazione chiare e uniformi per anni, mentre le loro piattaforme sono diventate i luoghi principali dove le persone si incontrano, esprimono le proprie opinioni, manifestano le proprie idee e si informano.

La moderazione dei contenuti e dei commenti – prosegue Broderick – è una delle responsabilità più importanti su Internet, perché coinvolge i diritti dei cittadini e la libertà di espressione. È un lavoro complesso al quale però le grandi piattaforme tecnologiche sembrano dare – come abbiamo visto – poco valore: la paga è scarsa, le persone impiegate sono in genere lavoratori indipendenti per società appaltatrici e spesso viene descritto come un compito che è preferibile lasciare alle macchine. È come se piattaforme come Facebook o YouTube continuano a dirci di “ignorare la spazzatura nelle strade, promettendo sempre che miglioreranno nel momento in cui riusciranno a capire come far guidare i camion della spazzatura”.

In conclusione, come scrivevamo in un pezzo pubblicato circa un anno e mezzo fa, che ospitava il racconto di una persona (che aveva preferito rimanere anonima) che lavorava per una delle aziende a cui Facebook aveva appaltato il lavoro di valutazione dei contenuti, la gestione della moderazione deve essere migliorata e potenziata chiamando persone preparate, aumentando il numero dei moderatori coinvolti, garantendo contratti dignitosi e uno stipendio alto perché il valore dell'attività che svolgono è cruciale. Rispetto a un anno e mezzo fa, resta ancora oggi attuale “l'assoluta necessità di avere un team umano qualificato e competente sul territorio, con l'obiettivo di migliorare la gestione, la valutazione e offrire agli utenti la possibilità di fare appello contro la decisione di rimozione e ban”. Un lavoro indispensabile per la salute delle interazioni sui social network e dell’esercizio della libertà di espressione di ciascuno di noi.

Immagine in anteprima via Pixabay.com