La rassegna stampa: dai quotidiani in rete al pubblico italiano in piena automazione

Spiegazione della recente realizzazione di un software di pubblicazione automatica della rassegna di quotidiani stranieri.

Obiettivo Generale

Il software è stato concepito con lo scopo di creare una rassegna stampa completamente autonoma in grado di monitorare costantemente le fonti di informazione straniere, selezionare le notizie più rilevanti, tradurle in italiano in modo accurato e pubblicarle in un sito web servito da WordPress, senza alcun intervento umano. L'obiettivo è abbattere le barriere linguistiche, culturali e politiche per fornire aggiornamenti continui ed elaborati su temi specifici, garantendo un flusso costante di informazioni.

Obiettivi Intermedi

Per raggiungere l'obiettivo principale, il sistema è stato suddiviso in traguardi intermedi:

1. Raccolta massiva: recuperare velocemente centinaia di notizie da diverse fonti.
2. Filtro intelligente: eliminazione del rumore statistico selezionando solo le notizie che trattano temi di interesse in accordo ad un criterio prestabilito.
3. Organizzazione: raggruppamento di notizie in categorie predeterminate.
4. Lettura profonda: estrazione del testo completo degli articoli, scartando pubblicità e testi non pertinenti dai siti della rete Internet.
5. Traduzione contestuale: conversione di testi dalla lingua originale all'italiano mantenendo il senso e il tono originale.
6. Impaginazione: organizzazione del testo in formato discorsivo al fine di rendere la lettura scorrevole.
7. Pubblicazione: invio del risultato finale direttamente al sito internet pubblico.

Tecniche Utilizzate

Il sistema sfrutta un insieme di tecnologie tipiche della programmazione attuale:

• Web Scraping: tecniche automatizzate che permettono al meccanismo di "leggere" le pagine web come farebbe un essere umano, estraendo solo le informazioni rilevanti.
• Intelligenza Artificiale (IA): l'utilizzo di potenti modelli linguistici per valutare l'importanza delle notizie e per effettuare traduzioni di altissima qualità attraverso i meccanismi API (Application Programming Interface).
• Architettura a Pipeline: un approccio industriale in cui il lavoro è diviso in catene di montaggio. Il prodotto in uscita da una fase diventa l'informazione in entrata di quella successiva.

Una menzione particolare ai meccanismi API, i quali trasformano il lavoro di programmazione software in una composizione orchestrale, laddove il lavoro del programmatore si concentra nell'aspetto di sincronizzazione fra le parti collegate attraverso le interfacce API.

Le Fasi del Processo

L'intero software è strutturato in 7 fasi distinte e strettamente sequenziali che corrispondono agli obiettivi intermedi. Tale struttura permette la sovrapposizione dell'aspetto concettuale con quello tecnico, il che risulta nella facilitazione dell'analisi complessiva del software, di conseguenza facilita eventuali sviluppi e modifiche successive.

Fase 1L'acquisizione

Si riassume nella raccolta delle prime pagine di tutti i giornali. Il software si connette agli alimentatori elettronici di notizie o alle pagine principali dei siti di informazione. In questa fase non legge tutto, ma scansiona e salva solo i titoli, i richiami (link) e brevi riassunti delle notizie pubblicate nelle ultime ore.

Fase 2La valutazione

Titoli e riassunti vengono inviati al meccanismo di intelligenza artificiale selezionato dal software, tre meccanismi sono in coda in modo da garantire la risposta. Se un meccanismo, per qualsiasi ragione, non dovesse rispondere, un altro meccanismo prende il suo posto. L'IA valuta ogni singola notizia confrontandola con dei temi di interesse preimpostati. Assegna un punteggio matematico per indicare quanto quell'articolo sia rilevante rispetto all'argomento che li raccoglie.

Fase 3La categorizzazione

Dividere il giornale in sezioni. Utilizzando i punteggi assegnati nella Fase 2, il software smista automaticamente le notizie nelle varie categorie tematiche. Se una notizia ha un punteggio molto basso, viene messa in un gruppo generico o scartata.

Fase 4La lettura

Aprire il giornale e leggere l'articolo intero. A partire dai titoli insieme ai riassunti degli articoli, il software visita le pagine degli articoli al fine di leggere l'intero articolo. Utilizza algoritmi intelligenti per estrarre solo il testo dell'articolo dalla pagina web, ignorando banner pubblicitari, menu di navigazione, video e piè di pagina.

Fase 5La traduzione

La traduzione professionale entra in gioco. Il testo originale completo viene inviato ai motori di Intelligenza Artificiale. A differenza dei classici traduttori "parola-per-parola", l'IA comprende il contesto, le sfumature geopolitiche e i modi di dire, restituendo un testo in italiano fluido e giornalisticamente corretto.

Fase 6L'impaginazione

Le traduzioni grezze fornite dall'IA vengono rielaborate e formattate a fini tipografici. Vengono aggiunti stili, paragrafi ben spaziati e una struttura visiva che rende l'articolo leggibile sullo schermo di un computer o di un dispositivo mobile.

Fase 7La pubblicazione

Il giornale va in stampa. Il software chiede l'accesso al sito, seguendo strettamente criteri di sicurezza, tramite un codice segreto. Consegna l'articolo tipograficamente formattato, gli assegna la categoria, infine permette al sito di pubblicarlo istantaneamente. Da questo momento, le notizie sono fruibili al pubblico.

Motivazione e metodo dell'automazione

L'automazione è il risultato di un programma centrale chiamato Orchestratore. Si attiva automaticamente in tempi prestabiliti, nel caso specifico una volta al giorno, avvia la Fase 1, attende che finisca, consegna i risultati alla Fase 2, e così via fino alla fine. Per far sì che il sistema non richieda aiuto umano, è stato dotato di robusti meccanismi di tolleranza ai guasti:

• Se una testata originale si scollega, per qualsiasi motivo, il software salta l'articolo e va avanti.
• Se un'Intelligenza Artificiale è sovraccarica, il sistema, seguendo una gerarchia prestabilita, interpella automaticamente il fornitore di riserva. Sono stati impostati tre fornitori, uno principale e due di riserva.
• Se una fase si blocca per qualsiasi motivo imprevedibile, il software è dotato di un orologio globale di sicurezza che riavvia o termina il processo, invia un messaggio di posta elettronica all'amministratore che può intervenire manualmente.

L'automazione risponde a tre necessità fondamentali:

1. Velocità ed economia: monitoraggio costante di testate straniere e traduzione professionale di centinaia di articoli al giorno richiederebbe una intera squadra di giornalisti e traduttori disponibili per almeno 8 ore al giorno. Il software abbatte drasticamente i costi operativi e i tempi, passando dalla lettura di testate estere alla pubblicazione in Italia in meno di un'ora.
2. Neutralità operativa: affidando il filtro delle notizie a regole matematiche basate su teorie consolidate, si mitiga il pregiudizio e l'errore umano, molto probabile nella cernita di centinaia di titoli al giorno.
3. Efficienza intellettuale: la dotazione di uno strumento informativo alternativo al cosiddetto "mainstream", il canale canonico che regola il flusso di notizie gradite alle redazioni occidentali. Tale strumento permette di arricchire l'analisi e la discussione sui temi di interesse.

Approfondimento

La tecnica di categorizzazione degli articoli merita un approfondimento perché è l'unico momento del processo di automazione dove vengono inseriti criteri arbitrari, dunque soggetti alla massima trasparenza e discussione.

Durante la Fase 2, il software non assegna una categoria semplicemente attraverso un filtro generale del tipo Sì/No. Legge il riassunto dell'articolo e gli assegna un punteggio matematico, chiamato peso coseno, per ogni singola categoria che è stato istruito a riconoscere. Ad esempio, un articolo sul prezzo del gasdotto potrebbe ricevere:

Nella Fase 3, il software analizza questi numeri e applica una regola ferrea: ogni articolo può appartenere a una sola categoria. Matematicamente, l'algoritmo confronta tutti i punteggi e assegna l'articolo esclusivamente alla categoria che ha ottenuto il valore assoluto più alto.

Nel caso in cui due o più categorie emergano al massimo del punteggio, dunque una parità, allora l'algoritmo specifico controllerà il numero di articoli già assegnati per ogni categoria. L'algoritmo applica un criterio di equilibrio ed assegna la categoria che contiene il minor numero di articoli.

Nel caso raro, ma possibile, in cui vi siano punteggi eguali ed anche categorie con un numero eguale di articoli assegnati, allora l'algoritmo applica un criterio aleatorio: assegna la categoria in modo aleatorio. Un esempio specifico può meglio illustrare il caso limite. L'articolo x riceve un uguale punteggio di 0,9 alle categorie y e z. Dieci articoli sono già stati assegnati a queste due categorie. L'algoritmo non può applicare la regola dell'equilibrio perché comunque, aggiungendo un articolo ad una delle categorie, squilibrerebbe il rapporto fra le due categorie. A questo punto la decisione si prende lanciando in alto una metaforica moneta: testa assegna ad y, croce non assegna ad y. E così via nel caso, davvero molto raro, di pareggio fra più di due categorie.

È un algoritmo, dunque si può modificare a piacere, mantenendo il limite del "piacere" ad una logica prestabilita e condivisa.

In tutto ciò si rischia di dimenticare in cosa consiste esattamente il criterio e l'algoritmo risultante del "peso coseno". Anche se si tratta di un argomento molto tecnico è bene che lo si conosca al fine di poter sviluppare una propria opinione sul suo uso e, eventualmente, poter proporre criteri alternativi.

Immaginiamo di trasformare ogni testo in un punto dello spazio. Non lo spazio fisico, ma uno dove le dimensioni non sono x, y, z bensì le parole stesse: ogni asse rappresenta un termine del vostro vocabolario, e la posizione lungo quell'asse dipende dalla frequenza della parola nel testo.

Questa è l'essenza della similarità coseno. Una volta rappresentati i nostri documenti come vettori, matrici di numeri corrispondenti al peso di ogni parola, possiamo misurare la vicinanza tra loro calcolando l'angolo che i vettori formano. Non la distanza nello spazio, ma l'angolo.

La distanza euclidea tradizionale è ingannata dalla lunghezza dei testi. Un articolo di 10.000 parole apparirà sempre lontano da uno di 1.000, anche se affrontano esattamente lo stesso argomento. Il coseno dell'angolo, invece, cattura la direzione, non la grandezza: normalizza il confronto indipendentemente dalle dimensioni.

Il calcolo somma i prodotti delle componenti dei vettori, la componente è la proiezione di un vettore sugli assi di riferimento. Si somma il prodotto scalare dei due vettori e si divide per il prodotto delle loro lunghezze. Il risultato è un numero tra -1 e 1. Valori vicini a 1 indicano testi molto simili; vicini a 0, completamente indipendenti.

Un esempio pratico. Consideriamo due articoli di giornale: uno racconta uno sciopero dei metalmeccanici con rivendicazioni salariali, contratti nazionali e mobilitazione sindacale; l'altro affronta l'automazione nelle fabbriche, il ruolo crescente di robot e intelligenza artificiale, e la riqualificazione professionale necessaria. Condividono un vocabolario centrale: lavoratori, industria, imprese, competenze, cambiamento. Tuttavia affrontano il tema da prospettive molto diverse. L'uno affronta la questione economica, l'altro quella tecnologica. Se calcoliamo il coseno dei vettori che rappresentano questi articoli, otteniamo un valore moderato, intorno a 0,55, che cattura correttamente la comunanza del dominio, ovvero il mondo del lavoro, pur riconoscendo che gli articoli affrontano aspetti realmente distinti.

La misura è robusta, efficiente computazionalmente e intuitivamente legata al concetto semantico di "argomento condiviso". Ci sono comunque dei limiti che meritano di essere menzionati. La tecnica pura ignora l'ordine delle parole e i significati contestuali: "il cane morde il postino" e "il postino morde il cane" vengono trattati come identici. Inoltre, considera tutte le parole alla pari: articoli e termini specializzati pesano allo stesso modo, benché contribuiscano diversamente al significato.

Nonostante ciò, la similarità coseno rimane però il pilastro su cui riposa buona parte della ricerca nei testi. Semplice, geometricamente elegante e sorprendentemente efficace, rappresenta un modo efficace di domandare: "questi due documenti parlano dello stesso argomento?" È il caso di affermare che la risposta si trova in un angolo.

Viene inoltre inserito un secondo criterio che permette di mitigare il fenomeno di inquinamento delle notizie, vale a dire il fenomeno che vede notizie poco pertinenti all'interno delle categorie. La necessità di un criterio si realizza nel momento in cui vengono assegnati punteggi molto bassi dal criterio precedente. L'algoritmo specifico si riferisce alle seguenti tracce concettuali:

• Il software preleva i punteggi "vincitori" di tutti gli articoli raccolti nella giornata e li mette in fila dal più basso al più alto.
• Traccia una linea di demarcazione matematica tagliando fuori l'ultimo 20% della fila.
• Questi articoli, ultimi della fila, vengono assegnati ad una particolare categoria chiamata non_categorizzato al fine di non alterare le rubriche principali del sito. Il sistema trova una tara ogni giorno, garantendo che passino sempre e solo le notizie attinenti, indipendentemente dai numeri assoluti.

Etica

Un sistema che legge, seleziona, traduce e pubblica notizie senza alcun intervento umano solleva questioni etiche che non possono restare implicite. Automatizzare non significa deresponsabilizzare: al contrario, quanto più il processo diventa autonomo, tanto più chi lo progetta e lo amministra si assume la responsabilità di ciò che il sistema produce. Vale la pena esaminare i nodi principali.

Diritto d'autore e uso delle fonti. Gli articoli dei quotidiani stranieri sono opere protette. Il software ne estrae il testo integrale e ne pubblica una traduzione: un'operazione che, a seconda della giurisdizione e delle quantità, può configurare una violazione del diritto d'autore. Un uso corretto richiede attenzione ai termini di servizio delle testate, alla normativa vigente (in Europa la direttiva sul diritto d'autore e i diritti connessi degli editori) e alla distinzione fra citazione, sintesi e riproduzione integrale. La via più prudente è pubblicare estratti e sintesi con rimando alla fonte originale, citando sempre testata, autore e data, anziché riprodurre l'intero articolo tradotto.

Trasparenza verso il lettore. Chi legge ha diritto di sapere che sta consultando una traduzione automatica, non rivista da un redattore umano, e che la selezione è operata da un algoritmo. Dichiararlo apertamente, nella pagina e accanto a ogni articolo, non è una debolezza ma una forma di rispetto: consente al lettore di calibrare la propria fiducia e di risalire alla fonte per verificare.

Accuratezza e responsabilità del contenuto. L'intelligenza artificiale traduce con grande qualità, ma può fraintendere, semplificare o, nei casi peggiori, "allucinare", cioè introdurre affermazioni non presenti nell'originale. Senza una revisione umana, un errore di traduzione o una notizia falsa alla fonte vengono propagati e amplificati automaticamente. Ne discendono responsabilità concrete, dall'inesattezza alla diffamazione, che ricadono su chi pubblica e non sul software. È saggio prevedere controlli automatici di coerenza, la conservazione del testo originale a fronte e un canale rapido di rettifica.

Il limite della "neutralità". Il documento rivendica una neutralità operativa fondata sul rigore matematico del criterio di selezione. È un pregio, ma va inteso con onestà: l'algoritmo è neutrale nell'applicare la regola, non nello scegliere ciò che misura. La lista delle fonti, i temi di interesse impostati e le categorie ammesse sono decisioni editoriali a monte, e orientano inevitabilmente il quadro che il lettore riceverà. Presentare come "oggettiva" una selezione che nasce comunque da scelte di parte, per quanto legittime, sarebbe fuorviante. La coerenza etica sta nel rendere esplicite quelle scelte: quali testate, secondo quali criteri, con quali temi privilegiati.

Pluralismo e rischio di disinformazione. Offrire un punto di vista alternativo al circuito informativo prevalente è un obiettivo legittimo e prezioso. Comporta però un rischio speculare: se le fonti vengono scelte per affinità a una tesi, il sistema può trasformarsi in una cassa di risonanza che conferma le convinzioni di partenza, fino a veicolare propaganda o notizie non verificate provenienti dall'estero. Il pluralismo autentico si tutela diversificando le fonti, includendo prospettive divergenti e distinguendo con chiarezza il fatto riportato dal commento.

Dati e conformità tecnica. Anche la raccolta automatizzata va condotta nel rispetto delle regole: dei file con cui i siti disciplinano l'accesso automatico, della normativa sulla protezione dei dati personali eventualmente presenti negli articoli e, più in generale, di un uso delle risorse altrui che non gravi indebitamente sui server delle testate.

In sintesi, l'automazione non elimina il giudizio etico: lo sposta a monte, nel momento della progettazione, e a valle, nella sorveglianza. Uno strumento di questa potenza è tanto più difendibile quanto più è trasparente sulle proprie fonti e sui propri limiti, rispettoso del lavoro altrui e onesto con chi legge. La tecnica risponde alla domanda "come"; l'etica ricorda che resta sempre aperta la domanda "con quale responsabilità".