Da asporto chiave
- ToxMod, della società Modulate con sede a Boston, afferma di rilevare e agire contro i discorsi di disturbo automaticamente, in tempo reale.
- Invece di essere limitato da un linguaggio semplice, ToxMod utilizza l'apprendimento automatico per capire elementi intangibili come emozioni, volume e ritmo.
- ToxMod è attualmente progettato per l'uso con le chat room di gioco, ma non c'è motivo per cui non possa arrivare al tuo canale Twitch.
Un'azienda con sede a Boston sta utilizzando l'apprendimento automatico per creare quello che considera il primo servizio di moderazione vocale nativo al mondo, che può distinguere tra ciò che viene detto e ciò che significa.
ToxMod è un tentativo di risolvere il paradosso di moderare qualsiasi spazio aperto su Internet; non ci sono abbastanza persone per stare al passo con la domanda, ma algoritmi, filtri e un sistema di report non capiscono le sfumature.
Con il database di ToxMod, può tenere traccia di fattori nel discorso dei giocatori come emozioni e volume, il che lo aiuta a distinguere tra un errore momentaneo e un modello di comportamento. È stato recentemente annunciato come aggiunta al gioco di football americano 7v7 Gridiron, attualmente in accesso anticipato su Steam.
"Tutti sanno che molestie, incitamento all'odio e tossicità nella chat vocale e nei giochi sono un problema enorme. Questo è comunemente inteso", ha affermato Carter Huffman, Chief Technology Officer e co-fondatore di Modulate, in un incontro di Google con Lifewire. "Potremmo prendere le funzionalità che stavamo estraendo attraverso questa varietà di sistemi di apprendimento automatico e unirle in un sistema che tenesse conto di tutta questa conoscenza di esperti che stavamo imparando dalla comunità."
Tutti salutano i nostri nuovi moderatori robot
Modulate ha lavorato su ToxMod dallo scorso autunno e lo ha incorporato come uno dei tre servizi principali dell'azienda. Offre inoltre VoiceWear, un disguiser vocale basato sull'apprendimento automatico, e VoiceVibe, un servizio di aggregazione che consente agli utenti di scoprire di cosa parlano le persone nelle loro comunità.
Quando ToxMod è in esecuzione in una chat, può essere programmato tramite il pannello di amministrazione di Modulate per eseguire una serie di azioni automatiche, come emettere avvisi, disattivare l'audio dei giocatori o regolare individualmente il volume.
Utilizza un sistema di triage in cui la sua istanza locale è la prima ad agire, prima di verificare con i server di Modulate per la conferma. Poi alla fine si intensifica al punto che potrebbe richiedere l'intervento umano. Eseguendo a turno ogni controllo, che Modulate chiama "cancelli di triage", l'idea è che ToxMod dia a un piccolo team di moderatori gli strumenti con cui moderare efficacemente una comunità molto più ampia.
"La triste verità è che tutti hanno avuto quell'esperienza, di provare a usare la chat vocale su qualsiasi piattaforma su cui ti trovassi, e di scoprire che, ragazzo, è stata una cattiva idea", ha detto il CEO di Modulate Mike Pappas in un videochiamata con Lifewire. "Essere in grado di entrare e dire: 'Questo non è il selvaggio West. Ci sono delle regole'. Penso che sia davvero importante."
Rompere il sistema
Naturalmente, la seconda o la terza domanda da porre su ToxMod è come romperlo.
Con molti sistemi di moderazione automatica, come gli algoritmi che governano Twitter, è facile sfidarli contro persone che non ti piacciono. Basta segnalare in massa il tuo obiettivo con alcuni account fantoccio e mangeranno un ban in modo affidabile.
"A livello di base, ToxMod non ha bisogno di fare affidamento su quei rapporti aggiuntivi sui giocatori", ha detto Pappas. "È ancora in grado di produrre stime solide di quali reati dobbiamo [prestare] attenzione. Non devi preoccuparti dei giocatori che cercano di giocare con il sistema, poiché non c'è davvero nulla da giocare.
Tutti sanno che molestie, incitamento all'odio e tossicità nella chat vocale e nei giochi sono un grosso problema.
"Tutto ciò su cui hai il controllo come giocatore è il tuo audio", ha continuato Pappas. "La cosa peggiore che puoi fare è essere una persona meno cattiva, quindi non ti segnaliamo come un cattivo attore, che direi è qualcosa di simile al successo della missione."
In generale, quindi, l'idea alla base di ToxMod è un tentativo di recupero attivo. Molti giocatori a questo punto hanno subito una qualche forma di molestia da parte di estranei casuali in canali vocali aperti, che vanno da insulti casuali a minacce attive. Di conseguenza, i giocatori tendono a rifuggire dalla chat vocale in generale, preferendo rinunciare alla sua comodità in cambio della propria tranquillità.
"Quello che ci aspettiamo di vedere [sono i cattivi attori che trascorrono] molto meno tempo nella chat vocale prima di essere trovati e rimossi", ha detto Pappas."Questo ha più di un semplice impatto lineare. Quando tutti vedono la chat vocale come un posto più sicuro, più bravi attori sono disposti a tornare alla chat vocale e provarci. Penso che tutto possa girare in una direzione positiva."
