Las empresas de redes sociales necesitan mejores protocolos de emergencia

El vitriolo en línea, especialmente en manos de políticos y gobiernos ampliamente seguidos, influyentes y con buenos recursos, puede tener consecuencias graves, e incluso mortales. El 6 de enero de 2020, el presidente Trump tuiteó afirmaciones falsas de fraude electoral y aparentemente justificado el uso de la violencia cuando sus partidarios irrumpieron en el Capitolio de Estados Unidos. Aunque un discurso en persona parecía desencadenar más directamente La violencia, la presencia de Trump en las redes sociales jugó un papel importante en las acciones de la mafia. Durante semanas después de perder las elecciones de 2020, el presidente Trump tuiteó afirmaciones falsas de fraude electoral y alentó a sus partidarios a descender a Washington, DC el 6 de enero, rehusarse a “soportarlo más,” y “sé fuerte.”El día del asalto, un tweet de que el vicepresidente Mike Pence“ no tuvo el coraje de hacer lo que debería haberse hecho ”fue seguido de mensajes de los partidarios de Trump en la plataforma de redes sociales Gab pidiendo a los que están en el Capitolio que encuentren al vicepresidente, así como también gritando en persona: “¿Dónde está Pence?” Antes y durante el estallido de violencia, varias plataformas de redes sociales ayudaron a la mafia a reunirse en el lugar y momento correctos, coordinar sus acciones y recibir instrucciones del presidente y entre ellos.

Como discutimos en un artículo reciente Para la revista Survival, el abuso de las redes sociales no se limita a grupos terroristas como el Estado Islámico. Las empresas de redes sociales también deben desarrollar protocolos de emergencia para contrarrestar la explotación por parte de agentes malignos y estados que buscan fomentar la violencia.

Un problema mundial

A pesar de lo horrible que fue el asalto al Capitolio, el abuso de Trump de las redes sociales no es único. En 2020, en un contexto de tensiones religiosas existentes y una historia de violencia comunitaria, los políticos del Partido Bharatiya Janata (BJP) de la India publicaron contenido incendiario sobre musulmanes, algunos incluso amenazando con la violencia de los justicieros. Al menos cuatro funcionarios mantuvieron sus cuentas de Facebook a pesar de las posibles violaciones de las reglas de incitación al odio de la plataforma, y ​​solo se eliminaron algunas publicaciones después de que el Wall Street Journal preguntó sobre ellas. El equipo de moderación de contenido de Facebook no tomó ninguna medida sobre las afirmaciones de los políticos de que los musulmanes propagaban intencionalmente el coronavirus, y aunque el video del ex legislador del BJP Kapil Mishra que amenazaba con la violencia de los justicieros finalmente fue eliminado, los disturbios y asesinatos que afectaron desproporcionadamente a los musulmanes tuvieron lugar poco después de su publicación.

Los actores estatales maliciosos han utilizado durante mucho tiempo la tecnología de las comunicaciones para lograr objetivos violentos u odiosos. Por ejemplo, durante el genocidio de Ruanda, los extremistas hutu utilizaron las transmisiones de Radio Télévision Libre des Mille Collines como armas para inflamar el odio contra los tutsis y los hutus moderados, y para enumere los nombres, direcciones e incluso números de matrícula de los que querían asesinados. Hoy en día, los líderes estatales pueden utilizar las plataformas de redes sociales de diversas formas, desde llamadas explícitas a la violencia hasta contenido que incita insidiosamente al odio, para exacerbar de manera similar las tensiones e incitar a la violencia.

Nuevos riesgos y oportunidades para las empresas

Aunque la explotación de la tecnología de las comunicaciones por parte de los estados no es nueva, las redes sociales presentan nuevos peligros y riesgos. Dado el alcance de las plataformas, los estados pueden tener un gran impacto en sus poblaciones si dominan la narrativa en plataformas populares como Facebook y Twitter. Además, las redes sociales facilitan las “cámaras de eco”, donde los feeds se personalizan en función de los datos del usuario y las vistas preexistentes de los usuarios se refuerzan (posiblemente hasta el punto de incitar a la acción) en lugar de cuestionarlas. Por último, la mayoría de las plataformas de redes sociales no tienen guardianes y carecen de la función editorial de los periódicos o las transmisiones de televisión, aunque generalmente tienen estándares comunitarios mínimos. Por lo general, hay poca responsabilidad y un pequeño número de individuos o granjas de trolls contratadas por el estado pueden amplificar un cierto mensaje y hacer que las opiniones marginales parezcan más comunes. Los políticos ampliamente seguidos como el propio presidente Trump pueden comunicarse directamente con grandes franjas de la población. Con la exposición repetida a un rumor fortaleciendo su credibilidad y probabilidad de ser recordado, los rumores en las redes sociales se vuelven extremadamente poderosos.

Al mismo tiempo, la falta de guardianes y el dominio del entorno de la información ofrece una nueva oportunidad. Las redes sociales pueden proporcionar alternativas a una narrativa de odio controlada por el gobierno en los medios tradicionales, conectar a las comunidades en crisis y brindar información a los miembros de la sociedad civil, gobiernos extranjeros y otros actores interesados. Por lo tanto, las empresas de medios sociales deben reconocer su poder único cuando se trata de estados y tomar medidas contra la violencia potencial.

Enhebrar la aguja

Aunque aún son imperfectas, las empresas de redes sociales han logrado avances para abordar las nefastas actividades en línea de los yihadistas y otros grupos subestatales violentos. Sin embargo, cuando se trata de moderar el contenido estatal, las empresas de redes sociales lidian con preguntas más espinosas sobre cómo mantener sus resultados, aplicar con precisión las herramientas tecnológicas y seguir sus ideales de libertad de expresión mientras se cruzan con estos poderosos actores. En el caso de los funcionarios de Trump y BJP, también son elegidos democráticamente, lo que les otorga legitimidad y plantea la cuestión de si los estándares de las empresas de redes sociales son más importantes que las elecciones para determinar quién tiene derecho a acceso privilegiado a estas importantes plataformas.

Diferentes gigantes de las redes sociales han equilibrado estas variadas motivaciones e inquietudes de diferentes maneras. Twitter y Facebook, por ejemplo, respondieron de manera diferente a La incitación a la violencia de Trump el 6 de enero tanto como La retórica antimusulmana de los políticos del BJP. Estas diferentes políticas sugieren la dificultad de responder a la pregunta subyacente: ¿Cómo pueden y deben las empresas de redes sociales tratar a los políticos y gobiernos que fomentan el odio en línea?

Aunque Facebook y otras empresas han dedicado importantes recursos al problema del contenido inadecuado, las herramientas técnicas y los moderadores humanos disponibles a menudo no logran resolver el problema. Los seres humanos son necesarios para capacitar y perfeccionar las herramientas tecnológicas, manejar las apelaciones y tratar el contenido matizado que requiere un contexto social, cultural y político para ser entendido. Por ejemplo, el aumento en el uso de la moderación automatizada de contenido durante la pandemia de COVID-19 provocó que se eliminara información esencial, como las publicaciones de Facebook del periodista sirio Mohammed Asakra que documentan la injusticia en el país y lo comparten con otros activistas. Incluso en Myanmar, que ha sido un punto focal después de los asesinatos en masa orquestados por las redes sociales en 2018, los moderadores de contenido humano a menudo no pueden vivir en el país y tienen la carga de varios países en sus perfiles.

Más allá de estas limitaciones de recursos, desafiar o actuar contra los gobiernos puede dañar los intereses comerciales de las empresas de redes sociales. Para acceder a mercados clave, las empresas de redes sociales dependen de la aprobación del gobierno, las licencias y un entorno regulatorio favorable. Por lo tanto, las empresas de redes sociales pueden estar más dispuestas a ceder a la voluntad del gobierno y evitar reacciones violentas.

Ante estas dificultades, una solución “más fácil” puede ser adoptar un enfoque más contundente de la moderación del contenido, haciendo que cierto contenido sea inaccesible o limitando ampliamente el acceso a las plataformas. Sin embargo, una restricción excesiva puede tener consecuencias igualmente devastadoras. Los regímenes represivos a menudo cierran Internet en nombre de la seguridad mientras usan el silencio para dañar a los disidentes o las comunidades minoritarias. Además, limitar cualquier contenido, especialmente el contenido gubernamental, puede estar en desacuerdo con los supuestos principios de las empresas de tecnología con sede en EE. UU. Muchas empresas afirman estar comprometidas con la libertad de expresión de todos sus usuarios y no se ven a sí mismas como árbitros de contenido apropiado o inapropiado. Hacer estos juicios coloca a las empresas de redes sociales en un papel en el que no deberían ni desearían estar. Sin embargo, con el poder que estas plataformas producen, las empresas de medios sociales deben encontrar formas de prepararse para este papel y evitar una escalada de tensiones en una crisis.

Para equilibrar los diferentes compromisos y tomar una respuesta adecuada al odio en línea respaldado por el estado, las empresas de redes sociales deben poder evaluar diferentes situaciones e implementar protocolos de emergencia según sea necesario. La retórica del odio y el contenido límite se vuelven más peligrosos cuando las tensiones en una sociedad ya son altas. Las empresas pueden utilizar indicadores de académicos e instituciones para reconocer que una emergencia puede estar cerca. Internamente, un aumento en el contenido peligroso detectado por sistemas de inteligencia artificial o analistas humanos puede provocar un mayor escrutinio. Además, las empresas deben reconocer cuándo termina una emergencia para garantizar que las limitaciones en las redes sociales no supongan una carga indebida. Las victorias temporales, como una cantidad de días sin violencia, o el anuncio de eventos más importantes, como negociaciones de paz o el regreso de refugiados, podrían indicar el fin de la crisis. Una vez determinadas, las empresas deben decidir qué medidas tomar durante estos períodos de emergencia.

Las empresas tienen una gran cantidad de herramientas a su disposición para limitar la propagación de contenido peligroso en una crisis. Las plataformas pueden aplicar etiquetas de advertencia en publicaciones controvertidas para llevar a los usuarios a cuestionar inmediatamente el contenido y buscar información adicional. Twitter usó esa etiqueta con respecto al tweet de Trump “cuando comienza el saqueo, comienza el tiroteo” durante las protestas de Black Lives Matter de 2020. Las empresas de redes sociales también pueden intensificar los esfuerzos existentes para limitar la visibilidad de contenido peligroso en una situación de crisis. Facebook ya rebaja las publicaciones identificadas como falsas, YouTube y Facebook aplican pautas más estrictas al decidir si recomendar o no contenido, y Twitter afirma eliminar los temas de tendencia si lo son. engañoso o perturbador de la conversación pública. Las publicaciones cuestionables a veces se colocan en un “estado limitado” con comentarios, me gusta, compartir, reenviar y monetizar a través de anuncios desactivados o limitados. Estos esfuerzos deberían incrementarse durante tiempos de crisis y ampliarse para aplicarse temporalmente a contenidos más dudosos. En el pico de una crisis, las empresas podrían incluso aplicar esta regla estatal limitada a publicaciones que contienen ciertas palabras clave.

Además, se deben dedicar más recursos a eliminar el contenido límite de la plataforma y suspender cuentas peligrosas durante situaciones de crisis. Tanto Twitter como Facebook, que durante mucho tiempo se habían suscrito a la idea de mantener el contenido de las figuras públicas. en nombre del interés público, se dio cuenta del peligro de mantener este contenido mientras las protestas del 6 de enero en Washington, DC estallaron. Twitter primero etiquetó los tuits incendiarios de Trump con advertencias, luego bloqueó temporalmente al presidente de su cuenta antes de suspenderla definitivamente de forma permanente. Facebook, mientras tanto, suspendió la cuenta de Trump “Al menos” hasta que el presidente electo Joe Biden inauguración. Aparentemente reconociendo que eliminar a los perpetradores en la fuente puede, en última instancia, proteger la seguridad pública, las empresas de redes sociales redujeron las disposiciones anteriores para suspender cuentas y eliminar publicaciones para las cuentas que reciben un trato preferencial. La reducción de estos umbrales para las cuentas “regulares” que transmiten rumores en una crisis puede también frenar la propagación de la retórica incitadora.

Al mismo tiempo, las redes sociales también pueden proporcionar la información necesaria de puestos de avanzada apolíticos del gobierno, la sociedad civil, los socorristas y los seres queridos. Por tanto, conviene destacar el contenido positivo. A través de asociaciones con organizaciones locales de la sociedad civil y organizaciones internacionales de renombre, las fuentes confiables deben identificarse y elevarse en las fuentes de noticias. Las empresas pueden seguir el modelo de YouTube creando una pestaña de “noticias destacadas” o “noticias de última hora” en la parte superior de las páginas de inicio que hace que la colección de estas fuentes sea fácilmente accesible. En determinadas situaciones, las empresas incluso podrían incluir en la lista blanca determinadas fuentes y permitir el acceso a estas fuentes preaprobadas al tiempo que impiden el acceso a otras.

Limitar el contenido en las redes sociales, especialmente el contenido estatal, conlleva riesgos para las víctimas de una crisis, así como para las propias empresas. El vigor y la duración de los pasos tomados deben evaluarse cuidadosamente al modificar el desempeño y el propósito de una plataforma. Aún así, los riesgos de la inacción son mayores. Aunque las medidas que aquí se presentan no pueden resolver las fisuras subyacentes en las sociedades, pueden reducir el poderoso impacto de la explotación de las redes sociales para difundir el odio y la violencia.