La IA no puede saber si está mintiendo: cualquiera que diga lo contrario está vendiendo algo


Otro día, otro estudio de IA problemático. El especial de aceite de serpiente de hoy llega a través de la Universidad de Tel Aviv, donde un equipo de investigadores ha presentado un llamado “sistema de detección de mentiras”.

Seamos realmente claros desde el principio: la IA no puede hacer nada que una persona, dada una cantidad equivalente de tiempo para trabajar en el problema, no pueda hacer por sí misma. Y ningún humano puede saber si un humano en particular está mintiendo. Punto final.

El simple hecho del asunto es que algunos de nosotros podemos saber cuándo algunas personas mienten algunas veces. Nadie puede saber cuándo alguien miente todo el tiempo.

La universidad hace la siguiente afirmación a través de presione soltar:

Los investigadores de la Universidad de Tel Aviv detectaron el 73% de las mentiras contadas por los participantes del ensayo basándose en la contracción de sus músculos faciales, logrando una tasa de detección más alta que cualquier método conocido.

Esa es una declaración realmente extraña. La idea de que la precisión del “73%” en la detección de mentiras es indicativa del éxito de un paradigma en particular es, en el mejor de los casos, discutible.

¿Qué es exactamente la precisión?

La suerte básica le da a cualquier sistema capaz de elegir una probabilidad de 50/50. Y, tradicionalmente, se trata de lo bien que se desempeñan los humanos adivinando mentiras. Curiosamente, se desempeñan mucho mejor adivinando verdades. Algunos estudios afirman que los humanos alcanzan aproximadamente la misma “precisión” en la determinación de declaraciones de verdad como lo hace el “sistema de detección de mentiras” del equipo de Tel Aviv para determinar la veracidad.

El artículo del equipo de la Universidad de Tel Aviv incluso menciona que los polígrafos no son admisibles en los tribunales porque no son confiables. Pero no señalan que los dispositivos de polígrafo (que han existido desde 1921) superan a su propio sistema en lo que se denomina “precisión”: los polígrafos promedian un índice de precisión del 80% al 90% en los estudios.

Pero echemos un vistazo más profundo al equipo de Tel Aviv. estudio de todas formas. El equipo comenzó con 48 participantes, 35 de los cuales fueron identificados como “mujeres”. Seis participantes fueron eliminados debido a problemas técnicos, dos fueron eliminados por “nunca mentir” y uno participó en “solo 40 de 80 ensayos cuando no se presentaron incentivos monetarios”.

Entonces, los datos para este estudio se generaron a partir de dos fuentes: un sistema de inteligencia artificial patentado y 39-40 participantes humanos. De esos participantes, una abrumadora mayoría fueron identificados como “mujeres” y no se menciona la diversidad racial, cultural o religiosa.

Además, la edad promedio de los participantes era de 23 años y no hay forma de determinar si el equipo consideró los antecedentes financieros, la salud mental o cualquier otra inquietud.

Todo lo que podemos decir es que un pequeño grupo de personas con un promedio de 23 años de edad, en su mayoría “mujeres”, se emparejaron para participar en este estudio.

También hubo compensación involucrada. No solo se les pagó por su tiempo, que es estándar en el mundo de la investigación académica, sino que también se les pagó por mentir con éxito a los humanos.

Eso es una bandera roja. No porque no sea ético pagar por los datos del estudio (no lo es). Pero porque está agregando parámetros innecesarios para enturbiar el estudio de manera intencional o ignorante.

Los investigadores explican esto afirmando que fue parte del experimento para determinar si la incentivación cambió la capacidad de las personas para mentir.

Pero, con una muestra de estudio tan pequeña, parece ridículo abarrotar el experimento con parámetros innecesarios. Especialmente los que están tan a medias que no podrían codificarse sin datos de fondo sólidos.

¿Qué impacto tiene un incentivo financiero en la eficacia de un estudio que dice la verdad? Eso suena como algo que necesita lo suyo Gran escala estudiar para determinar.

Pasemos a la metodología

Los investigadores emparejaron a los participantes en mentirosos y receptores. Los mentirosos se pusieron los auriculares y escucharon la palabra “árbol” o “línea” y luego se les indicó que dijeran la verdad o mintieran sobre lo que habían escuchado. El trabajo de su compañero era adivinar si les estaban mintiendo.

El giro aquí es que los investigadores crearon sus propios conjuntos de electrodos y los conectaron a las caras de los mentirosos y luego desarrollaron una IA para interpretar los resultados. Los investigadores operaron bajo la suposición inicial de que las contracciones en nuestros músculos faciales son una ventana a la verdad fundamental.

Esta suposición es puramente teórica y, francamente, ridícula. Existen víctimas de accidentes cerebrovasculares. La parálisis de Bell existe. Existe la comunicación neurodiversa. Existen cicatrices y pérdida de fuerza muscular. Al menos mil millones de personas en el mundo viven actualmente con algún tipo de discapacidad física y casi la misma cantidad vive con un trastorno mental diagnosticado.

Sin embargo, los investigadores esperan que creamos que han inventado un algoritmo único para todos para comprender a los humanos. Afirman que se han topado con un rasgo humano que vincula inextricablemente el acto mental de engaño con una expresión física universal singular. ¿Y lograron esto midiendo las contracciones musculares en las caras de solo 40 humanos?

Según el comunicado de prensa mencionado anteriormente:

Los investigadores creen que sus resultados pueden tener implicaciones dramáticas en muchas esferas de nuestras vidas. En el futuro, los electrodos pueden volverse redundantes, con software de video entrenado para identificar mentiras basándose en los movimientos reales de los músculos faciales.

Entonces, ¿la gran idea aquí es generar datos con un paradigma experimental (electrodos físicos) para desarrollar una metodología para un paradigma experimental completamente diferente (visión por computadora)? ¿Y se supone que debemos creer que esta combinación particular de entradas dispares dará como resultado un sistema que puede determinar la veracidad de un ser humano hasta tal punto que sus resultados sean admisibles en los tribunales?

¡Es un gran salto para hacer! El equipo también puede estar afirmando que ha resuelto AGI con aprendizaje profundo de caja negra. La visión por computadora ya existe. O los datos de los electrodos son necesarios o no lo son.

Lo que es peor, aparentemente tienen la intención de Desarrolle esto en una solución de aceite de serpiente para gobiernos y grandes empresas.

El comunicado de prensa continúa con una cita:

[Team member Dino Levy] predice: “En el banco, en los interrogatorios policiales, en el aeropuerto o en las entrevistas de trabajo en línea, las cámaras de alta resolución entrenadas para identificar los movimientos de los músculos faciales podrán distinguir entre declaraciones veraces y mentiras. Ahora mismo, la tarea de nuestro equipo es completar la etapa experimental, entrenar nuestros algoritmos y acabar con los electrodos. Una vez que se haya perfeccionado la tecnología, esperamos que tenga numerosas y muy diversas aplicaciones “.

¿Interrogatorios policiales? Aeropuertos ¿Qué?

¿Exactamente qué porcentaje de esos 40 participantes del estudio eran negros, latinos, discapacitados, autistas o queer? ¿Cómo puede alguien, de buena fe y conciencia, hacer afirmaciones científicas tan grandiosas sobre la IA basándose en una pizca de datos tan pequeña?

Si esta “solución de inteligencia artificial” se convirtiera realmente en un producto, las personas podrían ser arrestadas falsamente, detenidas en aeropuertos, negándoles préstamos y descartadas por trabajos porque no se ven, suenan ni actúan exactamente como las personas que participaron en ese estudio.

Este sistema de inteligencia artificial solo pudo determinar si alguien estaba mintiendo con un nivel de precisión del 73% en un experimento donde las mentiras eran solo una palabra de largo, quiso decir nada a la persona que las decía, y tenía sin efecto real en la persona que los escucha.

No hay un escenario del mundo real análogo a este experimento. Y esa “precisión del 73%” es tan insignificante como la extensión de una carta del Tarot o la salida de una Magic 8-Ball.

En pocas palabras: una tasa de precisión del 73% en menos de 200 iteraciones de un estudio que involucra un máximo de 20 grupos de datos (los participantes fueron emparejados) es una conclusión que indica que su experimento es un fracaso.

El mundo necesita más investigación como esta, no me malinterpretes. Es importante probar los límites de la tecnología. Pero las afirmaciones hechas por los investigadores son completamente extravagantes y claramente apuntan a un eventual lanzamiento de producto.

Lamentablemente, existe un 100% de posibilidades de que esto se desarrolle y termine siendo utilizado por los agentes de policía de EE. UU.

Al igual que la policía predictiva, Gaydar, la contratación de inteligencia artificial y todas las demás soluciones de inteligencia artificial de aceite de serpiente, esto es absolutamente dañino.

Pero, por supuesto, no confíe en mi palabra: lea el artículo completo y las propias conclusiones de los investigadores. aquí.


Source: The Next Web by thenextweb.com.

*The article has been translated based on the content of The Next Web by thenextweb.com. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!