La ciudad de Nueva York propone regular los algoritmos utilizados en la contratación

En 1964, el Ley de Derechos Civiles prohibió a los humanos que tomaban decisiones de contratación discriminar por motivos de sexo o raza. Ahora, el software a menudo contribuye a esas decisiones de contratación, ayudando a los gerentes a filtrar currículos o interpretar entrevistas en video.

Ese preocupaciones algunos expertos en tecnología y grupos de derechos civiles, que citan evidencia de que los algoritmos pueden replicar o magnificar los sesgos mostrados por las personas. En 2018, Reuters informó que Amazon desechó una herramienta que filtraba los currículums basados ​​en patrones de contratación anteriores porque discriminaba a las mujeres.

La legislación propuesta en el Ayuntamiento de la ciudad de Nueva York busca actualizar las reglas de discriminación de contratación para la edad de los algoritmos. La factura requeriría que las empresas revelen a los candidatos cuándo han sido evaluados con la ayuda de software. Las empresas que venden tales herramientas tendrían que realizar auditorías anuales para verificar que su tecnología de clasificación de personas no discrimine.

La propuesta es parte de un movimiento reciente en todos los niveles de gobierno para imponer restricciones legales a algoritmos y software que da forma a decisiones que cambian la vida, uno que puede cambiar a una nueva marcha cuando los demócratas tomen el control de la Casa Blanca y ambas cámaras del Congreso.

Más de una docena de ciudades de EE. UU. Han prohibido el uso de Reconocimiento facialy el estado de Nueva York aprobó recientemente moratoria de dos años sobre el uso de la tecnología en las escuelas. Algunos legisladores federales han propuesto una legislación para regular los algoritmos faciales y las herramientas de decisión automatizadas que utilizan las corporaciones, incluso para la contratación. En diciembre, 10 senadores preguntaron la Comisión de Igualdad de Oportunidades en el Empleo para controlar el sesgo en las herramientas de contratación de IA, diciendo que temían que la tecnología pudiera profundizar las disparidades raciales en el empleo y dañar la recuperación económica de COVID-19 en comunidades marginadas. También el año pasado, entró en vigencia una nueva ley en Illinois que requiere consentimiento antes de usar análisis de video en candidatos a puestos de trabajo; una ley similar de Maryland restringe el uso de tecnología de análisis facial en la contratación.

Los legisladores tienen más práctica en hablar sobre la regulación de nuevos algoritmos y herramientas de inteligencia artificial que en la implementación de tales reglas. Meses después de que San Francisco prohibiera el reconocimiento facial en 2019, tuvo que enmendar la ordenanza porque inadvertidamente hizo ilegales los iPhones propiedad de la ciudad.

La propuesta de la ciudad de Nueva York lanzada por la miembro del consejo demócrata Laurie Cumbo requeriría que las empresas utilicen lo que se denominan herramientas automatizadas de decisión de empleo para ayudar a seleccionar candidatos o decidir términos como compensación para revelar el uso de la tecnología. A los proveedores de dicho software se les exigirá que realicen una “auditoría de sesgo” de sus productos cada año y pongan los resultados a disposición de los clientes.

Extraños compañeros de cama

La propuesta enfrenta la resistencia de algunos aliados inusuales, así como preguntas sin resolver sobre cómo funcionaría. Eric Ellman, vicepresidente senior de políticas públicas de la Consumer Data Industry Association, que representa a empresas de verificación de antecedentes y crédito, dice que el proyecto de ley podría hacer que la contratación sea menos justa al imponer nuevas cargas a las empresas que realizan verificaciones de antecedentes en nombre de los empleadores. Sostiene que tales controles pueden ayudar a los gerentes a superar la renuencia a contratar personas de ciertos grupos demográficos.

Algunos grupos de derechos civiles y expertos en inteligencia artificial también se oponen al proyecto de ley, por diferentes razones. Albert Fox Cahn, fundador del Proyecto de Supervisión de Tecnología de Vigilancia, organizó una carta de 12 grupos, incluidos la NAACP y el Instituto AI Now de la Universidad de Nueva York, objetando la ley propuesta. Cahn quiere regular la contratación de tecnología, pero dice que la propuesta de Nueva York podría permitir que el software que perpetúa la discriminación obtenga el sello de aprobación de una auditoría de equidad.

Cahn quiere que cualquier ley defina la tecnología cubierta de manera más amplia, que no permita que los proveedores decidan cómo auditar su propia tecnología y que permita a las personas demandar para hacer cumplir la ley. “No vimos ninguna forma significativa de aplicación contra la discriminación que nos preocupa”, dice.

Partidarios

Otros tienen preocupaciones pero aún apoyan la propuesta de Nueva York. “Espero que el proyecto de ley siga adelante”, dice Julia Stoyanovich, directora del Centro de IA responsable de la Universidad de Nueva York. “También espero que se revise”.

Al igual que Cahn, a Stoyanovich le preocupa que el requisito de auditoría del proyecto de ley no esté bien definido. Ella todavía cree que vale la pena aprobarlo, en parte porque cuando organizó reuniones públicas sobre la contratación de tecnología en la Biblioteca Pública de Queens, muchos ciudadanos se sorprendieron al saber que las herramientas automatizadas se usaban ampliamente. “La razón por la que estoy a favor es que obligará a la gente a revelar que fueron evaluados en parte por una máquina y por un humano”, dice Stoyanovich. “Eso ayudará a que el público participe en la conversación”.

Dos nuevas empresas con sede en Nueva York cuyas herramientas de contratación estarían reguladas por las nuevas reglas dicen que les dan la bienvenida. Los fundadores de HiredScore, que trata de destacar candidatos prometedores a partir de currículums y otras fuentes de datos, y Pymetrics, que ofrece evaluaciones online basadas en psicología cognitiva con la ayuda del aprendizaje automático, apoyaron el proyecto de ley durante una audiencia virtual del Comité del Ayuntamiento. sobre Tecnología en noviembre.

Frida Polli, directora ejecutiva y cofundadora de Pymetrics, comercializa la tecnología de la compañía como una señal más justa sobre los candidatos que las medidas tradicionales como los currículums, que, según ella, pueden poner en desventaja a las personas de entornos menos privilegiados. La empresa recientemente tuvo su tecnología auditado por equidad por investigadores de la Northeastern University. Ella reconoce que el requisito de auditoría del proyecto de ley podría ser más estricto, pero dice que no está claro cómo hacerlo de una manera práctica, y sería mejor tener algo en los libros. “El proyecto de ley es moderado, pero de una manera poderosa”, dice.

“Como el salvaje oeste”

Robert Holden, presidente del Comité de Tecnología del Ayuntamiento, tiene sus propias preocupaciones sobre la capacidad del gobierno de la ciudad con problemas de liquidez para definir cómo analizar la contratación de software. También ha estado escuchando a enviados de empresas cuyo software estaría sujeto a las reglas propuestas, lo que ha provocado una mayor participación de la industria de lo habitual para los negocios del Ayuntamiento. Algunos le han asegurado que se puede confiar en que la industria se autorregulará. Holden dice que lo que ha aprendido hasta ahora deja en claro que se necesita más transparencia. “Es casi como el Salvaje Oeste ahora”, dice Holden. “Realmente tenemos que brindar algo de transparencia”.

Holden dice que es probable que el proyecto de ley enfrente algunas negociaciones y se reescriba, así como una posible oposición de la oficina del alcalde, antes de que el consejo pueda programar una votación final. Si se aprueba, entraría en vigor en enero de 2022.

Esta historia apareció originalmente en wired.com.


Source: Ars Technica by arstechnica.com.

*The article has been translated based on the content of Ars Technica by arstechnica.com. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!