En 1964, la Ley de Derechos Civiles prohibió a los seres humanos que tomaban decisiones de contratación discriminar por motivos de sexo o raza. Ahora, el software a menudo contribuye a esas decisiones de contratación, ayudando a los gerentes a revisar los currículos o interpretar entrevistas en video.
Eso preocupa a algunos expertos en tecnología y grupos de derechos civiles, que citan evidencia de que los algoritmos pueden replicar o magnificar los sesgos mostrados por las personas. En 2023, Reuters informó que Amazon eliminó una herramienta que filtraba los currículos en función de los patrones de contratación anteriores porque discriminaba a las mujeres.
La legislación propuesta en el Concejo Municipal de Nueva York busca actualizar las reglas de discriminación en la contratación para la era de los algoritmos. El proyecto de ley exigiría que las empresas informen a los candidatos cuando hayan sido evaluados con la ayuda de un software. Las empresas que venden tales herramientas tendrían que realizar auditorías anuales para verificar que su tecnología de clasificación de personas no discrimine.
La propuesta es parte de un movimiento reciente en todos los niveles del gobierno para imponer restricciones legales a los algoritmos y el software que dan forma a las decisiones que cambian la vida, uno que puede cambiar de marcha cuando los demócratas tomen el control de la Casa Blanca y ambas cámaras del Congreso.
Más de una docena de ciudades de EE. UU. han prohibido el uso del reconocimiento facial por parte del gobierno, y el estado de Nueva York aprobó recientemente una moratoria de dos años sobre el uso de la tecnología en las escuelas. Algunos legisladores federales han propuesto legislación para regular los algoritmos faciales y las herramientas de decisión automatizadas utilizadas por las corporaciones, incluso para la contratación. En diciembre, 10 senadores le pidieron a la Comisión de Igualdad de Oportunidades en el Empleo que controlara el sesgo en las herramientas de contratación de IA, diciendo que temían que la tecnología pudiera profundizar las disparidades raciales en el empleo y dañar la recuperación económica de COVID-19 en comunidades marginadas. También el año pasado, entró en vigencia una nueva ley en Illinois que exige el consentimiento antes de usar el análisis de video en los candidatos a un puesto; una ley similar de Maryland restringe el uso de tecnología de análisis facial en la contratación.
Los legisladores tienen más práctica en hablar sobre la regulación de nuevos algoritmos y herramientas de inteligencia artificial que en la implementación de tales reglas. Meses después de que San Francisco prohibiera el reconocimiento facial en 2023, tuvo que enmendar la ordenanza porque, sin darse cuenta, hizo que los iPhones propiedad de la ciudad fueran ilegales.
La propuesta de la ciudad de Nueva York lanzada por el concejal demócrata Laurie Cumbo requeriría que las empresas utilicen lo que se denominan herramientas automatizadas de decisión de empleo para ayudar a seleccionar candidatos o decidir términos como compensación para divulgar el uso de la tecnología. Los proveedores de dicho software deberían realizar una «auditoría de sesgo» de sus productos cada año y poner los resultados a disposición de los clientes.
extraños compañeros de cama
La propuesta enfrenta la resistencia de algunos aliados inusuales, así como preguntas sin resolver sobre cómo operaría. Eric Ellman, vicepresidente sénior de políticas públicas de Consumer Data Industry Association, que representa a las empresas de verificación de antecedentes y crédito, dice que el proyecto de ley podría hacer que la contratación sea menos justa al imponer nuevas cargas a las empresas que realizan verificaciones de antecedentes en nombre de los empleadores. Argumenta que tales controles pueden ayudar a los gerentes a superar la renuencia a contratar personas de ciertos grupos demográficos.
Algunos grupos de derechos civiles y expertos en inteligencia artificial también se oponen al proyecto de ley, por diferentes razones. Albert Fox Cahn, fundador del Proyecto de Supervisión de Tecnología de Vigilancia, organizó una carta de 12 grupos, incluidos la NAACP y el Instituto AI Now de la Universidad de Nueva York, que se oponen a la ley propuesta. Cahn quiere regular la contratación de tecnología, pero dice que la propuesta de Nueva York podría permitir que el software que perpetúe la discriminación obtenga el sello de aprobación de una auditoría de equidad.
Cahn quiere que cualquier ley defina la tecnología cubierta de manera más amplia, no permita que los proveedores decidan cómo auditar su propia tecnología y permita que las personas demanden para hacer cumplir la ley. “No vimos ninguna forma significativa de hacer cumplir la discriminación que nos preocupa”, dice.
Partidarios
Otros tienen preocupaciones, pero aún apoyan la propuesta de Nueva York. “Espero que el proyecto de ley siga adelante”, dice Julia Stoyanovich, directora del Centro para la IA Responsable de la Universidad de Nueva York. “También espero que sea revisado”.
Al igual que Cahn, a Stoyanovich le preocupa que el requisito de auditoría del proyecto de ley no esté bien definido. Todavía piensa que vale la pena aprobar, en parte porque cuando organizó reuniones públicas sobre la contratación de tecnología en la Biblioteca Pública de Queens, muchos ciudadanos se sorprendieron al saber que las herramientas automatizadas se usaban ampliamente. “La razón por la que estoy a favor es que obligará a revelar a las personas que fueron evaluadas en parte por una máquina y también por un ser humano”, dice Stoyanovich. “Eso ayudará a que los miembros del público participen en la conversación”.
Dos nuevas empresas con sede en Nueva York cuyas herramientas de contratación estarían reguladas por las nuevas reglas dicen que les dan la bienvenida. Los fundadores de HiredScore, que trata de destacar candidatos prometedores a partir de currículos y otras fuentes de datos, y Pymetrics, que ofrece evaluaciones en línea basadas en psicología cognitiva con la ayuda del aprendizaje automático, apoyaron el proyecto de ley durante una audiencia virtual del Comité del Concejo Municipal. de Tecnología en noviembre.
Frida Polli, directora ejecutiva y cofundadora de Pymetrics, comercializa la tecnología de la empresa como una señal más justa sobre los candidatos que las medidas tradicionales como los currículos, que, según ella, pueden poner en desventaja a las personas de entornos menos privilegiados. Recientemente, investigadores de la Universidad del Noreste auditaron la tecnología de la compañía para verificar su imparcialidad. Ella reconoce que el requisito de auditoría del proyecto de ley podría ser más estricto, pero dice que no está claro cómo hacerlo de manera práctica, y que sería mejor tener algo en los libros. “El proyecto de ley es moderado, pero de una manera poderosa”, dice ella.
“Como el Salvaje Oeste por ahí”
Robert Holden, presidente del Comité de Tecnología del Concejo Municipal, tiene sus propias preocupaciones acerca de la capacidad del gobierno de la ciudad para definir cómo controlar la contratación de software. También ha recibido noticias de enviados de empresas cuyo software estaría sujeto a las reglas propuestas, lo que ha provocado una mayor participación de la industria de lo habitual para los asuntos del Concejo Municipal. Algunos le han asegurado que se puede confiar en que la industria se autorregulará. Holden dice que lo que ha aprendido hasta ahora deja en claro que se necesita más transparencia. «Es casi como el Salvaje Oeste ahora», dice Holden. “Realmente tenemos que proporcionar algo de transparencia”.
Holden dice que es probable que el proyecto de ley enfrente algunas negociaciones y reescrituras, así como una posible oposición de la oficina del alcalde, antes de que pueda programarse para una votación final por parte del concejo. De aprobarse, entraría en vigor en enero de 2022.
Esta historia apareció originalmente en wired.com.
