Aurich Lawson | imágenes falsas
Ahora estamos en la fase tres de nuestro proyecto de aprendizaje automático, es decir, hemos superado la negación y la ira, y ahora nos estamos deslizando hacia la negociación y la depresión. Me encargaron usar el tesoro de datos de Ars Technica de cinco años de pruebas de titulares, que comparan dos ideas entre sí en una prueba «A/B» para permitir que los lectores determinen cuál usar para un artículo. El objetivo es tratar de construir un algoritmo de aprendizaje automático que pueda predecir el éxito de cualquier titular. Y a partir de mi último check-in, no estaba yendo de acuerdo al plan.
También había gastado unos cuantos dólares en tiempo de cómputo de Amazon Web Services para descubrir esto. La experimentación puede ser un poco costosa. (Insinuación: Si tiene un presupuesto limitado, no use el modo «Piloto automático».)
Probamos algunos enfoques para analizar nuestra colección de 11.000 titulares de 5.500 pruebas de titulares: la mitad ganadores, la mitad perdedores. Primero, tomamos todo el corpus en forma de valores separados por comas y probamos un «Ave María» (o, como lo veo en retrospectiva, un «Leeroy Jenkins») con la herramienta Autopilot en SageMaker Studio de AWS. Esto volvió con un resultado de precisión en la validación del 53 por ciento. Esto resulta no ser tan malo, en retrospectiva, porque cuando utilicé un modelo creado específicamente para el procesamiento de lenguaje natural, BlazingText de AWS, el resultado fue un 49 por ciento de precisión, o incluso peor que lanzar una moneda. (Si mucho de esto suena como una tontería, por cierto, recomiendo revisar la Parte 2, donde analizo estas herramientas con mucho más detalle).
Fue un poco reconfortante y también un poco desalentador que el evangelista técnico de AWS, Julien Simon, tuviera una falta de suerte similar con nuestros datos. Probar un modelo alternativo con nuestro conjunto de datos en el modo de clasificación binaria solo logró una tasa de precisión del 53 al 54 por ciento. Así que ahora era el momento de averiguar qué estaba pasando y si podíamos solucionarlo con algunos ajustes del modelo de aprendizaje. De lo contrario, podría ser el momento de adoptar un enfoque completamente diferente.
