Los errores de T-Mobile causaron una interrupción en todo el país, pero la FCC no está castigando al operador

La Comisión Federal de Comunicaciones terminó de investigar a T-Mobile por una interrupción de la red que el presidente Ajit Pai calificó de «inaceptable». Pero en lugar de castigar al operador de telefonía móvil, la FCC simplemente está emitiendo un aviso público para «recordar» a las compañías telefónicas las «mejores prácticas aceptadas por la industria» que podrían haber evitado la interrupción de T-Mobile.

Después de que la interrupción Marketingdecontenido de 12 horas el 15 de junio interrumpió los servicios de llamadas y mensajes de texto, incluidas las llamadas de emergencia al 911, Pai escribió que «la interrupción de la red de T-Mobile es inaceptable» y que «la FCC está iniciando una investigación. Exigimos respuestas: y también lo son los consumidores estadounidenses».

Pai tiene un historial de hablar duro con los transportistas y no seguir con castigos que podrían tener un efecto de disuasión mayor que las advertencias redactadas con severidad. Eso parece ser lo que sucedió ayer cuando la FCC anunció los resultados de su investigación sobre T-Mobile. Pai dijo que «el apagón de T-Mobile fue un fracaso» porque el operador no siguió las mejores prácticas que podrían haberlo evitado o minimizado, pero no anunció ningún castigo. El asunto parece estar cerrado según el anuncio de ayer, pero hoy nos comunicamos con la oficina del presidente Pai para preguntar si se prevé algún castigo para T-Mobile. Actualizaremos este artículo si recibimos una respuesta.

FCC detalla errores de T-Mobile

El informe de investigación del personal identificó varios errores cometidos por T-Mobile durante la interrupción, que comenzó cuando T-Mobile estaba instalando nuevos enrutadores en el sudeste de EE. UU. Cuando falló un enlace de transporte de fibra en la región, la red de T-Mobile debería haber transferido el tráfico a través de un enlace diferente. Pero el operador «había configurado mal el peso de los enlaces a uno de sus enrutadores», lo que «evitó que el tráfico fluyera hacia el nuevo enrutador activo como estaba previsto». T-Mobile no había implementado ningún proceso a prueba de fallas para evitar la configuración incorrecta o para alertar a los ingenieros de redes sobre el problema.

El mercado de Atlanta «se aisló» del resto de la red, lo que provocó que todos los usuarios de LTE en el área perdieran conectividad. Un error de software empeoró las cosas al impedir que los dispositivos móviles en el área de Atlanta se volvieran a registrar en el subsistema multimedia IP a través de Wi-Fi. En lugar de enrutar los intentos de registro de dispositivos a un nodo diferente, «el sistema de registro enrutó repetidamente los intentos de reinscripción de cada dispositivo móvil al último nodo retenido en sus registros, que no estaba disponible debido al aislamiento del mercado».

El error de software existía en la red de T-Mobile desde hace meses. «Es probable que este error de software no haya causado problemas antes de que ocurriera esta interrupción porque la interrupción fue el primer aislamiento notable del mercado desde que T-Mobile integró este software en su red», dijo la FCC. Las pruebas periódicas «podrían haber descubierto la falla del software y la configuración incorrecta del enrutamiento antes de que pudieran afectar las llamadas en vivo», dijo también la FCC.

Después de que comenzaron los problemas del 15 de junio, los ingenieros de T-Mobile «terminaron exacerbando [the outage’s] porque diagnosticaron mal el problema». El informe de la FCC continuó:

T-Mobile creía que el enlace de transporte de fibra que falló ese mismo día continuaba provocando la interrupción continua. Siguiendo esta creencia, T-Mobile cerró manualmente el enlace en un intento de transferir el tráfico fuera de él. Sin embargo, debido a los pesos Open Shortest Path First aún mal configurados, estos pasos recrearon las condiciones iniciales de la interrupción. Los clientes de LTE en el mercado de Atlanta se desconectaron nuevamente de la red LTE y se vieron obligados a establecer llamadas a través de Wi-Fi, y sus intentos de registro nuevamente fallaron y crearon una tormenta de registro que agregó más congestión al subsistema multimedia IP de T-Mobile.

Los ingenieros de T-Mobile reconocieron casi de inmediato que habían diagnosticado mal el problema. Sin embargo, no pudieron resolver el problema restaurando el enlace porque las herramientas de administración de red necesarias para hacerlo de forma remota dependían de las mismas rutas que acababan de desactivar. Cuando los ingenieros de T-Mobile pudieron acceder al equipo en el sitio y corregir su error restaurando el enlace una hora más tarde, los clientes en el mercado de Atlanta pudieron nuevamente intentar registrarse en VoLTE [Voice over LTE]. Sin embargo, esto nuevamente creó una congestión adicional porque los ingenieros de T-Mobile aún no habían solucionado el error de software que impedía que se completaran los registros.

El apagón va a todo el país

El informe de la FCC explicó cómo se propagó el apagón desde el mercado de Atlanta hacia todo el país. El tráfico externo destinado al sistema de Atlanta se redirigió a otras regiones, lo que «creó suficiente congestión en esos sistemas de registro para que la red de T-Mobile enviara los intentos de registro a otros nodos. El error del software enrutó nuevamente los intentos de reinscripción al último nodo registrado, que probablemente ya estaba experimentando una congestión severa». Poco después, «los registros de IP Multimedia Subsystem, VoLTE y Voice over Wi-Fi comenzaron a fallar en todo el país».

La gran mayoría de los clientes de T-Mobile no pudieron conectarse a las redes de Voz sobre LTE o Voz sobre Wi-Fi y, por lo tanto, «recurrieron a las redes de conmutación de circuitos 3G y 2G de T-Mobile para hacer y recibir llamadas mientras el dispositivo continuaba registrado». intentos a la red VoLTE». Esto dio lugar a la congestión de 3G y 2G, lo que provocó que fallaran muchas llamadas telefónicas. Los nodos de la red continuaron reteniendo recursos para estas sesiones de llamadas después de que terminaron las llamadas, abrumando los recursos informáticos de los nodos y causando aún más fallas en las llamadas.

Por lo general, las llamadas al 911 se pueden realizar incluso cuando los dispositivos móviles no pueden completar el registro con el Subsistema multimedia IP, pero en este caso, el 911 se vio afectado por la congestión de la red 3G y 2G «debido a que los mismos nodos de red que eligen las puertas de enlace para las llamadas destinadas a 2G y las redes 2G también eligen puertas de enlace para las llamadas al 911. Cuando los recursos informáticos de esos nodos se vieron abrumados por las reservas de recursos de las sesiones de llamadas abandonadas, también provocó que fallaran muchas llamadas al 911 «, dijo la FCC.

T-Mobile le dijo a la FCC que 23,621 llamadas al 911 no llegaron a los puntos de respuesta de seguridad pública [PSAPs] debido a la congestión durante la interrupción. Se completaron con éxito otras 111.253 llamadas de emergencia. Incluyendo las llamadas al 911 y las que no son de emergencia, al menos el 41 por ciento de las llamadas en la red de T-Mobile fallaron durante la interrupción, dijo la FCC.

Esto podría haberse evitado o minimizado si T-Mobile hubiera implementado un «monitoreo razonable de la red 911», que «habría revelado a T-Mobile en tiempo real que la interrupción estaba causando el bloqueo de llamadas en las líneas administrativas de PSAP», dijo la FCC.

Desde entonces, T-Mobile ha corregido los problemas técnicos identificados debido a la interrupción y ha realizado otros cambios para prevenir o reducir la gravedad de futuras interrupciones, según el informe de la comisión.

Hola T-Mobile, no vuelvas a hacer eso

En un comunicado de prensa de ayer, Pai volvió a criticar a T-Mobile. «La interrupción de T-Mobile fue un fracaso», dijo Pai. «La investigación de nuestro personal descubrió que la empresa no siguió varias de las mejores prácticas establecidas de confiabilidad de la red que podrían haber evitado la interrupción o al menos mitigado su impacto. Todos los proveedores de telecomunicaciones deben asegurarse de que se adhieren a las mejores prácticas relevantes de la industria, y animo la confiabilidad de la red organismos de normalización para aplicar su experiencia a los problemas identificados en este informe para su posterior estudio».

A pesar de eso, Pai no anunció ningún castigo.

«De acuerdo con la práctica anterior, el [FCC’s Public Safety and Homeland Security] La Oficina planea publicar un Aviso público, basado en su análisis de esta y otras interrupciones recientes, recordando a las empresas las mejores prácticas aceptadas por la industria, incluidas las recomendadas por el Consejo de seguridad, confiabilidad e interoperabilidad de las comunicaciones de la FCC, y su importancia», dijo la FCC. «Además, la Oficina se comunicará con los principales proveedores de transporte para analizar sus prácticas de red y ofrecer asistencia a los proveedores más pequeños para ayudar a garantizar que las redes de comunicaciones de nuestra nación sigan siendo sólidas, confiables y resistentes».

Esto es similar a lo que sucedió el año pasado cuando una investigación de la FCC sobre la respuesta de los operadores móviles al huracán Michael en Florida descubrió que los operadores no cumplieron con sus propios compromisos de roaming voluntario, lo que prolongó innecesariamente las interrupciones. Pai calificó las respuestas de los transportistas al huracán como «completamente inaceptables», pero no impuso ningún castigo relacionado con la mala respuesta al huracán y siguió confiando en medidas voluntarias para evitar recurrencias.

La FCC de Pai también permitió que Verizon, T-Mobile y US Cellular salieran sin ningún castigo después de descubrir que exageraron su cobertura 4G en las presentaciones oficiales. Pai ha propuesto multas para AT&T, Verizon, T-Mobile y Sprint para castigar las ventas ilegales de datos de ubicación de teléfonos por parte de los operadores, pero los demócratas criticaron las sanciones de $ 12 millones a $ 91 millones por operador por no ser lo suficientemente grandes en relación con el daño a los consumidores.