Dear clients,
today at 5:46pm CST-6 we suffered a domino effect situation that affected LACP channels between our core and colo room 1, colo room 3 and Cloud services, after a thorough check we determined that a third party layer 2 provider hired by a client injected an anomalous BPDU with inconsistent vlans announcements which triggered the LACP BPDU protections bringing the LACP channels down and losing connectivity between Core and the fore mentioned colo rooms.
The provider peering was disconnected and the LACP channels were reset and issue was completely solved at 6:54pm CST-6.
We are still investigating why our Edge protection on the layer 2 peering did not stop the illegal BPDU from this peer.
For the time being the situation is considered as resolved.
Estimados clientes,
el día de hoy a las 5:46pm CST-6 sufrimos un efecto domino que afecto las interconneciones LACP entre nuestra sala core y la sala de colocation 1, 3 y servicios cloud. Luego de una extensa revisión determinamos que un proveedor tercero de capa 2 contratado por un cliente y conectado a nuestro core inyecto un anuncio BPDU ilegal con vlans inconsistentes que disparo las protecciones LACP desconectando dichas salas de nuestro core por ende perdiendo conectividad a dichas salas.
El proveedor causante ha sido desconectado por el momento hasta determinar la configuración de sus equipos.
La situación se resolvió por completo a las 6:54pm CST-6.
Todavía estamos investigando porque la protección BPDU de nuestro puerto edge con este proveedor no logró parar el BPDU ilegal que causó dicho evento.
Por el momento consideramos la situación como resuelta.