Mitigation Edge Disconnection / Down Time
Incident Report for RackNation
Resolved
Please notice all Rios mitigation boxes have been normalized, all traffic flowing normally on Miami, San Pedro and Curridabat, our vendor determined the cause of the rogue configuration was because of a major bug on their configuration system, we have been provided the update to fix this bug which is being applied right away to the rweb configuration system.
We consider the situation as resolved, again our apologies for the down time this generated to our clients.
The event in question started at 15:03 CST-6 and was controlled at 15:18 CST-6 with a total down time of 15 minutes

(Español)
Todos los sistemas Rios de mitigación ddos han sido normalizado y todo el tráfico entre Miami, San Pedro y Curridabat está fluyendo con normalidad
El evento en cuestión inicio a las 15:03 CST-6 y fue resuelto a las 15:18 CST-5 con una afectación total de 15 minutos
Posted Sep 10, 2021 - 17:09 CST
Monitoring
Update:
Our vendor Riorey was performing a maintenance on the configuration box which sends updates to the Rios boxes which filter all traffic in our pops in Miami, San Pedro and Curridabat, after our vendor released a maintenance on the configuration box a rogue misconfiguration was sent to the Rios boxes which blocked ALL GRE traffic between Core routers and Edge routers, this literally filtered 100% of traffic between our Core and Lan hence creating a domino effect in our Curridabat and San Pedro pop.
We are currently waiting for an update from our Vendor to understand the culprit and understand how to avoid this from happening in our ddos mitigation cluster.
We apologize for the situation in question

(Español)
Actualización: Nuestro proveedor de equipos de mitigación Riorey se encontraba en el proceso de actualización de la caja de configuración que envia las reglas de mitigación al cluster de cajas Rios que realizan el filtrado de ataques en nuestros centros de datos, en el proceso se envio por aparente error una regla con un ACL que bloqueo el trafico BGP entre nuestros routers de border y routers core lo que generó un efecto dominio y cascada que boto todo el trafico de los centros de datos en cuestión.
Estamos discutiendo con el proveedor como evitar situaciones como estas a futuro, nuestras disculpas por el evento en cuestión
Posted Sep 10, 2021 - 16:24 CST
Identified
We have detected a situation on our Edge Mitigation for DDos attacks which resulted in an overall block of ALL traffic in the DataCenter, we have identified the issue and are working with RioRey vendor to understand the reason of the traffic block.
We will update accordingly as we have more information, for the time being services have been normalized.

(Español)
Estimados clientes hemos detectado una situación que generón un efecto domino en nuestros sistemas de mitigación de ataques DDos que bloqueo el trafico de nuestro centro de datos por completo, estamos en este momento trabajando con nuestro proveedor de equipos de mitigación RioRey para entender el detalle del evento y como evitar que suceda de nuevo, estaremos actualizando cuando tengamos mas información.
Posted Sep 10, 2021 - 15:33 CST
This incident affected: Racknation Website (www.racknation.cr), Edge Routing CR1 DataCenter, Edge Routing CR2 DataCenter, Edge Routing (MIA 1) Equinix, CR2 OpenStack VHI Cloud infrastructure, and Support Telephone Systems.