We consider the issue in question resolved, we are closing this event, in case of any further situations we will open another incident response to update.
(Español) Consideramos la situación en cuestión resuelta, en caso de detonarse algún evento de inestabilidad similar estaremos informando por este medio.
NOC RACKNATION
Posted Dec 16, 2020 - 16:05 CST
Update
Dear clients, please notice although the attack campaign continues all our services have remained stable. We have implemented some automation scripts in our Edge to detect major Layer 7 attacks automatically and apply the proper routing and filtering changes for our mitigation to react faster in case these attacks hit clients that are not on high security zones. These changes will help alleviate sudden ddos campaigns on clients that have no previous ddos attack story. The attack vectors seen remain in the Layer 7 HTTP / HTTPS line with major pps and size.
We will update via these means if anything changes but for the time being situation is fully under control.
Please understand Racknation clients receive ddos attack on a daily basis however the attack received today surpassed the normality thresholds seen on usual attacks.
INFRASTRUCTURE DEPARTMENT @ RACKNATION
(Español) Estimados clientes, como actualización a la situación sufrida temprano les indicamos que la campaña de ataques ddos a un cliente en particular continua en este momento sin embargo todos nuestros servicios continuan estables. Hemos implementado "scripts" de automatización para reaccionar de manera mas rápida a eventos mayores de capa 7 y poder aplicar los cambios en enrutamiento y filtros de mitigación a clientes que no se encuentran en zonas de alta seguridad en nuestra red. Los ataques en cuestión siguen utilizando vectores Capa 7 en HTTP y HTTPS con alta paqueteria (pps) y gran tamaño.
Vamos actualizar por este medio si se generara cualquier cambio o situación pero por el momento consideramos la situación totalmente bajo control.
Porfavor entiendan que ha pesar de que los clientes de Racknation reciben ataques de denegación de servicios diariamente, el ataque de hoy sobrepaso la normalidad de los ataques ddos.
DEPARTAMENTO DE INFRAESTRUCTURA @ RACKNATION
Posted Dec 16, 2020 - 13:42 CST
Update
We are continuing to monitor for any further issues.
Posted Dec 16, 2020 - 09:10 CST
Monitoring
Dear clients, starting 7:55am GMT-6 a Racknation client received an unseen 100Gbps + Layer 7 attack coordinated to a client ip space, the client in question had no WAF protection in place so their ips were exposed hence the layer 7 attack leaked at our EDGE filtering devices since it was generated by what seems to be a very big botnet. This is the biggest layer 7 attack we have seen in the history of our existence so far, the nature of the attack obliged us to apply manual changes in our routing in Miami in order to control the attack surge, this situation caused total instability in our network for a period of 17 minutes and 55 seconds since one of our main pipes (layer 2 from Miami to Costa Rica) was being totally topped out with rogue traffic.
We have applied changes in the network scheme for the 2 attacked prefixes to avoid a repeat, while we write this report the attack is ongoing but everything is under control.
We are sorry for the stability issues this has caused in your services, the attack vector in place was very unusual and aggressive and the target client has no previous story of attacks so his services were under a trusted zone policy which means very lax controls. The client in question is now under a highly protected zone so we don't expect a repeat of the attacks in question keep scaling.
Lastly, we have seen recently a big spike in ddos events, very unusual compared to year 2018 and 2019, although most attacks follow very similar attack patterns, (DNS reflection, MEMCACHE reflection, LDAP reflection, SYN Flood) this particular case is highly unusual since only a big botnet would be able to generate a layer 7 attack of such magnitude.
We will keep monitoring this event for the time being, please contact support@racknation.cr for further information.
(Español) Estimados clientes, iniciando a las 7:55am GMT-6 un cliente de Racknation recibió un ataque capa7 de mas de 100Gbps+ coordinado a todas las direcciones ip del cliente, el cliente en cuestión no tenía protección WAF lo cual expuso sus ips al vector capa 7 en nuestros dispositivos de borde en lo que parece ser un ataque generado por un botnet de grandes proporciones. Los ataques de 100Gbps+ en capa7 son ataques rara vez vistos por la dificultad de generarlos y nos hace creer que quien lo generó tiene en su poder un botnet de muy grandes proporciones. Dicho ataque causó saturación en 1 enlace de Miami y el enlace capa7 de Miami a Costa Rica generando inestabilidad en nuestro borde por un tiempo de 17 minutos y 55 segundos.
El tipo de ataque nos obligo a realizar cambios manuales en el esquema de mitigación ya que el cliente en cuestión no tenia servicios de protección ni historial de ataques lo cual lo posicionaba en una zona de red de confianza, el mismo ha sido movido a un esquema de alta seguridad para evitar situaciones derivadas de este ataque. Mientras escribimos este reporte el ataque en cuestión continua.
Lamentamos mucho la inestabilidad sufrida el día de hoy, Racknation tiene un esquema sólido de mitigación de ataques ddos pero hay eventos que se salen de la norma y el sufrido el día de hoy es uno de ellos, de manera muy transparente exponemos la situación sufrida y les reiteramos el compromiso de nuestra empresa de brindar servicios estables.
En este momento seguimos en monitoreo del evento en cuestión para evitar cualquier tipo de afectación adicional.
Posted Dec 16, 2020 - 09:05 CST
This incident affected: Racknation Website (www.racknation.cr), Edge Routing CR1 DataCenter, Edge Routing CR2 DataCenter, and Edge Routing (MIA 1) Equinix.