Incident Status – SP4 Location

Incident Report for Huge Networks

Update

O caso permanece em aberto com o fornecedor, e estamos acompanhando o progresso de forma contínua e rigorosa. A causa raiz do problema foi identificada com precisão pelos engenheiros seniores, e atualmente a solução está sendo validada pela equipe de desenvolvedores.

Estamos atuando de maneira proativa para garantir a continuidade e a estabilidade dos nossos serviços. Enquanto a solução definitiva está sendo implementada, nossa equipe de engenheiros aplicou ajustes preventivos na infraestrutura, com o objetivo de minimizar qualquer impacto e prevenir recorrências.

Nosso time continua totalmente dedicado à resolução deste incidente com a máxima urgência. Estamos comprometidos em mantê-lo informado sobre o andamento, e caso haja qualquer evolução significativa por parte do fornecedor, comunicaremos imediatamente.


[ English Version]
The case remains open with the supplier, and we are continuously and rigorously monitoring the progress. The root cause of the issue was accurately identified by the senior engineers, and the solution is currently being validated by the development team.

We are proactively working to ensure the continuity and stability of our services. While the final solution is being implemented, our engineering team has applied preventive adjustments to the infrastructure to minimize any impact and prevent recurrences.

Our team remains fully dedicated to resolving this incident with the utmost urgency. We are committed to keeping you informed of the progress, and should there be any significant developments from the supplier, we will communicate immediately.
Posted Mar 28, 2025 - 17:47 GMT-03:00

Update

Ontem, aplicamos esse patch em nosso ambiente internacional, que desde então permanece estável e sem recorrências. Com essa confirmação, hoje realizamos a aplicação emergencial no ambiente nacional às 15h10, e verificamos que o problema foi completamente solucionado, com a normalização total da operação às 15h40.

Sabemos da importância da disponibilidade dos nossos serviços para os negócios de nossos clientes e reforçamos nosso compromisso com performance, estabilidade e resiliência. Entendemos que qualquer interrupção pode gerar impactos significativos, e por isso, além da correção via patch, estamos implementando novos roteadores redundantes para elevar ainda mais a disponibilidade e evitar recorrências.

Nosso time esteve e sempre estará 100% dedicado a fornecer a melhor experiência para cada cliente. Atendemos instituições críticas em toda a América Latina e, mesmo diante desse desafio, trabalhamos incansavelmente para restabelecer a normalidade no menor tempo possível.

Agradecemos a confiança e permanecemos à disposição para quaisquer esclarecimentos.

English version:

Yesterday, we applied this patch in our international environment, which has since remained stable with no further occurrences. With this confirmation, today we carried out the emergency application in the national environment at 3:10 PM, and verified that the issue was fully resolved, with operations completely normalized by 3:40 PM.

We understand the importance of service availability for our clients’ businesses and reaffirm our commitment to performance, stability, and resilience. We recognize that any interruption can have significant impacts, which is why, in addition to the patch fix, we are also implementing new redundant routers to further increase availability and prevent future occurrences.

Our team has been—and always will be—fully dedicated to providing the best experience for every client. We serve critical institutions across Latin America and, even when faced with this challenge, we worked tirelessly to restore normal operations in the shortest possible time.

We appreciate your trust and remain at your disposal for any further clarification.
Posted Mar 19, 2025 - 18:26 GMT-03:00

Update

We are continuing to work on a fix for this issue.
Posted Mar 19, 2025 - 18:21 GMT-03:00

Update

We are continuing to work on a fix for this issue.
Posted Mar 19, 2025 - 18:19 GMT-03:00

Identified

Prezados clientes,

Identificamos uma instabilidade no SP4 entre 13h40 e 14h48. A situação foi prontamente contornada com a ativação da redundância, garantindo a continuidade dos serviços sem novos impactos.

Após análise conjunta, o fabricante identificou a origem da falha e disponibilizou uma atualização de firmware específica para correção do problema. Estamos, neste momento, planejando uma janela de manutenção para aplicação deste firmware, visando mitigar o risco de recorrência e reforçar a estabilidade do ambiente.

Seguimos monitorando o ambiente e manteremos todos informados sobre os próximos passos.

Agradecemos pela compreensão.

English Version:

Dear Customers,

We identified an instability on SP4 between 1:40 PM and 2:48 PM. The situation was promptly mitigated by activating redundancy, ensuring service continuity with no further impact.

After a joint analysis, the vendor identified the root cause of the issue and provided a specific firmware update to address the problem. We are currently planning a maintenance window to apply this firmware update, aiming to mitigate the risk of recurrence and reinforce the stability of the environment.

We will continue to monitor the environment and keep everyone informed of the next steps.

Thank you for your understanding.
Posted Mar 18, 2025 - 15:12 GMT-03:00

Monitoring

Prezados clientes,

Identificamos uma instabilidade no SP4 entre 17:41 e 17:53. A situação já foi contornada por meio da ativação da redundância, garantindo a continuidade dos serviços sem novos impactos. Seguimos investigando a causa em conjunto com o fornecedor do equipamento para evitar recorrências.


Seguimos monitorando e forneceremos novas atualizações caso necessário.

Agradecemos pela compreensão.




English Version:

Dear Customers,

We identified an instability in SP4 between 17:41 and 17:53. The situation has already been mitigated through redundancy activation, ensuring service continuity without further impact. We are continuing to investigate the root cause together with the equipment provider to prevent recurrence.

We remain vigilant and will provide further updates if necessary.
Thank you for your understanding.

Incidentes foram consolidados.

Update - Informamos que a manutenção que estava programada para segunda-feira, 10/02/2025, às 03:00hrs, foi adiada devido à necessidade de dar mais tempo para a preparação de ambientes críticos, que não estavam devidamente organizados para suportar a intervenção neste horário.
Garantimos que assim que uma nova data for definida, todos os envolvidos serão notificados com antecedência, para garantir que haja tempo suficiente para o planejamento adequado.
Gostaríamos de destacar que, apesar desse adiamento, a rede continua estável e operando normalmente, sem nenhum impacto para as operações.
Agradecemos pela compreensão e reforçamos nosso compromisso em realizar a manutenção de forma planejada e sem comprometer a estabilidade da rede de nossos clientes."
"We inform you that the maintenance scheduled for Monday, 10/02/2025, at 03:00hrs, has been postponed due to the need for additional time to prepare critical environments, which were not adequately organized to support the intervention at that time.
We will ensure that, as soon as a new date is set, all involved parties will be notified in advance, to ensure there is sufficient time for proper planning.
We would like to emphasize that, despite this delay, the network remains stable and is operating normally, with no impact on operations.
We appreciate your understanding and reaffirm our commitment to carrying out the maintenance in a planned manner, without compromising the stability of our clients' network."
Feb 12, 2025 - 13:20 GMT-03:00
Update - [Manutenção programada]
Informamos que na madrugada de segunda-feira (10/02) as 03h00, será realizada uma manutenção programada acompanhada pelo fabricante, com o intuito de restaurar o mecanismo de redundância de controladora do equipamento que apresentou a instabilidade. O objetivo é restabelecer o HA (High Availability), deixando o equipamento resiliente a falhas e sem a necessidade de intervenção manual.
Durante a manutenção poderá ocorrer instabilidade na sessão BGP e com isso a sessão pode ser renegociada. Essa intervenção é necessária para garantir a estabilidade, segurança e desempenho contínuo do ambiente.
Agradecemos pela compreensão, permanecemos à disposição nos nossos canais de atendimento para quaisquer esclarecimentos adicionais.
English version:
[Scheduled Maintenance]
We would like to inform you that on Monday (02/10) at 03:00 AM, a scheduled maintenance will be carried out with the manufacturer's support to restore the redundancy mechanism of the equipment controller that experienced instability. The goal is to reestablish HA (High Availability), making the equipment resilient to failures without the need for manual intervention.
During the maintenance, there may be instability in the BGP session, which could lead to session renegotiation. This intervention is necessary to ensure the stability, security, and continuous performance of the environment.
We appreciate your understanding and remain available through our support channels for any further clarifications.
Feb 07, 2025 - 02:54 GMT-03:00
Update - Foi identificado uma falha no mecanismo de redundância de um de nossos core routers do backbone SP4.
O equipamento possui redundância de controladora e utiliza um protocolo proprietário para HA (High Availability). Detectamos que ocorreram falhas deste mecanismo, gerando inconsistência na redundância, como consequência foi necessária intervenção manual.
Desde as 12:00 AM o ambiente está estável enquanto trabalhamos com o time técnico do fabricante.
Seguimos em tratativa.
English Version:
A failure was identified in the redundancy mechanism of one of our core routers in the SP4 backbone network.
The equipment features controller redundancy and utilizes a proprietary protocol for High Availability (HA). We detected a malfunction in this mechanism, which caused inconsistencies in redundancy and required manual intervention as a result.
Since 12:00 AM, the environment has remained stable while we continue working with the manufacturer's technical team.
We remain engaged in ongoing discussions.
Feb 06, 2025 - 16:24 GMT-03:00
Update - Prezados clientes,
Informamos que nossa rede backbone SP4 permanece estabilizada e operacional após o chaveamento para a estrutura de redundância.
Nossa equipe de engenharia permanece em tratativas com o suporte técnico do fabricante do equipamento, que está escalonado com o time de especialistas.
Seguimos acompanhando o ambiente e traremos novas atualizações em breve.
Agradecemos pela compreensão, permanecemos à disposição nos nossos canais de atendimento para quaisquer esclarecimentos adicionais.
English version:
Dear customers,
We would like to inform you that our SP4 backbone network remains stable and fully operational following the switchover to the redundancy structure.
Our engineering team is in ongoing discussions with the equipment manufacturer's technical support, which has been escalated to their specialist team.
We are continuously monitoring the environment and will provide further updates soon.
Thank you for your understanding. We remain available through our support channels for any additional information or clarification.
Feb 06, 2025 - 14:31 GMT-03:00
Monitoring - A fix has been implemented and we are monitoring the results.
Feb 06, 2025 - 12:19 GMT-03:00
Identified - Prezado cliente,
Identificamos uma inconsistência em um dos nossos equipamentos na localidade SP4, afetando conectividades associadas a interfaces agregadas. Nossa equipe técnica já realizou ações corretivas, incluindo a migração do tráfego para uma unidade de backup, o que restabeleceu a conectividade.
O incidente está sob monitoramento, e uma janela de manutenção foi programada para 03:00 a fim de realizar ajustes adicionais.
Seguimos acompanhando o ambiente e traremos novas atualizações em breve.
Agradecemos pela compreensão e estamos à disposição para mais informações.
English version:
Dear customer,
We have identified an inconsistency in one of our devices at the SP4 location, impacting connectivity associated with aggregated interfaces. Our technical team has already implemented corrective actions, including traffic migration to a backup unit, which has restored connectivity.
The incident is currently under monitoring, and a maintenance window has been scheduled for 03:00 to perform additional adjustments.
We are closely monitoring the environment and will provide further updates soon.
Thank you for your understanding. We remain available for any further information.
Feb 06, 2025 - 12:17 GMT-03:00
Investigating - Informamos que foi identificado um incidente na localidade SP4, impactando todas as conectividades associadas a essa infraestrutura. Nosso time de engenharia já está atuando na análise e mitigação do problema.
Agradecemos pela compreensão e permanecemos à disposição para mais informações.


English version:


We inform you that an incident has been identified at the SP4 location, impacting all connectivity associated with this infrastructure. Our engineering team is currently analyzing and mitigating the issue.
Thank you for your understanding, and we remain available for further information.
Feb 06, 2025 - 10:27 GMT-03:00

Investigating - We detected an unexpected failure in the FPC of one of our core routers at our Equinix SP4 POP at 8:50 PM GMT/UTC -3. The failure caused temporary traffic forwarding instability.

The situation has already been controlled by our engineering team, and the manufacturer, Juniper, has been contacted. The infrastructure remains stable, and the incident is under monitoring.
Jan 20, 2025 - 22:01 GMT-03:00
Posted Mar 06, 2025 - 19:02 GMT-03:00
This incident affects: South America (São Paulo).
← Current Status Powered by Atlassian Statuspage