Probleem (19-07-2024 8:00):
Op het moment laden de AuditCase omgevingen die draaien op AWS servers niet, aan onze achterkant kunnen wij ook zien dat deze servers eruit liggen en dat deze niet opkomen
Wij zien ook op de AWS website dat zij problemen ervaren en dat zij hiermee bezig zijn. Zie ook: https://health.aws.amazon.com/health/status.
Onderzoek (19-07-2024 8:30):
Wij hebben hier niet veel onderzoek aan omdat het bij AWS ligt, wel zijn wij intern aan het kijken of onze machines geraakt zijn door dergelijke CrowdStrike problemen.
Probleem (19-07-2024 8:30):
CrowdStrike is een security agent, echter heeft de foutieve patch van CrowdStrike ervoor gezorgd dat Windows OS niet goed opstartte. Omdat wij ook CrowdStrike op onze servers hebben draaien konden deze servers dus niet correct opstarten. Naast opstart problemen van enkele omgevingen heeft dit er ook voor gezorgd dat we enkele omgevingen opnieuw op moeten zetten.
Oplossing:
19-07-2024 - 12:00: AWS heeft een workaround gedeeld op hun website, dit hebben we getest op onze omgevingen en hierdoor werkt AuditCase weer. Dit zijn we nu een het uitrollen voor de overige omgevingen.
19-07-2024 - 13:40: Enkele omgevingen ervaren nog problemen, hier zijn we op het moment aan het onderzoeken wat de mogelijke opties zijn op dit zo spoedig mogelijk op te lossen.
19-07-2024 - 15:00: De overige omgevingen die we niet kunnen opstarten zijn we op het moment nieuwe omgevingen voor aan het opzetten, configureren, opstarten en AuditCase front-ends opzetten. Dit kan enige tijd duren, we houden jullie op de hoogte.
19-07-2024 - 22:10: De laatste omgevingen hebben we AWS van opgezet, hier zijn we nu Domino op aan het installeren en zorgen dat de front-ends (AuditCase) weer benaderbaar zijn.
19-07-2024 - 23:15: Voor de laatste 5 AuditCase omgevingen die nog niet operationeel zijn, zijn we de laatste aspecten voor aan het afronden. AWS geconfigureerd, Domino staat op de omgevingen, WindowsOS is terug enkel de AC front-ends nog bereikbaar maken. Hiervoor vereisen we echter meer AWS kennis en die verhalen we bij CWI.
20-07-2024 - 6:00-10:00: We hebben 4 van de 5 omgevingen nu 'up-and-running'. De laatste omgeving zijn we aan het onderzoeken waarom de AuditCase front-ends niet bereikbaar zijn.
20-07-2024 - 11:45: Alle omgevingen draaien, we zijn ze nu aan het testen zoals we dit altijd doen na een update test om te zien of basis functionaliteiten naar behoren werken.
20-07-2024 - 13:15: Alle omgevingen draaien en zijn getest. AuditCase werkt voor iedereen weer naar behoren.
---
Excuses voor het ongemak, ondanks dat dit niet volledig in onze controle was en meer organisaties hier last van hebben gehad willen wij zo goed mogelijke bereikbaarheid voor gebruikers verzorgen. Natuurlijk balen wij ook dat deze foutieve CrowdStrike patch dergelijk grote impact heeft op onze service.
Dank voor het begrip!
.