Driftstörning 2017-02-13

Berörd site:
– Hammarby, IP-ONLY
– Västberga, VBDC

Idag drabbades vårat nätverk av driftstörningar.
Ursprungliga felet beror på att uppströmsleverantör oannonserat dragit om fiber (som inte skulle beröra vår utrustning).
De har av misstag brutit anslutning mot våra fiberlänkar mot knytpunkter och andra hallar.

Vid 14:45 inkom rapport om fel.
Vid 14:45 påbörjades migrering av våra tjänster till sekundär fiber.
Vid 15:20 var samtliga länkar överflyttade.

15:55 kontaktas uppströmsleverantör för att felsöka vad som är fel.
Vid 16:45 hittar de felet. De kopplar dock in optiken innan vi förberett nätverket för överväxling. Detta skapar en switchloop i nätverket vilket ger följden att svarsförluster och access drabbas.
Vid 16:55 kopplas detta ur igen och nätverksaccess återställs.

SAN och storage går över en helt separat förbindelse, backup path var igång hela tiden så att inte dataförluster ska uppstå.
Om det ändå är något problem, kontakta oss direkt så avhjälper vi det.

English:

Malfunction 2017-02-13

Concerned site:
– Hammarby, IP-ONLY
– Västberga VBDC

A network issue impacted our network operations.
The original error was caused by the upstream supplier performing routine work on other equipment and connections (not related to Adminor). Their technician accidently broke connectivity to our primary uplink to our core.

At 14:45 discovered a network fault.
At 14:45 started the migration of our services to secondary fiber.
At 15:20, all links transferred. (A few customer VLANs did not transfer automatically, we’re troubleshooting this to decrease chance of this happening again.)

15:55 contacted upstream provider to troubleshoot issues to resolve the primary link being down.
At 16:45 fault was found. The upstream provider connected the port before we were ready, which caused a switchloop.
At 16:55 the switch-loop was resolved.

SAN and storage go over a completely separate connection, the backup path was running all the time so that no data loss will occur.
If there still is a problem, please contact us directly so we can remedy it.