마이크로소프트 대규모 장애, 테스트 환경과 실제 인프라의 불일치가 불러온 연쇄 붕괴
지난주 마이크로소프트 서비스 다수가 전 세계에서 약 하루 동안 중단된 데 이어, 마이크로소프트가 월요일 사고 후 예비 보고서를 발표해 여러 원인을 밝혔으며, 문제의 소프트웨어 업데이트를 검증한 테스트 환경이 실제로 구동될 인프라와 달랐다는 점도 인정했다. 마이크로소프트 부사장 찰스 라마나가 소셜 미디어에 공개한 보고서 요약본은 장애를 연쇄적으로 일으킨 요인 일부를 밝혔다. 보고서는 특정 부하 조건에서 서버가 과부하에 걸려 응답하지 않게 만드는 잠재 결함이 있었다고 밝혔다. 이 결함은 마이크로소프트 365(마이크로소프트 365) 네트워킹 게이트웨이 서버를 위해 마련한 수정 사항에서 비롯됐으며, 보고서에 따르면 배포는 7월에 시작돼 3개월 넘게 전 세계에서 영향 없이 이뤄졌다. 마이크로소프트는 배포 전에 변경 사항을 테스트하긴 했지만 테스트 환경이 현실과 달랐다고 인정했다. 마이크로소프트는 테스트 랩에서 사용한 트래픽과 하드웨어 구성이 달라 평소의 부하 테스트로는 잠재 문제를 감지하지 못했다고 설명했다. 경합 문제는 코어 수가 많은 최신 하드웨어에서 더 심해지는데, 부하 테스트는 코어 수가 적은 낮은 사양의 하드웨어 위주로 진행됐다고 밝혔다. 또한, 별개의 문제로 발생한 트래픽 급증도 이번 문제를 촉발하고 복구를 지연시킨 요인이었다고 설명했다. 마이크로소프트는 마이크로소프트 365 안에서 격리와 고가용성을 위해 설계한 독립적이고 이기종인 네트워크 게이트웨이 시스템 두 개를 운영한다고 밝혔다. 장애나 중단이 생기면 많은 서비스가 두 시스템 사이를 오가며 장애 조치를 할 수 있는 구조다. 장애 약 15시간 전 팀즈가 보조 게이트웨이에서 익스체인지 온라인(Exchange Online)도 지원하는 주 게이트웨이로 전환됐고, 게이트웨이의 부하가 늘면서 트래픽 패턴이 달라졌다. 설상가상으로 보고서에 따르면 전날 발생한 별개의 문제로 네트워킹 게이트웨이 서버 용량의 약 14%가 가동되지 않는 상태였다. 마이크로소프트는 별개 문제의 세부 내용을 밝히지 않았다. 여러 요인이 겹치면서 장애가 발생한 것이다. 연쇄 장애 마이크로소프트는 부하 증가와 서버 용량 감소로 네트워크 게이트웨이가 7월의 잠재 버그에 맞닥뜨렸다고 설명했다. 요청이 쌓이다가 서버가 결국 응답을 멈췄다는 것이다. 서버가 연결을 잃으면 트래픽 관리 시스템이 사용자를 정상 엔드포인트로 자동 우회시키지만, 우회된 트래픽 탓에 남은 정상 엔드포인트에서 같은 문제가 일어날 가능성이 오히려 커졌다. 보고서는 같은 양의 부하가 더 적은 서버로 분산되면서 서버에서 서버로 연쇄 장애가 이어졌다고 밝혔다. 2시간 이내에 기존에 알려지지 않은 결함이 전체 서버군에서 나타나 서버를 응답 불능 상태로 만들었고, 가장 심했을 때는 서버의 80% 이상이 응답하지 않았다고 전했다. 연쇄적으로 이어진 문제는 마이크로소프트의 복구 작업에도 걸림돌이 됐다. 서버를 다시 가동할 때마다 대기하던 트래픽이 한꺼번에 몰려 버그가 작동했고, 서버는 다시 응답하지 않았다. 마이크로소프트는 평소의 자동 복구 절차가 이처럼 광범위한 응답 불능 상태에서 서비스를 복원하도록 설계되지 않았다고 밝혔다. 핵심 코드 결함이 수개월 전의 잠재 버그였던 탓에 일반적인 롤백, 플라이팅, 기능 플래그로는 변경을 신속히 되돌릴 수 없었다고도 덧붙였다. 여전히 필요한 설명 컨설턴트는 마이크로소프트가 시스템을 복구하려 애쓴 점은 높이 평가하면서도, 테스트 환경이 현실과 달랐던 이유를 더 설명해야 한다고 지적했다. 보세론 시큐리티(Beauceron Security)의 CEO 데이비드 십리는 이 위험이 비즈니스 모델에 내재된 것이어서 영리한 우회책으로는 완화할 수 없다고 판단했다. 십리는 마이크로소프트가 생각할 수 있는 모든 조치를 했는데도 극단적인 예외 상황에서 모두 실패했다고 평가했다. 마이크로소프트가 자사 제품 구성의 복잡성 때문에 곤욕을 치르리라고는 예상하지 못했지만 일종의 인과응보처럼 말이 된다고 덧붙였고, 보고서에서 가장 우려스러운 대목은 비슷한 연쇄 오류가 다음 주에 마이크로소프트에서 다시 일어나지 않으리라고 믿을 구체적 근거를 고객에게 주지 못한다는 점이라고 강조했다. 십리는 이번 일에서 가장 끔찍한 점이 같은 일이 얼마나 쉽게 되풀이될 수 있느냐는 것이며, 이런 예외 상황이 이제야 발생했다는 사실이 놀랍다고 언급했다. 더 크고 성능이 좋은 서버가 이런 버그의 근본 원인에 포함된 것은 처음 보는 사례라고도 말했다. “잠재 결함이 시스템 전반의 장애로 번진다” 아이키도 시큐리티(Aikido Security)의 엔터프라이즈 최고정보보안책임자 마이크 윌크스도 같은 의견을 냈다. 윌크스는 더 새롭고 강력한 하드웨어가 오히려 장애를 증폭시켰다는 점이 아이러니이며, 확장성과 복원력이 같은 개념이 아님을 일깨운다고 지적했다. 이번 장애는 엔지니어링 가정이 운영 현실과 충돌할 때 잠재 결함이 시스템 전반의 장애로 번지는 전형적인 사례라고 평가했다. 마이크로소프트가 사실상 자사 테스트 환경이 운영 인프라의 하드웨어, 동시성, 트래픽 특성을 재현하지 못했음을 인정한 셈이라고 짚었다. 윌크스는 보고서에서 상태 페이지와 관련된 대목이 특히 아이러니하다고 평가했다. 가장 민망한 사실은 마이크로소프트의 상태 페이지 자체가 장애로 차질을 빚었다는 점이라고 꼬집었다. 인프라가 고장 났음을 알리는 시스템이 같은 인프라에 의존한다면 장애 유형에 대한 이해가 얼마나 한심한 수준이냐고 반문했다. 단순한 기술적 간과를 넘어 상상력의 아키텍처적 실패이자, 30년 넘게 전에 쌓았어야 할 경험을 적용하지 못한 실패라고 비판했다. 독립 기술 컨설턴트 스티븐 에릭 피셔도 테스트 불일치를 가장 큰 위험 신호로 봤다. 피셔는 테스트가 운영 환경의 하드웨어 특성, 동시성, 트래픽 패턴, 운영 조건을 충분히 재현하지 못하면 중대한 결함이 감지되지 않고 빠져나갈 위험을 처음부터 떠안는 셈이라고 설명했다. 특히 우려스러운 점은 마이크로소프트의 운영 하드웨어가 테스트 하드웨어보다 성능이 높았는데도 그 추가 성능이 결함을 악화시켰다는 것이라고 지적했다. 딕슨 리서치(Dickson Research)의 수석 애널리스트 프랭크 딕슨은 복구 과정의 또 다른 문제로, 자동화가 개별 서버 장애를 조용히 처리하면서 문제를 오랫동안 가려 전체 대응을 사실상 늦췄다고 짚었다. 딕슨은 불이 나기 훨씬 전부터 연기가 있었다고 표현했다. 팀즈 트래픽은 협정 세계시 오전 1시 7분에 공유 게이트웨이로 옮겨 갔고, 이후 15시간 동안 일부 지역에서 개별 서버 장애가 이어졌다. 자동화가 장애를 하나씩 조용히 처리하는 사이 우선순위가 높은 경보는 협정 세계시 오후 4시 20분에야 울렸다. 딕슨은 작은 불을 계속 끄는 자동화가 건물이 점점 뜨거워지고 있다는 사실을 가릴 수 있다고 경고했다[email protected]