Blackbox
진행 중인 장애와 핵심 성능 지표, 대응 담당자, 남은 에러 예산을 한 화면에 모았습니다. 장애 발생 직후에도 현재 상황과 다음 조치를 빠르게 파악할 수 있습니다.
장애 대응 중에는 여러 화면을 오갈 시간이 없습니다. 필요한 정보가 한곳에 모여 있지 않으면 확인을 위한 대화가 늘어나고 복구는 늦어집니다.
모니터링 도구는 평상시의 상태를 넓게 확인하는 데는 익숙하지만, 장애가 발생하면 대시보드와 로그, 알림, 채팅을 번갈아 봐야 하는 경우가 많습니다. 당직 엔지니어가 처음 상황을 파악하는 데 쓰는 시간이 그대로 복구 시간에 더해집니다.
Blackbox는 장애 대응에 필요한 정보만 모은 신뢰성 대시보드입니다. 진행 중인 장애의 심각도와 시작 시각, 영향 범위, 담당자를 상단에 배치하고 p99 지연, 에러율, 처리량, Apdex와 에러 예산을 이어서 보여 줍니다. 대응 과정은 시간순으로 기록해 장애가 끝난 뒤에도 같은 맥락으로 검토할 수 있습니다.
진행 중인 장애를 화면 상단에 모읍니다
심각도와 시작 시각, 영향 범위, 대응 담당자를 하나의 영역에 배치했습니다. 처음 호출된 엔지니어도 현재 상황을 빠르게 파악할 수 있습니다.
에러 예산을 대응 판단과 연결합니다
남은 에러 예산과 현재 소진 속도를 핵심 지표 옆에 표시합니다. 즉시 롤백할지 조금 더 관찰할지를 수치에 근거해 판단할 수 있습니다.
대응 과정의 행동을 시간순으로 기록합니다
스케일 조정과 롤백, 확인 완료 등 사람이 수행한 작업을 시각과 함께 남깁니다. 사후 분석에서 기억이나 채팅 기록에만 의존하지 않도록 했습니다.
Blackbox
장애 대응 화면은 익숙한 사용자가 아니라 새벽에 처음 호출된 사람도 짧은 시간 안에 이해할 수 있어야 합니다. 무엇이 잘못되었고 누가 대응하고 있으며 얼마나 여유가 남았는지를 먼저 답하는 구조가 필요합니다.
비퍼블리시는 과거 장애 대응 과정의 실제 확인 순서를 바탕으로 진행 중 장애, 지표, 타임라인, SLO, 알림 화면을 설계했습니다. 장시간 사용하는 어두운 화면에서도 긴급 정보와 참고 정보의 차이가 분명하게 보이도록 대비와 정보 밀도를 조정했습니다.
프로젝트 정보
| 서비스 | SRE 신뢰성·장애 대응 대시보드 |
|---|---|
| 대상 | 당직으로 장애를 받는 엔지니어 |
| 해결한 문제 | 장애 중에 대시보드·로그·알림·채팅을 번갈아 열어야 하던 것 |
| 지표 | p99 지연 · 에러율 · 처리량 · Apdex · 에러 예산 |
| 주요 화면 | 진행 중 장애 · 지표 · 타임라인 · SLO · 알림 |
| 유형 | 대시보드 |
| 기획 · 디자인 | 비퍼블리시 (bpublish) |
Blackbox
장애 대응 중에 여는 SRE 신뢰성 대시보드
