대규모 시스템에서 개략적인 규모 추정

2022-03-04

개략적인 규모 추정

개략적 규모 추정을 효과적으로 해 내려면 규모 확장성을 표현하는 데 필요한 기본기에 능숙해야 한다.

특히, 2의 제곱수나 응답지연(latency) 값, 그리고 가용성에 관계된 수치들을 기본적으로 잘 이해하고 있어야 한다.

분산 시스템에서 다루는 데이터 양은 엄청나게 커질 수 있으나 그 계산법은 기본을 크게 벗어나지 않는다.

제대로 된 계산 결과를 얻으려면 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지를 우선 알아야 한다.

최소 단위는 1바이트이고, 8비트로 구성된다. ASCII 문자 하나가 차지하는 메모리 크기가 1바이트이다.

다음의 표는 흔히 쓰이는 데이터 볼륨 단위들이다.

2의 x 제곱	근사치	이름	축약형
10	1천만(thousand)	1킬로바이트(Kilobyte)	1KB
20	1백만(milion)	1메가바이트(Megabyte)	1MB
30	10억(bilion)	1기가바이트(Gigabyte)	1GB
40	1조(trilion)	1테라바이트(Terabyte)	1TB
50	1000조(quadrilion)	1페타바이트(Petabyte)	1PB

구글의 제프 딘은 2010년 통상적인 컴퓨터에서 구현된 연산들의 응답지연 값을 공개한 바 있다.

이들 가운데 몇몇은 더 빠른 컴퓨터가 등장하면서 더 이상 유효하지 않게 되었지만, 아직도 이 수치들은 컴퓨터 연산들의 처리 속도가 어느 정도인지 짐작할 수 있도록 해준다.

연산명	시간
L1 캐시 참조	0.5ns
분기 예측 오류(branch mispredict)	5ns
L2 캐시 참조	7ns
뮤텍스(mutex) 락/언락	100ns
주 메모리 참조	100ns
Zippy로 1 KB 압축	10,000ns = 10us
1 Gbps 네트워크로 2 KB 전송	20,000ns = 10us
메모리에서 1 MB 순차적으로 read	250,000ns = 250us
같은 데이터 센터 내에서 메시지 왕복 지연시간	500,000ns = 500us
디스크 탐색(seek)	10,000,000ns = 10ms
네트워크에서 1 MB 순차적으로 read	10,000,000ns = 10ms
디스크에서 1 MB 순차적으로 read	30,000,000ns = 30ms
한 패킷의 CA(캘리포니아)로부터 네덜란드까지의 왕복 지연 시간	150,000,000ns = 150ms

이 수들을 알기 쉽게 시각화 한 자료다.

latency-v

위에 그림에서 제시된 수치들을 분석하면 다음과 같은 결론이 나온다.

고가용성(high availability)은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어다.

고가용성을 표현하는 값은 퍼센트로 표현하는데, 100%는 시스템이 단 한 번도 중단된 적이 없었음을 의미한다.

대부분의 서비스는 99%에서 100% 사이의 값을 갖는다.

SLA(Service Level Agreement)는 서비스 사업자(service provider)가 보편적으로 사용하는 용어로, 서비스 사업자와 고객 사이에 맺어진 합의를 의미한다.

이 합의에는 서비스 사업자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술되어 있다.

아마존, 구글, 마이크로소프트 같은 사업자는 99% 이상의 SLA를 제공한다.

가용 시간은 관습적으로 숫자 9를 사용해 표시한다.

9가 많으면 많을수록 좋다고 보면된다.

다음의 표는 9의 개수와 시스템 장애 시간(downtime) 사이의 관계다.

가용률	하루당 장애시간	주당 장애시간	개월당 장애시간	연간 장애시간
99%	14.40분	1.68시간	7.31시간	3.65인
99.9%	1.44분	10.08분	43.83분	8.77시간
99.99%	8.64초	1.01분	4.38분	52.60분
99.999%	864.00밀리초	6.05초	26.30초	5.26분
99.9999%	86.40밀리초	604.80밀리초	2.63초	31.56초

QPS(Query Per Second) 추정치