네트워크 시뮬레이션 공방

"VoIP MOS 계산"에서 설명하였듯이, 패킷 손실률(Packet Loss Rate)는 MOS를 결정하는 중요한 요소이다. 그러면 패킷 손실이 MOS에 어떠한 영향을 미치는지 조금 더 자세하게 살펴보도록 하자. 다음 그림은 VoIP 트래픽이 흘러가는 네트워크의 패킷 손실률을 0% - 80% 범위에서 변화시켰을 때, MOS 값 변화에 대한 Riverbed Modeler(OPNET) 시뮬레이션 결과를 나타낸 것이다.

패킷 손실률이 증가하면 초기에는 MOS가 급격히 감소한다. 하지만, 나중에는 패킷 손실률이 증가하여도 MOS는 조금씩 감소한다. 즉, 패킷 손실률이 낮을 때(10% 이하)에는 패킷 손실률에 따라 MOS가 크게 영향을 받지만, 패킷 손실률이 높을 때(40% 이상)에는 패킷 손실률이 변화하여도 MOS가 받는 영향은 크지 않다.
본 실험에서 패킷 손실은 네트워크를 통해 전송되는 도중 발생하는 비트 에러를 통해 발생시킨 것이다. MOS 결과값을 BER(Bit Error Rate)와의 관계 측면에서 살펴보면 다음 그림과 같다.

BER이 MOS에 미치는 영향은 패킷 손실률이 MOS 미치는 영향과 비슷한 경향을 보여주며, 이는 논리적으로 쉽게 예측할 수 있는 결과이다. 다만, 패킷 손실률의 경우와 비교해보면, BER이 낮을 때에는 MOS에 좀더 급격한 변화를 발생시키며 BER이 높을 때에는 MOS에 좀더 완만한 변화를 발생시킨다.

OPNET Voice Application에서 사용하는 Jitter의 의미와 계산방법은 "Delay Variation과 Jitter의 차이"에서 살펴본 바 있다. 그러면 Jitter 값이 어느 정도의 범위를 가지는 지에 대해서 조금 더 살펴보도록 하자.
다음 그림은 ip32_cloud 노드 모델을 이용하여 normal(0.01, 0.005) 분포("분포 함수(1) - 정규분포" 참조)의 Packet Latency를 발생시켰을 때("네트워크 Jitter(1) - VoIP 실험을 위한 네트워크 Jitter 설정" 참조), G.711 코덱을 사용하는 단말의 Voice Application단에서 측정된 Jitter를 나타낸 것이다(Frame Size : 10msec, Voice Frames per Packet: 2).

이 실험의 경우, Jitter이 범위가 -20ms ~ 260ms 범위를 가지는 것을 볼 수 있다. normal(0.01, 0.005) 분포를 사용하였을 때 IP 패킷이 약 300ms 정도까지의 지연시간을 가지는 것을 고려하면("네트워크 지터(4) - Packet Latency 측정" 참조), 약 260ms까지의 Jitter를 가지는 것은 자연스럽다.
그런데, Jitter 값의 음수 범위는 왜 정확히 -20ms까지인 것일까? 이는 실험에서 사용된 VoIP 코덱의 프레임 크기 및 IP 패킷당 프레임수와 관련이 있다. 앞의 실험에서는 G.711 코덱을 사용하였으므로 2개의 10ms 프레임을 하나의 IP 패킷(정확히는 RTP 패킷)에 담아 전송하도록 하였다. 따라서, 송신측에서 IP 패킷간의 간격은 20ms이며, 패킷별 지연시간의 변동으로 인해서 수신측에 패킷이 동시에 도착할 경우 Jitter는 -20ms가 된다. Voice 패킷은 순서대로 재생되므로 Jiiter 값의 음수 범위는 -20ms까지로 제한 된다. 다음 그림은 지터가 음수값을 가지는 경우의 송/수신 시간 관계를 나타낸 것이다.

VoIP에 사용되는 코덱들의 최대 MOS 값은 얼마이며, OPNET의 결과값은 이론적인 값과 잘 일치하는지를 살펴보기로 하자. ITU-T P.830 절차에 따른 각 코덱별 MOS 측정 결과가 1997년에 발표된 바 있으며[1], CISCO에서 발표한 결과도 이와 동일하다[2]. 이중에서 요즘 인터넷 전화에서 많이 사용되는 G.711, G.723.1, G.729 코덱의 MOS 값을 정리해 보면 다음과 같다(G.723.1에 대한 결과는 [2]에서만 제공).

OPNET의 VoIP 코덱별 최대 MOS 값을 살펴보면, 다음 그림과 같다. (G.711: 4.32, G.723.1: 3.60, G.729: 3.88)

[1, 2]에서 발표된 결과와 비교해보면, OPNET은 G.711에서는 약 0.22 높은 값을, G.723.1에서는 약 0.05 낮은 값을, G.729에서는 약 0.04 낮은 값을 보여준다. OPNET의 MOS 결과값은 ITU-T E-model[3]에 의해서 계산되는 것이므로("OPNET 중급입문" 5장 VoIP Application  및 "VoIP MOS 계산" 참조), 실제 측정값과 차이가 있다고 해서 OPNET의 결과값이 잘못되었다고 할 수는 없다. 하지만, ITU-T P.830 절차에 따라 실측한다는 것은 현실적으로 거의 불가능하기에 ITU-T E-model을 사용하는 경우가 많은데, ITU-T E-model 방식에 의한 MOS 결과값과 실측값 사이에는 약간의 차이가 있을 수 있다는 점을 염두에 둘 필요는 있을 것이다.

[1] Perkins M.E., Evans K. Pascal D., Thorpe L.A. "Characterizing the subjective performance of the ITU-T 8 kb/s speech coding algorithm-ITU-T G.729," IEEE Communications Magazine, vol. 35, no. 9, pp.74-81, Sep 1997.
[2] http://www.cisco.com/en/US/tech/tk1077/technologies_tech_note09186a00800b6710.shtml#mos
[3] ITU-T G.107, "The E-model, A Computation Model for Use in Transmission Planning," 2011.

"VoIP 호 설정 절차(1) - No Signaling"에서 살펴본 것처럼, OPNET은 VoIP 호 설정(Call Setup)을 위한 시그날링 프로토콜로 SIP도 지원한다. 다음 그림은 "OPNET 중급입문"의 예제를 수정하여 SIP를 적용한 것으로, VoIP 교환기 역활을 수행하는 SIP 서버가 추가되었다.

VoIP 속성 편집창에서 Signaling 프로토콜을  살펴보면 다음 그림과 같이 SIP로 적용되어 있어야 한다.

시뮬레이션 수행후 결과를 살펴보면, SIP_Server 노드에서 Active Calls에 대한 결과값으 볼 수 있으며, VoIP Call의 설정과 종료 시점에 SIP_Server 노드에 송수신 트래픽(SIP 시그날링 메시지)이 발생함을 확인할 수 있다.

OPNET 16.1 버전에서 MOS 계산시 delay가 중복하여 반영되는 문제가 있다(15.0, 16.0 버전에서도 동일한 문제가 있는 것을 확인하였으며, 17.1, 17.5 버전에서도 해결되지 않은 것으로 보여진다). 즉, packetization delay와 compression/decompression delay가 중복하여 반영되는 문제가 발생한다.
또한 이 delay 값들은 무시할만한 수준이 아니어서 최종 MOS 값에도 영향을 미친다.

이러한 문제에 대해서 OPNET사에 문의한 결과 오류로 확인되었으며, 이후 발표될 버전에서는 수정하기로 하였다. (SPR-176998: "Packetization, compression, decompression, and dejitter buffer delays are double-counted in MOS value computation of VoIP application traffic." 참조)

"OPNET 중급입문"에서 설명하였듯이, OPNET은 E-Model에 기반한 MOS 측정 기능을 14.0 버전부터 제공한다. E-Model은 패킷 손실과 지연시간 등의 정보로부터 MOS를 계산해내는 방법으로 ITU-T에 의해서 표준화되었다[1]. OPNET에 구현된 MOS 계산 기능은 E-Model에 기반한 것이기는 하지만, 구체적인 계산 과정은 R.G. Cole과 J.H. Rosenbluth가 제시한 방식을 사용한다. R.G. Cole과 J.H. Rosenbluth에 따르면 E-Model에 필요한 R factor는 다음 수식에 의해서 계산될 수 있다(파라미터 값 변경없이 기본값을 사용했을 때)[2].

여기에서 d는 end-to-end packet delay, e는 packet loss rate이다. G1/G2/G3는 음성 코덱에 의해 결정되는 상수값이며, G.711 코덱과 G.729a 코덱에 대한 값은 다음과 같다.

OPNET에서 R factor는 다음 수식을 통해 계산된다(파라미터 값 변경없이 기본값을 사용했을 때).

여기에서 d와 e, G1/G2/G3는 (Eq. 1)에 사용된 것과 동일하다.
즉, OPNET에서의 MOS 계산 방식은 R.G. Cole과 J.H. Rosenbluth가 제시한 방식을 따른다.

[1] ITU-T G.107, "The E-model, A Computation Model for Use in Transmission Planning," 2011.
[2] R.G. Cole and J.H. Rosenbluth, "Voice Over IP Performance Monitoring", Computer Communication Review, a publication of ACM SIGCOMM, volume 31, number 2, April 2001.

OPNET에서 VoIP 호 설정(Call Setup)에 사용되는 시그날링 프로토콜은 None, SIP, H.323의 3가지이다. 이 중에서 None은 시그날링 메시지를 네트워크를 통해 교환하는 과정없이 호 설정을 하는 것으로서 시뮬레이션상에서만 가능한 방법이다. VoIP 교환기를 배치할 필요가 없고 네트워크상에서의 시그날링 메시지 손실을 신경쓰지 않아도 되기때문에, VoIP 데이터 트래픽 자체만을 OPNET에서 시뮬레이션하는 것이 목적인 경우에 흔히 사용된다.
"OPNET 중급입문" 5장의 VoIP 예제도 이 방법을 사용한 것이며, 다음 그림과 같이 VoIP 속성 편집창에서 Signaling 프로토콜이 None으로 적용되어 있음을 확인할 수 있다.