Megbízható-e a PCMark2002 processzortesztje?

Az ExtremeTech oldalain egy terjedelmes írás jelent meg arról, hogy miért is nem egyszerű dolog a processzorok teljesítményét akkurátusan mérő tesztprogramokat készíteni. Az írás szerzője, Nick Stam korábban részt vett a Ziff Davis Labs. által forgalmazott számos benchmark elkészítésében. Cikke, a szerző minden óvatoskodó kijelentése ellenére, elsősorban a MadOnion nemrég megjelent PCMark2002 programjának CPU-tesztjét veszi célba.

Stam arra volt kíváncsi, hogy vajon a program processzortesztje valóban megdolgoztatja-e a rendszert, vagy csupán olyan kódot tartalmaz, amely gond nélkül fut az elsőszintű és másodszintű gyorsítótárból. Ennek kiderítésére egy 2 GHz-es Willamette (256 kbyte L2) és Northwood (512 kbyte L2) magos Pentium 4 processzort használt fel változatlan hardverkomponensek mellett. Amint várható volt, a két processzor teljesítménye közti különbség a PCMark2002 eredménye alapján mindössze 1%, noha valós alkalmazások futtatása során 7-8% is lehet a Northwood javára. Ez egyértelműen arra utal, állítja Stam, hogy limitált méretű kóddal dolgozik a program, és így nem képes megmutatni, hogy a valós alkalmazások során milyen eredmény várható a CPU-tól.

Amint írja: "Ez alapján a kísérlet alapján nehéz lenne egyértelmű következtetésekre jutni, de úgy tűnik, hogy a MadOnion PCMark2002 processzortesztje nem képes teljesen modellálni az alkalmazások CPU-használatát, mert nem mutatja ki a nagyobb másodszintű cache előnyeit, amikor az nyilvánvaló, és nem vizsgálja a CPU minden aspektusát, pl. a külső buszokat. [...] Holott mindez elengedhetetlen egy processzor összteljesítményének megítéléséhez."

A teljes angol nyelvű cikk az ExtremeTech oldalain olvasható.