UNIVERZITET "Sv. Kiril i Metodij"
Prirodno matemati~ki Fakultet - Skopje
Institut za Informatika
SEMINARSKA
RABOTASPEC Benchmark testovi
Predmet:
Organizacija na digitalni smeta~ki ma{ini
Izrabotil: Tatjana Jandreska
Mentor: d-r Marjan Gu{ev
Skopje, oktomvri 1997
REZIME
Vo ovaa seminarska rabota se opi{ani SPEC
organizacijata, formirana so cel da "
ureduva, potvrduva i garantira eden
standarden set od zna~ajni benchmark testovi {to mo`e da se primeni na novata
generacija na visoko performansni komjuterski sistemi",
SPEC-ovite proizvodi i slu`bi,
~lenstvoto vo SPEC i
objasnuvawe za organizacijata na OSG i OSG benchmark testovite.
ABSTRACT
The SPEC corporation, formed to "etablish, maintain
and endorse a standardized set of relevant benchmarks that can be
applied to the newest generation of high-performance
computer", the SPEC Products and Services, membership in
SPEC and the individual explanation for the organization of OSG
and OSG's benchmarks, are considered in this seminar work.
SODR@INA
4 PREOSTANATI SPEC BENCHMARK TESTOVI
SPEC (Standard Performance Evaluation Corporation) e neprofitna organizacija formirana vo Kalifornija so cel da ureduva, potvrduva i garantira eden standarden set od zna~ajni benchmark testovi {to mo`e da se primeni na najnovata generacija na visoko performansnite kompjuteri. Osnova~ite na ovaa organizacija veruvaat deka korisnicite }e imaat ogromna korist od objektivna serija na aplikaciski-orientirani testovi, koi }e pretstavuvaat zaedni~ka referentna to~ka i bi bile zna~ajni za procesot na razvoj. Sî dodeka nema benchmark test koj }e mo`e celosno da okarakterizira nekoi sistemski performansi, rezultatite od mno{tvoto postoe~ki benchmark testovi }e davaat va`e~ki procenki na o~ekuvanite postoe~ki performansi.
SPEC vo osnova izvr{uva dve funkcii:
 | SPEC razviva kompleti od bencmark testovi nameneti za merewe na kompjuterskite performansi. Ovie kompleti se pakuvani so izvoren kod i alatki i se opse`no testirani pred nivnata primena. Tie se dostapni za javnosta so nadomestok koj gi pokriva razvojnite i administrativni tro{oci. So dogovor site ~lenovi i potro{uva~i na SPEC se obvrzani da gi izveduvaat i objavuvaat rezultatite kako {to e specifirano vo dokumentacijata na kompletite od benchmark testovi. |
| SPEC objavuva novosti i benchmark rezultati vo The SPEC Newsletter i The GPC Quarterli. I dvata se elektronski dostapni na INTERNET na adresa http://www.specbench.org/ (isto se dostapni i kako tromese~no spisanie). Ova obezbeduva centraliziran izvor na informacii za SPEC banchmark rezultatite. Vo SPEC Newsletter mo`at da objavuvaat i onie koi ne se ~lenovi na SPEC, iako ima ~lenarina i za niv. (No, tie rezultati mo`at da se objavat i na drugo mesto sî dodeka se po~ituvaat SPEC Run Rules i Reporting Rules. ) |
SPEC e organizacija sostavena od tri grupi, sekoja grupa so svoi banchmark testovi:
Open Systems Group (OSG)
Procesor i sistem benchmark testovi vo: UNIX/NT/VMS operativen sistem. Postojat informacii za benchmark testovite (SPECint95, SPECrates, SPEC SFS, SPECweb, itn.).
High Performance Computing Group (HPC)
Benchmark testovi za numeri~koto presmetuvawe.
Grafics Performance Characterization Group (GPC)
Benchmark testovi za grafi~kite podsistemi i OpenGL i Xwindows.
OSG e po~etna to~ka na SPEC i benchmark testovite za centralnata procesorska edinica se verojatno najdobrite od SPEC-ovite benchmark testovi, no denes postojat mnogu pove}e od samo procesorski testovi. SPEC glavni proizvodi se benchmark kompletite. Kodot vo kompletite e razvien od SPEC, od kodovi zemeni od razli~ni izvori. SPEC raboti na prenoslivosta i sozdava alatki i zna~ajni obrabotki na kodovite izbrani vo benchmark testovite. Poradi toa, SPEC benchmark testovite ne se isti kako op{tite programi koi mo`at da postojat pod sli~no ili isto ime i nivnoto vreme na izvr{uvawe se razlikuva od voobi~aenoto benchmark vreme na izvr{uvawe. Prihodite od benchmark kompletite se nameneti za poddr`uvawe na administrativnite tro{oci na dru{tvoto. Kupuva~ite na benchmark lenta/CD-ROM dobivaat dozvola i prira~nik za objavuvawe na rezultatite od izvr{uvaweto na programite so nivnata prva pora~ka na bilo koj SPEC-ov produkt. Inaku, SPEC e vo premin od QIC 24 kaseta (pi{uvano vo UNIX format) vo CD-ROM kako medium za benchmark testovite.
SPEC direktno ne pravi preporaki za kupuvawe kompjuteri. SPEC mo`e da dade samo nekoi podatoci (site se dostapni na Web site stranata na INTERNET http://www.specbench.org/ ).
Rezultatite koi se dostapni na web stranata na SPEC na INTERNET se dobieni od SPEC. SPEC ne gi izveduva site benchmark testovi tuku gi razviva benchmark testovite, gi ispituva i objavuva rezultati, no nema kontrola nad toa koi kompanii gi sproveduvaat testovite, nitu koi sistemi ili konfiguracii se testirani. Mnogu kompanii gi citiraat SPEC rezultatite. Licenciraweto na SPEC benchmark proizvodite im dozvoluva na kompaniite da citiraat i objavuvaat rezultati kako da se nivni sopstveni, sî dodeka se pridr`uvaat na pravilata za izveduvawe i objavuvawe na tie benchmark testovi. SPEC ne odgovara za validnosta na nekoj rezultat objaven na drugo mesto. Ako ima rezultati koi potro{uva~ite bi sakale da gi vidat na INTERNET, tie treba da kontaktiraat so odgovornata kompanija i da ñ sugeriraat da gi predade rezultatite na SPEC.
Mo`no e da se slu~i rezultati koi bile dostapni pred nekoe vreme, pove}e da ne se pojavuvaat na SPEC listite. Politika na SPEC e da se ima arhiva za site rezultati publikuvani od SPEC. No, vo retki priliki, koga vo edno izdanie vo soglasnost so pravilata e otkriena nepravilnost i toa posle negovoto publikuvawe, SPEC mo`e da odredi deka tie neverodostojni rezultati treba da se povle~at. Ova nesoglasuvawe so pravilata mo`e da nastane poradi najrazli~ni pri~ini. Na primer: nepretpazlivost, neo~ekuvano odnesuvawe na benchmark testovite, itn.
Ako se zaklu~i deka rezultatite ne se vo polna soglasnost so "Run and Reporting Rules" pravilata za toj benchmark test, toga{ izdanieto se doveduva pred soodvetna tehni~ka komisija. Ovaa tehni~ka komisija go ispituva izdanieto i ñ dava preporaka na nadle`nata komisija koja odlu~uva dali da se povle~at rezultatite.
Metodologijata na determinirawe na smeta~ka ma{ina ima potreba od detalno razgleduvawe pri planiraweto na kapacitetot na smeta~kata ma{ina. Planiraweto na kapacitetot pobaruva adaptacija na modelot za prisposobuvawe kon odnesuvaweto na sakanata obrabotka. Komparativnoto testirawe bara jasna standardizacija na benchmark testovite t.e. model za pravilno sporeduvawe. No ovie razli~ni pravci mo`at da dovedat do kontradiktorni potrebi.
Dobro proektiran model bara dobro razbirawe na aspektite na celokupnata rabota. Va`no e da se razbere deka sekoja obrabotka e edinstvena do izvesen stepen; toa mo`e da bide ednostavno me|u sli~ni zada~i i aplikacii, no ~esto ima zna~ajni razliki vo odnesuvaweto za mali razliki vo postapkata.
Pred da se odbere modelot na kompjuterskiot sistem za da se dobijat sakanite sistemski kapaciteti, mora da se poznavaat parametrite na oddelnite komponenti. SPEC benchmark rezultatite mo`at da bidat korisni pri planiraweto na kapacitetot na modelot. Vo prodol`enie }e bide prezentiran primer za daden UNIX sistem procenet so indeks 3.3 SPECint95. SPECint95 mo`e da se koristi za odreduvawe na pribli`ni re{enija za toa koga }e treba da se premine kon povisoko rangiran sistem vo SPECint95 rang listata. Dokolku sistemot 3.3 SPECint95 podr`uva vo prosek ~etiri korisnici vo isto vreme i dokolku e potrebno da se zgolemi brojot na osum korisnici, toga{ }e mora da se premine kon sistem od povisok red, na primer od red 6.6.
^esto najgolemoto predizvikuvawe vo planiraweto na kapacitetot pretstavuva neizvesnosta za idnite programi, t.e.usovr{uvaweto na starite verzii. Mora da se pravat sporedbi so individualnite benchmark testovi i sopstvenite iskustva bidej}i nekoi aplikaciski programi pobaruvaat pove}e sistemski resursi otkolku {to se o~ekuva. Isto taka postojat i konsultantski firmi koi mo`at da pomognat okolu odbiraweto na soodvetni sistemi. Mo`e da se prebaruva vo web stranite vo Alta Vista ili Infoseek ili pak vo izve{taite od korisni~kite grupi, na primer DECUS(Digital) i SHARE(IBM) koi se isto dobri izvori za informacii pri planiraweto na kapacitetot na sakaniot kompjuterski sistem.
Rezultatite od SPEC benchmark testovite mo`no e da ne soodvetstvuvaat so dobienite rezultati pri koristeweto na aplikacijata. Sopstvenata aplikacija e sekoga{ najdobriot benchmark test. SPEC CPU benchmark testovite obezbeduvaat komparativna merka za performansite na procesorot, memorijata i kompajlerot za dadena programa, no tie ne mo`at da ja pretstavuvaat i predviduvaat sekoja situacija. Konfiguracijata na hardverot mora da soodvetstvuva so dadenite vo SPEC rezultatite: golemina na memorijata i ke{ memorijata, brojot na procesori vo sistemot, koprocesori, verzijata na operativniot sistem, programskiot jazik koj se koristi pri programiraweto, itn.. SPEC gi sozdava programite za CPU95 so cel da bide upotrebliva aplikacija (FP benchmarks se poop{to koristeni od integer benchmarks, a gcc, perl i compress se verojatno pove}e upotreblivi od tomcatv i su2cor). Izvorniot aplikaciski kod mo`e da bide razgledan vo SPEC i da se oceni so soodvetni benchmark testovi. SPEC pravi nau~no istra`uvawe CPU98 za slednata verzija na CPU benchmarks.
SPEC nema odredeno faktor za konverzija od SPECfp95 vo MFLOPS (Millions of FLOating point instruction Per second) kako merki za brzinata na kompjuterskiot sistem. "MFLOPS" mo`e da bide i nesoodvetno merilo; na primer: pri razli~ni uslovi na merewe, {to e toa {to se smeta za operacija so podvi`na zapirka (loads, stores, posredni ~ekori, itn.). SPEC nema duri presmetano ili obezbedeno FLOP informacii za CFP95 kodot. Poradi neodredenosta na terminite SPEC ne prepora~uva da se pravat obidi za konverzija na merkite vo ovie edinici.