A new approach to embedded computer benchmarking
Date
2006-04
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Years of experience gained in the field while designing and building new digital hardware for
clients in both the private and public sectors have shown that choosing the correct processor
for the job beforehand is difficult.
The reason is the type of situation where the final speed of the application cannot be known
before it is tested on the actual hardware, but that the hardware cannot be built before it is
known which CPU will be fast enough to run the application.
Designers have traditionally tried to reduce the risk by referring to various benchmark
programs to compare processors with each other, and then by over designing. In this regard
various attempts have been made to describe the performance of CPU's, but these are
generally very application-specific and the accuracy depends on who is doing the measuring.
Manufactures have been known to quote figures that will portray their hardware in the best
possible light.
The purpose of this thesis will be to develop a robust, simple and quick way to determine
what performance a CPU will achieve in a given practical application. The theory will then be
tested on several CPU platforms.
The development of such a method has very practical application in the engineering industry,
as the type and number of CPU's in a design have very real cost implications. The method will
also have spin-offs in the System-On-a Chip (SOIC) and FPGA environment when the
method is used to analyse the requirements of a given application. The results can then be
used to influence the data flow paths and CPU architecture of such a design.
The thesis first does a literature survey of current benchmarking methods. This will then be
used to influence the postulation of a theory of how the problem of benchmarking should be
tackled. The theory will then be tested on several platforms, as stated above.
AFRIKAANSE OPSOMMING: Verskeie j are se ervaring in die ontwerp en bou van digitale hardeware vir kliente in beide die privaat en publieke sektor het getoon dat dit nogal moeilik is om vooraf te besluit watter verwerker gebruik moet word. Dit is die gevolg van 'n situasie waar daar nie geweet kan word hoe vinnig 'n gegewe verwerker 'n toepassing sal uitvoer nie al vorens die hardeware gebou en die toepassingsagteware op die uiteindelike hardeware getoets is nie. Ontwerpers probeer tradisioneel die risiko's verminder deur verskillende verwerkers met mekaar vergelyk deur na enigeen van verskeie 'benchmark' -programme te verwys, en deur dan te oorontwerp. In hierdie verband is daar oor die laaste sewentig jaar verskeie pogings aangewend om verwerkerwerkverrigting op 'n standaardwyse te beskryf Die probleem is dat hierdie pogings oor die algemeen baie toepassingspesifiek is, en dat die akkuraatheid afhang van wie die meetwerk doen Vervaardigers is bekend daarvoor dat hulle slegs die syfers aanhaal wat hulle hardeware in die beste moontlike Jig stel. Die doel van hierdie tesis is om 'n vinnige maar robuuste en eenvoudige manier te ontwikkel waardeur die verrigting van 'n verwerker vir enige pral'tiese toepassing bepaal kan word. Die metode sal dan op 'n aantal verkers getoets word. Die ontwikkeling van so 'n metode het verskeie praktiese toepassings deurdat die tipes en aantal verwerkers in 'n ontwerp groot koste-implikasies het. Die metode sal ook deur die SOIC- en FPGA-gemeenskap gebruik kan word deur die behoeftes van die toepassing te analiseer, en dan doelgemaakte hardeware te gaan bou wat daardie behoefte bevredig. Die resultate kan ook gebruik word om die datavloeipaaie en argitektuur van nuwe verwerkers te bei:nvloed. Hierdie tesis doen ten eerste 'n deeglike literatuuroorsig van huidige 'benchmark' -metodes. Dit word dan gebruik om te besluit hoe die probleem om 'n nuwe metode te ontwikkel, aangepak behoort te word. Hierdie teorie word dan op verskeie platforms getoets.
AFRIKAANSE OPSOMMING: Verskeie j are se ervaring in die ontwerp en bou van digitale hardeware vir kliente in beide die privaat en publieke sektor het getoon dat dit nogal moeilik is om vooraf te besluit watter verwerker gebruik moet word. Dit is die gevolg van 'n situasie waar daar nie geweet kan word hoe vinnig 'n gegewe verwerker 'n toepassing sal uitvoer nie al vorens die hardeware gebou en die toepassingsagteware op die uiteindelike hardeware getoets is nie. Ontwerpers probeer tradisioneel die risiko's verminder deur verskillende verwerkers met mekaar vergelyk deur na enigeen van verskeie 'benchmark' -programme te verwys, en deur dan te oorontwerp. In hierdie verband is daar oor die laaste sewentig jaar verskeie pogings aangewend om verwerkerwerkverrigting op 'n standaardwyse te beskryf Die probleem is dat hierdie pogings oor die algemeen baie toepassingspesifiek is, en dat die akkuraatheid afhang van wie die meetwerk doen Vervaardigers is bekend daarvoor dat hulle slegs die syfers aanhaal wat hulle hardeware in die beste moontlike Jig stel. Die doel van hierdie tesis is om 'n vinnige maar robuuste en eenvoudige manier te ontwikkel waardeur die verrigting van 'n verwerker vir enige pral'tiese toepassing bepaal kan word. Die metode sal dan op 'n aantal verkers getoets word. Die ontwikkeling van so 'n metode het verskeie praktiese toepassings deurdat die tipes en aantal verwerkers in 'n ontwerp groot koste-implikasies het. Die metode sal ook deur die SOIC- en FPGA-gemeenskap gebruik kan word deur die behoeftes van die toepassing te analiseer, en dan doelgemaakte hardeware te gaan bou wat daardie behoefte bevredig. Die resultate kan ook gebruik word om die datavloeipaaie en argitektuur van nuwe verwerkers te bei:nvloed. Hierdie tesis doen ten eerste 'n deeglike literatuuroorsig van huidige 'benchmark' -metodes. Dit word dan gebruik om te besluit hoe die probleem om 'n nuwe metode te ontwikkel, aangepak behoort te word. Hierdie teorie word dan op verskeie platforms getoets.
Description
Thesis (MSc) -- University of Stellenbosch, 2006.
Keywords
Computers -- Evaluation, Computer software -- Evaluation, Electronic digital computers -- Evaluation, Dissertations -- Electronic engineering