元麻布春男の視点 N-Bench 1.2に思うベンチマーク・テストの公平性 元麻布春男 2001/08/24

　2001年の春、AMDはN-Benchと呼ばれるベンチマーク・テストをリリースした。このベンチマーク・テストについては、本連載の「Pentium 4がPentium IIIよりも遅い？」でも取り上げた。それから約4カ月、日本AMDはN-Benchのアップデート版、Ver.1.2をリリースした。

N-Bench 1.2の画面

Ver.1.2にアップデートされたが、プログラム名の由来ともなっている忍者などのビジュアルに変更はない。

　バージョン番号の変更が小さいことでも分かるように、今回のアップデートはマイナーチェンジに相当する。つまり、プログラム名の由来にもなっている、忍者などのオリエンタルなモチーフを用いたビジュアルなどはそのままで、プログラム・コードの変更が主な改良点となっている。主な変更ポイントは2つある。

　1つは、デモ・モードにLight版を設けるなど、機能が低いPCでもある程度利用可能にしたこと。これまでN-Benchを実行するには、32Mbytes以上のグラフィックス・メモリ（ローカル・メモリ）が必須であり、低価格なグラフィックス・カードや、メイン・メモリをグラフィックス表示に用いるUMA（Unified Memory Architecture）のグラフィックス環境では利用できなかった。N-Bench 1.2では、すべての機能が利用可能というわけではないものの、ある程度はこうしたシステムでも利用可能となっている。

　もう1つの大きな変更点は、Pentium 4のSSE2に対応したことだ。下の画面はN-Benchを起動すると表示されるメニューだが、左側の「CPU Options」の項に「SSE2」と書かれたチェック・ボックスがあるのが分かる。このチェック・ボックスは、SSE2非対応であるPentium IIIで実行するとSSEに変わる。問題は、このSSE2対応がどのような「対応」を意味するのかということだが、どうやら3Dグラフィックスのジオメトリ処理に用いられていSSEを使ったルーチンを、SSE2の命令セットも使うように書き換えたものらしい。つまり、最初からSSE2を前提に最適化されたコードを用意したものではないため、どの程度の効果があるのか、特にインテルのライバルである日本AMDが提供するベンチマークだけに、余計に気になるところだ。

N-Benchの起動画面

システムの状況やテストの設定などを起動画面で行う。また、保存したベンチマーク・テストの結果を参照することも可能だ。

Pentium 4の場合、「CPU Options」でMMXとSSE2が選択可能となっていることが分かる。Pentium IIIでは、MMXとSSEが選択可能になる。

N-Bench 1.2の結果を見ると

　というわけで早速、3種類のプラットフォーム（Athlon-1.4GHz、Pentium III-1B GHz、Pentium 4-1.8GHzを搭載した各システム）でテストを実行してみた。比較のためにN-Benchの旧バージョンであるVer.1.0、ポピュラーなベンチマーク・テストである3DMark 2001とSYSmark 2001、さらには最近リリースされた実ゲーム・ベースのDroneZmarKも併せて実行してある。なおN-Benchは、プログラム・コードの書き換えに伴い、ベンチマーク・テストのスコア基準が変わっているため、Ver.1.0とVer.1.2の結果を単純に比較することはできない。

プロセッサ	Athlon-1.4GHz	Pentium III-1B GHz	Pentium 4-1.8GHz
マザーボード	Microstar K7T266 Pro	Intel D815EEA	Intel D850GB
チップセット	VIA Apollo KT266	Intel 815E	Intel 850
BIOSバージョン	Ver.1.4	P07	P13
メイン・メモリ	256Mbytes PC2100 CL2	256Mbytes PC133 CL2	256Mbytes PC800
テストに用いた3種類のプラットフォーム

　

OS	Windows Me
DirectXバージョン	DirectX 8.0a
画面解像度	1024×768ドット32bitカラー85Hz＊1
グラフィックス・カード	Leadtek WinFast GeForce3 TD
ディスプレイ・ドライバ	NVIDIA Detonator 12.41
サウンド・カード	ヤマハ YMF744B
サウンド・ドライバ	Windows Me標準
ハードディスク	Maxtor DiamondMax Plus 60
3種類のプラットフォームに共通の設定
＊1 DroneZmarKはV-Synch（ディスプレイの垂直同期周波数）設定の影響を受けるためドライバのOpenGL設定でV-Synchをオフにした

　その結果をまとめたのが下表だ。まずN-Bench 1.2とN-Bench 1.0を見比べれば、スコアの比較が単純に行えないことがよく分かるだろう。N-Bench 1.0比でN-Bench 1.2のスコアは、Athlon-1.4GHzで112％、Pentium III-1B GHzが113％、Pentium 4-1.8GHzで115％となっており、一様に向上している。確かに、新たに対応したSSE2を備えるPentium 4の向上率が一番高いとはいえ、その差はごくわずかだ。

テスト名	テスト条件など	Athlon-1.4GHz	Pentium III-1B GHz	Pentium 4-1.8GHz
N-Bench 1.2	SSE／SSE2／3DNow!あり	5996Marks	3792Marks	5173Marks
	SSE／SSE2／3DNow!なし	5689Marks (-5.1％)	3611Marks (-4.8％)	5144Marks＊1 (-0.6％)
N-Bench 1.0	SSE／3DNow!あり	5358Marks	3349Marks	4479Marks
	SSE／3DNow!なし	5164Marks (-3.6％)	3291Marks (-1.8％)	4420Marks (-1.3％)
DroneZmarK＊2	GeForce3 High Qモード	95.16FPS	93.0FPS	97.17FPS
3DMark2001		5215 3DMarks	4732 3DMarks	5848 3DMarks
SYSmark 2001	SYSmark Rating	137	107	156
	Internet Content Creation	131	108	170
	Office Productivity	143	107	143
各ベンチマーク・テストの結果（すべて数字が大きいほど性能が高い）
＊1 SSE2のチェック・ボックスを外して実行しても、ベンチマーク完了後必ずチェック・ボックスが有効になっている
＊2 DroneZmarkの値は平均フレーム/秒

　このことは、N-Bench 1.0と1.2のそれぞれで、SSE、SSE2、3DNow!といったSIMD拡張命令を有効にした場合と、無効にした場合とを比較すれば一層ハッキリする。Ver.1.0（この場合はPentium 4でもSSEの有効と無効）であろうとVer.1.2であろうと、SIMD命令を有効にした場合に最も効果が薄い（オフにした場合の性能低下幅が小さい）のはPentium 4である。普通に考えると、これはSSE2そのものの効果が小さいか、N-BenchのSSE2に対する最適化が小さいかのいずれかということになる。逆に、3DNow!をオン／オフした場合の性能差が大きいということは、3DNow!の効果が大きいか、N-Benchが3DNow!に最も最適化されているか、のいずれかということだ。

第三者機関のテストであっても細工はいくらでも可能

　ここでは、こうした結果になった理由がどちらなのか、あるいはそれが意図的なものなのか、そうでないのかについては触れない。最適化の度合いを公平に評価することなどだれにもできない（何をもって最適なのかは用途などによっても大きく異なるだろう）し、しょせん部外者である筆者には、ハッキリとしたことなど分からないからだ。ただ一般論として、N-Benchの提供者である日本AMDが、インテルの直接のライバルである以上、「N-BenchがAMDに有利にできている」という批判を、その事実関係とは別に甘受しなければならないということだ。例えば、競争の当事者がベンチマーク・テストを提供している例としては、PowerVR Technologiesが提供するTempleMarkやVillagemarkがあるが、KYRO（STMicroelectronicsが開発・販売しているPowerVRアーキテクチャ採用のグラフィックス・チップ）などのPowerVRシリーズのグラフィックス・チップに有利にできていることを疑う人はほとんどいない。特に、実際のアプリケーションを用いたものではなく、専用のベンチマーク・テストほど、その傾向は高くなるだろう。

　今回、比較のために用いたベンチマーク・テストのうち、3DMark2001とSYSmark 2001は、第三者機関の手によるもので、広く使われているものだ。特にSYSmark 2001は、非営利の業界団体であるBAPCoによるものであり、実際に市販されているアプリケーションを用いているという点で、比較的高い信頼を得ている。もちろん、実アプリケーションを使ったベンチマーク・テストであっても、その利用モデル（Usage Model）の設定によっては、特定のハードウェアに有利にすることは簡単だ。そのため、利用モデルに関する情報の開示が求められるわけだが、この点でもSYSmark 2001は一定の評価を得ているものと思う（有力メンバーの1社がIntelであり、Intelの思惑が強く出ているのではないかという批判はあるにせよ）。

　3DMarkシリーズは、前身のFinalRealityの時代から、実際にリリースされるゲームであるMax Payneに使われるのと同じグラフィックス・エンジン（MAX-FX）を使っていることが、セールス・ポイントの1つだった。しかし、その肝心のMax Payneが一向に発売にならず、実アプリケーションと同じグラフィックス・エンジンといううたい文句が、空手形になりつつあったが、このほどようやくMax Payneがリリースされ、面目が保たれた格好となっている。広く支持されるベンチマーク・テストを作成するのは、想像以上に大変な仕事なのである。

実アプリケーション・ベースでも無意味なテストもある

DroneZmarKの実行画面

Zetha gameZが開発中のアクション・ゲーム「DroneZ」をベースに開発されている。こうした3Dゲームをベースとしたベンチマーク・テストは意外と多い。

　くしくも、実アプリケーションを用いたベンチマークなら何でもよい、というわけではないことを示した格好になってしまったのが、DroneZmarKの結果だ。DroneZmarKは、イタリアのZetha gameZが開発中のアクション・ゲーム「DroneZ」をベースにしたベンチマーク・テストだ。開発中のゲームのベータ・テスト（ハードウェア互換性テスト）を兼ねて、こうしたベンチマーク・テストをリリースする例が、最近ポツポツと見られる。

　ここで得られた結果は、一応、違いがあるような数字になってはいるものの、性能差は非常に小さい。1024×768ドット、32bitカラーという今回の設定は、ほかのベンチマーク・テストとの共通設定であると同時に、DroneZmarKのインストール時の初期設定でもあったのだが、おそらくこの設定ではボトルネックはプロセッサではなく、グラフィックス・カードであると思われる。ベンチマーク・テストとして活用するには、解像度を下げるなど、一工夫が必要だろう。なお、DroneZmarKはOpenGLアプリケーションだが、GeForceシリーズのグラフィックス・チップに最適化されている。そのため、グラフィックス・チップの比較を行うと、GeForceシリーズに有利な結果が得られてしまうので、複数のグラフィックス・チップ同士の比較にはあまり向かない。

テスト名	開発元	入手先情報
DroneZmarK	Zetha gameZ	DroneZmarKのダウロード・ページ
3DMark2001	MadOnion.com	MadOnion.comの3Dmark2001の情報ページ
SYSmark 2001	BAPCo	MadOnion.comのSYSmark 2001注文ページ
TempleMark	PowerVR Technologies	PowerVRのディスプレイ・ドライバやベンチマーク・プログラムなどのダウンロード・ページ
Villagemark	PowerVR Technologies	PowerVRのディスプレイ・ドライバやベンチマーク・プログラムなどのダウンロード・ページ

AMDはBAPCoなどの機関に参加すべき！

　少々話が脱線してしまったが、今後AMDはN-Benchをどうするつもりなのだろうか。最初のリリースであるVer.1.0は、販売店の店頭でAMD製プロセッサへのバンドルという形でCD-ROMが提供されたが、今回のVer.1.2ではそうした計画はないという。N-Bench 1.2の入手は、雑誌の付録CD-ROMやWebサイトからのダウンロードのみになるようだ。つまりN-Bench 1.2の提供に際し、AMDは直接手を下さないというわけだが、それでAMDがベンチマーク・テストを提供する意味があるのだろうか。結局は前回と同じ結論になってしまうのだが、やはりAMDもBAPCoなどの第三者機関に参加すべきなのではないかと思う。そうしなければ、逆にBAPCoなどが作成しているプログラムは、「Intelの思惑が強く出すぎている」という批判を否定することも、肯定することもできないのだから。

関連記事
元麻布春男の視点	Pentium 4がPentium IIIよりも遅い？
元麻布春男の視点	最新ベンチマークはPentium 4が好き

　　

「元麻布春男の視点」

＠ITメールマガジン　新着情報やスタッフのコラムがメールで届きます（無料）