元麻布春男の視点
最新ベンチマークはPentium 4が好き


元麻布春男
2001/06/01

 1カ月ほど前のこのコラムで、最近更新されたベンチマーク・テストについて取り上げた。そのときは、名前しか触れることのできなかったSYSmark 2001だが、やっと入手して、ある程度実際に触ってみることができた。そこで、旧版(SYSmark 2000)との違いも明らかになったので、ここに紹介する。

SYSmark 2001の変更点

 SYSmarkシリーズは、非営利団体であるBAPCoが提供するアプリケーション・レベルのベンチマーク・プログラムの1つである。開発および販売には、3DMarkで知られるMadOnionが協力している。BAPCoは、「Business Applications Performance Corporation」の略で、Adaptec、Amdahl、Compaq、Dell、Hewlett-Packard、IBM、InfoWorld、Intel、Microsoft、NEC、VNU Business Publicationsといった企業がメンバーとして名を連ねている。BAPCoはSYSmarkシリーズ以外にも、インターネットのアクセス性能を測る「WebMark」、Javaアプリケーションの性能を測る「SYSmark J」などのベンチマーク・プログラムを提供しているが、いずれも企業内で使われるPCの性能を測ることを主眼にしている。中でもSYSmarkシリーズは、オフィス内で用いられるクライアントPC用のベンチマーク・プログラムとして、最も頻繁に更新されているシリーズだ。

SYSmarkの開発に参加しているベンダ
SYSmark 2001で表示される開発参加ベンダのロゴ。業界内で発言力のある企業の名前が多く見つかる。

 SYSmarkシリーズの最新版であるSYSmark 2001の価格は199.95ドル(送料別)。SYSmarkシリーズは、実際のアプリケーション・プログラムを用いたベンチマーク・テストであるため、容量が極めて大きく、CD-ROMによる有償配布に限定されている(インターネットからのダウンロードはできない)。実際、SYSmark 2001はCD-ROM 2枚組のボリュームで、セットアップにもかなり時間がかかる。

 SYSmark 2001では前のバージョンであるSYSmark 2000から多くの変更が行われているが、大きな違いは、含まれているアプリケーションのアップデート、ユーセージ・モデルの更新、計測メソッドの変更、といったところだ。アプリケーションの入れ替えについては、下表にまとめておいた。PCの性能をOffice Productivity(オフィスでの生産性)とInternet Content Creation(インターネット向けコンテンツの作成)の2つのカテゴリで測る点はこれまでと同様だが、いずれのカテゴリにおいてもアプリケーションの入れ替え、最新版へのアップデートなどが行われている。

テスト・カテゴリ SYSmark 2000 SYSmark 2001
Office Productivity CorelDRAW 9  
Corel Paradox 9 Microsoft Access 2000
Microsoft Excel 2000 Microsoft Excel 2000
Microsoft Word 2000 Microsoft Word 2000
Microsoft PowerPoint 2000 Microsoft PowerPoint 2000
Netscape Communicator 4.61 Netscape Communicator 6.0
Dragon Naturally Speaking Preferred 4.0 Dragon Naturally Speaking Preferred 5.0
  Microsoft Outlook 2000
  WinZip 8.0
  McAfee VirusScan 5.13
 
Internet Content Creation MetaCreations Bryce 4  
Avid Elastic Reality 4.1  
Adobe Photoshop 5.5 Adobe Photoshop 6.0
Adobe Premiere 5.1 Adobe Premiere 6.0
Microsoft Windows Media Encoder 4.0 Microsoft Windows Media Encoder 7
  Macromedia Dreamweaver 4
  Macromedia Flash 5
SYSmark 2000とSYSmark 2001で採用されているアプリケーション

 こうしたアプリケーションの入れ替えとも関係するのが、ユーセージ・モデル(Usage Model)の更新だ。ユーセージ・モデルというのは、ベンチマーク・テストの前提となるPCの利用法のこと。PCがどのように使われるのかを想定しない限り、性能など比較しようがない。そういう意味で、ユーセージ・モデルの設定というのは、ベンチマーク・テストの根幹にかかわる部分だ。 

 SYSmark 2001におけるユーセージ・モデルが、SYSmark 2000と最も大きく異なるのは、バックグラウンド・アプリケーションの導入である。SYSmark 2000は、複数のアプリケーションから構成されているとはいえ、ほかの多くのベンチマーク・テストと同様、同時に実行されるアプリケーションは基本的に1つだった。つまり、Wordのテストが終わったらExcelのテストといった具合に、テストは1つずつ順番に実施された。

 しかしSYSmark 2001では、PowerPoint 2000でプレゼンテーションを作成するバックグラウンドで、アンチウイルス・ソフトウェアや音声認識ソフトウェア(Dragon Naturally Speaking)による音声のテキスト変換が実行されていたり、DreamweaverによるWebページ作成のバックグラウンドで、Windows Media Encoderによるビデオのエンコーディングが行われていたりする。複数のアプリケーションが同時実行されることで、プロセッサのFSBやメモリ・バスに対する負荷が、SYSmark 2000よりも高くなっているものと思われる。

SYSmark 2001の結果出力画面
ベンチマークの実行中は、一般的なオフィス・アプリケーションの実行画面と同じ、味気ないものだ。結果の表示も、見て分かるようにそれほど面白いものではない。

SYSmark 2001の測定方法

 「計測メソッドが変わった」というのは、次のような変更を指す。SYSmark 2000は、一定の処理を行うスクリプトを実行し、トータルでの実行時間を測っていた。それに対し、SYSmark 2001では、ある処理が実際に始まってから(例えばアプリケーションの並べ替えボタンを押してから)、その処理が終わるまでの時間(反応時間)だけを集計するようになっている。つまり、スクリプトを読み込んだり、特定のキー入力を行ったりする時間は計測の対象から外された。

 そのキー入力も、これまではスクリプトにより人間離れした速度で行われていたが、SYSmark 2001では意図的に人間の入力速度を意識した速度に落とされている。これを実現するためにも、計測からキー入力などに要する時間を除外する必要があったわけだ。従って、SYSmark 2001では、目にも留まらぬ速度で画面がスクロールする、といった光景はもう見られない。

 以上のような変更がいったいどのような影響を及ぼすのか。実際にいくつかのシステムでSYSmark 2001と、比較用に前バージョンであるSYSmark 2000を実行してみた。

Pentium 4の成績が向上したSYSmark 2001

 まず、これまで使われてきたSYSmark 2000の結果をザッと見て、復習しておこう。さすがに最も高い性能を示しているのは、最も動作クロックが高いPentium 4-1.7GHzだが、それを除くとPC133 SDRAMを用いたPentium III-1GHzの性能の高さが目をひく。高価なDirect RDRAMを打ち負かしたことは、以前話題になったとおりだし、Pentium 4-1.4GHzよりPentium III-1GHzの方が高性能というのも、多くのベンチマーク・テストで報告されていることだ。SYSmark 2000の結果だけを見る限り、これが結論となる。

 ところが、新しいSYSmark 2001の結果は、SYSmark 2000とはかなり異なっている。最も大きな変化は、Pentium 4の性能が高くなっていることだ。理由として考えられるのは、アプリケーションが新しくなることで、Pentium 4に最適化されたバイナリが増えたことと、バックグラウンドでアプリケーションが実行されているため、FSBやメモリ・バスに対する負荷が増したことの2点だ。

  CPU Pentium III-1GHz Pentium III-1GHz Pentium 4-1.4GHz Pentium 4-1.7GHz
テストPCの構成 マザーボード Intel D815EEA ASUSTeK CUC2  Intel D850GB  Intel D850GB
チップセット Intel 815 Intel 820E Intel 850 Intel 850
チップセット・ドライバ 2.80 Build 12 2.80 Build 12 2.80 Build 12 2.80 Build 12
ソケット Socket 370 Socket 370 Socket 423 Socket 423
メモリ 256Mbytes PC133 CL2 256Mbytes PC800  256Mbytes PC800  256Mbytes PC800
HDD Maxtor 5T040H4 Maxtor 5T040H4 IBM DTLA-307045 IBM DTLA-307045
        Intel 815比   Intel 815比   Intel 815比
SYSmark 2000 Rating 193 190 98.4% 178 92.2% 203 105.2%
Internet Content Creation 195 192 98.5% 193 99.0% 223 114.4%
Office Productivity 192 188 97.9% 168 87.5% 189 98.4%
 
SYSmark 2001 Rating 111 108 97.3% 131 118.0% 147 132.4%
Internet Content Creation 109 110 100.9% 136 124.8% 161 147.7%
Office Productivity 114 107 93.9% 126 110.5% 134 117.5%
SYSmark 2000とSYSmark 2001のベンチマーク・テストの結果
Intel 815比は、PC133 SDRAMを搭載するPCとの性能比

グラフィックス・カード WinFast GeForce3
ディスプレイ・ドライバ Detonator 12.40
解像度 1024×768×32@85Hz
OS Windows 98 SE
DirectXランタイム DirectX 8.0a
サウンド YMF744
LAN 3C905-TX
ベンチマーク・テスト・マシンに共通の仕様

 特に、Internet Content Creationで性能が大幅に向上しているのは、CODEC処理やグラフィックスのフィルタ処理がSSESSE2向きであること、キャッシュに不向きなストリーム・データを取り扱っており、FSBやメモリ・バスの帯域の影響を受けやすい、ということを考えれば納得がいく。SSE/SSE2がデータをキャッシュに格納するかどうかをコントロール可能なプリフェッチ命令を備えていることも貢献している可能性がある。

 いずれにしても、バージョンが1つ違うだけで、まったく違う結果になってしまうというのは、ベンチマーク・テストとして混乱を招きやすいことは間違いない。BAPCoの有力メンバーの1社がIntelであることを考えれば、その最新プロセッサであるPentium 4に不利な結果が出るSYSmark 2000を放置しておくハズがない、といううがった見方も可能だし、これもまったく的外れな話ではないだろうと思う。ただ、だからといって、例えばCPU IDを見て、Pentium 4なら無条件にスコアを増やすといった、Pentium 4に対して無条件に有利な結果が出るような細工が、SYSmark 2001にしてあるわけではない。ユーセージ・モデルの変更により、これまでウエイトの低かったSIMD命令やFSBおよびメモリ・バスがテスト結果に占める割合が高まっただけである。

SYSmark 2001のユーセージ・モデルは妥当か

 SYSmark 2001の結果を信じるかどうかは、このユーセージ・モデルを妥当なものと考えるかどうか、にかかっている。もちろん、Pentium 4に最適化したアプリケーションを選択しているという点についても議論する必要があるだろうが、新しいアプリケーションがPentium 4に最適化されていくことを考えれば、むしろ実情に即した選択といえるだろう。

 つまり、オフィス・アプリケーションや、インターネット・コンテンツ・アプリケーションを利用する際、バックグラウンドでもアプリケーションが実行されている、という状況は「あり」なのか、リアリティがない、と見るかにかかっている。

 冒頭で述べたように、SYSmarkは基本的にビジネス環境を前提にしたベンチマーク・テストである。もはやビジネス環境で、インターネットの常時接続環境がないことなど考えられないことを思えば、SYSmark 2001のユーセージ・モデル、特にOffice Productivityのそれは、それほど荒唐無稽なものではないと思うのだが、どうだろうか(音声認識はちょっと微妙だが、近い将来こうした用途にPCが用いられる可能性が高い、ということのようだ)。このユーセージ・モデルが「あり」なのだとしたら、SYSmark 2001のテスト結果は説得力を持つことになる。

 さて、最後にSYSmark 2000に比べてSYSmark 2001で改善されたことをもう1つ挙げておこう。それは、SYSmark 2001は、日本語版のOSで動く、ということだ。表に示した結果は、Windows 98 Second Editionのものだが、Windows 2000でも問題なく動作した。前のバージョンであるSYSmark 2000はWindows 9x系OSでは動作したものの、Windows NT系OSではうまく動作しなかった。残念ながら日本のユーザーにとって、日本語のアプリケーションが含まれていないという弱点は改善されていないものの、日本語版のOSで動く(ただし、キーボードとロケールの設定を変更しなければならない)というのはSYSmark 2001の大きな改良点の1つだ。記事の終わり

  関連記事 
Pentium 4がPentium IIIよりも遅い?

  関連リンク
SYSmark 2001の情報ページENGLISH
SYSmark 2001発表のニュースリリースENGLISH


「元麻布春男の視点」


System Insider フォーラム 新着記事
  • Intelと互換プロセッサとの戦いの歴史を振り返る (2017/6/28)
     Intelのx86が誕生して約40年たつという。x86プロセッサは、互換プロセッサとの戦いでもあった。その歴史を簡単に振り返ってみよう
  • 第204回 人工知能がFPGAに恋する理由 (2017/5/25)
     最近、人工知能(AI)のアクセラレータとしてFPGAを活用する動きがある。なぜCPUやGPUに加えて、FPGAが人工知能に活用されるのだろうか。その理由は?
  • IoT実用化への号砲は鳴った (2017/4/27)
     スタートの号砲が鳴ったようだ。多くのベンダーからIoTを使った実証実験の発表が相次いでいる。あと半年もすれば、実用化へのゴールも見えてくるのだろうか?
  • スパコンの新しい潮流は人工知能にあり? (2017/3/29)
     スパコン関連の発表が続いている。多くが「人工知能」をターゲットにしているようだ。人工知能向けのスパコンとはどのようなものなのか、最近の発表から見ていこう
@ITメールマガジン 新着情報やスタッフのコラムがメールで届きます(無料)
- PR -

注目のテーマ

System Insider 記事ランキング

本日 月間
ソリューションFLASH