Performance Testing Not Optional

機器ベンダーは通常、ノード開発の初期段階においてファンクショナル・テストが最も重要な工程であると考えます。プロジェクト全体においても開発リソースの大部分をファンクショナル・テストに費やすことはあっても、パフォーマンス・テストに同等かそれ以上のリソースを費やすことは稀有であり、パフォーマンス・テストをオプションであると考えるベンダーすら散見されます。しかしながら、実際には出荷製品の最終品質を担保する上でパフォーマンス・テストはオプションではあり得ません。パフォーマンス・テストは高負荷時のみ発生する問題だけでなく、ファンクショナル・テストでは見つけることが出来なかった機能的な問題すら発見してくれる「最後の砦」といえるでしょう。したがって、パフォーマンス・テストを実施していない製品は「完全品質を持つ」と呼ぶには程遠いといわざるを得ません。実際にサービスを開始してからフィールドで発生した問題を解決することで必要となるOPEXより、これを回避するために開発工程で十分にパフォーマンス・テストを行うためのCAPEXの方が、はるかに低いことは自明です。したがってパフォーマンス・テストはベンダーだけでなく、加入者の最終的なサービス満足度の極大化を目指すオペレーターにこそ重要な工程であるといわざるを得ません。

ファンクショナル・テストは最初のバージョンの初期工程で集中的に行われますが、パフォーマンス・テストはバージョンアップごとに使用され、長期間にわたって必要となります（Figure 2のVer1）。二番目以降のリリース（Ver2・Ver3・・・）においては、改版部分のみについてファンクショナル・テストが行われるだけですが、パフィーマンス・テストは製品の改版部分が他の機能に性能的な影響を与えていないかを確認する上でより重要となってきます。パフォーマンス・テスターは定期的に継続するバージョナップにおいて最終品質を担保してくれる大変重要なツールであるといえます。

ファンクショナル・テストは「再現しやすく」かつ「解決しやすい」機能的な問題のみを発見してくれます。開発の初期工程では確かに重要な役割を担いますが、後工程で行うパフォーマンス・テストは性能に関わるより「クリティカル」な問題を高負荷状態で発見してくれます。高負荷状態で発見される問題は解決の難易度が高く、長い時間を要するのが普通です。パフォーマンス・テストで発見されるクリティカルな問題は以下のように分類することができます。

Artiza LTE Testersは世界中のベンダーやサービスオペレーターに使用され、サービス開始前において多くのクリティカルな問題を発見しています。Table 1.はArtiza LTE Testersによるパフォーマンス・テストで発見されてきた代表的なLTE eNBの問題例を記載しています。