Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

[インデックス 13473] ファイルの概要

このコミットは、Go言語のビルドシステムにおけるテストスイートに、GOMAXPROCS=32 を設定した状態での並列テストを追加するものです。これにより、実際の並列実行環境下でしか顕在化しない特定の種類のバグ（データ競合やランタイムバグなど）を検出することを目的としています。

コミット

ビルドシステムに GOMAXPROCS=32 を用いたテストを追加。 データ競合やランタイムバグといった一部のバグは、真の並列実行環境でのみ発見可能です。 GOMAXPROCS=32 は go test -cpu=32 とは異なり、プログラムのブートストラップ、テストコード、ガベージコレクションなどを意図的に負荷をかけるために GOMAXPROCS を使用しています。 パッケージの選択はほとんどランダムです。

GitHub上でのコミットページへのリンク

https://github.com/golang/go/commit/8c777066cb7d4ef8a39bd03f3d76b45e0a4810f4

元コミット内容

build: add few tests with GOMAXPROCS=32 to run.bash
Some class of bugs (data races, runtime bugs) can be found
only with real parallelism.
Note that GOMAXPROCS=32 is somewhat different from go test -cpu=32,
this intentionally uses GOMAXPROCS to stress program bootstrap,
testing code, garbage collections, etc.
Package selection is mostly random.

R=golang-dev, dave, r
CC=golang-dev
https://golang.org/cl/6346070

変更の背景

Go言語の並行処理モデルは、効率的な並列実行を可能にする一方で、複数のGoroutineが共有リソースに同時にアクセスする際に発生する「データ競合（Data Race）」や、Goランタイム自体の内部的な問題（「ランタイムバグ」）といった、並列環境特有のバグを引き起こす可能性があります。これらのバグは、単一のCPUコアや限定された並列度でのテストでは再現しにくく、真の並列実行環境、すなわち複数のOSスレッドが同時に動作する状況下で初めて顕在化することが多いです。

このコミットの背景には、Goのテストスイートの網羅性を高め、より堅牢なGoランタイムと標準ライブラリを構築するという目的があります。特に、GOMAXPROCS 環境変数を高い値（この場合は32）に設定することで、Goスケジューラがより多くのOSスレッドを利用してGoroutineを並列実行するようになり、これによりGoroutine間の相互作用が複雑化し、潜在的な並行処理のバグが露呈しやすくなります。

コミットメッセージにある「Package selection is mostly random」という記述は、特定のバグを狙い撃ちするのではなく、広範なパッケージに対して並列実行のストレスをかけることで、予期せぬ問題を発見しようとするアプローチを示唆しています。

前提知識の解説

Goにおける並行処理と並列処理

  • 並行処理 (Concurrency): 複数のタスクが同時に進行しているように見える状態を指します。Go言語ではGoroutineとチャネルを用いて並行処理を記述します。Goroutineは軽量なスレッドのようなもので、Goランタイムによって管理されます。
  • 並列処理 (Parallelism): 複数のタスクが物理的に同時に実行されている状態を指します。これは、複数のCPUコアやプロセッサが存在する場合に実現されます。Goランタイムは、GoroutineをOSスレッドにマッピングし、利用可能なCPUコア上で並列に実行します。

GOMAXPROCS 環境変数

GOMAXPROCS は、Goランタイムが同時に実行できるOSスレッドの最大数を制御する環境変数です。この値は、GoスケジューラがGoroutineをOSスレッドに割り当てる際のヒントとして機能します。

  • GOMAXPROCS のデフォルト値は、Go 1.5以降、利用可能なCPUコア数に設定されます。
  • GOMAXPROCS を増やすと、Goランタイムはより多くのOSスレッドを生成し、それらのスレッドを複数のCPUコアに分散してGoroutineを並列実行しようとします。これにより、真の並列実行環境がシミュレートされ、並行処理のバグが顕在化しやすくなります。
  • ただし、GOMAXPROCS を過度に大きく設定しても、CPUコア数以上の並列度は得られず、むしろOSスレッドのコンテキストスイッチのオーバーヘッドが増加し、パフォーマンスが低下する可能性があります。このコミットでは、テスト目的で意図的に高い値を設定しています。

go test -cpu フラグ

go test コマンドには -cpu フラグがあり、これはテスト関数内で t.Parallel() を呼び出すテストの並列実行数を制御します。

  • go test -cpu=N は、テストランナーが同時に実行する並列テストの数を N に制限します。これは、テストコード自体の並列実行を制御するものであり、Goランタイムが利用するOSスレッド数（GOMAXPROCS）とは直接関係ありません。
  • -cpu フラグは、テストの並列実行によって引き起こされるテスト固有の競合状態を検出するのに役立ちますが、Goランタイム全体の並列実行のストレスをシミュレートするものではありません。

データ競合 (Data Race)

データ競合は、複数のGoroutineが同時に同じメモリ位置にアクセスし、少なくとも1つのアクセスが書き込みである場合に発生するバグです。データ競合が発生すると、プログラムの動作が予測不能になり、クラッシュや不正な結果につながる可能性があります。Goにはデータ競合検出ツール（go run -race や go test -race）がありますが、このコミットはより広範な並列実行のストレスをかけることで、検出ツールでは見つけにくい、あるいはランタイムレベルの競合を検出することを意図しています。

ランタイムバグ (Runtime Bugs)

Goランタイムは、Goroutineのスケジューリング、ガベージコレクション、メモリ管理など、Goプログラムの実行を支える重要なコンポーネントです。ランタイムバグは、これらの内部処理に起因する問題であり、並列実行環境下で特に顕在化しやすい傾向があります。例えば、スケジューラのデッドロック、ガベージコレクタの不具合、メモリリークなどが挙げられます。

技術的詳細

このコミットの核心は、GOMAXPROCS=32 の設定が go test -cpu=32 とは異なる種類のストレスをGoプログラムにかけるという点にあります。

  • go test -cpu=32: これはテストランナーがテスト関数を並列に実行する数を制御します。例えば、10個のテスト関数があり、それぞれが t.Parallel() を呼び出している場合、-cpu=32 であれば、最大32個のテスト関数が同時に実行される可能性があります。これはテストコードの並行性をテストするものであり、Goランタイムが利用するOSスレッドの数には直接影響しません。GOMAXPROCS の値が1であっても、-cpu フラグによって複数のテストが並行して実行されることは可能です（ただし、真の並列実行ではなく、単一のOSスレッド上でGoroutineが切り替わりながら実行されます）。

  • GOMAXPROCS=32: これはGoランタイムが同時に利用できるOSスレッドの最大数を32に設定します。これにより、Goスケジューラは最大32個のOSスレッドを生成し、それらのスレッドにGoroutineを分散して実行させようとします。この設定は、テストコードだけでなく、プログラム全体のブートストラップ、Goランタイムの内部処理（スケジューリング、ガベージコレクションなど）、および標準ライブラリの並行処理に大きな負荷をかけます。

    • プログラムのブートストラップ: プログラム起動時の初期化処理やGoroutineの生成が、多数のOSスレッドを巻き込んで行われるため、初期化段階での並行処理のバグが露呈しやすくなります。
    • テストコード: テストコード自体が並行処理を行う場合、より多くのOSスレッドが利用されることで、データ競合やデッドロックなどの問題が顕在化しやすくなります。
    • ガベージコレクション: GCはGoランタイムの重要な部分であり、並列実行中にGCがどのように動作するかがパフォーマンスや安定性に影響を与えます。GOMAXPROCS を高く設定することで、GCが多数のGoroutineやOSスレッドとどのように相互作用するかのストレスをテストできます。
    • 標準ライブラリ: net/http, crypto/tls, encoding/base64 といった標準ライブラリは、内部的に並行処理を利用している場合があります。GOMAXPROCS=32 の環境下でこれらのパッケージをテストすることで、ライブラリ内部の並行処理の堅牢性を検証できます。

このコミットは、go test -cpu ではカバーできない、より低レベルのGoランタイムや標準ライブラリの並行処理に関するバグを検出するために、GOMAXPROCS を用いたストレス テストを導入している点が重要です。

コアとなるコードの変更箇所

変更は src/run.bash ファイルに対して行われています。

--- a/src/run.bash
+++ b/src/run.bash
@@ -39,6 +39,11 @@ echo
 
 echo '# sync -cpu=10'
 go test sync -short -timeout=120s -cpu=10
+echo
+\
+echo '# GOMAXPROCS=32 go test runtime net/http crypto/tls encoding/base64'
+GOMAXPROCS=32 go test runtime net/http crypto/tls encoding/base64
+echo
 \
 xcd() {
 	echo

具体的には、src/run.bash の39行目付近に以下の5行が追加されています。

  1. echo
  2. echo '# GOMAXPROCS=32 go test runtime net/http crypto/tls encoding/base64'
  3. GOMAXPROCS=32 go test runtime net/http crypto/tls encoding/base64
  4. echo
  5. \ (これは前の行の echo とセットで、改行を挿入するためのものです)

コアとなるコードの解説

src/run.bash は、Goプロジェクトのテストスイートを実行するためのシェルスクリプトです。このスクリプトは、Goの様々なパッケージに対してテストを実行し、ビルドの健全性を確認します。

追加された行は、以下の処理を実行します。

  1. echo コマンドは、テストの出力を見やすくするために空行を挿入します。
  2. echo '# GOMAXPROCS=32 go test runtime net/http crypto/tls encoding/base64' は、次に実行されるコマンドの内容を標準出力に表示し、テストのログを分かりやすくします。
  3. GOMAXPROCS=32 go test runtime net/http crypto/tls encoding/base64 がこのコミットの主要な変更です。
    • GOMAXPROCS=32: この環境変数を設定することで、go test コマンドが実行される際に、Goランタイムが最大32個のOSスレッドを利用してGoroutineを並列実行するようになります。
    • go test: Goのテストを実行するコマンドです。
    • runtime net/http crypto/tls encoding/base64: テスト対象となるGoの標準パッケージです。これらのパッケージは、Goランタイムのコア機能、ネットワーク通信、暗号化、データエンコーディングといった、Goアプリケーションの基盤となる重要な機能を提供します。これらのパッケージが選ばれたのは「ほとんどランダム」とされていますが、Goの並行処理が多用される可能性のある領域が含まれています。

この変更により、run.bash スクリプトが実行されるたびに、指定されたパッケージが GOMAXPROCS=32 の高並列環境下でテストされるようになります。これにより、通常のテストでは見過ごされがちな、並列実行に起因する潜在的なバグ（データ競合、デッドロック、ランタイムの不安定性など）を早期に発見し、Go言語の安定性と堅牢性を向上させることが期待されます。

関連リンク

参考にした情報源リンク