[インデックス 1587] ファイルの概要

このコミットは、Goコンパイラとランタイムにおける重要な改善を含んでいます。主な変更点は以下の通りです。

• src/cmd/6g/cgen.c: コード生成に関する変更。特に、ヒープ変数（PHEAP）の扱いと、cgen関数のループ検出ロジックの追加。
• src/cmd/6g/gen.c: コード生成の全体的なフローに関する変更。宣言（ODCL）の処理と、ヒープに移動する変数の幅の調整。
• src/cmd/6g/gg.h: cgen_dcl関数のプロトタイプ宣言の追加。
• src/cmd/6g/gsubr.c: アドレス計算（naddr）と一時変数名生成（tempname）のロジックの変更。PPARAMOUTの追加。
• src/cmd/gc/dcl.c: 変数宣言の処理に関する変更。addtopリストへの追加と、PPARAMOUTの導入。
• src/cmd/gc/go.h: Goコンパイラの内部データ構造の定義。Node構造体にnoescape, heapaddr, stackparam, allocなどのフィールドが追加され、新しいオペレーションコード（ODCL, OPARAM）とクラス（PHEAP）が定義されています。また、addrescapesやheapmovesといったエスケープ解析関連の関数プロトタイプが追加されています。
• src/cmd/gc/go.y: Go言語の文法定義ファイル。変数宣言とselect文の処理にaddtotopが追加されています。
• src/cmd/gc/subr.c: コンパイラのユーティリティ関数。デバッグ出力の改善と、ullmancalcにおけるOREGISTERの追加。
• src/cmd/gc/walk.c: Goコンパイラのセマンティックウォーク（意味解析と最適化）の主要部分。エスケープ解析のロジックが大幅に追加・変更されています。特に、ローカル変数がヒープに移動される条件の判定と、それに対応するコード生成の準備が行われています。structlit、callnew、arrayop、walkselectなどの関数が変更されています。
• src/runtime/print.c: Goランタイムのプリント関数。不正な文字列が出力されないようにするためのヒューリスティックが追加されています。
• src/runtime/string.c: Goランタイムの文字列操作関数。文字列の長さ制限（maxstring）の導入と、文字列生成関数の変更。
• test/escape.go: エスケープ解析の動作を検証するための新しいテストファイル。ローカル変数がヒープに移動されるケースを網羅的にテストしています。
• test/escape1.go: エスケープ解析に関するエラーケースをテストするための新しいファイル。
• test/golden.out: テストの期待出力ファイル。エラーメッセージのフォーマット修正が反映されています。

コミット

if take address of local, move to heap.
heuristic to not print bogus strings.
fix one error message format.

R=ken
OCL=23849
CL=23851

GitHub上でのコミットページへのリンク

https://github.com/golang/go/commit/391425ae558e850783e78806a528bb8b2ccec578

元コミット内容

このコミットは、Goコンパイラとランタイムの3つの主要な側面に対処しています。

1. ローカル変数のアドレスが取られた場合のヒープへの移動: Goのエスケープ解析の初期実装に関するもので、ローカル変数のアドレスが関数スコープ外で参照される可能性がある場合に、その変数をスタックではなくヒープに割り当てるようにコンパイラの挙動を変更しています。
2. 不正な文字列を出力しないためのヒューリスティック: ランタイムの文字列プリント機能において、不正な（長さが異常に大きいなど）文字列が渡された場合に、クラッシュや異常な出力を防ぐための防御的な処理を追加しています。
3. エラーメッセージフォーマットの修正: コンパイラのエラーメッセージのフォーマットに関する軽微な修正です。

変更の背景

このコミットが行われた2009年当時、Go言語はまだ開発の初期段階にありました。この時期のGoコンパイラは、メモリ管理、特にスタックとヒープの使い分けにおいて、より洗練された挙動を実現するための改善が求められていました。

1. エスケープ解析の必要性: C++などの言語では、ローカル変数のアドレスを返すことは未定義動作を引き起こす可能性があります。Goではガベージコレクション（GC）があるため、このような状況でも安全に動作する必要があります。そのため、コンパイラが変数の寿命を正確に判断し、必要に応じてスタックからヒープへ変数を「エスケープ」させるメカニズム（エスケープ解析）が不可欠でした。これにより、プログラマが明示的にメモリを管理することなく、安全かつ効率的なメモリ利用が可能になります。このコミットは、そのエスケープ解析の初期段階の実装を強化するものです。
2. ランタイムの堅牢性向上: ランタイムにおける文字列の扱いは、プログラムの安定性に直結します。特に、不正なデータが文字列として扱われた場合に、予期せぬ動作やセキュリティ上の問題を引き起こす可能性があります。このコミットは、そのような「不正な文字列」がプリントされることによる問題を未然に防ぐための防御的な措置を導入しています。
3. 開発初期のエラーメッセージ改善: 開発初期のコンパイラでは、エラーメッセージが必ずしもユーザーフレンドリーでないことがあります。この修正は、開発者が問題をより迅速に特定し、デバッグできるようにするための品質改善の一環です。

前提知識の解説

Go言語のメモリ管理（スタックとヒープ、ガベージコレクション）

Go言語は、プログラマが明示的にメモリを解放する必要がないように、ガベージコレクション（GC）を備えています。メモリは主に「スタック」と「ヒープ」の2つの領域に割り当てられます。

• スタック (Stack): 関数呼び出しやローカル変数の格納に使われるメモリ領域です。LIFO（Last-In, First-Out）の構造を持ち、非常に高速に割り当て・解放が行われます。関数が終了すると、その関数に割り当てられたスタックフレームは自動的に解放されます。スタックに割り当てられる変数は、その変数が宣言された関数の実行中にのみ有効です。
• ヒープ (Heap): プログラムの実行中に動的にメモリを割り当てる領域です。スタックとは異なり、ヒープに割り当てられたメモリは、そのメモリを参照するポインタがなくなるまで（つまり、ガベージコレクタによって回収されるまで）存続します。ヒープへの割り当てはスタックよりもオーバーヘッドが大きいです。

エスケープ解析 (Escape Analysis)

エスケープ解析は、コンパイラが行う最適化の一種で、変数がスタックに割り当てられるべきか、それともヒープに割り当てられるべきかを決定します。

• スタック割り当て: 変数がその変数を宣言した関数のスコープ内でのみ使用され、関数の終了とともに不要になる場合、コンパイラはその変数をスタックに割り当てます。これは高速で効率的です。
• ヒープ割り当て（エスケープ）: 変数のアドレスが取られ、その変数が関数から返されたり、グローバル変数や他のデータ構造に格納されたりして、関数のスコープ外でも参照される可能性がある場合、コンパイラはその変数をヒープに割り当てます。このような変数は「エスケープする」と言われます。エスケープ解析は、変数の寿命を正確に判断し、不必要なヒープ割り当てを避けることで、ガベージコレクションの負荷を軽減し、プログラムのパフォーマンスを向上させます。

このコミットの「if take address of local, move to heap」という変更は、まさにこのエスケープ解析の挙動を強化するものです。

Goコンパイラ (6g, gc)

Go言語の初期のコンパイラは、ターゲットアーキテクチャごとに異なる名前を持っていました。

• 6g: AMD64 (x86-64) アーキテクチャ向けのGoコンパイラです。
• gc: Goコンパイラのフロントエンド（Goソースコードを解析し、中間表現を生成する部分）を指す一般的な名称です。このコミットでは、src/cmd/gcディレクトリ内のファイルが多数変更されており、これはコンパイラのコアロジック、特に意味解析と最適化に関する部分が影響を受けていることを示しています。

現在では、これらのコンパイラは統合され、go buildコマンドを通じて透過的に利用されています。

Goランタイム (runtime)

Goランタイムは、Goプログラムの実行をサポートするライブラリです。ガベージコレクション、スケジューラ、I/O操作、プリミティブな型（文字列など）の操作などが含まれます。このコミットでは、src/runtimeディレクトリ内のファイルが変更されており、これはGoプログラムの実行時における文字列の扱いに関する低レベルな変更が含まれていることを示しています。

技術的詳細

エスケープ解析の強化

このコミットの最も重要な部分は、Goのエスケープ解析のロジックを強化したことです。具体的には、ローカル変数のアドレスが取られた場合に、その変数を確実にヒープに移動させるためのコンパイラの挙動が変更されました。

• src/cmd/gc/walk.c の変更: walk.cはコンパイラのセマンティックウォーク（意味解析と最適化）を担当するファイルです。このファイルにaddrescapes関数が追加され、変数のアドレスが取られた際に、その変数がヒープに割り当てられるべきかどうかを判断するロジックが実装されました。
  • addrescapes関数は、ONAME（変数名）ノードに対して、その変数のアドレスが取られているか（&演算子など）をチェックします。
  • もしアドレスが取られており、かつその変数がPAUTO（自動変数、ローカル変数）またはPPARAM（関数パラメータ）である場合、その変数のclassにPHEAPフラグが設定されます。これは、その変数がヒープに移動されるべきであることを示します。
  • PHEAPが設定された変数に対しては、ヒープ上にメモリを割り当てるためのcallnew（new演算子に相当）が生成され、そのヒープ上のアドレスを保持するためのheapaddrフィールドが設定されます。
  • 関数パラメータがエスケープする場合、スタック上の元のパラメータを参照するためのstackparamノードも生成されます。
• src/cmd/6g/cgen.c および src/cmd/6g/gen.c の変更: PHEAPフラグが設定された変数に対して、適切なコードが生成されるように変更されました。cgen_dcl関数が追加され、ヒープに移動する変数の宣言時に、ヒープ割り当てと初期化のコードが生成されるようになりました。
• src/cmd/gc/go.h の変更: Node構造体にnoescape、heapaddr、stackparam、allocなどの新しいフィールドが追加され、エスケープ解析の結果を保持できるようになりました。また、PHEAPという新しいクラスフラグが導入されました。

この変更により、Goプログラムは、C/C++のようにポインタの寿命を気にすることなく、ローカル変数のアドレスを安全に扱うことができるようになりました。コンパイラが自動的に適切なメモリ領域に割り当てるため、メモリリークやダングリングポインタといった問題がGoでは発生しにくくなります。

不正な文字列のプリント抑制

Goランタイムの文字列プリント機能に、不正な文字列が出力されるのを防ぐためのヒューリスティックが導入されました。

• src/runtime/print.c の変更: sys·printstring関数にmaxstringというグローバル変数が導入され、文字列の長さがmaxstringを超えた場合に、実際の文字列の内容ではなく「[invalid string]」というメッセージが出力されるようになりました。これは、非常に長い文字列や、メモリが破損している可能性のある文字列がプリントされることによるクラッシュや異常な出力を防ぐための防御的な措置です。
• src/runtime/string.c の変更: maxstring変数の定義と、文字列を生成する各種関数（gostringsize, gostring, sys·catstringなど）で、新しく生成される文字列の長さがmaxstringと比較され、必要に応じてmaxstringが更新されるようになりました。これにより、ランタイムがこれまでに扱った最長の文字列の長さを追跡し、異常な長さの文字列を検出できるようになります。

エラーメッセージフォーマットの修正

src/cmd/gc/subr.cにおいて、fatal関数で出力されるエラーメッセージのフォーマットが修正されました。具体的には、getthis, getoutarg, getinarg関数内で%N（ノードのシンボル名を出力）が%T（型のシンボル名を出力）に変更されました。これにより、エラーメッセージがより正確な情報を提供するようになりました。また、test/golden.outもこの変更に合わせて更新されています。

コアとなるコードの変更箇所

このコミットのコアとなる変更は、主に以下のファイルに集中しています。

1. src/cmd/gc/walk.c: エスケープ解析の主要なロジックが追加されたファイルです。addrescapes関数が導入され、変数のヒープへの移動を決定する中心的な役割を担っています。
   • addrescapes関数の追加と、walktypeやwalkselectなどからの呼び出し。
   • heapmoves関数の追加。
   • structlit、callnew、arrayopなどの関数におけるaddrescapesの呼び出し。
2. src/cmd/gc/go.h: コンパイラの内部データ構造の定義ファイルで、エスケープ解析の結果を保持するための新しいフィールドやフラグが追加されています。
   • Node構造体へのnoescape, heapaddr, stackparam, allocフィールドの追加。
   • ODCL, OPARAMオペレーションコードの追加。
   • PHEAPクラスフラグの追加。
   • addrescapes, heapmoves, callnew関数のプロトタイプ宣言の追加。
3. src/cmd/6g/cgen.c および src/cmd/6g/gen.c: エスケープ解析の結果に基づいて、ヒープ割り当てのコードを生成する部分です。
   • cgen_dcl関数の追加と、ODCLノードの処理。
   • agen関数におけるONAME（PHEAP変数）の処理。
4. src/runtime/print.c および src/runtime/string.c: 不正な文字列のプリントを抑制するためのランタイム側の変更です。
   • src/runtime/print.cのsys·printstringにおけるmaxstringによるチェック。
   • src/runtime/string.cにおけるmaxstringの導入と、文字列生成関数での利用。
5. test/escape.go: エスケープ解析の動作を検証するための新しいテストケース。様々なシナリオでローカル変数がヒープにエスケープするかどうかを確認しています。

コアとなるコードの解説

src/cmd/gc/walk.c の addrescapes 関数

void
addrescapes(Node *n)
{
    char buf[100];
    switch(n->op) {
    default:
        dump("addrescapes", n);
        break;

    case ONAME:
        if(n->noescape)
            break;
        switch(n->class) {
        case PPARAMOUT:
            yyerror("cannot take address of out parameter %s", n->sym->name);
            break;
        case PAUTO:
        case PPARAM:
            if(debug['E'])
                print("%L %s %S escapes %p\\n", n->lineno, pnames[n->class], n->sym, n);
            n->class |= PHEAP; // Mark as heap allocated
            n->addable = 0;
            n->ullman = 2;
            n->alloc = callnew(n->type); // Generate allocation call

            // if func param, need separate temporary to hold heap pointer.
            if(n->class == PPARAM+PHEAP) {
                // expression to refer to stack copy
                n->stackparam = nod(OPARAM, n, N);
                n->stackparam->type = n->type;
                n->stackparam->addable = 1;
                n->stackparam->xoffset = n->xoffset;
                n->xoffset = 0;
            }

            // create stack variable to hold pointer to heap
            n->heapaddr = nod(0, N, N);
            tempname(n->heapaddr, ptrto(n->type));
            snprint(buf, sizeof buf, "&%S", n->sym);
            n->heapaddr->sym = lookup(buf);
            break;
        }
        break;

    case OIND:
    case ODOTPTR:
        break;

    case ODOT:
    case OINDEX:
        // ODOTPTR has already been introduced, so these are the non-pointer ODOT and OINDEX.
        addrescapes(n->left);
        break;
    }
}

この関数は、Goコンパイラのエスケープ解析の核心部分です。Node *nで渡されたASTノードが、ヒープに割り当てられるべき変数（ONAME）であるかどうかを判断します。

• ONAMEノードの場合、その変数がPAUTO（ローカル変数）またはPPARAM（関数パラメータ）であり、かつnoescapeフラグが設定されていない（つまり、エスケープが許可されている）場合に処理を進めます。
• n->class |= PHEAP;によって、変数をヒープに移動させることをマークします。
• n->alloc = callnew(n->type);によって、ヒープ上にメモリを割り当てるためのnew演算子に相当するコード（mal関数呼び出し）を生成します。
• 関数パラメータがエスケープする場合、スタック上の元のパラメータを参照するためのn->stackparamノードと、ヒープ上のアドレスを保持するためのn->heapaddrノードが作成されます。これにより、コンパイラは実行時に変数の実体をスタックとヒープのどちらに置くかを適切に管理できます。

src/cmd/6g/gen.c の cgen_dcl 関数

void
cgen_dcl(Node *n)
{
    if(debug['g'])
        dump("\ncgen-dcl", n);
    if(n->op != ONAME) {
        dump("cgen_dcl", n);
        fatal("cgen_dcl");
    }
    if(!(n->class & PHEAP))
        return; // Only process heap-allocated variables
    cgen_as(n->heapaddr, n->alloc); // Assign the allocated heap address to the heapaddr variable
}

この関数は、変数の宣言時に呼び出されます。もし変数がエスケープ解析によってヒープに移動されると判断された場合（n->class & PHEAPが真の場合）、cgen_as(n->heapaddr, n->alloc)が呼び出されます。これは、n->heapaddr（ヒープ上のアドレスを保持するスタック変数）に、n->alloc（ヒープ割り当ての呼び出し結果）を代入するコードを生成します。これにより、プログラム実行時にヒープメモリが確保され、そのアドレスが適切に管理されます。

src/runtime/print.c の sys·printstring 関数

void
sys·printstring(string v)
{
    extern int32 maxstring;

    if(v != nil) {
        if(v->len > maxstring)
            sys·write(1, "[invalid string]", 16); // Print a placeholder for bogus strings
        else
            sys·write(1, v->str, v->len); // Print the actual string
    }
}

この関数は、Goランタイムが文字列を標準出力にプリントする際に使用されます。maxstringというグローバル変数と比較することで、文字列の長さが異常に大きい場合に、実際の文字列の内容ではなく「[invalid string]」という固定文字列を出力するように変更されました。これは、メモリ破損などによって不正な文字列データが渡された場合に、ランタイムがクラッシュしたり、意味不明な大量のデータを出力したりするのを防ぐための堅牢性向上策です。

関連リンク

• Go言語の公式ドキュメント: https://go.dev/doc/
• Go言語のガベージコレクションに関する情報: https://go.dev/doc/gc-guide
• Goのエスケープ解析に関する一般的な情報（より新しいGoバージョン向けですが、概念は共通です）: https://go.dev/blog/go-compiler-optimizations

参考にした情報源リンク

• Go言語のソースコード (GitHub): https://github.com/golang/go
• Go言語のコミット履歴: https://github.com/golang/go/commits/master
• Go言語の初期のコンパイラに関する情報 (例: 6g): https://go.dev/doc/install/source (古い情報が含まれる可能性があります)
• Goのエスケープ解析に関するブログ記事や議論（一般的な概念理解のため）
  • https://medium.com/a-journey-with-go/go-escape-analysis-d739271f7457
  • https://www.ardanlabs.com/blog/2017/05/language-mechanics-on-escape-analysis.html

これらの情報は、コミットの背景、技術的詳細、および関連するGo言語の概念を理解するために参照されました。