Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

[インデックス 17322] ファイルの概要

コミット

commit a790388afb85f04ed65d3795eb22edee44df69af
Author: David Symonds <dsymonds@golang.org>
Date:   Mon Aug 19 13:47:43 2013 +1000

    cmd/gc: regenerate y.tab.{c,h} with Bison 2.5.
    
    R=golang-dev, r
    CC=golang-dev
    https://golang.org/cl/12744048

GitHub上でのコミットページへのリンク

https://github.com/golang/go/commit/a790388afb85f04ed65d3795eb22edee44df69af

元コミット内容

cmd/gc: regenerate y.tab.{c,h} with Bison 2.5.

このコミットは、Goコンパイラ（cmd/gc）で使用されているy.tab.cとy.tab.hファイルを、Bison 2.5を用いて再生成したことを示しています。

変更の背景

Goコンパイラは、その構文解析部分にYacc/Bisonによって生成されたパーサを使用しています。y.tab.cとy.tab.hは、Go言語の文法定義ファイル（通常は.yまたは.yy拡張子を持つファイル、この場合はgo.y）からBisonツールによって生成されるC言語のソースファイルおよびヘッダファイルです。

このコミットが行われた2013年8月時点では、Go言語の開発は活発に進められており、コンパイラツールチェーンも継続的に改善されていました。Bisonのようなパーサジェネレータは、そのバージョンアップによって生成されるコードの品質、パフォーマンス、または機能が向上することがあります。

具体的な背景としては、Bison 2.3からBison 2.5へのバージョンアップに伴い、生成されるパーサコードの内部構造やコメント、マクロ定義などに変更があったため、Goコンパイラが使用するパーサファイルを最新のBisonバージョンで再生成する必要が生じたと考えられます。これは、Goコンパイラのビルドシステムや開発環境の整合性を保つため、あるいはBison 2.5で導入された新機能やバグ修正を活用するためであった可能性があります。

前提知識の解説

Bison (GNU Bison)

Bisonは、GNUプロジェクトが開発しているパーサジェネレータです。Yacc（Yet Another Compiler Compiler）と互換性があり、文法定義ファイル（通常はLALR(1)文法）を読み込み、その文法を解析するためのC、C++、またはJavaのソースコードを生成します。生成されたコードは、字句解析器（Lexer、通常はFlexなどで生成）と連携して、入力ストリーム（ソースコードなど）が文法的に正しいかを検証し、抽象構文木（AST）などの中間表現を構築します。

y.tab.cとy.tab.h

これらはBisonによって生成される標準的なファイル名です。

  • y.tab.c: パーサのC言語実装が含まれるソースファイルです。文法規則に基づいて状態遷移を行う有限オートマトンや、セマンティックアクション（文法規則がマッチした際に実行されるコード）などが含まれます。
  • y.tab.h: パーサが使用するトークン（終端記号）の定義や、YYSTYPE（セマンティック値の型）などの型定義が含まれるヘッダファイルです。

Goコンパイラ (cmd/gc)

Go言語の公式コンパイラは、当初はC言語で書かれており、cmd/gcというパスにそのソースコードが置かれていました。このコンパイラは、Go言語のソースコードを解析し、最終的に実行可能なバイナリを生成する役割を担っています。コンパイラのフロントエンド（字句解析、構文解析）において、Bisonによって生成されたパーサが利用されていました。

バージョンアップの重要性

パーサジェネレータのバージョンアップは、以下のような影響をもたらす可能性があります。

  1. 生成コードの改善: より効率的、高速、またはメモリ使用量が少ないパーサコードが生成されることがあります。
  2. バグ修正: 以前のバージョンに存在したバグが修正され、より堅牢なパーサが生成されます。
  3. 新機能のサポート: 新しい文法機能や、パーサのカスタマイズオプションが追加されることがあります。
  4. 互換性の問題: まれに、生成されるコードのAPIや内部構造が変更され、既存のコードベースとの互換性が失われることがあります。この場合、手動での調整が必要になります。

技術的詳細

このコミットの主な技術的詳細は、Bison 2.3から2.5へのバージョンアップに伴う生成コードの変化にあります。差分を見ると、主に以下の点が変更されています。

  1. Bisonバージョン情報の更新: /* A Bison parser, made by GNU Bison 2.3. */ から /* A Bison parser, made by GNU Bison 2.5. */ へとコメントが変更されています。 #define YYBISON_VERSION "2.3" から #define YYBISON_VERSION "2.5" へとマクロ定義が変更されています。

  2. ライセンス情報の更新: GNU General Public Licenseのバージョン表記が更新されています。Bison 2.3の時代は「version 2, or (at your option) any later version」でしたが、Bison 2.5では「version 3 of the License, or (at your option) any later version」に変更されています。これは、Bison自体のライセンスがGPLv2からGPLv3に移行したことを反映しています。

  3. 内部マクロと定義の変更:

    • YYPURE、YYPUSH、YYPULLなどのパーサタイプに関するマクロ定義が追加または変更されています。Bison 2.5では、プッシュパーサ（外部からトークンを供給する方式）とプルパーサ（パーサ自身がトークンを取得する方式）の概念がより明確に区別されるようになりました。
    • YYERROR_VERBOSEの定義方法が変更され、常に1に設定されるようになっています。これにより、より詳細なエラーメッセージがデフォルトで有効になります。
    • YYSTYPEの定義ブロックのコメント行番号が変更されています。
    • YYID関数の引数名がiからyyiに変更されています。
    • スタックアロケーションに関連するマクロ（YYSTACK_ALLOCなど）の条件式が変更されています。特に、_STDLIB_Hの代わりにEXIT_SUCCESSが条件に使われるようになっています。これは、標準ライブラリのインクルードガードのより堅牢なチェックを意図している可能性があります。
    • スタックの再配置（YYSTACK_RELOCATE）に関するマクロ定義が変更され、yyss_allocやyyvs_allocといった新しいフィールド名が導入されています。これは、Bisonが内部的にスタックを管理する方法の改善を示唆しています。
    • YYCOPY_NEEDEDマクロが導入され、YYCOPYマクロの定義が条件付きになっています。
    • yypact_value_is_defaultやyytable_value_is_errorといった新しいヘルパーマクロが追加され、パーサの内部ロジックがより明確に、あるいは効率的に記述されるようになっています。
    • yytname配列（トークン名の文字列配列）に、$@1, $@2などの新しい内部的な非終端記号が追加されています。これらはBisonが内部的に生成するルールに関連するもので、文法定義ファイルには直接現れないことが多いです。

  4. エラーメッセージ生成ロジックの変更: yysyntax_error関数の実装が大幅に変更されています。Bison 2.5では、より洗練されたエラーリカバリとエラーメッセージ生成のメカニズムが導入されており、この変更はその一部です。特に、予期しないトークンと期待されるトークンのリストをより正確に報告するためのロジックが改善されています。

  5. デバッグ出力の調整: yy_stack_print関数など、デバッグ出力に関連するコードも微調整されています。

これらの変更は、Bisonが生成するパーサの内部実装が、バージョンアップによって進化していることを明確に示しています。Goコンパイラは、これらの変更を取り込むことで、より最新の、そしておそらくはより効率的で堅牢なパーサを利用できるようになります。

コアとなるコードの変更箇所

このコミットは、Goコンパイラのソースコード内の以下の2つのファイルを変更しています。

  • src/cmd/gc/y.tab.c
  • src/cmd/gc/y.tab.h

これらのファイルは、Go言語の文法定義ファイル（go.y）からBisonによって自動生成されるものです。したがって、このコミット自体はGo言語の文法やコンパイラのロジックに直接的な変更を加えるものではなく、Bisonのバージョンアップに伴う生成コードの更新を反映したものです。

具体的な変更内容としては、y.tab.cでは1256行の追加と349行の削除、y.tab.hでは46行の追加と削除が行われています。これは、Bisonのバージョンが2.3から2.5に上がったことで、生成されるCコードの構造や内部マクロ、コメント、エラー処理ロジックなどが大きく変化したためです。

コアとなるコードの解説

このコミットで変更されたコードは、Goコンパイラの構文解析器のC言語実装です。これらのファイルは手動で編集されることはほとんどなく、Bisonツールによってgo.yファイルから自動生成されます。

変更の大部分は、Bisonの内部的な実装の詳細に関わるものであり、Go言語の構文解析ロジックそのものには影響を与えません。しかし、Bisonのバージョンアップによって、生成されるパーサの性能やエラー報告の品質が向上する可能性があります。

例えば、y.tab.cの冒頭のコメントがBison 2.3から2.5に変わっている点や、YYBISON_VERSIONマクロが更新されている点は、このファイルが新しいBisonで生成されたことを明確に示しています。

また、yysyntax_error関数の変更は特に注目に値します。この関数は構文エラーが発生した際にエラーメッセージを生成する役割を担っています。Bison 2.5では、このエラーメッセージ生成のロジックがより洗練され、予期しないトークンだけでなく、期待されるトークンのリストもより正確に報告できるようになっています。これにより、Goコンパイラが報告する構文エラーメッセージが、開発者にとってより分かりやすくなる可能性があります。

yytname配列に$@1, $@2などの新しい内部的な非終端記号が追加されているのは、Bisonが文法規則を処理する際に、内部的に補助的な非終端記号を導入することがあるためです。これは、Bisonが文法を最適化したり、特定の構文構造をより効率的に処理するために行われることがあります。

全体として、このコミットはGoコンパイラの基盤となるツールチェーンの健全性を維持し、最新のパーサジェネレータの恩恵を受けるための重要なメンテナンス作業と言えます。

関連リンク

参考にした情報源リンク

  • Go言語のコミット履歴: https://github.com/golang/go/commits/master
  • Bisonのリリースノートやドキュメント（Bison 2.5の変更点に関する情報）:
    • Bison 2.5のリリースノートは直接見つけるのが難しい場合がありますが、GNU Bisonの公式ドキュメントやメーリングリストのアーカイブに情報がある可能性があります。
    • 一般的に、Bisonのバージョン間の変更点については、NEWSファイルやChangeLogファイルに記載されています。
  • Yacc/Bisonに関する一般的な情報源（書籍、オンラインチュートリアルなど）
  • Go言語のコンパイラに関する技術ブログや論文（Goコンパイラの内部構造に関する詳細な情報）

[インデックス 17322] ファイルの概要

コミット

commit a790388afb85f04ed65d3795eb22edee44df69af
Author: David Symonds <dsymonds@golang.org>
Date:   Mon Aug 19 13:47:43 2013 +1000

    cmd/gc: regenerate y.tab.{c,h} with Bison 2.5.
    
    R=golang-dev, r
    CC=golang-dev
    https://golang.org/cl/12744048

GitHub上でのコミットページへのリンク

https://github.com/golang/go/commit/a790388afb85f04ed65d3795eb22edee44df69af

元コミット内容

cmd/gc: regenerate y.tab.{c,h} with Bison 2.5.

このコミットは、Goコンパイラ（cmd/gc）で使用されているy.tab.cとy.tab.hファイルを、Bison 2.5を用いて再生成したことを示しています。

変更の背景

Goコンパイラは、その構文解析部分にYacc/Bisonによって生成されたパーサを使用しています。y.tab.cとy.tab.hは、Go言語の文法定義ファイル（通常は.yまたは.yy拡張子を持つファイル、この場合はgo.y）からBisonツールによって生成されるC言語のソースファイルおよびヘッダファイルです。

このコミットが行われた2013年8月時点では、Go言語の開発は活発に進められており、コンパイラツールチェーンも継続的に改善されていました。Bisonのようなパーサジェネレータは、そのバージョンアップによって生成されるコードの品質、パフォーマンス、または機能が向上することがあります。

具体的な背景としては、Bison 2.3からBison 2.5へのバージョンアップに伴い、生成されるパーサコードの内部構造やコメント、マクロ定義などに変更があったため、Goコンパイラが使用するパーサファイルを最新のBisonバージョンで再生成する必要が生じたと考えられます。これは、Goコンパイラのビルドシステムや開発環境の整合性を保つため、あるいはBison 2.5で導入された新機能やバグ修正を活用するためであった可能性があります。

前提知識の解説

Bison (GNU Bison)

Bisonは、GNUプロジェクトが開発しているパーサジェネレータです。Yacc（Yet Another Compiler Compiler）と互換性があり、文法定義ファイル（通常はLALR(1)文法）を読み込み、その文法を解析するためのC、C++、またはJavaのソースコードを生成します。生成されたコードは、字句解析器（Lexer、通常はFlexなどで生成）と連携して、入力ストリーム（ソースコードなど）が文法的に正しいかを検証し、抽象構文木（AST）などの中間表現を構築します。

y.tab.cとy.tab.h

これらはBisonによって生成される標準的なファイル名です。

  • y.tab.c: パーサのC言語実装が含まれるソースファイルです。文法規則に基づいて状態遷移を行う有限オートマトンや、セマンティックアクション（文法規則がマッチした際に実行されるコード）などが含まれます。
  • y.tab.h: パーサが使用するトークン（終端記号）の定義や、YYSTYPE（セマンティック値の型）などの型定義が含まれるヘッダファイルです。

Goコンパイラ (cmd/gc)

Go言語の公式コンパイラは、当初はC言語で書かれており、cmd/gcというパスにそのソースコードが置かれていました。このコンパイラは、Go言語のソースコードを解析し、最終的に実行可能なバイナリを生成する役割を担っています。コンパイラのフロントエンド（字句解析、構文解析）において、Bisonによって生成されたパーサが利用されていました。

バージョンアップの重要性

パーサジェネレータのバージョンアップは、以下のような影響をもたらす可能性があります。

  1. 生成コードの改善: より効率的、高速、またはメモリ使用量が少ないパーサコードが生成されることがあります。
  2. バグ修正: 以前のバージョンに存在したバグが修正され、より堅牢なパーサが生成されます。
  3. 新機能のサポート: 新しい文法機能や、パーサのカスタマイズオプションが追加されることがあります。
  4. 互換性の問題: まれに、生成されるコードのAPIや内部構造が変更され、既存のコードベースとの互換性が失われることがあります。この場合、手動での調整が必要になります。

技術的詳細

このコミットの主な技術的詳細は、Bison 2.3から2.5へのバージョンアップに伴う生成コードの変化にあります。差分を見ると、主に以下の点が変更されています。

  1. Bisonバージョン情報の更新: /* A Bison parser, made by GNU Bison 2.3. */ から /* A Bison parser, made by GNU Bison 2.5. */ へとコメントが変更されています。 #define YYBISON_VERSION "2.3" から #define YYBISON_VERSION "2.5" へとマクロ定義が変更されています。

  2. ライセンス情報の更新: GNU General Public Licenseのバージョン表記が更新されています。Bison 2.3の時代は「version 2, or (at your option) any later version」でしたが、Bison 2.5では「version 3 of the License, or (at your option) any later version」に変更されています。これは、Bison自体のライセンスがGPLv2からGPLv3に移行したことを反映しています。

  3. 内部マクロと定義の変更:

    • YYPURE、YYPUSH、YYPULLなどのパーサタイプに関するマクロ定義が追加または変更されています。Bison 2.5では、プッシュパーサ（外部からトークンを供給する方式）とプルパーサ（パーサ自身がトークンを取得する方式）の概念がより明確に区別されるようになりました。
    • YYERROR_VERBOSEの定義方法が変更され、常に1に設定されるようになっています。これにより、より詳細なエラーメッセージがデフォルトで有効になります。
    • YYSTYPEの定義ブロックのコメント行番号が変更されています。
    • YYID関数の引数名がiからyyiに変更されています。
    • スタックアロケーションに関連するマクロ（YYSTACK_ALLOCなど）の条件式が変更されています。特に、_STDLIB_Hの代わりにEXIT_SUCCESSが条件に使われるようになっています。これは、標準ライブラリのインクルードガードのより堅牢なチェックを意図している可能性があります。
    • スタックの再配置（YYSTACK_RELOCATE）に関するマクロ定義が変更され、yyss_allocやyyvs_allocといった新しいフィールド名が導入されています。これは、Bisonが内部的にスタックを管理する方法の改善を示唆しています。
    • YYCOPY_NEEDEDマクロが導入され、YYCOPYマクロの定義が条件付きになっています。
    • yypact_value_is_defaultやyytable_value_is_errorといった新しいヘルパーマクロが追加され、パーサの内部ロジックがより明確に、あるいは効率的に記述されるようになっています。
    • yytname配列（トークン名の文字列配列）に、$@1, $@2などの新しい内部的な非終端記号が追加されています。これらはBisonが内部的に生成するルールに関連するもので、文法定義ファイルには直接現れないことが多いです。

  4. エラーメッセージ生成ロジックの変更: yysyntax_error関数の実装が大幅に変更されています。Bison 2.5では、より洗練されたエラーリカバリとエラーメッセージ生成のメカニズムが導入されており、この変更はその一部です。特に、予期しないトークンと期待されるトークンのリストをより正確に報告するためのロジックが改善されています。

  5. デバッグ出力の調整: yy_stack_print関数など、デバッグ出力に関連するコードも微調整されています。

Bison 2.5で導入された主な新機能（Web検索結果より）:

  • 文法記号名でのダッシュのサポート: 文法記号名にダッシュを含めることができるようになりました（GNU拡張）。これにより、より柔軟な命名が可能になります。
  • セマンティックアクションでの名前付き参照: $1のような位置ベースの参照の代わりに、$symのような名前付き参照を使用できるようになりました。これは、文法開発の複雑さを大幅に軽減できます。
  • 新しいパーサテーブルタイプのサポート: 従来のLALR(1)パーサテーブルに加えて、実験的にIELR(1)およびCanonical LR(1)パーサテーブルの生成がサポートされました。これにより、より強力な文法解析能力を持つパーサを生成する選択肢が提供されます。
  • Lookahead Correction (LAC): 構文エラー処理が改善され、%error-verboseによる構文エラーメッセージの修正に関連しています。
  • 新しい警告カテゴリ: conflicts-sr（シフト/リデュース衝突）とconflicts-rr（リデュース/リデュース衝突）という新しい警告カテゴリが認識されるようになりました。これにより、文法定義における曖昧さの特定と解決が容易になります。
  • C++11互換性: CおよびC++パーサが、__cplusplusが201103L以上の場合に0の代わりにnullptrを使用するようになりました。
  • C++ロケーションの改善: C++パーサにおける位置およびロケーションコンストラクタが、行と列の新しい引数を受け入れるようになりました。
  • ルックアヘッドに対するデストラクタ呼び出しの修正: 決定性パーサにおいて、ユーザーのセマンティックアクションがyycharを変更した場合に、構文エラーやパーサのリターン時にルックアヘッドのデストラクタを呼び出す際に古いyychar値が使用されるバグが修正されました。
  • %printerディレクティブのドキュメント化: Bison 1.50以降でサポートされていた%printerディレクティブが正式にドキュメント化されました。

これらの変更は、Bisonが生成するパーサの内部実装が、バージョンアップによって進化していることを明確に示しています。Goコンパイラは、これらの変更を取り込むことで、より最新の、そしておそらくはより効率的で堅牢なパーサを利用できるようになります。

コアとなるコードの変更箇所

このコミットは、Goコンパイラのソースコード内の以下の2つのファイルを変更しています。

  • src/cmd/gc/y.tab.c
  • src/cmd/gc/y.tab.h

これらのファイルは、Go言語の文法定義ファイル（go.y）からBisonによって自動生成されるものです。したがって、このコミット自体はGo言語の文法やコンパイラのロジックに直接的な変更を加えるものではなく、Bisonのバージョンアップに伴う生成コードの更新を反映したものです。

具体的な変更内容としては、y.tab.cでは1256行の追加と349行の削除、y.tab.hでは46行の追加と削除が行われています。これは、Bisonのバージョンが2.3から2.5に上がったことで、生成されるCコードの構造や内部マクロ、コメント、エラー処理ロジックなどが大きく変化したためです。

コアとなるコードの解説

このコミットで変更されたコードは、Goコンパイラの構文解析器のC言語実装です。これらのファイルは手動で編集されることはほとんどなく、Bisonツールによってgo.yファイルから自動生成されます。

変更の大部分は、Bisonの内部的な実装の詳細に関わるものであり、Go言語の構文解析ロジックそのものには影響を与えません。しかし、Bisonのバージョンアップによって、生成されるパーサの性能やエラー報告の品質が向上する可能性があります。

例えば、y.tab.cの冒頭のコメントがBison 2.3から2.5に変わっている点や、YYBISON_VERSIONマクロが更新されている点は、このファイルが新しいBisonで生成されたことを明確に示しています。

また、yysyntax_error関数の変更は特に注目に値します。この関数は構文エラーが発生した際にエラーメッセージを生成する役割を担っています。Bison 2.5では、このエラーメッセージ生成のロジックがより洗練され、予期しないトークンだけでなく、期待されるトークンのリストもより正確に報告できるようになっています。これにより、Goコンパイラが報告する構文エラーメッセージが、開発者にとってより分かりやすくなる可能性があります。

yytname配列に$@1, $@2などの新しい内部的な非終端記号が追加されているのは、Bisonが文法規則を処理する際に、内部的に補助的な非終端記号を導入することがあるためです。これは、Bisonが文法を最適化したり、特定の構文構造をより効率的に処理するために行われることがあります。

全体として、このコミットはGoコンパイラの基盤となるツールチェーンの健全性を維持し、最新のパーサジェネレータの恩恵を受けるための重要なメンテナンス作業と言えます。

関連リンク

参考にした情報源リンク

  • Go言語のコミット履歴: https://github.com/golang/go/commits/master
  • Bisonのリリースノートやドキュメント（Bison 2.5の変更点に関する情報）:
    • Bison 2.5のリリースノートは直接見つけるのが難しい場合がありますが、GNU Bisonの公式ドキュメントやメーリングリストのアーカイブに情報がある可能性があります。
    • 一般的に、Bisonのバージョン間の変更点については、NEWSファイルやChangeLogファイルに記載されています。
  • Yacc/Bisonに関する一般的な情報源（書籍、オンラインチュートリアルなど）
  • Go言語のコンパイラに関する技術ブログや論文（Goコンパイラの内部構造に関する詳細な情報）