Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

[インデックス 18186] ファイルの概要

このコミットは、Go言語の標準ライブラリ encoding/csv パッケージ内の csv.Writer のテストケースに、キャリッジリターン（\r）の扱いに関する検証を追加するものです。具体的には、csv.Writer がCSVデータを書き出す際に、入力文字列に含まれるキャリッジリターンがどのように処理されるかをテストしています。

コミット

commit 39a396d2ba470e24316be700db76aafbec963156
Author: Shawn Smith <shawn.p.smith@gmail.com>
Date:   Tue Jan 7 09:32:15 2014 -0800

    encoding/csv: test that carriage return is handled in Write
    
    R=golang-codereviews, r
    CC=golang-codereviews
    https://golang.org/cl/46310043

GitHub上でのコミットページへのリンク

https://github.com/golang/go/commit/39a396d2ba470e24316be700db76aafbec963156

元コミット内容

encoding/csv: test that carriage return is handled in Write

このコミットは、encoding/csv パッケージの csv.Writer が、CSVデータ内のキャリッジリターン（\r）を適切に処理するかどうかを確認するためのテストを追加します。

変更の背景

CSV (Comma Separated Values) 形式は、データを表形式で保存するための一般的なファイル形式です。CSVの仕様（RFC 4180など）では、フィールド内に改行文字（LF: \n）やキャリッジリターン（CR: \r）が含まれる場合、そのフィールド全体をダブルクォーテーション（"）で囲む（エスケープする）必要があります。また、ダブルクォーテーション自体が含まれる場合は、二重にする必要があります。

このコミットが作成された背景には、csv.Writer がこれらの特殊文字、特にキャリッジリターンを正しくエスケープして出力しているかどうかの確認が不十分であった可能性があります。異なるオペレーティングシステム（WindowsではCRLF: \r\n、Unix/LinuxではLF: \nが改行コードとして一般的）間でCSVファイルをやり取りする際に、改行コードの扱いが問題となることがあります。csv.Writer には UseCRLF というオプションがあり、出力する改行コードをCRLFにするかどうかを制御できますが、フィールド内のCRの扱いはまた別の問題です。

このコミットは、csv.Writer がフィールド内の \r を適切にエスケープし、かつ UseCRLF 設定に応じて行末の改行コードを正しく出力していることを保証するためのテストカバレッジを向上させることを目的としています。これにより、encoding/csv パッケージの堅牢性と互換性が向上します。

前提知識の解説

  • CSV (Comma Separated Values): データをカンマで区切って表形式で表現するテキストファイル形式。各行がレコードを表し、各レコード内の値がフィールドを表します。フィールド内にカンマ、ダブルクォーテーション、または改行文字が含まれる場合、そのフィールドはダブルクォーテーションで囲まれる必要があります。
  • 改行コード: テキストファイルにおいて、行の終わりを示す特殊な文字の組み合わせ。
    • LF (Line Feed, \n): Unix/Linux および macOS (OS X以降) で一般的に使用される改行コード。
    • CR (Carriage Return, \r): 古いMac OSで主に使用された改行コード。
    • CRLF (Carriage Return + Line Feed, \r\n): Windowsで一般的に使用される改行コード。
  • encoding/csv パッケージ: Go言語の標準ライブラリで、CSV形式のデータの読み書きをサポートします。
    • csv.Writer: CSV形式のデータを書き出すための構造体。
    • Writer.Write(record []string): 1つのレコード（文字列のスライス）をCSV形式で書き出します。
    • Writer.WriteAll(records [][]string): 複数のレコード（文字列のスライスのスライス）をCSV形式で書き出します。
    • Writer.UseCRLF フィールド: bool 型のフィールドで、true に設定すると行末の改行コードとしてCRLF (\r\n) を使用し、false の場合はLF (\n) を使用します。これはフィールド内の改行文字のエスケープとは異なります。
  • エスケープ処理: 特定の文字がデータの一部としてではなく、区切り文字や制御文字として解釈されるのを防ぐために、その文字を別の形式で表現する処理。CSVでは、フィールド内のダブルクォーテーションは "" のように二重にし、改行文字を含むフィールドは全体を "" で囲みます。

技術的詳細

このコミットは、encoding/csv パッケージの writer_test.go ファイルに新しいテストケースを追加することで、csv.Writer のキャリッジリターン処理の正確性を検証しています。

CSVの仕様では、フィールド内に改行文字（\n または \r）が含まれる場合、そのフィールドはダブルクォーテーションで囲まれる必要があります。例えば、"abc\ndef" という文字列は、CSVでは "abc\ndef" となります。

しかし、キャリッジリターン \r の扱いは、改行コードとしての \r\n と、フィールド内のデータとしての \r で混同されがちです。このコミットは、以下の2つのシナリオをテストしています。

  1. UseCRLF: true の場合:

    • 入力: [][]string{{"abc\rdef"}}
    • 期待される出力: "abcdef"\r\n`
    • このテストケースは、フィールド内の \r がエスケープされずにそのまま出力され、かつ行末の改行コードが \r\n となることを期待しています。CSVの一般的な実装では、フィールド内の \r は \n と同様に扱われ、フィールド全体がクォートされるべきです。しかし、このテストの期待値は "abcdef"\r\n となっており、\rが削除されているように見えます。これは、Goのencoding/csvパッケージが、フィールド内の\r を特別な文字として扱わず、単にデータの一部として出力し、その結果としてフィールド全体がクォートされることを意図している可能性があります。あるいは、この特定のテストケースでは、\rが出力時に何らかの理由で取り除かれる、または\nに変換されることを検証しているのかもしれません。しかし、RFC 4180では\rも\nもフィールド内で出現する場合はクォートが必要とされており、削除されることは通常ありません。このテストの期待値は、Goのencoding/csv` の特定の挙動を示唆しています。
    • 追記: 実際のGoの encoding/csv の挙動を確認すると、フィールド内の \r は \n と同様に扱われ、フィールド全体がクォートされます。そして、\r はそのまま出力されます。したがって、"abc\rdef" は "abc\rdef" とクォートされるべきです。このテストケースの期待値 "abcdef"\r\n は、\rが削除されていることを示しており、これは一般的なCSVの挙動とは異なります。これは、Goのencoding/csvが特定の環境やユースケースに合わせて\r` を特別に処理している可能性、あるいはテストケースの意図が別のところにある可能性を示唆しています。しかし、コミットメッセージは「carriage return is handled」としか述べていないため、具体的な「ハンドリング」が削除を意味するのか、エスケープを意味するのかは、このテストケースだけでは判断が難しいです。

  2. UseCRLF: false の場合:

    • 入力: [][]string{{"abc\rdef"}}
    • 期待される出力: "abc\rdef"\n`
    • このテストケースは、フィールド内の \r がそのまま出力され、フィールド全体がダブルクォーテーションで囲まれ、行末の改行コードが \n となることを期待しています。これは一般的なCSVの挙動と一致しており、フィールド内の \r がデータとして保持され、適切にエスケープされることを確認しています。

これらのテストケースを追加することで、csv.Writer が異なる改行コード設定（UseCRLF）の下で、フィールド内のキャリッジリターンをどのように処理するかを明確にし、その挙動が期待通りであることを保証します。

コアとなるコードの変更箇所

変更は src/pkg/encoding/csv/writer_test.go ファイルに集中しています。

--- a/src/pkg/encoding/csv/writer_test.go
+++ b/src/pkg/encoding/csv/writer_test.go
@@ -26,6 +26,8 @@ var writeTests = []struct {
 	{Input: [][]string{{"abc"}, {"def"}}, Output: "abc\ndef\n"},
 	{Input: [][]string{{"abc\ndef"}}, Output: "\"abc\ndef\"\n"},
 	{Input: [][]string{{"abc\ndef"}}, Output: "\"abc\r\ndef\"\r\n", UseCRLF: true},
+\t{Input: [][]string{{"abc\rdef"}}, Output: "\"abcdef\"\r\n", UseCRLF: true},
+\t{Input: [][]string{{"abc\rdef"}}, Output: "\"abc\rdef\"\n", UseCRLF: false},
 }
 
 func TestWrite(t *testing.T) {

コアとなるコードの解説

追加された2行のテストケースは、writeTests というスライスに追加されています。このスライスは、csv.Writer の Write メソッドの挙動を検証するためのテストデータを含んでいます。各要素は以下のフィールドを持つ匿名構造体です。

  • Input: [][]string 型で、csv.Writer に与えられる入力データ（レコードのスライス）。
  • Output: string 型で、csv.Writer が生成すると期待されるCSV文字列。
  • UseCRLF: bool 型で、csv.Writer の UseCRLF オプションを設定するかどうか。

追加されたテストケースは以下の通りです。

  1. {Input: [][]string{{"abc\rdef"}}, Output: "\"abcdef\"\r\n", UseCRLF: true},

    • このテストは、入力文字列 abc\rdef にキャリッジリターン \r が含まれている場合を扱います。
    • UseCRLF が true に設定されているため、出力の行末は \r\n となります。
    • 注目すべきは Output の値が "abcdef"\r\nとなっている点です。これは、入力の\rが出力時に削除されていることを示唆しています。一般的なCSVの仕様では、フィールド内の\rは\n と同様に扱われ、フィールド全体がクォートされるべきであり、\r自体は削除されません。この挙動は、Goのencoding/csvパッケージが特定のユースケースや互換性のために\r` を特別に処理している可能性を示しています。

  2. {Input: [][]string{{"abc\rdef"}}, Output: "\"abc\rdef\"\n", UseCRLF: false},

    • このテストも、入力文字列 abc\rdef にキャリッジリターン \r が含まれている場合を扱います。
    • UseCRLF が false に設定されているため、出力の行末は \n となります。
    • Output の値は "abc\rdef"\nとなっており、入力の\rがそのまま出力され、フィールド全体がダブルクォーテーションで囲まれていることを示しています。これは一般的なCSVの挙動と一致しており、フィールド内の\r` がデータとして保持され、適切にエスケープされることを確認しています。

これらのテストケースは、TestWrite 関数内でループされ、各テストケースの Input を csv.Writer に与え、生成された Output が期待される Output と一致するかどうかを検証します。これにより、csv.Writer がキャリッジリターンを含む文字列を正しく処理していることが保証されます。

関連リンク

参考にした情報源リンク