i18n internationalization 国際化 l10n localization 地域化 m17n multilingalization 多言語化 g11n globalization グローバル化(m17nの別名)
powershell -Command "get-content data1.csv | Set-Content -Encoding UTF8 data2.csv" または @echo off :Shift_JIS -> UTF-8 setlocal enabledelayedexpansion for %%f in (%*) do ( echo %%~ff| findstr /l /e /i ".txt .csv" if !ERRORLEVEL! equ 0 ( powershell -nop -c "&{[IO.File]::WriteAllText($args[1], [IO.File]::ReadAllText($args[0], [Text.Encoding]::GetEncoding(932)))}" \"%%~ff\" \"%%~ff.utf8%%~xf\" ) )
(1)c2〜df+80〜bf 2バイト (2)e0〜ef+80〜bf+80〜bf 3バイト (3)f0〜f7+80〜bf +80〜bf +80〜bf 4バイト (4)f8〜fb+80〜bf +80〜bf +80〜bf +80〜bf 5バイト (5)fc〜fd+80〜bf +80〜bf +80〜bf +80〜bf +80〜bf 6バイト
ただし、データの内容によっては、ある程度判断できる場合もあります。 いくつか例を挙げてみると…… (1)先頭3バイトが &HEF, &HBB, &HBF の並びであった場合 → UTF-8 です。(BOM付き) (2)すべてのバイトが、&H80 未満の値で構成されていた場合 → Shift_JIS / UTF-8 のいずれとしてみた場合も、同じ文字列を意味します。 (3)「&H00〜&H7Fのいずれか」の1バイト後に、「&H80〜&HBFのいずれか」がある場合 → Shift_JIS です。 (4)「&HC0〜&HDFのいずれか」の1バイト後に、「&H80〜&HBF以外」のデータが来た場合 → Shift_JIS です。 (5)「&HC0〜&HDFのいずれか」の2バイト後に、「&H80〜&HBFのいずれか」が来た場合 → Shift_JIS です。 (6)「&HE0〜&HEFのいずれか」の1〜2バイト後に、「&H80〜&HBF以外」のデータが来た場合 → Shift_JIS です。 (7)「&HE0〜&HEFのいずれか」の3バイト後に、「&H80〜&HBF以外」のデータが来た場合 → Shift_JIS です。
http://www.blue.b-city.net/~gg99486/asciicode.html