AIが書いた日本語に、ハングルやキリル文字が紛れ込む。CP932で検出する【コピペ用スクリプト】
- 生成AIが書いた日本語にハングルやキリル文字が混入する問題をCP932エンコーディングで検出するスクリプトが公開された
- ハングルやキリル文字はUnicodeブロックで検出、簡体字・繁体字はCP932のエンコード可否で判定、旧字体も対応
- CP932に含まれない常用漢字は例外リストで対応、コードブロックは改行を残して空白に置換して行番号を保持する
AIが書いた日本語に、ハングルやキリル文字が紛れ込む。CP932で検出する【コピペ用スクリプト】 - Qiita


