字符集详解：从ASCII到UTF-8的演进历程

一、什么是字符集？

字符集（Character Set）是一套编码系统，将字符（如字母、数字、符号）与数字编码建立映射关系，以便计算机存储和处理文本信息。简单来说，就是给每个字符分配一个唯一的”身份证号码”。

二、字符集发展历史

1. ASCII码（1963年）

ASCII（American Standard Code for Information Interchange）是最早的字符集标准，由美国国家标准协会制定。它使用7位二进制数（0-127）表示128个字符，包括：

• 控制字符（0-31）：回车、换行、制表符等
• 可打印字符（32-126）：字母、数字、标点符号
• 扩展字符（127）：删除键

局限性：只能表示英文字符，无法支持中文、日文等其他语言。

2. GB2312（1980年）

为了解决中文显示问题，中国制定了GB2312标准。它采用双字节编码，共收录6763个汉字和682个其他字符。

编码方式：

• 第一个字节：0xA1-0xFE（94个区）
• 第二个字节：0xA1-0xFE（94个位）
• 每个区94个字符，共8836个位置

局限性：无法表示繁体字和生僻字。

3. GBK（1995年）

GBK（汉字内码扩展规范）是GB2312的扩展，收录了21886个汉字和图形符号，包括繁体字和日韩汉字。

特点：

• 向下兼容GB2312
• 单字节和双字节混合编码
• 第一个字节：0x81-0xFE
• 第二个字节：0x40-0xFE（除0x7F）

4. Unicode（1991年）

Unicode（统一码）旨在为世界上所有文字系统提供统一的编码方案。它采用码位（Code Point）表示字符，范围从U+0000到U+10FFFF。

编码方案：

• UTF-8：变长编码（1-4字节），兼容ASCII
• UTF-16：2或4字节编码
• UTF-32：4字节定长编码

5. UTF-8（1993年）

UTF-8（8-bit Unicode Transformation Format）是目前最广泛使用的Unicode编码方式。

编码规则：

• 单字节：0xxxxxxx（兼容ASCII）
• 双字节：110xxxxx 10xxxxxx
• 三字节：1110xxxx 10xxxxxx 10xxxxxx
• 四字节：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

优势：

• 兼容ASCII
• 空间效率高（英文1字节，中文3字节）
• 无字节序问题
• 容错性强

三、ASCII码表（0-127）

四、字符集选择建议

1. Web开发：统一使用UTF-8编码，确保多语言支持
2. Windows系统：中文系统默认使用GBK，建议统一为UTF-8
3. 数据库：MySQL建议使用utf8mb4字符集，支持emoji表情
4. 文件存储：文本文件建议使用UTF-8 with BOM（Windows）或UTF-8 without BOM（Linux）

五、常见问题解决

乱码问题：

• 确认文件编码格式
• 检查HTTP响应头Content-Type
• 统一数据库、代码文件、页面编码

编码转换：

• GBK转UTF-8：iconv -f GBK -t UTF-8 input.txt > output.txt
• 查看文件编码：file -i filename.txt

通过理解字符集的发展历程和编码原理，可以更好地处理多语言环境下的文本显示和存储问题。