字符串编码在python里是经常会遇到的问题,特别是写文件或是网络传输调用某些函数的时候.
现在来看看python中的unicode编码和utf-8编码
字符串编码的历史
计算机只能处理数字,文本转换为数字才能处理. 计算机中8个bit作为一个字节,所以一个字节能表示最大的数字为255
计算机是美国人发明的,一个字节就可以表示所有的英文字符了,所以ACSII(一个字节)编码就成为美国人的标准编码
但是中文里远远不止255个汉字,这时用ASCII来处理中文是明显不够用的,所以我国制定了GB2312编码,用两个字节表示一个汉字.
GB2312还把ASCII包含进去.同理,别的国家为了解决自己国家的编码问题也都发展了一套字节的编码,这样标准就越来越多.
如果一篇文章出现多种语言混合显示就一定会出现乱码.
这里unicode出现了,unicode把所有的语言统一到一套编码里.
看一下ASCII编码和unicode编码:
字母A用ASCII编码十进制是65,二进制是0100 00001 汉字"中"已经超出了ASCII编码的范围,用unicode编码是20013,二进制是0100 1110 0010 1101 A用unicode编码只需要前面补0,二进制是00000000 0100 0001乱码问题解决了,但是如果一段内容全是英文,unicode编码比ASCII需要多一倍的存储空间,浪费很多硬盘容量.同时传输时也需要多浪费很多带宽.
"utf-8"会把英文变成一个字节,汉字3个字节.特别生僻的变成4到6个字节.如果传输的英文,就把英文轮换成unicode编码格式.
python保存文件和读取文件时编码的关系
保存文件时,把unicode编码转换成utf-8编码格式读取文件时,把utf-8编码转换成unicode编码格式
分别在windows系统和linux系统中测试python2和python3的编码区别
在windows系统的python2版本中
Python 2.7.13 (v2.7.13:a06454b1afa1, Dec 17 2016, 20:53:40) [MSC v.1500 64 bit (AMD64)] on win32 >>> str1="hello" # 因为str1和str2都是英文,所以atr1和str2不管是unicode编码还是ASCII格式 >>> str2=u"hello" # encode成utf-8编码时都不会出现错误 >>> str1.encode("utf-8") 'hello' >>> str2.encode("utf-8") 'hello' >>> type(str1) >>> type(str2) >>> str3="我用python" # python中的字符串在内存中是用unicode来编码的 >>> str4=u"我用python" # str3在windows系统中保存成GBK编码 >>> str3.encode("utf-8") # str3在调用encode方法之前必须转换为unicode编码 Traceback (most recent call last): # 此时str3应该先decode成为unicode编码,然后再encode成utf-8编码 File " ", line 1, in UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128) >>> str3.decode("utf-8") Traceback (most recent call last): File " ", line 1, in File "D:\Python27\lib\encodings\utf_8.py", line 16, in decode return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError: 'utf8' codec can't decode byte 0xce in position 0: invalid c ontinuation byte >>> str3.decode('gbk') u'\u6211\u7528python' >>> str3.decode("utf-8").encode("utf-8") '\xe6\x88\x91\xe7\x94\xa8python' >>> str4.encode("utf-8") '\xe6\x88\x91\xe7\x94\xa8python' >>> type(str3) >>> type(str4) >>> import sys >>> sys.getdefaultencoding() 'ascii' 在windows系统的python3版本中
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> str1="hello" # python3中所有的字符串都是unicode编码 >>> str2=u"hello" >>> str1.encode("utf-8") b'hello' >>> str2.encode("utf-8") b'hello' >>> str3="我用python" >>> str3.encode("utf-8") b'\xe6\x88\x91\xe7\x94\xa8python' >>> str4=u"我用python" >>> str4.encode("utf-8") b'\xe6\x88\x91\xe7\x94\xa8python' >>> import sys >>> sys.getdefaultencoding() 'utf-8' 在linux系统的python2版本中
Python 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> str1="我用python" >>> str1.encode("utf-8") Traceback (most recent call last): File " ", line 1, in UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128) >>> str1.decode("gbk") u'\u93b4\u6220\u6564python' >>> str1.decode('utf-8') # linux系统中python2会把字符串保存成utf-8编码,那为什么不能直接encode呢? u'\u6211\u7528python' # 字符串在encode之前应该保证是一个unicode编码格式,字符串在encode之前 # 会调用decode方法把字符串转换成unicode编码,然后才能encode >>> str1.decode("utf-8").encode("utf-8") # str1字符串中含有中文,直接encode成utf-8编码会出现错误 '\xe6\x88\x91\xe7\x94\xa8python' >>> str1.decode("gbk").encode("utf-8") '\xe9\x8e\xb4\xe6\x88\xa0\xe6\x95\xa4python' >>> str2=u"我用python" >>> str2.encode("utf-8") '\xe6\x88\x91\xe7\x94\xa8python' >>> type(str1) >>> type(str2) >>> import sys >>> sys.getdefaultencoding() 'ascii' 在linux系统的python3版本中
Python 3.6.3 (default, Nov 7 2017, 20:33:25) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> str1="我用python" # python3中所有的字符串都是unicode编码 >>> str2=u"我用python" >>> str1.encode("utf-8") b'\xe6\x88\x91\xe7\x94\xa8python' >>> str2.encode("utf-8") b'\xe6\x88\x91\xe7\x94\xa8python' >>> import sys >>> sys.getdefaultencoding() 'utf-8' 不管是windows系统还是linux系统,python2版本中默认使用ASCII编码,python3版本默认使用utf-8编码