Несмотря на объединение двух типов, язык программирования Python 3 имеет функции для работы именно с символами. Любой символ в Python является единичной строкой, что позволяет использовать для работы с ним те же функции, что и для строк. Если вывести переменные, то видим, что значением переменной l является список, а переменная g хранит в себе объект генератора.
/привет/мир/etc
Как известно, ключевым отличием Python 3.x от Python 2.x является переориентация языка и стандартных библиотек со строк байтов на строки символов Unicode. Когда я решил повнимательнее посмотреть на это различие, пришлось копнуть вглубь и вширь, а результаты моих раскопок я оформил в статью, которую предлагаю вашему вниманию.
Мои эксперименты я ставлю под ОС Windows 7 в стандартной консоли.
Для разминки, несколько манипуляций со строковыми литералами и переменными в Python 2:
Теперь посмотрим на кодировки, используемые в Python 2 и Python 3 по умолчанию:
Как видим, системной кодировкой по умолчанию для Python 2 является ascii , а для Python 3 — utf-8 . И это единственное обнаруженное различие.
Вооружившись знанием об используемых по умолчанию кодировках, попробуем в интерактивном режиме Pyhton вводить и выводить строки, включающие нелатинские символы.
В Python 3 получим такой результат (предлагаю интерпретировать его самостоятельно):
Разница с работой скрипта hello.py в том, что теперь к кодировке стандартного потока вывода приводится значение типа str , и строка байтов bytes не интерпретируется как строка читабельных символов.
Следующий скрипт helloname.py демонстрирует ввод и вывод кириллических символов в Python 2, используя для их хранения строки unicode :
Посмотрим теперь, что происходит при записи строк символов Unicode в файл. Если в Python 2 явно не преобразовывать выводимые в файл строки unicode в строки str с нужной кодировкой, то получим ошибку.
При записи в файл Python 2 пытается преобразовать строку unicode в системную кодировку по умолчанию, ascii , поскольку атрибут encoding открытого нами файла имеет значение None . В кодировке ascii нельзя представить кириллические символы, из-за чего и возникает ошибка.
Во избежание ошибок, при записи строк unicode в файл нужно явно приводить их к желаемой кодировке:
Аналогичный эксперимент с Python 3 показывает, что строки пишутся в файл в кодировке, определяемой локалью пользователя!
С кодировкой файла cp1251 запись в него смешанной латино-кириллической строки проходит на ура, а вот попытка записи кандзи вместе с кириллицей приводит к уже знакомой нам ошибке:
Хорошая новость в том, что в Python 3, в отличие от Python 2, при открытии файла можно явно указать кодировку файла. В эту кодировку и будут преобразовываться строки str при записи в файл; из этой кодировки будут преобразовываться в str читаемые из файла строки байтов.
Укажу явно кодировку открываемых файлов в скрипте hello32.py :
Как видим, скрипт пишет в файл и читает из файла строки в кодировке utf-8 .
В заключение, экзотический пример кода. Вследствие того, что в Python 3 системной кодировкой по умолчанию является utf-8 , в Python 3 можно использовать в идентификаторах не только латиницу, но и другие символы Unicode:
Сопровождать такой код и вносить в него изменения интернациональной команде разработчиков будет проблематично!
Что такое ascii в python
Проделанные сравнительные эксперименты не дали мне достаточно оснований, чтобы решительно встать на одну из сторон в священной войне между защитниками Python 2 и энтузиастами Python 3 :). Хотя Unicode-ориентированность Python 3 и то, как это сказывается на прикладном программировании, мне нравится. В памяти компьютера кодировка Unicode используется равномерно, и когда ее необходимо сохранить на жесткий диск или передать, она преобразуется в кодировку UTF-8. А если же значения понадобятся еще не скоро или неизвестно, понадобится ли они вообще, то предпочтительнее генераторы, чтобы не занимать лишнюю память и не нагружать систему.
3 Кодирование, участвующее в процессе разработки Python
В процессе разработки программ на Python будут задействованы три аспекта кодирования:
Например, среда IDE, которая поставляется с Python2, запрашивает, когда файл создается и сохраняется:
Это связано с тем, что кодировкой по умолчанию для редактора Python2 является ASCII, которая не может распознавать китайский язык, поэтому появится такая подсказка. Это также привычка добавлять: #coding: utf-8 в первую строку программы при написании программ на Python2 в большинстве случаев.
Python в примерах – Telegram
- Когда Python запускается и обнаруживает, что текущий вывод подключен к консоли, он пытается определить значение кодировки sys.stdin / stdout / stderr.encoding на основе некоторых переменных среды, таких как переменная среды LC_CTYPE.
- Когда Python не может определить требуемую кодировку, он устанавливает значение sys.stdin / stdout / stderr.encoding в None.
- Судите, является ли строка Unicode при печати.
- Если это так, а sys.stdout.encoding не равен None, используйте sys.stdout.encoding для кодирования Юникода в str и вывод.
- Если sys.stdout.encoding — None, используйте кодировку по умолчанию sys.getdefaultencoding () для преобразования юникода в str и вывода.
3 Программа Python читает кодирование внешних файлов и веб-страниц
chardet — очень хороший модуль для распознавания кода.
Установить через pip
>pip install chardet
Поскольку рождение Python происходит раньше, чем выпуск стандарта Unicode, самый ранний Python поддерживает только кодировку ASCII, а обычная строка ‘ABC’ кодируется в ASCII внутри Python. Python предоставляет функции ord () и chr (), которые могут преобразовывать буквы и соответствующие числа друг в друга:
Позднее Python добавил поддержку Unicode. Строки, выраженные в Unicode, представлены символом u ‘. ‘, например:
Пиши u’in ‘и u’ \ u4e2d ‘одинаковы, шестнадцатеричный Unicode стоит за \ u? Следовательно, u’A ‘и u’ \ u0041 ‘также одинаковы.
Как преобразовать две строки? Хотя строка’xxx ‘является кодировкой ASCII, ее также можно рассматривать как кодировку UTF-8, тогда как u’xxx’ может быть только кодировкой Unicode. Преобразуйте u’xxx в кодировку UTF-8’xxx ‘с помощью метода encode (‘ utf-8 ‘):
И наоборот, чтобы преобразовать строку’xxx ‘, представленную кодировкой UTF-8, в строку Unicode u’xxx’, используйте метод decode (‘utf-8’):
Поскольку исходный код Python также является текстовым файлом, когда ваш исходный код содержит китайский язык, вы должны указать кодировку UTF-8 при сохранении исходного кода. Когда интерпретатор Python читает исходный код, чтобы он мог прочитать файл в соответствии с кодировкой UTF-8, мы обычно пишем эти две строки в начале файла:
подтверждает, что кодировка UTF-8 не означает, что ваш .py файл имеет кодировку UTF-8. Вы должны убедиться, что Notepad ++ использует UTF-8 без кодировки BOM:
Если сам файл .py использует кодировку UTF-8, а также указано # —— coding: utf-8 —— откройте командную строку для проверки, он может нормально отображать китайский язык:
Содержание статьи
