Модуль chardet отлично поддерживает и определяет русские кодировки: KOI8-R, MacCyrillic, IBM855, IBM866, ISO-8859-5, windows-1251(Cyrillic) Есть файл не понятно в какой кодировке, нужно определить кодировку, написал вот такой вариант, но уверен что есть способ определения кодировки на много проще, подскажите. По умолчанию Python подразумевает, что в файле принят стандарт кодирования ASCII, если не дано никаких других подсказывающих указаний.
Python: Кодировка
На самом глубоком уровне компьютер оперирует исключительно цифрами 0 и 1 . Это так называемый двоичный код, а единички и нули называются битами, от «binary digit» — «двоичная цифра».
Обычные, привычные нам числа в десятичной системе исчисления, закодированы с помощью двоичных чисел:
Но как быть с текстом? Компьютер на самом деле не знает ничего о буквах, знаках пунктуации и прочих текстовых символах. Все эти символы так же закодированы числами.
Можно взять английский алфавит и дать каждой букве число, начиная с единицы по порядку:
Во время своей работы, программы используют кодировки для преобразования чисел в символы и наоборот. Причём сама программа не имеет представления о смысле этих символов.
Подобные таблицы, в которых сопоставляются буквы и числа, называются кодировками. Кроме букв алфавита, в таблицы кодировок входят знаки препинания и другие полезные символы. Вы наверняка сталкивались с кодировками, например, ASCII или UTF-8.
Разные кодировки содержат разное количество символов. Изначально небольших таблиц вроде ASCII было достаточно для большинства задач. Но в ней только латинские буквы, несколько простых символов вроде % и ? и специальные управляющие символы типа перевода строки.
С распространением компьютеров, разным странам понадобились свои, более широкие таблицы. В том числе для кириллических букв, восточных иероглифов, арабской вязи, дополнительных математических и типографских символов, а впоследствии даже для эмодзи-смайликов.
Сегодня в большинстве случаев используется один из вариантов юникода, включающий в себя знаки почти всех письменных языков мира.
Как узнать кодировку строки python
Задание
В Python можно «запросить» и вывести на экран любой символ из кодировки ASCII. Для этого используется функция chr() . Например:
На экран выведется символ с номером 63 — вопросительный знак ? . Таким способом можно выводить любой символ.
Воспользуйтесь таблицей кодов ASCII. В этой таблице нас интересует десятичный код (dec или decimal), которыми кодируются символы.
Используя пример выше и таблицу, выведите на экран (каждый на своей собственной строке) ~ , ^ и % .
(Конечно, можно «обмануть» тесты и просто сделать print(‘~’) и т.д., но так будет совсем неинтересно 🙂
Если вы зашли в тупик, то самое время задать вопрос в «Обсуждениях». Как правильно задать вопрос:
- Обязательно приложите вывод тестов, без него практически невозможно понять что не так, даже если вы покажете свой код. Программисты плохо исполняют код в голове, но по полученной ошибке почти всегда понятно, куда смотреть.
Тесты устроены таким образом, что они проверяют решение разными способами и на разных данных. Часто решение работает с одними входными данными, но не работает с другими. Чтобы разобраться с этим моментом, изучите вкладку «Тесты» и внимательно посмотрите на вывод ошибок, в котором есть подсказки.
Это нормально 🙆, в программировании одну задачу можно выполнить множеством способов. Если ваш код прошел проверку, то он соответствует условиям задачи.
В редких случаях бывает, что решение подогнано под тесты, но это видно сразу.
Создавать обучающие материалы, понятные для всех без исключения, довольно сложно. Мы очень стараемся, но всегда есть что улучшать. Если вы встретили материал, который вам непонятен, опишите проблему в «Обсуждениях». Идеально, если вы сформулируете непонятные моменты в виде вопросов. Обычно нам нужно несколько дней для внесения правок.
Кстати, вы тоже можете участвовать в улучшении курсов: внизу есть ссылка на исходный код уроков, который можно править прямо из браузера.
Будут выдаваться предупреждения по мере появления non-ASCII байтов на входе, один раз на неправильно закодированный входной файл. chardet не однозначен если кормить его первым нулевым элементом списка readlines, то он говорит что это UTF-16LE если дать ему любой другой элемент списка, то это ascii. И теперь при помощи цик ла for Чебураш ка переб рал сло варь, что бы заменить каж дое из слов key на соот ветс тву ющее зна чение из сло варя slova key.
Установка правильной кодировки при передаче стандартного вывода в Python
При передаче вывода программы Python интерпретатор Python запутывается в кодировании и устанавливает для него значение None. Это означает такую программу:
будет нормально работать при нормальной работе, но не с:
Каков наилучший способ сделать эту работу при обвязке? Могу ли я просто сказать ему использовать любую кодировку оболочки / файловой системы / что бы она ни использовала?
Советы, которые я видел до сих пор, это изменить ваш site.py напрямую или жестко закодировать код по умолчанию с помощью этого хака:
Есть ли лучший способ заставить трубопровод работать?
Если у вас есть эта проблема на окнах, вы также можете запустить chcp 65001 перед выполнением сценария. Это может иметь проблемы, но это часто помогает, и не требует большого набора текста (меньше, чем set PYTHONIOENCODING=utf_8 ).
Команда chcp отличается от настройки PYTHONIOENCODING. Я думаю, что chcp — это просто конфигурация для самого терминала, и он не имеет ничего общего с записью в файл (что вы и делаете, когда передаете стандартный вывод). Попробуйте setx PYTHONENCODING utf-8 сделать его постоянным, если вы хотите сохранить набор текста.
Я столкнулся с несколько связанной проблемой и нашел решение здесь -> stackoverflow.com/questions/48782529/…
Ваш код работает при запуске в скрипте, потому что Python кодирует выходные данные в любую кодировку, используемую вашим терминальным приложением. Если вы используете трубопровод, вы должны закодировать его самостоятельно.
Практическое правило: всегда используйте Unicode для внутреннего использования. Расшифруйте то, что вы получаете, и закодируйте то, что вы отправляете.
Другим дидактическим примером является программа на Python, которая конвертирует между ISO-8859-1 и UTF-8, делая все в верхнем регистре между ними.
Установка системной кодировки по умолчанию — плохая идея, потому что некоторые модули и библиотеки, которые вы используете, могут полагаться на факт, что это ASCII. Не делай этого.
Проблема в том, что пользователь не хочет явно указывать кодировку. Он хочет просто использовать Unicode для ввода-вывода. И кодировка, которую он использует, должна быть кодировкой, указанной в настройках локали, а не в настройках приложения терминала. AFAIK, Python 3 использует кодировку локали в этом случае. Изменение sys.stdout кажется более приятным способом.
Этот ответ неверен. Вы не должны вручную конвертировать каждый вход и выход вашей программы; это хрупко и совершенно не поддается ремонту.
@smci: ответ не изменяет ваш скрипт, установите, PYTHONIOENCODING если вы перенаправляете стандартный вывод скрипта в Python 2.
Непрактично каждый раз явно печатать с заданной кодировкой. Это было бы повторяющимся и подверженным ошибкам.
Лучшее решение — изменить sys.stdout в начале вашей программы кодирование с выбранной кодировкой. Вот одно решение, которое я нашел на Python: Как выбрать sys.stdout.encoding? , в частности комментарий от «Тока»:
Определить кодировку текста в Python (python, encoding, text-files)
Содержание статьи
