it-roy-ru.com

Преобразовать байты в строку?

Я использую этот код для получения стандартного вывода из внешней программы:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

Метод communication () возвращает массив байтов:

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Однако я хотел бы работать с выводом в виде обычной строки Python. Чтобы я мог напечатать это так:

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

Я думал, что для этого нужен метод binascii.b2a_qp () , но когда я попробовал его, я снова получил тот же байтовый массив:

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

Кто-нибудь знает, как преобразовать значение байтов обратно в строку? Я имею в виду, используя "батареи" вместо того, чтобы делать это вручную. И я хотел бы, чтобы все было в порядке с Python 3.

1714
Tomas Sedovic

Вам нужно декодировать объект bytes, чтобы получить строку:

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'
2808
Aaron Maenpaa

Я думаю, что так легко

bytes_data = [112, 52, 52]
"".join(map(chr, bytes_data))
>> p44
151
Sisso

Вам нужно декодировать строку байтов и превратить ее в символьную строку (юникод).

b'hello'.decode(encoding)

или Python 3

str(b'hello', encoding)
137
dF.

Если вы не знаете кодировку, то для чтения двоичного ввода в строку совместимым способом Python 3 и Python 2 используйте древнюю MS-DOS cp437 кодировка:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

Поскольку кодировка неизвестна, ожидайте, что неанглийские символы будут переводиться в символы cp437 (английские символы не переводятся, потому что они совпадают в большинстве однобайтовых кодировок и UTF-8).

Декодирование произвольного двоичного ввода в UTF-8 небезопасно, потому что вы можете получить это:

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

То же самое относится и к latin-1, который был популярен (по умолчанию?) Для Python 2. Смотрите недостающие точки в макете кодовой страницы - это где Python задыхается от печально известного ordinal not in range.

ОБНОВЛЕНИЕ 20150604 : ходят слухи, что Python 3 имеет стратегию ошибок surrogateescape для кодирования данных в двоичные данные без потери данных и сбоев, но для проверки производительности и надежности необходимы тесты преобразования [binary] -> [str] -> [binary].

ОБНОВЛЕНИЕ 20170116 : благодаря комментарию Nearoo - есть также возможность сократить все неизвестные байты с помощью обработчика ошибок backslashreplace. Это работает только для Python 3, поэтому даже при таком обходном пути вы все равно получите противоречивый вывод из разных версий Python:

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

Подробности смотрите в https://docs.python.org/3/howto/unicode.html#python-s-unicode-support .

ОБНОВЛЕНИЕ 20170119 : я решил реализовать декодирование с косой чертой, которое работает как для Python 2, так и Python 3. Решение должно быть медленнее, чем cp437, но оно должно выдавать идентичные результаты для каждой версии Python.

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a Tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))
70
anatoly techtonik

В Python кодировка по умолчанию - "utf-8", поэтому вы можете использовать напрямую:

b'hello'.decode()

что эквивалентно

b'hello'.decode(encoding="utf-8")

С другой стороны, в Python 2 , по умолчанию используется строковое кодирование по умолчанию. Таким образом, вы должны использовать:

b'hello'.decode(encoding)

где encoding - кодировка, которую вы хотите.

Примечание: поддержка аргументов ключевых слов была добавлена ​​в Python 2.7.

65
lmiguelvargasf

Я думаю, что вы на самом деле хотите это:

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

Ответ Аарона был верным, за исключением того, что вам нужно знать, какую кодировку использовать. И я считаю, что Windows использует "Windows-1252". Это будет иметь значение, только если у вас есть какие-то необычные (не ascii) символы в вашем контенте, но тогда это будет иметь значение.

Кстати, тот факт, что он имеет значение, является причиной того, что Python перешел на использование двух разных типов для двоичных и текстовых данных: он не может магически преобразовывать между ними, потому что он не знает кодировку, если только Вы говорите это! Единственный способ узнать это - прочитать документацию по Windows (или прочитать ее здесь).

36
mcherm

Установите для universal_newlines значение True, т.е.

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]
29
ContextSwitch

Хотя ответ @ Aaron Maenpaa просто работает, пользователь недавно спросил :

Есть ли более простой способ? 'fhand.read (). decode ("ASCII")' [...] Это так долго!

Ты можешь использовать:

command_stdout.decode()

decode() имеет стандартный аргумент :

codecs.decode(obj, encoding='utf-8', errors='strict')

18
serv-inc

Чтобы интерпретировать последовательность байтов как текст, вы должны знать соответствующую кодировку символов:

unicode_text = bytestring.decode(character_encoding)

Пример:

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

Команда ls может выдавать выходные данные, которые нельзя интерпретировать как текст. Имена файлов в Unix могут быть любой последовательностью байтов, кроме косой черты b'/' и нулевого b'\0':

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

Попытка декодировать такой суппорт байтов с использованием кодировки utf-8 вызывает UnicodeDecodeError.

Это может быть хуже. Декодирование может завершиться сбоем и вывести mojibake , если вы используете неправильную несовместимую кодировку:

>>> '—'.encode('utf-8').decode('cp1252')
'—'

Данные повреждены, но ваша программа не знает, что произошел сбой.

В общем, какая кодировка символов не используется в самой последовательности байтов. Вы должны сообщить эту информацию вне группы. Некоторые результаты более вероятны, чем другие, и поэтому существует модуль chardet, который может угадать кодировку символов. Один скрипт Python может использовать несколько кодировок символов в разных местах.


Выходные данные ls можно преобразовать в строку Python, используя функцию os.fsdecode(), которая успешно выполняется даже для не декодируемые имена файлов (в Unix используется обработчик ошибок sys.getfilesystemencoding() и surrogateescape):

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

Чтобы получить оригинальные байты, вы можете использовать os.fsencode().

Если вы передаете параметр universal_newlines=True, то subprocess использует locale.getpreferredencoding(False) для декодирования байтов, например, это может быть cp1252 в Windows.

Для оперативного декодирования потока байтов можно использовать io.TextIOWrapper() : пример .

Различные команды могут использовать разные кодировки символов для своего вывода, например, внутренняя команда dir (cmd) может использовать cp437. Чтобы декодировать его вывод, вы можете явно передать кодировку (Python 3.6+):

output = subprocess.check_output('dir', Shell=True, encoding='cp437')

Имена файлов могут отличаться от os.listdir() (которая использует Windows Unicode API), например, '\xb6' может быть заменен на '\x14'— кодек Python cp437 отображает b'\x14' для управления символом U + 0014 вместо U + 00B6 (¶). Чтобы поддержать имена файлов с произвольными символами Unicode, смотрите Расшифруйте вывод poweshell, возможно содержащий символы unicii не ascii в строку python

13
jfs

Так как этот вопрос фактически задает вывод subprocess, у вас есть более прямой подход, так как Popen принимает ключевое слово (в Python 3.6+):

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

Общий ответ для других пользователей заключается в декодировании байтов в текст:

>>> b'abcde'.decode()
'abcde'

Без аргументов sys.getdefaultencoding() будет использоваться. Если ваши данные не sys.getdefaultencoding(), то вы должны явно указать кодировку в вызове decode :

>>> b'caf\xe9'.decode('cp1250')
'café'
13
wim

Если вы должны получить следующее, попробовав decode():

AttributeError: у объекта 'str' нет атрибута 'decode'

Вы также можете указать тип кодировки прямо в приведении:

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'
7
Broper

Я сделал функцию для очистки списка

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista
4
eafloresf

При работе с данными из систем Windows (с окончанием строки \r\n) мой ответ:

String = Bytes.decode("utf-8").replace("\r\n", "\n")

Зачем? Попробуйте это с многострочным Input.txt:

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

Все окончания вашей строки будут удвоены (до \r\r\n), что приведет к дополнительным пустым строкам. Функции чтения текста в Python обычно нормализуют окончания строк, поэтому в строках используется только \n. Если вы получаете двоичные данные из системы Windows, Python не может это сделать. Таким образом,

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

будет копировать ваш оригинальный файл.

4
bers

Для Python 3 это гораздо более безопасный и Pythonic подход для преобразования из byte в string:

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): #check if its in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

Результат:

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2
2
Inconnu
def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))
1
Leonardo Filipe

Если вы хотите преобразовать любые байты, а не просто строку, преобразованную в байты:

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

Это не очень эффективно, однако. Это превратит изображение 2 МБ в 9 МБ.

1
HCLivess

От http://docs.python.org/3/library/sys.html ,

Для записи или чтения двоичных данных из/в стандартные потоки используйте базовый двоичный буфер. Например, чтобы записать байты в стандартный вывод, используйте sys.stdout.buffer.write(b'abc').

0
Zhichang Yu