Как передать строку в subprocess.Popen (используя аргумент stdin)?

Документация по Popen.communicate():

Обратите внимание: если вы хотите отправлять данные на стандартный ввод процесса, вам необходимо создать объект Popen с помощью stdin = PIPE. Точно так же, чтобы получить в результирующем кортеже что-либо, кроме None, вам также необходимо указать stdout = PIPE и / или stderr = PIPE.

Замена os.popen *

    pipe = os.popen(cmd, 'w', bufsize)
    # ==>
    pipe = Popen(cmd, shell=True, bufsize=bufsize, stdin=PIPE).stdin

Предупреждение. Используйте messages (), а не stdin.write (), stdout.read () или stderr.read (), чтобы избежать взаимоблокировок из-за заполнения любого из других буферов канала ОС и блокировки дочернего процесса. .

Итак, ваш пример можно было бы записать следующим образом:

from subprocess import Popen, PIPE, STDOUT

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)    
grep_stdout = p.communicate(input=b'one\ntwo\nthree\nfour\nfive\nsix\n')[0]
print(grep_stdout.decode())
# -> four
# -> five
# ->

В Python 3.5+ (3.6+ для encoding) вы можете использовать _5 _, чтобы передать ввод в виде строки внешней команде и получить ее статус выхода, а ее вывод в виде строки обратно за один вызов:

#!/usr/bin/env python3
from subprocess import run, PIPE

p = run(['grep', 'f'], stdout=PIPE,
        input='one\ntwo\nthree\nfour\nfive\nsix\n', encoding='ascii')
print(p.returncode)
# -> 0
print(p.stdout)
# -> four
# -> five
# -> 

Я понял это обходное решение:

>>> p = subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=subprocess.PIPE)
>>> p.stdin.write(b'one\ntwo\nthree\nfour\nfive\nsix\n') #expects a bytes type object
>>> p.communicate()[0]
'four\nfive\n'
>>> p.stdin.close()

Есть лучший?

Я немного удивлен, что никто не предложил создать канал, который, на мой взгляд, является самым простым способом передать строку в стандартный ввод подпроцесса:

read, write = os.pipe()
os.write(write, "stdin input here")
os.close(write)

subprocess.check_call(['your-command'], stdin=read)

Есть прекрасное решение, если вы используете Python 3.4 или выше. Используйте аргумент input вместо аргумента stdin, который принимает байтовый аргумент:

output = subprocess.check_output(
    ["sed", "s/foo/bar/"],
    input=b"foo",
)

Это работает для check_output и _ 5_, но не _ 6_ или _ 7_ по какой-то причине.

Я использую python3 и обнаружил, что вам нужно закодировать строку, прежде чем передавать ее в stdin:

p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=PIPE)
out, err = p.communicate(input='one\ntwo\nthree\nfour\nfive\nsix\n'.encode())
print(out)

По-видимому, объект cStringIO.StringIO не крякает достаточно близко к файловому утку, чтобы соответствовать подпроцессу.

Я не боюсь. Канал представляет собой концепцию ОС нижнего уровня, поэтому для него абсолютно необходим файловый объект, представленный файловым дескриптором уровня ОС. Ваш обходной путь правильный.

Помните, что Popen.communicate(input=s) может вызвать проблемы, еслиs слишком велик, потому что, очевидно, родительский процесс будет буферизовать его перед разветвлением дочернего подпроцесса, что означает, что в этот момент ему потребуется «вдвое больше» используемой памяти (по крайней мере, согласно "скрытое" объяснение и связанная документация находятся здесь). В моем конкретном случае s был генератором, который сначала был полностью развернут и только затем записан вstdin, так что родительский процесс был огромен прямо перед тем, как дочерний процесс был порожден, и не оставалось памяти для его разветвления:

File "/opt/local/stow/python-2.7.2/lib/python2.7/subprocess.py", line 1130, in _execute_child self.pid = os.fork() OSError: [Errno 12] Cannot allocate memory

В Python 3.7+ сделайте следующее:

my_data = "whatever you want\nshould match this f"
subprocess.run(["grep", "f"], text=True, input=my_data)

и вы, вероятно, захотите добавить capture_output=True, чтобы получить результат выполнения команды в виде строки.

В более старых версиях Python замените text=True на universal_newlines=True:

subprocess.run(["grep", "f"], universal_newlines=True, input=my_data)

Это перебор для grep, но в ходе своих путешествий я узнал о команде Linux expect и библиотеке python pexpect

• expect: диалог с интерактивными программами
• pexpect: модуль Python для создания дочерних приложений; контролировать их; и реагируя на ожидаемые закономерности в их результатах.

import pexpect
child = pexpect.spawn('grep f', timeout=10)
child.sendline('text to match')
print(child.before)

Работа с интерактивными приложениями оболочки, такими как ftp, с pexpect

import pexpect
child = pexpect.spawn ('ftp ftp.openbsd.org')
child.expect ('Name .*: ')
child.sendline ('anonymous')
child.expect ('Password:')
child.sendline ('[email protected]')
child.expect ('ftp> ')
child.sendline ('ls /pub/OpenBSD/')
child.expect ('ftp> ')
print child.before   # Print the result of the ls command.
child.interact()     # Give control of the child to the user.