python子进程和mysqldump

debugcn 发表于 Dev

佐巴尔

我知道之前曾有人问过这个问题的一部分，但是我有一些相关的问题。

我正在尝试执行

mysqldump -u uname -ppassword --add-drop-database --databases databaseName | gzip > fileName

我可能正在转储非常大的数据库（200GB？）。这本身就是愚蠢的事情吗？然后，我想通过网络发送压缩文件以进行存储，删除本地转储并清除几个表。

无论如何，我正在使用这样的子流程，因为似乎没有一种方法可以在不考虑子流程的情况下执行整个原始调用。成为表名：

from subprocess import Popen, PIPE

f = open(FILENAME, 'wb')
args = ['mysqldump', '-u', 'UNAME', '-pPASSWORD', '--add-drop-database', '--databases', 'DB']

p1 = Popen(args, stdout=PIPE)
P2 = Popen('gzip', stdin=p1.stdout, stdout=f)
p2.communicate()

但是后来我读到，通信将数据缓存在内存中，这对我来说是行不通的。这是真的？

我现在最终要做的是：

import gzip
subprocess.call(args, stdout=f)
f.close()

f = open(filename, 'rb')
zipFilename = filename + '.gz'
f2 = gzip.open(zipFilename, 'wb')
f2.writelines(f)
f2.close()
f.close()

当然这需要一百万年，我讨厌它。

我的问题：1.我可以在非常大的数据库上使用第一种方法吗？2.是否可以将mysqldump的输出通过管道传输到套接字并在网络上触发它并在到达时进行保存，而不是发送压缩文件？

谢谢！

德莱尼

您不需要communication（）。如果您想读取stdout / stderr以完成操作，它仅是一种方便的方法。但是，由于您要链接命令，因此它们会为您完成这些操作。只需等待它们完成即可。

from subprocess import Popen, PIPE

args = ['mysqldump', '-u', 'UNAME', '-pPASSWORD', '--add-drop-database', '--databases', 'DB']

with open(FILENAME, 'wb', 0) as f:
    p1 = Popen(args, stdout=PIPE)
    p2 = Popen('gzip', stdin=p1.stdout, stdout=f)
p1.stdout.close() # force write error (/SIGPIPE) if p2 dies
p2.wait()
p1.wait()

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。