我正在尝试将大量数据加载到memcachedb中。我正在MySQL数据库上运行一些查询，我想将这些查询的结果存储在memcachedb中，以便以后轻松访问。
当前，我只是使用简单的set命令将结果存储在memcachedb中，但是由于存在数十亿个结果，因此将它们逐个存储在一个循环中是非常低效且耗时的。因此，我想知道是否有更好的方法将数据加载到memcachedb？就像传统RDMS中的数据导入向导一样
我正在使用pylibmc连接到memcachedb。
pylibmc库具有该set_multi函数，可以一次性发送一堆命令：
mc.set_multi({
'key': 'Hello',
'another': True,
#[..]
})
这可能应该工作得足够好。如果您拥有数十亿个密钥，则可能需要将其拆分为几千个大块。
如果仅通过套接字发送命令，则可能会降低性能。该内存缓存协议是很简单。这样做的好处是您可以添加noreply标志，因此服务器不会打扰发送答复。当然，这意味着您无法执行任何错误检查，并且无论出于何种原因丢失一些密钥都可以。
这是一个简单的概念证明：
#!/usr/bin/env python
import socket
data = 'set key_1 0 86400 5\r\nabcde\r\n'
data += 'set key_2 0 86400 5\r\nzxcvb\r\n'
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 11211))
s.sendall(data)
print(s.recv(8192))
s.close()
# Verify if it worked!
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 11211))
s.sendall('get key_1\r\n')
s.sendall('get key_2\r\n')
print(s.recv(8192))
s.close()
哪个应该输出：
STORED
STORED
VALUE key_1 0 5
abcde
END
VALUE key_2 0 5
zxcvb
END
该set命令的格式为：
set <key> <flags> <exptime> <data_size> [noreply]\r\n
<data>\r\n
当然，这只是概念证明；一个更高级的示例可能是这样的：
#!/usr/bin/env python
import socket
def make_set(n, data):
return 'set key_{} 0 86400 {}\r\n{}\r\n'.format(n, len(data), data)
data = open('/etc/aliases').readlines()
commands = [ make_set(n, d.strip()) for n, d in enumerate(data) if d.strip() != '' ]
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 11211))
s.sendall(''.join(commands))
print(s.recv(65000))
# Verify if it worked!
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 11211))
for n in range(0, len(commands)):
s.sendall('get key_{}\r\n'.format(n))
print(s.recv(65000))
s.close()
如果您要从MySQL获取数据，请考虑set使用SQL查询发出命令！例如：
select
concat('set key_', page_id, ' 0 86400 ', length(page_title), '\r\n', page_title, '\r\n')
as cmd
from page limit 2;
不确定这实际上是否更快，但我怀疑是这样。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句