这里集思广益。
我在寻找最合适的解决方案来寻找分布式存储解决方案。我正在寻找一种高效的键/值存储，平坦的名称空间，并具有最小的延迟。
我计划保存1或更少的小块记录。它们主要是生产/消费记录：
但是，有些记录可能会增长到10Mb，这是最大记录，但必须是可能的。
数据必须在磁盘上序列化。
我的第一个优先事项是一种存储，它可以对非常庞大的文件列表（可能是几亿个）提供良好的响应时间。
当然，有了这个数字，我就不必在意我的文件的迭代（我在寻找功能，但不在乎性能，只在调试或维护）。
当然，没有SPOF的解决方案可以更好地扩展。
必须是Linux解决方案，并且不允许云（私有数据）。
我看着Voldemort，Cassandra和HBase。
我也检查了Luster和Ceph，但它们不是键/值存储。
CouchBase和MongoDB在启用持久性的情况下具有糟糕的性能。
我正在运行一些测试，但还不能真正启动可靠的基准测试。是否有人了解有关此解决方案的信息，或者是否知道用于此类工作负载的其他产品设计？
您是否看过Infinispan或Hazelcast之类的内存数据网格？它们具有出色的可伸缩性和响应能力，但是如果有一天您会考虑对这些条目进行任何处理，则存储10Mb对象可能会成为一个问题。但是，例如，Hazelcast允许任务在拥有目标条目的群集的同一成员上执行，从而减少了成员间数据流的数量。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句