任何文件系统都应提供API来访问其文件和目录等。
那么,“ HDFS缺少随机读写访问权限”是什么意思?
因此,我们应该使用HBase。
HDFS的默认块大小为128 MB。因此,您在这里看不到一行,在那儿看不到一行。您始终会读写128 MB的块。当您要处理整个文件时,这很好。但这使HDFS不适用于某些应用程序,例如要在其中使用索引查找小记录的应用程序。
另一方面,HBase对此非常有用。如果您想读取一条小记录,则只会读取该小记录。
HBase使用HDFS作为其后备存储。那么,它如何提供有效的基于记录的访问?
HBase将表从HDFS加载到内存或本地磁盘,因此大多数读取不会进入HDFS。变异首先存储在仅附加日记中。当日志变大时,它将内置到“附录”表中。当附录表太多时,它们都会被压缩成一个全新的主表。对于阅读,首先查阅期刊,然后查阅附录表,最后查阅主要表。该系统意味着我们只有在拥有完整的HDFS块的更改价值时才写入完整的HDFS块。
Bigtable白皮书中对此方法进行了更详尽的描述。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句