CoreOS和HDFS-在Linux容器/ Docker中运行分布式文件系统

夜狼

我需要某种在CoreOS集群上运行的分布式文件系统。

因此,我想在CoreOS节点上运行HDFS。这可能吗?

我可以看到2个选项;

  1. 扩展CoreOS-将HDFS直接安装到CoreOS上-不理想,因为它破坏了CoreOS容器化的整个概念,这意味着要安装许多其他组件
  2. 在CoreOS的Docker容器中以某种方式运行HDFS并设置关联性

选项2似乎是最好的方法,但是,仍有一些潜在的障碍。

  • 如何可靠地将物理磁盘公开给运行HDFS的Docker容器?
  • 您如何缩放容器亲和力?
  • 名称节点等如何工作?

干杯。

安迪·辛(Andy Shinn)

我将尝试提供两种可能性。我都没有尝试过,所以大多数都是建议。但是可以帮助您走上正确的道路。

首先,如果要执行HDFS且需要在主机上访问设备,则将在特权容器中运行HDFS守护程序,该容器可以访问所需的主机设备(直接在磁盘上)。有关标志的信息,请参阅https://docs.docker.com/reference/run/#runtime-privilege-linux-capabilities-and-lxc-configuration--privileged--device

从理论上讲,您可以将设备传递到处理磁盘访问的容器。然后,您可以使用类似的--link方式互相交谈。NameNode将使用卷(通过传递-v将元数据存储在主机上但是,考虑到我对NameNode所做的少量阅读,似乎对于高可用性而言似乎还没有一个好的解决方案,并且这是单点故障。

如果要查找群集文件系统而不是特别是HDFS,要探索的第二个选项是检查最近在CoreOS 471.1.0中添加到内核的Ceph FS支持:https ://coreos.com/releases /#471.1.0然后,您也许可以使用特权容器的相同方法来访问主机磁盘,以构建Ceph FS集群。然后,您可能有一个“仅数据”容器,该容器安装了Ceph工具以在Ceph FS集群上安装目录,并将其作为卷公开给其他容器使用。

尽管这只是个主意,我个人还没有使用过HDFS或Ceph(尽管我一直在关注Ceph,并希望尽快尝试类似的尝试作为概念验证)。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用Mac和Linux混合系统构建分布式计算系统的策略

来自分类Dev

适用于Linux的分布式文件系统

来自分类Dev

分布式系统中的Docker数据量和扩展

来自分类Dev

关于Mesos Linux容器和Docker的问题

来自分类Dev

分布式文件系统和集群文件系统之间的区别

来自分类Dev

除了HDFS,Apache Mesos最好的分布式文件系统是什么?

来自分类Dev

如何从存储在HDFS分布式缓存中的文件的路径中获取文件名

来自分类Dev

Apache Drill嵌入式和分布式系统

来自分类Dev

Apache Drill嵌入式和分布式系统

来自分类Dev

分布式系统中逻辑顺序和总顺序的示例

来自分类Dev

如何估计在 UDP 和 TCP(分布式系统)中完成请求的总时间

来自分类Dev

使用HDFS分布式缓存中存储的python脚本访问文件

来自分类Dev

如何在Linux机器上清理Docker容器和映像

来自分类Dev

在Docker容器中运行旧的Linux版本?

来自分类Dev

锁定分布式系统中的文件

来自分类Dev

Windows docker 容器与 Linux docker 容器

来自分类Dev

Docker:Windows 10版Docker中Linux容器卷的“未找到”和“无效句柄”错误

来自分类Dev

JMeter:Linux环境中的分布式(远程)测试

来自分类Dev

JMeter:Linux环境中的分布式(远程)测试

来自分类Dev

CoreOS Fleet,链接冗余Docker容器

来自分类Dev

在 OS (CoreOS) 重启 Docker 启动多个容器

来自分类Dev

Docker Windows主机Linux容器

来自分类Dev

从分布式缓存或HDFS输出读取

来自分类Dev

分布式系统和集群系统之间的区别是什么?

来自分类Dev

分布式系统和网络操作系统(理论上)

来自分类Dev

在Debian中快照Linux容器

来自分类Dev

Hadoop分布式文件系统与分布式缓存

来自分类Dev

在Linux主机系统上运行的Linux VM上运行docker容器

来自分类Dev

在CoreOS中重启后如何自动重启Docker容器?

Related 相关文章

  1. 1

    使用Mac和Linux混合系统构建分布式计算系统的策略

  2. 2

    适用于Linux的分布式文件系统

  3. 3

    分布式系统中的Docker数据量和扩展

  4. 4

    关于Mesos Linux容器和Docker的问题

  5. 5

    分布式文件系统和集群文件系统之间的区别

  6. 6

    除了HDFS,Apache Mesos最好的分布式文件系统是什么?

  7. 7

    如何从存储在HDFS分布式缓存中的文件的路径中获取文件名

  8. 8

    Apache Drill嵌入式和分布式系统

  9. 9

    Apache Drill嵌入式和分布式系统

  10. 10

    分布式系统中逻辑顺序和总顺序的示例

  11. 11

    如何估计在 UDP 和 TCP(分布式系统)中完成请求的总时间

  12. 12

    使用HDFS分布式缓存中存储的python脚本访问文件

  13. 13

    如何在Linux机器上清理Docker容器和映像

  14. 14

    在Docker容器中运行旧的Linux版本?

  15. 15

    锁定分布式系统中的文件

  16. 16

    Windows docker 容器与 Linux docker 容器

  17. 17

    Docker:Windows 10版Docker中Linux容器卷的“未找到”和“无效句柄”错误

  18. 18

    JMeter:Linux环境中的分布式(远程)测试

  19. 19

    JMeter:Linux环境中的分布式(远程)测试

  20. 20

    CoreOS Fleet,链接冗余Docker容器

  21. 21

    在 OS (CoreOS) 重启 Docker 启动多个容器

  22. 22

    Docker Windows主机Linux容器

  23. 23

    从分布式缓存或HDFS输出读取

  24. 24

    分布式系统和集群系统之间的区别是什么?

  25. 25

    分布式系统和网络操作系统(理论上)

  26. 26

    在Debian中快照Linux容器

  27. 27

    Hadoop分布式文件系统与分布式缓存

  28. 28

    在Linux主机系统上运行的Linux VM上运行docker容器

  29. 29

    在CoreOS中重启后如何自动重启Docker容器?

热门标签

归档