在Google Cloud PubSub中获取单个消息的大小

debugcn 发表于 Dev

伊什瓦尔·韦努古帕尔

我有一个将消息发布到Google Cloud PubSub服务的设置。

我希望获得我发布到PubSub的每条消息的大小。因此，为此，我确定了以下方法（注意：我正在使用Python客户端进行发布和订阅，并遵循其文档中介绍的逐行实现）：

使用“监视”功能从Google Cloud Console查看消息计数
创建请求订阅客户端，并message.size在回调函数中使用大小从请求的主题中提取消息。
通过按照PubSub消息架构将消息转换为JSON并使用来估计消息的大小，然后再发布sys.getsizeof()

对于我使用Python发布者客户端发布的如下示例消息：

{
  "data": 'Test_message',
  "attributes": {
    'dummyField1': 'dummyFieldValue1',
    'dummyField2': 'dummyFieldValue2'
  }
}

，message.size在订阅用户中，以下回调函数的输出为101 。

def callback(message):
    print(f"Received {message.data}.")
    if message.attributes:
        print("Attributes:")
        for key in message.attributes:
            value = message.attributes.get(key)
            print(f"{key}: {value}")
    print(message.size)
    message.ack()

而Cloud Console Monitoring上显示的大小约为79B。

所以这是我的问题：

为什么同一封邮件的大小不同？
输出的message.size单位是字节吗？
在使用python客户端发布之前，如何查看消息的大小？
如何在Cloud Console上查看单个消息的大小，而不是在“监视”部分中找到的给定时间范围内对大小的汇总度量？

亚历山大·莫拉斯

为了进一步为社区做出贡献，我在总结我们的讨论作为答案。

关于message.size，它是来自订户客户端中消息的属性。另外，根据文档，其定义为：

返回基础消息的大小，以字节为单位

因此，您将无法在发布之前使用它。

相反，message_size是Google Cloud Metrics中的一个指标，由Cloud Monitoring在此处使用。

最后，讨论的最后一个主题是您的目的是监视配额支出，以便您可以保持免费。因此，最好的选择是使用Cloud Monitoring，并根据指标设置警报pubsub.googleapis.com/topic/byte_cost。以下是一些链接，您可以在其中找到更多信息：配额利用率，基于警报事件，警报策略。