跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 求问如何用 Python 读取 Kafka topic 最新一条数据的 timestamp
未分類
26 9 月 2020

求问如何用 Python 读取 Kafka topic 最新一条数据的 timestamp

求问如何用 Python 读取 Kafka topic 最新一条数据的 timestamp

資深大佬 : levelworm 0

我想要读 Kafka topic 最新一条数据的时间戳,然后用这个时间戳在 vertica 里头做为 partition 的依据。不过现在的问题是,使用seek_to_end()之后,就陷入到死循环了,一条数据也没放出来,我觉得应该能放出最后一条消息的啊?请问我哪里弄错了?

这是我的代码:

 topic: str = 'mytopic' broker: str = 'myserver'  consumer = KafkaConsumer(     bootstrap_servers=[broker],     enable_auto_commit=True )  tp = TopicPartition(topic, 0) consumer.assign([tp]) consumer.poll() consumer.seek_to_end()  for message in consumer:     print(message.timestamp)     print(message)  consumer.close()  

大佬有話說 (2)

  • 主 資深大佬 : levelworm

    我又试了下,可以看到 offset,诡异啊。。。照理说能看到 offset 不就应该能够看到消息吗?还是我理解错了。

  • 主 資深大佬 : levelworm

    我搞定了我,原来 seek_to_end()之后他给我的是最后一个 offset+1,那我的 Kafka 此时并没有接受新的消息,那肯定是不会显示任何东西了,我只需要把 offset-1 然后再 seek 即可。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具