未分類 13 5 月 2020 获取论坛的“最新回复”列表,该怎么对帖子去重。 获取论坛的“大佬有話說”列表,该怎么对帖子去重。 資深大佬 : mdah233 3 最新想爬一个论坛的大佬有話說板块的帖子,然后生成 RSS 。但是大佬有話說的顺序是乱序的,经常爬过的帖子又回到顶部导致重复。 我目前的想法是用一个固定大小的 Set (因为可以认为超过这个大小数量的帖子都比较久远不会再重复)保存已经爬过的帖子的标题,然后判断爬过了就跳过。不知道大家有没有比较好的办法保证输出的 RSS 没有重复的。 大佬有話說 (0)