新手跟着b站做SparkStreaming的一个项目,它有个地方要对kafka的数据进行分流,然后为了精确消费,要手动offset。我嫌代码太长了就把分流封装了一下
结果有意思的来了,流里面获取的offset竟然一直是空的
并且不是每一次批操作都会分流,就是不会每次执行dStreamDiff函数。

第二张图是没有封装的,这个就是正常的。offset不为空,每一次批操作都会分流。这是什么原因,有没有老哥知道或者有思路的

结果有意思的来了,流里面获取的offset竟然一直是空的


第二张图是没有封装的,这个就是正常的。offset不为空,每一次批操作都会分流。这是什么原因,有没有老哥知道或者有思路的