• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:checkpoint

apache-flink

flink检查点以获取大量源数据

flink检查点以获取大量源数据
我正在使用flink流应用程序,输入源为nfs文件系统,接收器为kafka生产者。 我正在使用continousmonitoring函数来转发不支持并行的文件拆分和具有并行的continousFileOperator。 我们拥有的初始数据是4TB数据。对于初始传输,连续监视功能需要花费很长时间来准备可以的状态,但是检查点在完成之前会一直过期。我将checkp……继续阅读 »