Flink这个问题怎么解决?[阿里云实时计算 Flink版]

Flink这个问题怎么解决?Flink 1.16 + MinIO 的环境,跑作业后,flink jobmanager 日志一直刷“Cannot create recoverable writer due to This s3 file system implementation does not support recoverable writers., will use the ordinary writer.”,有朋友遇到过么?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 这个问题可能是由于Flink的S3文件系统实现不支持可恢复的写入器,因此会报错”Cannot create recoverable writer due to This s3 file system implementation does not support recoverable writers., will use the ordinary writer.”。为了解决这个问题,你可以尝试以下步骤:

    1. 确保你的Flink版本和MinIO服务器版本是兼容的。
    2. 检查你的Flink配置文件中关于S3文件系统的设置是否正确。
    3. 考虑使用其他支持可恢复写入器的S3文件系统实现。
    4. 如果可能,尝试升级Flink到最新版本,看是否解决了这个问题。
  2. 在Flink 1.16 + MinIO的环境中,跑作业后,Flink JobManager的日志一直刷“Cannot create recoverable writer due to This s3 file system implementation does not support recoverable writers., will use the ordinary writer.”,这通常表示Flink无法创建可恢复的写入器,将使用普通写入器。这个问题可能由多种原因引起,以下是一些可能的解决方案:

    1. 检查MinIO的配置:首先,需要检查MinIO的配置是否正确。可以检查MinIO的配置文件,确保所有的配置都正确无误。
    2. 检查Flink的配置:如果MinIO的配置没有问题,可能需要检查Flink的配置。可以检查Flink的配置文件,确保所有的配置都正确无误。
    3. 检查MinIO的实现:如果MinIO的配置和Flink的配置都没有问题,可能需要检查MinIO的实现。可以尝试使用其他实现的S3文件系统,例如Hadoop的S3A文件系统,看是否能够解决问题。
    4. 检查Flink的版本:如果以上的方法都无法解决问题,可能需要检查Flink的版本。如果Flink的版本过低,可能不支持某些功能,需要升级Flink的版本。