tongchenkeji
发表于：0次点击

flink1.13.5 用mongodbcdc使用什么版本的？我就采集mysql中的数据到kafka[阿里云实时计算 Flink版]

flink1.13.5 用mongodbcdc使用什么版本的？我就采集mysql中的数据到kafka，但是在cdh中我没有设置安全认证，是的，但是这个怎么整哦，不知道在哪配置，网上没找到

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
实时计算Flink版# Kafka333# MySQL1179# 云数据库 MongoDB 版84# 云消息队列 Kafka 版375# 关系型数据库2577# 安全288# 消息中间件1371
=====这是一个广告位，招租中，联系qq 78315851====
实时计算Flink版
各位大佬 你们在大数据开发过程中 flink实时任务的提交 有哪位大佬使用了持续集成？[阿里云实时计算 Flink版]
实时计算Flink版
哪位大佬有Debezium-1.9.7的下载包，Flink CDC官网的Dowmload按钮点击没？[阿里云实时计算 Flink版]
3 条回复 A 作者 M 管理员

  1. 在 Flink 1.13.5 中使用 MongoDB Connector for Apache Flink（即 MongoDB CDC）进行数据同步时，需要根据具体的 MongoDB 版本和 Flink 版本，选择相应的 Connector 版本。在 MongoDB Connector for Apache Flink 的 GitHub 页面上，可以找到不同版本的 Connector，你可以根据自己的需求，选择合适的版本进行使用。

    具体来说，如果你使用的是 Flink 1.13.5，可以选择 MongoDB Connector for Apache Flink 1.3.0 版本。该版本支持 Flink 1.13.x 和 MongoDB 4.2.x、4.4.x 版本，可以实现 MongoDB 数据到 Kafka 的实时同步。你可以在 Maven 中央仓库或者 MongoDB Connector for Apache Flink 的 GitHub 页面上，下载相关的 JAR 包和文档，并按照说明进行安装和使用。

    需要注意的是，在使用 MongoDB Connector for Apache Flink 进行数据同步时，你需要对 Connector 进行相应的配置和优化，以确保数据同步的准确性和稳定性。具体来说，你需要根据 MongoDB 数据库的版本、数据量的大小、网络连接的速度等因素，选择合适的配置参数和优化策略，以提高数据同步的效

    已喜欢 已反对

  2. 在使用 Flink 1.13.5 版本时，您可以使用 MongoDB CDC 来采集 MySQL 数据并将其发送到 Kafka。对于使用 MongoDB CDC，您需要使用与 Flink 1.13.x 版本兼容的合适版本。

    关于配置问题，如果您没有设置安全认证，并且希望在 CDH（Cloudera Distribution Hadoop）中进行配置，请确保按照以下步骤操作：

    1. 安装 MongoDB Connector for Apache Flink： 首先，您需要在 Flink 中安装 MongoDB Connector for Apache Flink。您可以从官方 Maven 仓库或其他可靠来源下载 MongoDB Connector 的 JAR 文件，并将其添加到 Flink 的运行时环境中。

    2. 配置 MongoDB CDC 连接器： 在 Flink 的配置文件 (flink-conf.yaml) 中，您需要添加配置项来启用和配置 MongoDB CDC 连接器。以下是一个示例配置：

      sources:  - name: mysql-source    connector: mysql-cdc    startup-mode: earliest-offsetsinks:  - name: kafka-sink    connector: kafka    topic: your-topic-name    properties:      bootstrap.servers: localhost:9092

      在这个示例中，我们配置了一个 MySQL CDC 连接器作为数据源，将数据发送到 Kafka。您需要根据实际情况修改连接器的名称、Kafka 相关配置以及其他必要的参数。

    3. 启动 Flink 作业： 配置完成后，您可以启动 Flink 作业，它将连接到 MySQL 数据库，并将变更数据发送到 Kafka。

    请注意，在 CDH 中进行配置可能与其他环境有所不同，具体取决于您的集群和部署设置。建议您参考 Cloudera 的文档或向 Cloudera 支持团队咨询，以获取更准确和详细的配置指导。

    已喜欢 已反对

  3. Flink 1.13.5 支持 MongoDB CDC 2.0.0，可以使用该版本的 MongoDB CDC 来将 MySQL 中的数据采集到 Kafka 中。

    已喜欢 已反对

  4. 2.3,2.4都行，建议2.3吧，kafka不是2.x不是依赖zk的协作管理吗？，此回答整理自钉群“Flink CDC 社区”

    已喜欢 已反对