tongchenkeji
发表于：0次点击

flink cdc解析mysql binlog出现中文乱码有什么办法解决吗？在flink-conf.[阿里云实时计算 Flink版]

flink cdc解析mysql binlog出现中文乱码有什么办法解决吗？在flink-conf.yaml里面加过 env.java.opts: -Dfile.encoding=UTF-8 参数了，测试下来还是会有中文乱码？

「点点赞赏，手留余香」

    还没有人赞赏，快来当第一个赞赏的人吧！
实时计算Flink版# JSON177# MySQL1179# SQL1285# 云数据库 RDS MySQL 版1517# 关系型数据库2577# 数据格式216# 流计算2236
=====这是一个广告位，招租中，联系qq 78315851====
实时计算Flink版
Flink CDC中我现在是 一个 job manager 两个 task manager 这样的？[阿里云实时计算 Flink版]
实时计算Flink版
flinksql对接flinkcdc，多表关联分组求和，这样可以吗？[阿里云实时计算 Flink版]
2 条回复 A 作者 M 管理员

  1. 如果在使用 Flink CDC 解析 MySQL binlog 时出现中文乱码问题，您可以尝试以下几种方法解决：

    1. 在 Flink 的配置文件（flink-conf.yaml）中设置字符集为 UTF-8。您可以在配置文件中添加以下配置：    yaml    env.java.opts: "-Dfile.encoding=UTF-8"        这样可以确保 Flink CDC 在读取和解析 MySQL binlog 时使用 UTF-8 字符集，避免中文乱码问题。

    2. 在创建 Flink CDC Source 对象时，设置 MySQL 数据库连接的字符集为 UTF-8。您可以使用 FlinkCDCSource.Builder 中的 charset() 方法设置字符集，示例如下：    java    FlinkCDCSource source = FlinkMySQLSource.builder()        .hostname("localhost")        .port(3306)        .database("mydb")        .table("my_table")        .username("root")        .password("root")        .charset("UTF-8")        .startupOptions(StartupOptions.latest())        .deserializer(new StringDeserializer())        .build();        这样可以确保 Flink CDC 在读取和解析 MySQL binlog 时使用正确的字符集，避免中文乱码问题。

    3. 在 MySQL 数据库中设置字符集为 UTF-8。您可以使用以下 SQL 语句将 MySQL 数据库和表的字符集设置为 UTF-8：    sql    ALTER DATABASE mydb CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;    ALTER TABLE my_table CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;        这样可以确保 MySQL 数据库和表在存储数据时使用 UTF-8 字符集，与 Flink CDC 解析的字符集保持一致。

    通过以上方法中的一种或多种组合，您应该能够解决 Flink CDC 解析 MySQL binlog 出现中文乱码的问题。

    已喜欢 已反对

  2. 果在使用 Flink CDC 解析 MySQL binlog 时出现中文乱码，可能是由于字符集不匹配导致的。您可以尝试以下几个方法解决该问题：
    在 Flink 的配置文件（flink-conf.yaml）中设置字符集为 UTF-8。可以在配置文件中添加以下配置：
    yaml
    Copy

    设置字符集为 UTF-8

    env.java.opts: “-Dfile.encoding=UTF-8”
    这样可以确保 Flink CDC 在读取和解析 MySQL binlog 时使用 UTF-8 字符集，避免中文乱码问题。
    在创建 FlinkCDCSource 对象时，设置 MySQL 数据库连接的字符集为 UTF-8。可以使用 FlinkCDCSource.Builder 中的 charset() 方法设置字符集，例如：
    java
    Copy
    FlinkCDCSource source = FlinkMySQLSource.builder()
    .hostname(“localhost”)
    .port(3306)
    .database(“mydb”)
    .table(“my_table”)
    .username(“root”)
    .password(“root”)
    .charset(“UTF-8”)
    .startupOptions(StartupOptions.latest())
    .deserializer(new StringDeserializer())
    .build();
    这样可以确保 Flink CDC 在读取和解析 MySQL binlog 时使用正确的字符集，避免中文乱码问题。
    在 MySQL 数据库中设置字符集为 UTF-8。可以使用以下 SQL 语句设置 MySQL 数据库和表的字符集为 UTF-8：

    已喜欢 已反对

  3. 你是datastream吗，UTF-8

    UTF-8
    pom的properties里面加这两个，此回答整理自钉群“Flink CDC 社区”

    已喜欢 已反对