tongchenkeji 发表于:2023-10-16 18:56:300次点击 已关注取消关注 关注 私信 大数据计算MaxCompute mc里怎么选择表存储的 orc或者parquet,还是有默认的?[阿里云MaxCompute] 暂停朗读为您朗读 大数据计算MaxCompute mc里怎么选择表存储的 orc或者parquet,还是有默认的? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827# 大数据1264# 存储536
ZzzzAM 2023-11-27 18:20:48 1 在MaxCompute中,表的存储格式可以设置为ORC或Parquet。选择使用哪一种取决于您的具体需求和应用场景。例如,根据《Hive性能调优实战》作者的案例,对于同样的数据,当使用ORC格式存储并进行SQL查询时,发现其读取的行数远小于Parquet格式。这意味着,使用ORC作为存储格式可能会借助元数据过滤掉更多的不需要的数据,从而在查询时减少所需的集群资源。但同时,选择哪种格式也需要考虑到数据的复杂性和查询需求,以确保最佳性能。
Star时光AM 2023-11-27 18:20:48 3 在MaxCompute中,表的存储格式是由您创建表时选择的。您可以在创建表时指定表的存储格式。具体步骤如下: 登录MaxCompute管理控制台。 在左侧菜单栏中,单击“数据开发”>“数据库”>“表”。 在右侧的表列表中,单击“创建表”按钮。 在弹出的窗口中,选择表的存储格式。您可以选择ORC、PARQUET、CSV等格式。如果您没有选择,MaxCompute会默认使用CSV格式。 输入表的其他信息,然后单击“创建”按钮。 创建完表后,您就可以在MaxCompute中使用该表了。
在MaxCompute中,表的存储格式可以设置为ORC或Parquet。选择使用哪一种取决于您的具体需求和应用场景。例如,根据《Hive性能调优实战》作者的案例,对于同样的数据,当使用ORC格式存储并进行SQL查询时,发现其读取的行数远小于Parquet格式。这意味着,使用ORC作为存储格式可能会借助元数据过滤掉更多的不需要的数据,从而在查询时减少所需的集群资源。但同时,选择哪种格式也需要考虑到数据的复杂性和查询需求,以确保最佳性能。
存储是aliorc,默认的列式存储。 不可以改变 此回答整理自钉群“MaxCompute开发者社区1群”
在MaxCompute中,表的存储格式是由您创建表时选择的。您可以在创建表时指定表的存储格式。具体步骤如下:
创建完表后,您就可以在MaxCompute中使用该表了。