问题1:大数据计算MaxCompute事务表2.0还有相关介绍吗?我这存储大小每天竟然都在变大
问题2:我大致是认可你这种想法的1,2,3,问题点在于如果我使用pk表来存储大小,Snapshot加存储量远大于之前分区表历史存储数据大小,每天更新一次的2.0事务表,lifecycle 7; 以前存储量只有1.5g大小,现在7天有4g大小了
大数据计算MaxCompute事务表2.0还有相关介绍吗?我这存储大小每天竟然都在变大[阿里云MaxCompute]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
问题1:MaxCompute事务表2.0是MaxCompute引入的一种表格类型,用于解决数据一致性和版本管理的需求。与传统的分区表不同,事务表2.0支持对数据进行修改、删除和回滚,并且可以保留一定时间的历史版本。
关于MaxCompute事务表2.0的详细介绍,你可以参考MaxCompute官方文档中的相关部分。文档中会提供更多关于事务表2.0的使用方法、特性和最佳实践等信息,以帮助你更好地理解和应用该功能。同时,如果你遇到了存储大小每天变大的问题,也建议阅读MaxCompute文档中有关事务表2.0性能优化和存储管理的内容,以获得更具体的指导。
问题2:根据你的描述,使用pk表来存储大小时,Snapshot加上存储量比之前分区表的历史存储数据大小要大很多。这可能是因为事务表2.0保留了所有的历史快照(Snapshots),而不仅仅保留了分区表的历史数据。
事务表2.0在每个更新操作后会生成一个新的版本(Snapshot),并将更新的数据添加到该版本中。随着时间的推移,这些快照会占用更多的存储空间。如果你的事务表2.0设置了较长的生命周期(lifecycle),那么会保留更多的历史版本,进而导致存储大小增加。
如果你想减少事务表2.0的存储大小,可以考虑以下方法:
回答1:我最近研究了一下transaction 2.0表的小文件和存储,你可以作为参考。其实底层的存储逻辑应该不会透出的很细致,实际存储的话还是建议看收费明细。1. 首先我大概测试了一下合并transaction 2.0表的小文件,发现合并命令的运行日志中会打印出合并效果,比如起始file num=99,合并后为17;随机用desc extended命令看了下,file num=133,不减反增了。2. 这个情况我咨询了下研发,对于transaction 2.0表desc结果中的file num包含了历史版本的文件,因为transaction 2.0表 会对历史版本保留一段时间;而即使被合并的表小文件最终是多少,可以在合并日志中看到明细。所以结论:最新版本的按合并日志来看,普通全量查询只会查询到最新版本。
回答2:因为每天系统也会自动合并,有历史版本。,此回答整理自钉群“MaxCompute开发者社区2群”