大数据计算MaxCompute从odps 改大到512有一定提升,再往上该就不明显了。单个instance只处理10M左右的数据,这是为什么呀?默认不应该是256M吗?
大数据计算MaxCompute从odps 改大到512有一定提升,再往上该就不明显了。这是为什么呀?[阿里云MaxCompute]
「点点赞赏,手留余香」
还没有人赞赏,快来当第一个赞赏的人吧!
大数据计算MaxCompute从odps 改大到512有一定提升,再往上该就不明显了。单个instance只处理10M左右的数据,这是为什么呀?默认不应该是256M吗?
odps.stage.mapper.mem,调大一些看看,此回答整理自钉群“MaxCompute开发者社区2群”
在大数据计算MaxCompute中,每个instance默认的内存限制是256M,但是这个值可以根据需要进行调整。如果你将内存限制提高到512M,但是再继续增加时提升效果不明显,可能有以下原因:
总之,单个instance处理数据的能力是有限的,当内存限制增加到一定值后,提升效果会逐渐减弱。如果你想进一步提高数据处理能力,需要考虑优化数据处理方式、升级硬件配置、调整任务调度策略或者增加MaxCompute集群的规模等方法。
当您设置更大的分割大小时,MaxCompute将根据您的设置调整mapper的输入大小。在一般情况下,mapper会将输入数据分片为512MB大小。但是,如果您的数据小于512MB,那么mapper只会处理更小的数据块。
因此,在您的情况下,mapper会处理10MB大小的数据块,而不是512MB。这种情况常见于处理大量小型文件的情况,因为大型文件更容易被切分为较大的块。
如果您想要处理更大规模的数据,请尝试增加mapper的数量。这样做可以加快数据处理的速度。例如,可以尝试将mapper的数量增加一倍,以处理更大的数据块。但是,请注意,mapper数量过多会导致更多任务之间的竞争,从而降低整体的性能。