tongchenkeji 发表于:2023-3-21 16:44:060次点击 已关注取消关注 关注 私信 MaxCompute Reader脚本开发介绍?[阿里云MaxCompute] 暂停朗读为您朗读 MaxCompute Reader脚本开发介绍? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 MaxCompute# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 分布式计算2827
圆葱猪肉包AM 2023-11-27 18:17:46 1 问:MaxCompute Reader脚本开发介绍 答:配置一个从MaxCompute抽取数据到本地的作业,使用脚本开发的详情请参见通过脚本模式配置任务。注意 实际运行时,请删除下述代码中的注释。{“type”:”job”,”version”:”2.0″,”steps”:[{“stepType”:”odps”,//插件名。”parameter”:{“partition”:[],//读取数据所在的分区。”isCompress”:false,//是否压缩。”datasource”:””,//数据源。”column”:[//源头表的列信息。”id”],”emptyAsNull”:true,”table”:””//表名。},”name”:”Reader”,”category”:”reader”},{“stepType”:”stream”,”parameter”:{},”name”:”Writer”,”category”:”writer”}],”setting”:{“errorLimit”:{“record”:”0″//错误记录数。},”speed”:{“throttle”:true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。”concurrent”:1, //作业并发数。”mbps”:”12″//限流}},”order”:{“hops”:[{“from”:”Reader”,”to”:”Writer”}]}}如果您需要指定MaxCompute的Tunnel Endpoint,可以通过脚本模式手动配置数据源。将上述示例中的”datasource”:””,替换为数据源的具体参数,示例如下。 “accessId”:””,”accessKey”:””,”endpoint”:”http://service.eu-central-1.maxcompute.aliyun-inc.com/api”,”odpsServer”:”http://service.eu-central-1.maxcompute.aliyun-inc.com/api”,”tunnelServer”:”http://dt.eu-central-1.maxcompute.aliyun.com”,”project”:”*”, https://help.aliyun.com/document_detail/137465.html 此答案整理自钉群“DataWorks交流群(答疑@机器人)”
小周sirAM 2023-11-27 18:17:46 3 脚本开发介绍 https://help.aliyun.com/document_detail/137465.html#section-4no-pei-gtl
问:MaxCompute Reader脚本开发介绍 答:配置一个从MaxCompute抽取数据到本地的作业,使用脚本开发的详情请参见通过脚本模式配置任务。注意 实际运行时,请删除下述代码中的注释。{“type”:”job”,”version”:”2.0″,”steps”:[{“stepType”:”odps”,//插件名。”parameter”:{“partition”:[],//读取数据所在的分区。”isCompress”:false,//是否压缩。”datasource”:””,//数据源。”column”:[//源头表的列信息。”id”],”emptyAsNull”:true,”table”:””//表名。},”name”:”Reader”,”category”:”reader”},{“stepType”:”stream”,”parameter”:{},”name”:”Writer”,”category”:”writer”}],”setting”:{“errorLimit”:{“record”:”0″//错误记录数。},”speed”:{“throttle”:true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。”concurrent”:1, //作业并发数。”mbps”:”12″//限流}},”order”:{“hops”:[{“from”:”Reader”,”to”:”Writer”}]}}如果您需要指定MaxCompute的Tunnel Endpoint,可以通过脚本模式手动配置数据源。将上述示例中的”datasource”:””,替换为数据源的具体参数,示例如下。 “accessId”:””,”accessKey”:””,”endpoint”:”http://service.eu-central-1.maxcompute.aliyun-inc.com/api”,”odpsServer”:”http://service.eu-central-1.maxcompute.aliyun-inc.com/api”,”tunnelServer”:”http://dt.eu-central-1.maxcompute.aliyun.com”,”project”:”*”, https://help.aliyun.com/document_detail/137465.html 此答案整理自钉群“DataWorks交流群(答疑@机器人)”
配置一个从MaxCompute抽取数据到本地的作业,使用脚本开发的详情请参见通过脚本模式配置离线同步任务。
脚本开发介绍 https://help.aliyun.com/document_detail/137465.html#section-4no-pei-gtl