tongchenkeji 发表于：2023-4-5 9:10:040次点击 已关注取消关注 关注 私信 节点参数传递能否支持json？[阿里云DataWorks] 暂停朗读为您朗读 节点参数传递能否支持json？ 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 DataWorks# JSON177# 大数据开发治理平台 DataWorks3946# 数据格式216
HaydenGuoAM 2023-11-27 21:23:52 1 可以。在阿里云DataWorks中，节点参数传递支持JSON数据格式。可以在代码节点中使用JSON格式的参数，例如： 假设要在Spark SQL中使用传递的参数，可以按照以下方式编写代码： -- 引入json库import org.apache.spark.sql.functions._import org.json4s._import org.json4s.jackson.JsonMethods._-- 读取参数val paramJson = getParam("__key__")val params = parse(paramJson)val database = (params "database").extract[String]val table = (params "table").extract[String]-- 使用参数进行操作val df = spark.table(s"$database.$table") 假设您要在PyODPS中使用传递的参数，您可以按照以下方式编写代码： # 引入json库import json# 读取参数paramJson = getParam("__key__")params = json.loads(paramJson)database = params["database"]table = params["table"]# 使用参数进行操作odps.execute_sql(f"SELECT * FROM {database}.{table}") 这些示例代码中的getParam(“key“)函数用于获取节点参数。需要将“key”替换为您节点参数的实际名称。可以在DataWorks中设置节点参数，具体方式请参见阿里云官方文档。
六月的雨在钉钉AM 2023-11-27 21:23:52 2 目前应该是不支持的，个人在体验场景下测试dataworks节点时参数都是通过配置的，没有直接上传json格式参数的操作，比如参数节点文档中的添加参数操作这样的
可以。在阿里云DataWorks中，节点参数传递支持JSON数据格式。可以在代码节点中使用JSON格式的参数，例如：
假设要在Spark SQL中使用传递的参数，可以按照以下方式编写代码：
-- 引入json库import org.apache.spark.sql.functions._import org.json4s._import org.json4s.jackson.JsonMethods._-- 读取参数val paramJson = getParam("__key__")val params = parse(paramJson)val database = (params "database").extract[String]val table = (params "table").extract[String]-- 使用参数进行操作val df = spark.table(s"$database.$table")# 引入json库import json# 读取参数paramJson = getParam("__key__")params = json.loads(paramJson)database = params["database"]table = params["table"]# 使用参数进行操作odps.execute_sql(f"SELECT * FROM {database}.{table}")目前应该是不支持的，个人在体验场景下测试dataworks节点时参数都是通过配置的，没有直接上传json格式参数的操作，比如参数节点文档中的添加参数操作这样的