tongchenkeji 发表于:2023-7-22 12:41:020次点击 已关注取消关注 关注 私信 请教一下机器学习PAI,现在有添加一个自定义op的例子吗?或者某个可以参考的commit[阿里云机器学习PAI] 暂停朗读为您朗读 请教一下机器学习PAI,现在有添加一个自定义op的例子吗?或者某个可以参考的commit 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# 人工智能平台 PAI1410# 机器学习深度学习1219
Star时光AM 2023-11-28 3:07:56 1 在机器学习 PAI 中添加自定义操作(Custom Op)的例子可能会根据具体的需求和使用情况而有所不同。但是,我可以给你提供一般的步骤和参考资源来帮助你添加自定义操作。 编写自定义操作代码:根据你的需求,编写自定义操作的代码。这通常涉及使用 C++ 或 CUDA 编写核心实现,并通过 TensorFlow 提供的 API 进行封装。 构建自定义操作库:将自定义操作代码编译为可加载的 TensorFlow 自定义操作库。这需要使用适当的编译器和工具链来生成与目标平台兼容的库文件。 添加自定义操作到模型中:在机器学习 PAI 的训练脚本或配置文件中,使用 TensorFlow 的相关 API 来加载和使用自定义操作。确保在模型构建过程中正确引用和使用自定义操作。 关于具体的例子和参考资源,你可以参考 TensorFlow 官方文档和 GitHub 存储库中的示例。以下是一些你可能会找到有用的链接: TensorFlow 官方文档中的 “Adding a New Op” 部分提供了关于如何添加自定义操作的详细指南:https://www.tensorflow.org/guide/create_op 在 TensorFlow GitHub 上,你可以浏览 “tensorflow/custom-op” 存储库,其中包含了一些自定义操作的示例代码和实现:https://github.com/tensorflow/custom-op 需要注意的是,机器学习 PAI 平台可能对自定义操作有一些限制或额外的配置要求。因此,在添加自定义操作之前,建议查阅机器学习 PAI 的官方文档,以了解与自定义操作相关的任何特定要求或指导。另外,如果你遇到困难或问题,也可以联系机器学习 PAI 的支持团队寻求帮助。
xin在这AM 2023-11-28 3:07:56 2 有一个简单的文档。https://github.com/alibaba/BladeDISC/blob/main/docs/developers/add_custom_call.md 以及这个pr: https://github.com/alibaba/BladeDISC/pull/893如果是pytorch 前端的话还需要看这个:https://github.com/alibaba/BladeDISC/blob/main/docs/developers/torch_add_a_new_operator.md,此回答整理自钉群“BladeDISC用户支持群”
在机器学习 PAI 中添加自定义操作(Custom Op)的例子可能会根据具体的需求和使用情况而有所不同。但是,我可以给你提供一般的步骤和参考资源来帮助你添加自定义操作。
编写自定义操作代码:根据你的需求,编写自定义操作的代码。这通常涉及使用 C++ 或 CUDA 编写核心实现,并通过 TensorFlow 提供的 API 进行封装。
构建自定义操作库:将自定义操作代码编译为可加载的 TensorFlow 自定义操作库。这需要使用适当的编译器和工具链来生成与目标平台兼容的库文件。
添加自定义操作到模型中:在机器学习 PAI 的训练脚本或配置文件中,使用 TensorFlow 的相关 API 来加载和使用自定义操作。确保在模型构建过程中正确引用和使用自定义操作。
关于具体的例子和参考资源,你可以参考 TensorFlow 官方文档和 GitHub 存储库中的示例。以下是一些你可能会找到有用的链接:
TensorFlow 官方文档中的 “Adding a New Op” 部分提供了关于如何添加自定义操作的详细指南:https://www.tensorflow.org/guide/create_op
在 TensorFlow GitHub 上,你可以浏览 “tensorflow/custom-op” 存储库,其中包含了一些自定义操作的示例代码和实现:https://github.com/tensorflow/custom-op
需要注意的是,机器学习 PAI 平台可能对自定义操作有一些限制或额外的配置要求。因此,在添加自定义操作之前,建议查阅机器学习 PAI 的官方文档,以了解与自定义操作相关的任何特定要求或指导。另外,如果你遇到困难或问题,也可以联系机器学习 PAI 的支持团队寻求帮助。
有一个简单的文档。https://github.com/alibaba/BladeDISC/blob/main/docs/developers/add_custom_call.md 以及这个pr: https://github.com/alibaba/BladeDISC/pull/893
如果是pytorch 前端的话还需要看这个:https://github.com/alibaba/BladeDISC/blob/main/docs/developers/torch_add_a_new_operator.md,此回答整理自钉群“BladeDISC用户支持群”