请教一下机器学习PAI,现在有添加一个自定义op的例子吗?或者某个可以参考的commit[阿里云机器学习PAI]

请教一下机器学习PAI,现在有添加一个自定义op的例子吗?或者某个可以参考的commit

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 在机器学习 PAI 中添加自定义操作(Custom Op)的例子可能会根据具体的需求和使用情况而有所不同。但是,我可以给你提供一般的步骤和参考资源来帮助你添加自定义操作。

    1. 编写自定义操作代码:根据你的需求,编写自定义操作的代码。这通常涉及使用 C++ 或 CUDA 编写核心实现,并通过 TensorFlow 提供的 API 进行封装。

    2. 构建自定义操作库:将自定义操作代码编译为可加载的 TensorFlow 自定义操作库。这需要使用适当的编译器和工具链来生成与目标平台兼容的库文件。

    3. 添加自定义操作到模型中:在机器学习 PAI 的训练脚本或配置文件中,使用 TensorFlow 的相关 API 来加载和使用自定义操作。确保在模型构建过程中正确引用和使用自定义操作。

    关于具体的例子和参考资源,你可以参考 TensorFlow 官方文档和 GitHub 存储库中的示例。以下是一些你可能会找到有用的链接:

    • TensorFlow 官方文档中的 “Adding a New Op” 部分提供了关于如何添加自定义操作的详细指南:https://www.tensorflow.org/guide/create_op

    • 在 TensorFlow GitHub 上,你可以浏览 “tensorflow/custom-op” 存储库,其中包含了一些自定义操作的示例代码和实现:https://github.com/tensorflow/custom-op

    需要注意的是,机器学习 PAI 平台可能对自定义操作有一些限制或额外的配置要求。因此,在添加自定义操作之前,建议查阅机器学习 PAI 的官方文档,以了解与自定义操作相关的任何特定要求或指导。另外,如果你遇到困难或问题,也可以联系机器学习 PAI 的支持团队寻求帮助。

  2. 有一个简单的文档。https://github.com/alibaba/BladeDISC/blob/main/docs/developers/add_custom_call.md 以及这个pr: https://github.com/alibaba/BladeDISC/pull/893
    如果是pytorch 前端的话还需要看这个:https://github.com/alibaba/BladeDISC/blob/main/docs/developers/torch_add_a_new_operator.md,此回答整理自钉群“BladeDISC用户支持群”