tongchenkeji 发表于:2023-7-30 18:01:090次点击 已关注取消关注 关注 私信 机器学习PAI本地跑,负采样表怎么处理啊?负采样表可以直接读取odps上的吗?[阿里云机器学习PAI] 暂停朗读为您朗读 机器学习PAI本地跑,负采样表怎么处理啊?负采样表可以直接读取odps上的吗? 「点点赞赏,手留余香」 赞赏 还没有人赞赏,快来当第一个赞赏的人吧! 海报 机器学习PAI# MaxCompute2748# 云原生大数据计算服务 MaxCompute3255# 人工智能平台 PAI1410# 分布式计算2827# 机器学习深度学习1219
Star时光AM 2023-11-28 2:53:06 1 在本地环境中运行机器学习 PAI时,处理负采样表可以有几种方式。下面是一些常见的处理方法: 从 ODPS(MaxCompute)上下载负采样表:如果你的负采样表存储在 ODPS(MaxCompute)上,你可以使用 ODPS Python SDK 或 ODPS CLI 工具来下载该表的数据到本地,然后在本地进行处理。 将负采样表导入到本地文件系统:如果负采样表数据量较小,你可以将其导出为文本文件或其他适当的格式,然后将文件导入到本地文件系统中,并在本地环境中读取和处理。 使用模拟数据集代替负采样表:在本地环境中,你可以生成一个模拟的负采样数据集,以便进行模型训练和评估。这可以是根据原始数据集按照一定比例进行采样得到的数据集,用于模拟负样本。
xin在这AM 2023-11-28 2:53:06 2 不可以的,需要读本地的,可以download到本地跑,参考samples/model_config下面的实例,此回答整理自钉群“【EasyRec】推荐算法交流群”
在本地环境中运行机器学习 PAI时,处理负采样表可以有几种方式。下面是一些常见的处理方法:
从 ODPS(MaxCompute)上下载负采样表:如果你的负采样表存储在 ODPS(MaxCompute)上,你可以使用 ODPS Python SDK 或 ODPS CLI 工具来下载该表的数据到本地,然后在本地进行处理。
将负采样表导入到本地文件系统:如果负采样表数据量较小,你可以将其导出为文本文件或其他适当的格式,然后将文件导入到本地文件系统中,并在本地环境中读取和处理。
使用模拟数据集代替负采样表:在本地环境中,你可以生成一个模拟的负采样数据集,以便进行模型训练和评估。这可以是根据原始数据集按照一定比例进行采样得到的数据集,用于模拟负样本。
不可以的,需要读本地的,可以download到本地跑,参考samples/model_config下面的实例,此回答整理自钉群“【EasyRec】推荐算法交流群”