linux 下 ROCm 框架训练使用方法

[tangerdream]

最近搞到了一些海光国产显卡的计算资源，用的ROCM框架，可以支持到pytorch1.13，不知佬的代码有没有这方面的适配~

[cstdhh]

曾经在本地6800xt显卡跑起来过sd1.5的lora训练，需要禁用xformers，并自行编译rocm版本的bitsandbytes

[tangerdream]

曾经在本地6800xt显卡跑起来过sd1.5的lora训练，需要禁用xformers，并自行编译rocm版本的bitsandbytes

老哥，禁用xformers这一步指的是把train.sh这行里的" --xformers"删掉吗
--xformers --shuffle_caption ${extArgs[@]}

[cstdhh]

曾经在本地6800xt显卡跑起来过sd1.5的lora训练，需要禁用xformers，并自行编译rocm版本的bitsandbytes

老哥，禁用xformers这一步指的是把train.sh这行里的" --xformers"删掉吗 --xformers --shuffle_caption ${extArgs[@]}

是的，其实可以直接运行GUI，然后禁用xformers。根目录下requirements.txt里面的依赖，pytorch和torchvision安装rocm版本，bitsandbytes不要通过pip网络安装，编译安装rocm版本的bitsandbytes可以参考https://github.com/arlo-phoenix/bitsandbytes-rocm-5.6。如果觉得bitsandbytes编译安装太麻烦，可以不安装bitsandbytes，但同时优化器那里就不能选择AdamW8bit

[tangerdream]

曾经在本地6800xt显卡跑起来过sd1.5的lora训练，需要禁用xformers，并自行编译rocm版本的bitsandbytes

老哥，禁用xformers这一步指的是把train.sh这行里的" --xformers"删掉吗 --xformers --shuffle_caption ${extArgs[@]}

是的，其实可以直接运行GUI，然后禁用xformers。根目录下requirements.txt里面的依赖，pytorch和torchvision安装rocm版本，bitsandbytes不要通过pip网络安装，编译安装rocm版本的bitsandbytes可以参考https://github.com/arlo-phoenix/bitsandbytes-rocm-5.6。如果觉得bitsandbytes编译安装太麻烦，可以不安装bitsandbytes，但同时优化器那里就不能选择AdamW8bit

万分感谢