💡 [REQUEST] - <title>怎么能够继续昨天的训练，继续训练

[sunjunlishi]

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

昨天训练到checkpoint-1200，loss值是0.9 今天想继续昨天的训练，能解决吗？
不然loss值要从头2.7开始往下降，比较耗时。

基本示例 | Basic Example

model = transformers.AutoModelForCausalLM.from_pretrained(
model_args.model_name_or_path,
config=config,
cache_dir=training_args.cache_dir,
device_map=device_map,
trust_remote_code=True,
quantization_config=GPTQConfig(
bits=4, disable_exllama=True
)
if training_args.use_lora and lora_args.q_lora
else None,
)

缺陷 | Drawbacks

因为大家的资源有限，只能晚上训练。如果不能继续昨天的训练，从头再训练，比较耗时。

未解决问题 | Unresolved questions

No response

[tristanwqy]

--resume_from_checkpoint /path/to/your/checkpoint

[sunjunlishi]

非常感谢

[Qinger27]

你好，想问下怎么配置 finetune 环境呀？我使用 finetune.py 时 deepspeed 不能正常使用？方便的话可以回复一下吗？谢谢大佬～