我的硬件是单张RTX 3050，使用指令
python -m torch.distributed.launch --use_env -m dipoorlet -I dipoorlet_work_dir/ -N 1000 -D trt -M models/mobilev2_model.onnx -A mse -O dipoorlet_brecq/ --brecq
执行模型量化，产生了CUDA out of memory的运行报错。我检查了所有可以使用的命令行参数，没有发现可以调整数据加载批次的命令，请问有什么手段可以消除这个报错吗？
我的硬件是单张RTX 3050，使用指令
python -m torch.distributed.launch --use_env -m dipoorlet -I dipoorlet_work_dir/ -N 1000 -D trt -M models/mobilev2_model.onnx -A mse -O dipoorlet_brecq/ --brecq
执行模型量化，产生了CUDA out of memory的运行报错。我检查了所有可以使用的命令行参数，没有发现可以调整数据加载批次的命令，请问有什么手段可以消除这个报错吗？