21 lines
668 B
Bash
21 lines
668 B
Bash
#!/bin/bash
|
||
|
||
# 设置环境变量
|
||
export HF_ENDPOINT=https://hf-mirror.com
|
||
|
||
# dataset dir 下载到本地目录
|
||
dataset_dir="your local dataset dir"
|
||
|
||
# 下载预训练数据集， 需要预先安装modelscope，使用pip3 install modelscope安装
|
||
modelscope download --dataset ddzhu123/seq-monkey mobvoi_seq_monkey_general_open_corpus.jsonl.tar.bz2 --local_dir ${dataset_dir}
|
||
|
||
# 解压预训练数据集
|
||
tar -xvf "${dataset_dir}/mobvoi_seq_monkey_general_open_corpus.jsonl.tar.bz2" -C "${dataset_dir}"
|
||
|
||
# 下载SFT数据集
|
||
huggingface-cli download \
|
||
--repo-type dataset \
|
||
--resume-download \
|
||
BelleGroup/train_3.5M_CN \
|
||
--local-dir "${dataset_dir}/BelleGroup"
|