记录

记录

llama

"llama"


组件优化

"组件优化"

RMSNorm AdamW SwiGLU GLU FFN及其变体 GLU及其变体 FFN变体和GLU变体结合 all_reduce a cosine learning rate schedule causal multi-head attention 参考 RMSNorm layerNo...

Gpt系列


Gpt


huggingface

"huggingface"

国内镜像下载 国内镜像下载 huggingfacec 1 2 3 export HF_ENDPOINT=https://hf-mirror.com from huggingface_hub import snapshot_download snapshot_download(repo_id='defog/sqlcoder2',repo_type='model',local_dir=...

huggingface

"huggingface"

国内镜像下载 国内镜像下载 huggingfacec 1 2 3 export HF_ENDPOINT=https://hf-mirror.com from huggingface_hub import snapshot_download snapshot_download(repo_id='defog/sqlcoder2',repo_type='model',local_dir=...

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意:如果不存在的话需要进行第二步,存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 1 ssh-keygen -t rsa 3.把公钥复制到需要打通的机器上 1 ...

deepspeed

"deepspeed"

环境 环境 1 conda install mpi4y mpich -c conda-forge

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意:如果不存在的话需要进行第二步,存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 1 ssh-keygen -t rsa 3.把公钥复制到需要打通的机器上 1 ...

deepspeed

"deepspeed"

环境 环境 1 conda install mpi4y mpich -c conda-forge