记录

记录

llama

"llama"

Posted by zwt on March 4, 2024

组件优化

"组件优化"

RMSNorm AdamW SwiGLU GLU FFN及其变体 GLU及其变体 FFN变体和GLU变体结合 all_reduce a cosine learning rate schedule causal multi-head attention 参考 RMSNorm layerNo...

Posted by zwt on March 4, 2024

Gpt系列

Posted by 记录 on March 4, 2024

Gpt

Posted by 记录 on March 4, 2024

huggingface

"huggingface"

国内镜像下载 国内镜像下载 huggingfacec 1 2 3 export HF_ENDPOINT=https://hf-mirror.com from huggingface_hub import snapshot_download snapshot_download(repo_id='defog/sqlcoder2',repo_type='model',local_dir=...

Posted by zwt on November 3, 2023

huggingface

"huggingface"

国内镜像下载 国内镜像下载 huggingfacec 1 2 3 export HF_ENDPOINT=https://hf-mirror.com from huggingface_hub import snapshot_download snapshot_download(repo_id='defog/sqlcoder2',repo_type='model',local_dir=...

Posted by zwt on November 3, 2023

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意：如果不存在的话需要进行第二步，存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 1 ssh-keygen -t rsa 3.把公钥复制到需要打通的机器上 1 ...

Posted by zwt on August 20, 2023

deepspeed

"deepspeed"

环境 环境 1 conda install mpi4y mpich -c conda-forge

Posted by zwt on August 20, 2023

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意：如果不存在的话需要进行第二步，存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 1 ssh-keygen -t rsa 3.把公钥复制到需要打通的机器上 1 ...

Posted by zwt on August 20, 2023

deepspeed

"deepspeed"

环境 环境 1 conda install mpi4y mpich -c conda-forge

Posted by zwt on August 20, 2023

FEATURED TAGS
数学 llms 工具 开发 推荐系统 机器学习 语音识别 搜索 深度学习 nlp spark bert 信息抽取 开发语言 数据结构 project
资源链接

记录