记录

聚焦 NLP、机器学习、深度学习与工程实践的学习记录与项目笔记
AI · NLP · ML · Engineering

Practical AI Notes, Systems, and Engineering

围绕 NLP、LLM、机器学习与工程实践,持续沉淀值得复用的方法、系统设计、实验记录与项目思考。

Focus NLP / LLM / ML
Style Notes · Practice · Systems
Content Articles · Experiments · Engineering
Latest Posts

组件优化

"组件优化"

RMSNorm RMSNorm layerNorm计算如下: \(\begin{aligned} &a_i=\sum_{j=1}^m w_{i j} x_j, \quad y_i=f\left(a_i+b_i\right),\\ &\bar{a}_i=\frac{a_i-\mu}{\si...

llama

"llama"

组件优化

"组件优化"

RMSNorm AdamW SwiGLU GLU FFN及其变体 GLU及其变体 FFN变体和GLU变体结合 all_reduce a cosine learning rate schedule causal mul...

Gpt系列

Gpt

huggingface

"huggingface"

国内镜像下载 国内镜像下载 huggingfacec 1 2 3 export HF_ENDPOINT=https://hf-mirror.com from huggingface_hub import snapshot_download snapshot_download(repo_id='defog...

huggingface

"huggingface"

国内镜像下载 国内镜像下载 huggingfacec 1 2 3 export HF_ENDPOINT=https://hf-mirror.com from huggingface_hub import snapshot_download snapshot_download(repo_id='defog...

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意:如果不存在的话需要进行第二步,存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 ...

deepspeed

"deepspeed"

环境 环境 1 conda install mpi4y mpich -c conda-forge

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意:如果不存在的话需要进行第二步,存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 ...