记录

聚焦 NLP、机器学习、深度学习与工程实践的学习记录与项目笔记
AI · NLP · ML · Engineering

Practical AI Notes, Systems, and Engineering

围绕 NLP、LLM、机器学习与工程实践，持续沉淀值得复用的方法、系统设计、实验记录与项目思考。

Explore Posts Know More
Focus NLP / LLM / ML
Style Notes · Practice · Systems
Content Articles · Experiments · Engineering
Latest Posts

组件优化

"组件优化"

RMSNorm RMSNorm layerNorm计算如下： \(\begin{aligned} &a_i=\sum_{j=1}^m w_{i j} x_j, \quad y_i=f\left(a_i+b_i\right),\\ &\bar{a}_i=\frac{a_i-\mu}{\si...

Posted by zwt · March 4, 2024

llama

"llama"

Posted by zwt · March 4, 2024

组件优化

"组件优化"

RMSNorm AdamW SwiGLU GLU FFN及其变体 GLU及其变体 FFN变体和GLU变体结合 all_reduce a cosine learning rate schedule causal mul...

Posted by zwt · March 4, 2024

Gpt系列

Posted by 记录 · March 4, 2024

Gpt

Posted by 记录 · March 4, 2024

huggingface

"huggingface"

国内镜像下载 国内镜像下载 huggingfacec 1 2 3 export HF_ENDPOINT=https://hf-mirror.com from huggingface_hub import snapshot_download snapshot_download(repo_id='defog...

Posted by zwt · November 3, 2023

huggingface

"huggingface"

国内镜像下载 国内镜像下载 huggingfacec 1 2 3 export HF_ENDPOINT=https://hf-mirror.com from huggingface_hub import snapshot_download snapshot_download(repo_id='defog...

Posted by zwt · November 3, 2023

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意：如果不存在的话需要进行第二步，存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 ...

Posted by zwt · August 20, 2023

deepspeed

"deepspeed"

环境 环境 1 conda install mpi4y mpich -c conda-forge

Posted by zwt · August 20, 2023

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意：如果不存在的话需要进行第二步，存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 ...

Posted by zwt · August 20, 2023

FEATURED TAGS
数学 llm agent github llms 工具 paper rag workflow 开发 推荐系统 机器学习 语音识别 mcp developer-tools multi-agent nlp 搜索 深度学习 memory tool-use arxiv daily-pick reinforcement-learning spark bert deer-flow planning retrieval sandbox skills verification 信息抽取 开发语言 数据结构 coding-agent coordination gui-agent hallucination hierarchy langchain observability orchestration orgagent project token-efficiency
资源链接

记录