AI · NLP · ML · Engineering

Practical AI Notes, Systems, and Engineering

围绕 NLP、LLM、机器学习与工程实践,持续沉淀值得复用的方法、系统设计、实验记录与项目思考。

Focus NLP / LLM / ML
Style Notes · Practice · Systems
Content Articles · Experiments · Engineering
Latest Posts

deepspeed

"deepspeed"

环境 环境 1 conda install mpi4y mpich -c conda-forge

多机免密登录

"多机免密登录"

背景 步骤 参考 背景 多机之间多gpu的联合训练需要开启多机之间的免密登录。 步骤 1.查看本地是否存在秘钥文件 1 2 ls ~/.ssh/id_rsa.pub 注意:如果不存在的话需要进行第二步,存在的话就直接跳转第三步骤 2.使用 ssh-key-gen 在本地主机上创建公钥和密钥 ...

deepspeed

"deepspeed"

环境 环境 1 conda install mpi4y mpich -c conda-forge

大模型综述

"llms"

概述 背景 GPT 资源 数据集 库资源 训练 数据 数据预处理 架构 模型训练 大模型适配微调 参考 概述 从技术上讲,语言建模...

大模型综述

"llms"

概述 背景 GPT 资源 数据集 库资源 训练 数据 数据预处理 架构 模型训练 参考 概述 从技术上讲,语言建模(LM)是提高机器语...

推荐系统概述

«««< HEAD layout: post title: “推荐系统概述” subtitle: “ "recommend"” date: 2023-05-22 18:00:00 mathjax: true author: “zwt” header-img: “im...

动态权重

«««< HEAD layout: post title: “动态权重” subtitle: “ "recommend"” date: 2023-03-14 18:00:00 mathjax: true author: “zwt” header-img: “img/...

Sklearn

«««< HEAD layout: post title: “sklearn” subtitle: “ "sklearn"” date: 2022-08-18 15:30:00 mathjax: true author: “zwt” header-img: “im...

Pandas

«««< HEAD layout: post title: “pandas” subtitle: “ "pandas"” date: 2022-08-16 18:00:00 mathjax: true author: “zwt” header-img: “img/p...

Numpy

«««< HEAD layout: post title: “numpy” subtitle: “ "numpy"” date: 2022-08-16 18:00:00 mathjax: true author: “zwt” header-img: “img/pos...