记录

聚焦 NLP、机器学习、深度学习与工程实践的学习记录与项目笔记
AI · NLP · ML · Engineering

Practical AI Notes, Systems, and Engineering

围绕 NLP、LLM、机器学习与工程实践,持续沉淀值得复用的方法、系统设计、实验记录与项目思考。

Focus NLP / LLM / ML
Style Notes · Practice · Systems
Content Articles · Experiments · Engineering
Latest Posts

deepagents 深入解读

LangChain 为什么开始认真做 Agent Harness

项目信息 先说结论:deepagents 值不值得跟 它到底在补什么坑 为什么说它不是“又一个 agent 框架” 1. 任务不是一次生成,而是一个过程 2. 文件系统不是附属品,而是任务记忆的一部分 3. 子代理不是为了酷,而是为了隔离复杂度 ...

Chronos: Temporal-Aware Conversational Agents with Structured Event Retrieval for Long-Term Memory

"Event calendar + turn calendar + dynamic prompting for long-term temporal memory"

0. 论文信息 1. 这篇在解决什么问题? 2. 核心思路(一句话) 3. 方法(可复现视角) 3.1 两个日历(两个索引) A) Turn Calendar(原始对话索引) B) Event Calendar(结构化事...

XSkill

"Continual Learning from Experience and Skills in Multimodal Agents"

论文信息 这篇论文在做什么 核心方法 1. 双流知识库:Skill + Experience Skill Library Experience Bank 2. 两阶段框架 ...

llama

"llama"

Llama 结构 加速训练 指令微调 Pre-normalization优势 其它 Llama2 数据清洗 改进点 SFT llama2-chat ...

对齐

"对齐"

LIMA:Less Is More for Alignment

微调

"微调"

为什么需要高效微调 Adapter Tuning Prefix Tuning prompt tuning p-tuningv1 p-tuningv2 lora 基础 训练策略 qlora Quantize ...

matplotlib

"matplotlib"

中文乱码问题 中文乱码问题 删除缓存 1 2 3 import matplotlib as mpl print(mpl.get_cachedir()) # /Users/xiewenwen/.matplotlib 下载字体SimHei fc-cache -fv 刷新...

Github

"Hello World"

github page 设置过程 制作自己的主页 支持Latex github git操作 git再windows中密码出错 git生成ssh question google Colab .git删除大文件 git ...

token

"token"

大词表优劣 优势 劣势 参考 大词表优劣 优势 LLM通常是自回归,解码的token越多,速度越慢。通过增大词表就可以缩短序列的长度,提高压缩比率。也就是说模型处理相同的序列所对应的token会变少(极端情况下每句话都对应一个token,则一个序列就...

softmax

"softmax"

softmax公式 什么是上溢下溢问题 softmax计算时的问题 如何解决 参考 softmax公式 \(\operatorname{Softmax}\left(z_i\right)=\frac{\exp \left(z_i\right)}{\sum_j \exp \left(z_j\r...