Notes on TPU&GPU

A800关于fabricmanager的迷思

Memo | Linux mount at start time

Memo | Choices to Deploy DeepSeekR1

Memo | Deploying DeepSeekR1 on Ascend Card

LLM | RAG System Learning and Thinking

bashrc里一个控制命令提示符显示的变量

Memo | Ubuntu 修改 PS1

以后再提示torch和本机CUDA不匹配的时候可以试试带上它

ProbSolv | pip no build isolation开关的观察

挺麻烦的，不然节点显示Error连不上

Memo | Clash-for-windows正确开启Tun模式

Memo | Arc 浏览器 UWP 限制解除

LLM | Machine Unlearning

DLBasic | AI/ML Revision

将隐藏状态建模成可训练的模型

papers | Learning to (Learn at Test Time): RNNs with Expressive Hidden States

papers | From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning

Tools | github镜像前缀

Memo | 无root权限安装zsh

Tools | 保存dataframe

Memo | win11安装wsl2和docker

主要讲SFT数据选择不应太关注于数据质量和多样性（预训练数据才关注）

papers | Rethinking Data Selection for Supervised Fine-Tuning

Notes | 读论文积累经验

papers | Aligning Large Language Models with Human: A Survey

Tools | Linux命令行从百度云下载文件到服务器

Tools | git 101

BioInfo | papers | BioInfo+LLM (生信)

提供两种方案：modelscope和镜像站

Tools | HF被墙替代方案

1.本地生成一对key；2.将.pub上传到远程主机的authorized_keys 

Memo | ssh免密登陆

研组布置的文献阅读任务。。。啥也不会

BioInfo | papers | Benchmarking spatial clustering methods with spatially resolved transcriptomics data

LLM | (小白向) hf模型页的各种文件是啥

LLM | 关于llm的tokenizer

Foundation | Overfitting

过度训练让中度模型「涌现」结构泛化能力('fake it till you make it)

papers | Grokking of Hierarchical Structure in Vanilla Transformers

LLM | Re:从零开始的预训练~1b模型

Meeting | GTC 2024 Notes

重装系统，重装devcpp发现cmd没法用gcc/g++，不方便命令行编译，需要重新写进环境变量

Memo | 将Devcpp的gcc配置到系统环境变量

对torch的tensor操作等再熟悉一下，为手撕系列开坑做准备

Foundation | HandsOnDL-pytorch

ProbSolv | vim粘贴缩进错乱

在有单一模型文件损坏时很好用的这个方法

Tools | curl下载魔搭指定文件

ProbSolv | docker daemon重启报错起不来

Meeting | 华为推理交流 - 910b & 新卡 800I A2

一种可能是开梯但是conda镜像设置了国内，还有可能是相反

ProbSolv | conda报SSL错误

代理设置出错，只需重置代理即可

ProbSolv | git clone报错gnutls_handshake() failed

Research | ViT & ViViT & DiT

LLM | Gemma

先看着点，等闲了系统学下CUDA编程

CUDA | BlogNote-Optimize Matmul Kernel

文生视频模型，感觉pika要凉……

LLM | CloseAI-Sora初步了解

ProbSolv  | win进行ssh连接和scp的坑

LLM-QAT论文的实验+KDTrainer实现细看

EXP | LLM-QAT Experiments

Tools | pycallgraph

GPU | GPU虚拟化：直通 & vGPU

GPU | A800 PCIe & SXM4 Differences

ProbSolv | 惠普战66三代Intel版升级win11

一些写过的数据处理、可视化、工具代码

CodeBank | MyToolCodes

梯度裁剪—应对梯度爆炸的方案

Foundation | Gradient Explosion

主要看量化感知训练和ft，后量化不做重点

Research  | LLM Quantization

papers | RoSA

见过两次了，通过它了解一下prefill的概念

papers | FlexGen

Tools | nvidia smi 监控矩阵

ProbSolv | bash换到zsh原有命令没了

Tools | nvidia软件栈版本查看

记录一下吧，以后应该还会用到

Memo | Docker镜像制作流程记录

Tools | hf镜像站+huggingface-cli

Foundation | Backpropagation

PyTorch使用缓存分配器来加速内存分配。缓存分配器中未被占用的内存，nvidia-smi也显示为使用

Tools | cuda.memory_reserved()查看显存&visualize

iterm2基本用法、profile配置、sshpass配置

Tools | iterm2

Thoughts

为了降低显存占用，将部分数据和计算放到CPU上

papers | ZeRO-Offload: Democratizing Billion-Scale Model Training

Tools | Tmux

Memo | vllm/tgi部署流程

ProbSolv | nvidia-smi NVML/driver版本不对

ProbSolv | VSCode连服务器无权限新建/修改文件

NV的论文,晓慧姐放在issue上的;提出了sequence parallelism

papers | Reducing Activation Recomputation in Large Transformer Models

Tools | Docker

模型蒸馏论文第一次提出的带有温度的softmax，为了保持类别之间的相关性的信息

Foundation | Softmax with Temperature

papers | Distilling the Knowledge in a Neural Network

MoE的元老级paper,探讨了合作和竞争的损失函数,提出了gate network选择一个专家

papers | Adaptive Mixtures of Local Experts

A800遇到2次了，是因为nvidia-fabricmanager自动升级了，降级成匹配的驱动版本就行