Technical Note
Transformer长文本处理痛点解析及Linformer线性优化方案
# 长文本处理的痛点
## 计算量随文本长度平方增加
Transformer的致命缺陷：O(n²)复杂度
12/128 1024/64 2048/32 4096/16 8192/8 16384/4 32768/2 65536/1 Sequence length/batch size
想要查看完整笔记内容并体验 AI 智能整理功能吗？
免费注册 MeActTransformer长文本处理Linformer线性优化O(n²)复杂度问题大模型长序列优化