标签:# NLP

Prompt Learning

Prompt Learning 的本质就是将所有下游任务统一成预训练任务; 以特定的模板,将下游任务的数据转成自然语言形式,从而充分挖掘预训练语言模型本身的能力。

Copy is All You Need

最近在paper with code刷论文的时候,看到了一个很唬人的文章“《Copy is All You Need》”,遂找来研读研读,发现内容还是很有意思,准备写一篇阅读笔记的,偶然发现了这篇文章作者的采访稿,将文章背后的故事都介绍的挺详细的。于是乎转载一下(不是偷懒)

LONGNET: Scaling Transformers to 1,000,000,000 Tokens

前段时间刚介绍了能使模型处理上下文扩展到百万级别的方法,现在微软又提出了一种能扩展到十亿级别的方法(不过有标题党的嫌疑,因为在实验中作者只扩展到了百万级别)

LoRA

在如今大模型时代,如果需要微调一个大模型无疑在时间和金钱方面的消耗是巨大的,而LoRA通过冻结了预训练的模型权重,并将可训练的秩分解矩阵注入到Transformer架构的每一层中,大大减少了下游任务的可训练参数的数量。尽管LoRA使得可训练参数更少,但是与微调效果相比结果相当甚至更好。

Longformer

Longformer是一种用来拓展模型在长序列建模的能力算法,它提出了一种时空复杂度同文本序列长度呈线性关系的Self-Attention,用以保证能够使得模型高效处理长文本。

SimCSE

最近做实验需要用到Sentence Embeddings(句向量),特地研究了一下句向量相关模型算法,其中 SimCSE 模型是目前比较火、效果也比较好的一个模型。