用Transformer构建自己的GPT2模型

0. 前言 OpenAI 发表 GPT2 已经过去一年多了,在网络上也看到有很多个实现的版本。近期想找一个别人训练好的中文模型进行Finetune,网上找了一圈发现大部

从另一个角度看深度神经网络

0x00 你的网络怎么处理问题的 最开始尝试用DL去做NLP相关任务时候,时不时会想要怎么解析训练出来的网络是怎么去执行这些任务呢?看过NG老师课程的

几种词向量的实现

相关理论 要进行文本分析,首先得要把文本特征化,转成程序可以处理的数据格式。特征化一般要把文本切分成词的形式,所以处理文本时都有一部分分词的工