论文题目：CPM-2: Large-scale Cost-effective Pre-trained Language Models

作者：Zhengyan Zhang, Yuxian Gu, Xu Han, Shengqi Chen, Chaojun Xiao, Zhenbo Sun, Yuan Yao, Fanchao Qi, Jian Guan, Pei Ke, Yanzheng Cai, Guoyang Zeng, Zhixing Tan, Zhiyuan Liu, Minlie Huang, Wentao Han, Yang Liu, Xiaoyan Zhu, Maosong Sun

单位：Tsinghua Univerisity, Beijing Academy of Artificial Intelligence (BAAI)

期刊：Arxiv

发表日期：2021.06.20

论文题目：All NLP Tasks Are Generation Tasks: A General Pretraining Framework

作者：Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang

单位：Tsinghua Univerisity, Beijing Academy of Artificial Intelligence, MIT

期刊：Arxiv

发表日期：2021.03.18

记录一下使用Visual Studio Code编辑Markdown实现实时浏览/更新的方法。

在miniconda下配置环境遇到一些问题，为了以后方便复现，记录一下。

The paper “A Neural Transition-Based Approach for Semantic Dependency Graph Parsing” accepted by AAAI 2018.

$AD^3$(alternating directions dual decomposition)算法出自《Dual Decomposition with Many Overlapping Components》，是对dual decomposition算法的改进，通过增加额外的二次惩罚项来加速收敛，在理论和实践中都更快。这里记录一下将该算法应用于Graph Parsing的子任务解决方法。

语义依存分析模块是LTP新功能，用于生成中文句子的语义依存图（存在语义关系的两个词之间用带标签的有向弧连接，允许一个词有多个父节点，因此是图结构）。这里记录一下该模块的编译及使用流程，方便使用。

现在用的这个在线标注系统部署使用起来有些麻烦，过段时间就忘了，所以这里记录下来。

本文包括三部分，第一部分介绍如何在SAE上部署标注系统，包括代码部分和数据库部分。第二部分介绍预处理和后处理，包括主要php文件概述，CoNLL文件与数据库中保存格式的互相转换。第三部分介绍标注系统使用流程，标注者直接看这里就好。

凯撒

从试验品到革命者，从第一声抵抗人类暴政的呐喊到为两族和平共处做出的无谓努力，凯撒为猿类罗马帝国的付出称得上鞠躬尽瘁死而后已，在奉献了一切之后，他用生命凝成了帝国最后一块奠基石，在他逐渐失去神采的目中看到的应是猿类的乌托邦。

Stanford的CoNLL 2017参赛系统研究，文章见 《Stanford’s Graph-based Neural Dependency Parser at the CoNLL 2017 Shared Task》。该系统来自他们ICLR 2017的文章 《DEEP BIAFFINE ATTENTION FOR NEURAL DEPENDENCY PARSING》，其中删掉了对预测弧标签部分网络结构的具体介绍，可以在Review的版本中找到（虽然有很多错误）。