数据到文本任务的文本到文本预训练（CS CL）---刘子蔚

我们研究了数据到文本任务的训练前+微调策略。对T5进行微调可以在WebNLG，MultiWoz和ToTTo基准测试中获得最新的结果。此外，模型是完全端到端的，并且不依赖于任何中间计划步骤，去词法化或复制机制。T5预训练还可以实现更严格的概括，这一点在域外测试集的巨大改进中得到了证明。我们希望我们的工作为将来的研究提供有用的基线，因为预训练在数据到文本任务中变得越来越普遍。

原文标题：Text-to-Text Pre-Training for Data-to-Text Tasks

原文：We study the pre-train + fine-tune strategy for data-to-text tasks. Fine-tuning T5 achieves state-of-the-art results on the WebNLG, MultiWoz and ToTTo benchmarks. Moreover, the models are fully end-to-end and do not rely on any intermediate planning steps, delexicalization or copy mechanisms. T5 pre-training also enables stringer generalization, as evidenced by large improvements on out-of-domain test sets. We hope our work serves as a useful baseline for future research, as pre-training becomes ever more prevalent for data-to-text tasks.

原文作者：Mihir Kale

原文地址：https://arxiv.org/abs/2005.10433