内网内容安全语料库数据治理方案

第一阶段        

在进行集团内网建言献策舆情能力建设的初始阶段，我们决定使用基于传统机器学习的自然语言处理技术来构建文本情感分析模型。该方法首先利用词袋模型对文本数据进行向量化处理，之后对向量化的文本—标签对进行基于统计学或动态规划原理的数学建模。而词袋模型高维文本向量的构建需要拥有海量数据的数据集作为支撑，数据量越大，文本的词袋向量越稠密，构建出的自然语言处理模型更加的准确和稳定。而数据来源越广泛，模型也就更加健壮，能够应用于更多的领域。因此，模型训练需要一个至少百万级的情感分析语料库。

由于缺少语料积累，且业界开源的情感分析语料规模一般为千量级，不足以支持业务需求，因此第一阶段我们着力于自行构建一个百万级数据量的情感分析语料库。

但是百万级语料无论从数据收集还是语料标注上，需要消耗的人力和时间成本均难以估计，考虑到时间成本和人力成本，我们从各大购物、旅游、酒店、影评网站收集经过标注的语料，最终得到涉及15个行业的100余万条语料作为训练集。

使用该语料库作为训练集，训练得到的基于机器学习的支持向量机模型在目标场景下获得了0.7685的f1-score，此结果距离在业务场景中实现良好应用还有较大差距，但可以作为一个基准，后续的数据集优化将以此阶段得到的语料库为基础进行。

第二阶段        

第一阶段使用来自互联网数据的商品评价语料库训练模型，在应用于具有金控集团内部社区属性的集团内网场景时并没有取得很好的效果，主要原因如下：

① 商品评价语料往往情感倾向明显，含有较多具有普适性情感倾向的特征词。而金控集团内部社区语料由于实名制和应用生态的不同，情感表达往往比较委婉含蓄。此外相较于金控集团内部社区语料，商品评价语料中含有的金控领域专业术语极少，预训练模型在训练阶段很难对金控领域术语与情感倾向特征词进行情感极性的建模，因此在预测阶段就很难对金控集团内部社区语料进行准确的情感极性判断。

② 商品评价语料和金控集团内部社区语料文本长度分布不同。

在上一节的实验中，我们看到了使用同源化语料进行训练的优势，但当我们单纯地使用这5091条同事吧语料作为训练集进行模型训练后，得到如下结果：

可见，在单纯的同事吧语料库上，ernie预训练模型的效果有所下降，经过分析认为，出现这种情况可能是两方面原因导致：

① 数据量过小，导致模型学习到的情感分析信息较少。

② 数据质量过低，导致模型未能学习到高价值的情感分析信息。

为了进一步探究其中的原因，我们对同事吧语料库进行了进一步的优化，通过人工粗略筛选过滤掉了其中的566条低质量文本，然后以剩余的4525条语料作为训练集进行情感分析模型的训练。得到如下结果：

预训练模型在经过数据量为4525条的高质量同事吧语料库训练后，取得了0.8949的f1-score，高出数据量为5091条的同事吧语料库训练结果0.0120，也高出了同源化语料库训练结果0.0065.可见，上一轮实验中并非因为5091条数据的训练集规模太小而导致训练效果降低，而是因为训练集中有较多语意不明或语法混乱的低质量文本，导致训练过程没有很好地进行。

由此我们得出了一个重要结论：

相较于传统的随机初始化网络参数进行的模型训练任务，预训练模型因为使用了海量的各行各业文本数据进行了词语维度和句子维度的训练，已经能够很好地理解语言的含义与用法。因此使用千量级的高质量训练集进行训练，即可得到高度契合任务目标场景的自然语言处理模型。

基于这样的理论，我们对高质量同事吧语料库进行了更进一步的优化，此次优化不仅进一步严格过滤了高质量同事吧语料库中的低质量语料，而且加入了在金控集团相关新闻中收集的具有情感倾向的文本数据，最终得到了数据量为4177条语料的高质量金控集团情感分析语料库。在经过模型训练后，得到如下结果：

预训练模型在经过高质量金控集团情感分析语料库训练后，得到了f1-score高达0.9102的金控集团文本情感分析模型，高出高质量同事吧语料库训练结果0.0153，这个结果在准确率和稳定性上都具有很高的水平，能够适用于金控集团语境下的文本情感分析任务。

至此内网内容安全语料库治理基本完成。我们在业务驱动下，以模型最终效果为导向进行技术选型与语料库治理——跟随项目阶段进行技术选型，根据技术选型确定语料库特征，根据训练反馈发现语料库问题，从而明确语料库治理的方向。

在实际的语料构建中，我们结合阶段需求统筹项目资源，对e信生态中的应用数据进行合理利用与改造，转化为适合新业务的宝贵资源，并持续进行优化，最终构建出高质量的符合金控集团特色的情感分析语料库，并在实际的模型训练中取得优异的结果。