随着人工智能的迅速发展，大模型成为了推动人工智能技术进步的重要驱动力。然而，构建高质量的人工智能大模型所需的数据集却面临着巨大的挑战。吉利星睿数据智能产业学院系列横向课题正式发布，系列横向课题涉及数据治理、大模型测评、数据集建设等多个领域。
此合作课题方向为开放数据集中英文数据集涉政、安全检测（黄赌毒等）过滤和高质量PDF书籍数据集构建，任务目标包括完成中英文政治敏感检测算法开发以及完成PDF书籍数据集清洗算法开发及数据集制作。
基于吉利星睿数据智能产业学院系列横向课题的验收标准，此课题将达到以下七点：
1、验收抽查数据不少于1万条；
2、误删除率低于5%，漏删除率低于万分之一；
3、清洗后书籍总数高于100万册；
4、验收随机抽查样本不低于1000个；
5、过滤后数据合格率需高于99.9%；
6、对书籍中的表格，公式，列表项等特定格式内容进行识别，并转换为markdown格式；
7、数据合格率：包含但不限于删除无意义文本（页眉页脚，图注，书本出版信息，目录，参考文献等），语句前后通顺，开头和结尾符合逻辑，标点符号和语句内容完整，不出现重复语句和标点，无错误符号。
人工智能大模型数据集建设对未来影响深远，为研究和应用领域提供更广泛的数据基础，促进了技术进步和创新，它对研究者、工程师和决策者等不同人群提供了更准确、高效的分析和决策依据，推动了社会发展。
