2024年6月11日下午2点至3点半，我院智能工程系主任周显春在5西203教室举行了《数据采集与预处理》课程设计的要求讲解和动员会。此次课程设计旨在提升学生的实际操作能力，通过自主设计和实现数据采集与预处理项目，使学生在实践中掌握理论知识，并能够独立分析和解决实际问题。
一、课程设计的目的和意义
本课程设计致力于通过实际操作强化学生的数据采集与预处理技能，增强Python编程能力，并通过实际案例训练学生的问题分析与解决能力。此外，课程设计还旨在提升学生的项目开发规范意识和文档编写技巧，以理论知识和实际应用的结合，培养学生独立处理和分析数据的能力。
二、课程设计要求
在本课程设计中，学生需独立完成至少一项项目，通过Scrapy或其他框架爬取网站数据，实现数据的采集、存储、清洗和分析。每个项目需明确任务目标，合理设计算法，确保数据字段不少于五个，总数据量达到800条以上。学生需要提交一份详尽的设计报告，包括电子版和纸质版，报告不包括源代码部分应不少于5000字、16页，以确保对所学技能的深入理解和掌握。
三、设计的一般步骤与方法
课程设计包括需求分析、数据采集、数据预处理、数据分析与展示。以“链家二手房数据采集与分析”为例，具体步骤如下：
需求分析与选题：确定分析目标，如分析北京市的房地产市场趋势。学生需独立选择具体分析方向。
数据采集：分析目标网站，设计并实现爬虫程序，使用Python和Scrapy框架采集数据，存储到数据库中。
数据预处理：进行数据清洗、数据转换，确保数据质量。
数据分析与可视化：进行描述性统计和深入数据分析，绘制可视化图表。
撰写报告与展示：撰写详细的设计报告，制作PPT进行课堂展示。
四、课程设计参考题目
动员会上还提供了一系列参考题目，涵盖游戏市场趋势分析、名画数字档案库构建与分析、音乐流派受欢迎程度分析等多种主题，帮助学生更好地选择和设计自己的课题。
五、学生动员与指导
在动员会上，学生们积极参与，提出了许多关于课程设计的疑问，得到了详细地解答。同时，发布了课程设计指导书、格式要求、报告模板等材料，确保每位学生都能顺利完成课程设计任务。
此次动员会的成功举办，为数据采集与预处理课程设计的顺利开展奠定了坚实基础。相信通过这次课程设计，学生们将能够更好地将理论知识应用于实际，提升自己的数据分析与处理能力。