首页 / 学术科研 / 学术活动
学术活动

学习与解决,大数据的奥秘|吕威:大数据决策与思维

发布时间:2023-12-26 10:00:00 阅读量: 153

编者:罗晴天 摄影:曹泽铖、樊思哲 审核:刘孟杭、杨京潮

        2023年12月25日14:30-17:30,在书新五号楼西303进行了一场大数据决策与思维的课程学习,本次课程的主讲老师是吕威老师。

图片3.png

        课程伊始,吕威老师接着上节课程的内容进行讲解,对于完成一个项目需要的步骤,问题定义描述问题,描述解决问题的方法以及所需结果。如何加载数据集,吕威老师给同学们提供了阿里云的TIANCH天地、百度的飞奖两个国内较好的数据集,以及国外的kaggle和Product两个数据集,可以从上述数据集中搜集所需要的数据集来进行项目的实现。

        紧接着,吕威老师讲述对搜集的数据要进行探索初步了解得到的数据的数据类型,查看每个维度的含义以及数据的分布情况,并且对所搜集的数据根据不同的情况对数据中不认识的数据进行专业的找寻,然后对数据进行可视化,该matplotlib可视化是以蓝色为基调较有着很强的严肃感可以应用于毕业项目和一些较为严肃的项目的使用,用于课程展示能更好的展示自己讲解的课程。

图片4.png

        随后,吕威老师讲述如何对数据进行处理,我们在所得数据要对数据进行清洗对原始数据进行处理和筛选,去除不必要的信息、纠正错误和缺失值,使数据更加准确、完整和可用。数据清洗的目的是为了提高数据的质量,确保数据分析和挖掘的准确性和可靠性。

        课程最后,吕威老师运用数字资产比特币2012年至2021年实际涨幅数据中的其中10万条数据来构建了一个实际项目,在项目过程中更新特征模型特征来与之前的特征进行比较,最后对得到的模型进行评估和优化完成了该实际数据项目。

图片5.png

        本次课程,吕威老师的详细讲解使同学们认识到在解决问题目标中遇到的一个大问题就是整个数据集中大量的数据,要如何减少计算训练和评估的成本,如何尽可能的减少不必要的特征,来平衡模型精确性和训练/预测速度之间的关系。

上一篇:  ISAIR 2023人工智能国际会议暨人工智能与机器人研讨会|张彦春:智慧医疗:医学大数据挖掘及AI在疾病诊断及病人监测预警健康管理的创新应用 下一篇:  ISAIR 2023人工智能国际会议暨人工智能与机器人研讨会|刘勇:多源融合SLAM现状与挑战