首页 / 学术科研 / 科技前沿
科技前沿

智能版看图说话 ----基于多层语义特征的图像理解方法

2022年5月27日下午,信息与智能工程学院智能科学与技术专业教师肖衡副教授为智科专业与大数据专业的学生开展了一次以“基于多层语义特征的图像理解方法”为主题的专题讲座,讲座在腾讯会议上进行。 本次讲座,肖老师从图像的展示开始,让学生说出图像中的内容,再用计算机实现对图像的描述,用生活形象的对比效果,引入讲座的主题“图像理解”,使学生们对图像理解有了初步的印象。 讲座从三个方面讲解了图像理解的技术: 1. 图像理解的应用与前景 人工智能上升到国家战略地位,体现出人工智能在国家大环境中的受重视程度。近几年人工智能的两大分支——计算机视觉和自然语言处理非常火热,伴随而出的计算机视觉与自然语言处理交叉领域——智能图像理解。它是对图像的语义理解,以图像为对象,知识为核心,研究图像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科。图像理解属于多模态问题,目前较为广泛的应用研究主要在智能视觉监控、图像检索、图像补充、图像描述、智能问答系统等方面。 将语义和图像注意力结合是新的研究点。通过结合视觉注意力和语义注意力,使用多实例学习从图像特征中提取描述词汇作为语义注意力的对象,使得图像理解在现实中具有很好的应用前景。 2. 图像理解的技术与算法原理 利用知识推理去辅助高层视觉语义理解:将人类知识和标签分类法纳入到图卷积网络中构造新的迁移学习跨领域推理算法,再通过语义感知图推理和传输在多个域中保持一致性,实现跨域图像解析的语义包融和互补。肖老师说除了高层视觉语义理解外,基于知识的视觉推理也可以被应用到一些传统的视觉任务当中,突破现有模型的性能瓶颈。 加入注意力机制:注意力机制在自然语言处理上取得的巨大成功引起研究者对图像描述的兴趣。将注意力用到图像描述中,编码端注意力加权图像特征后,把它输入LSTM中解码出描述。主要有两类注意力:软注意力和硬注意力。软注意力是在每一个图像区域中训练一个介于0与1之间和为1的注意力权重,再将各图像区域进行加权求和。而硬注意力则将1作为最大权重、其他区域权重设为0,以实现仅侧重描述一个区域。 图像描述分割技术:基于树结构的多模态循环神经网络模块,将低层特征通过语义引导融合到高层特征中,贯彻自底向上的语义一致性。旨在解决在给定某个自然语言描述下做出跟该表述相关的图像分割,以及如何在抽象的语言表述中实现精细化的分割结果这一问题。 3. 对图像理解方法的研究思考 图像理解涉及到图像与文本之间的转换关系,图像和文本之间的相互转换需要图像的场景识别与理解、目标的检测和识别、图像融合等相关技术,这也是图像理解中最具挑战性的和最具趣味性的研究课题。 未来图像描述模型希望做到自学习方式,利用少量数据集训练出能够生出非常简单的描述,再把此模型使用不同方面、不同时段的在线网络文本中出现句子来训练生成模型,直到生成模型的损失值趋于收敛到极小停止。如果图像与文本的转换技术成熟,那么电脑就具备“看图说话”、“看书做图”、“看图谱歌”的能力。 最后,肖老师对机器视觉前景进行了展望,邀请同学们加入到她的研究课题中,一起学习图像视觉方面的知识,同时鼓励同学们选择自己喜爱的方向进行钻研,抓住机遇,成就更好的未来。

“技术·未来·标准”2021下半年教育信息化技术标准发展论坛在三亚成功举办

2021年12月24-26日,全国信息技术标准委员会教育技术分技术委员会“技术·未来·标准”2021下半年教育信息化技术标准发展论坛在三亚举办。会议由全国信息技术标准化技术委员会教育技术分技术委员主办,三亚学院承办。全国信标委主任余云涛,信标委教育技术分委主任委员、华东师范大学终身教授祝智庭,三亚学院执行校长刘开南教授出席会议,来自清华大学、华东师范大学、北京邮电大学、浙江师范大学、上海交通大学、上海开放大学、三亚学院等高校专家学者,以及锐捷网络、奕科技、青岛伟东云、腾讯教育、新华三、深信服科技、科大讯飞、联奕科技、卓智教育、广州视睿电子科技、北京东方科达教育科技、北京康邦科技、海康威视、卓智教育科技、北京智麟科技等企业代表100多人,通过“线上+线下”方式参加,会议由清华大学教授、信标委教育技术分技术委员会秘书长郑莉主持。 郑莉,清华大学教授、信标委教育技术分技术委员会秘书长 刘开南,三亚学院执行校长 12月25日,“技术·未来·标准”教育信息化技术标准发展论坛精彩纷呈,本次会议采用了“线上+线下”混合式报告模式。 余云涛,全国信标委主任 祝智庭教授在线上带来了主题报告《研制教育信息化产品安全标准体系,构筑我国教育信息化安全盾牌》,详细阐述了教育技术未来发展趋势,为教育技术分委的工作指明了方向。来自华东师范大学的吴永和教授在现场做了《教育数字转型的战略机遇与标准需求》报告。 吴永和,华东师范大学教授 清华大学高工杜婧在线上做了《物联网国际标准研究进展及教育领域标准研究展望》主题报告。北京邮电大学教授李青做了《在线学习促进者国际标准的研制》线上报告。上海开放大学肖君做了《OMO智慧学习环境场景下的技术标准构建和应用》主题报告,浙江师范大学黄昌勤教授带来了《AI技术支持下智慧课堂与在线学习两类场景的测评指标体系构想》主题报告。各位专家从理论的高度解决回答了信息技术标准的问题。 来自伟东云、腾讯教育、新华三、深信服科技、科大讯飞、联奕科技、卓智教育、广州视睿电子科技、北京东方科达教育科技各位专业人员带了行业的最新实践和实践中遇到的问题、困惑以及解决方案,在技术探讨中寻求教育信息化技术标准的解决方案。 一个个精彩的报告将论坛推向高潮。各位专家和企业代表畅所欲言,深刻探讨未来技术与标准,如何在新时代、新技术的背景下,推进教育技术的标准化发展。 文字:信息与智能工程学院 摄影:工学部通讯社摄影部 审核:董家道

我院教师参加线上2021大数据教育与产教融合高峰论坛

大数据技术是引领新一轮社会变革的战略性技术,正在改变社会的生产活动和人们的日常生活,对经济发展、社会进步等方面产生重大影响。为深入贯彻党的十九届五中全会“建设高质量教育体系”的部署,全面贯彻落实全国教育大会精神、新时代全国高等学校本科教育工作会议精神和《促进大数据发展行动纲要》文件精神,推动大数据创新人才培养。2021年10月29日-10月31日在桂林由教育部高等学校计算机类专业教学指导委员会、全国高等学校计算机教育研究会决定联合主办“2021大数据教育与产教融合高峰论坛”,我院大数据专业周显春副教授受邀参加线上会议。 线上2021大数据教育与产教融合高峰论坛 本次论坛重点关注:培养国家急需的大数据人才,支撑我国大数据产业的自主创新发展;以一流专业建设为契机,推动大数据人才培养体系和课程体系建设;推进大数据专业与产业链头部企业进行全方位产教融合,开展高质量人才培养和高水平科学研究。 国家级教学名师、教育部高等学校计算机类专业教学指导委员会副主任委员蒋宗礼教授线上致辞 在开幕式中,国家级教学名师,教育部高等学校计算机类专业教学指导委员会副主任,蒋宗礼教授和清华大学出版社常务副总编辑、副社长,致辞。在会中,蒋宗礼教授首先做了《提高课程教学站位 培养学生解决复杂工程问题的能力》报告,强调培养学生能力培养。接着,中国人民大学信息学院副院长、张孝教授、中南大学计算机学院副院长、奎晓燕教授、同济大学计算机科学与技术系副主任、卫志华教授,分别以《以数据为中心的思维、方法、技术与实践——大数据专业人才培养模式的探索》、《数据科学与大数据专业建设与改革探索——以中南大学为例》、《同济大学数据科学与大数据技术专业建设探索与实践》分享了人才培养的成功经验和解决问题的方法;桂林电子科技大学教务处处长、常亮教授通过《能力导向 规范牵引 地方高校计算机类专业新工科人才培养实践》分享了该校近几年专业建设的成果。百度高校合作部项目张崇乐经理、中国高科集团产教融合事业部徐俊辉总经理、杭州睿数科技-海豚实验室创始人兼 CEO吴仲毓、中国开源软件协同创新中心尹刚主任分别通过《大数据产教融合的探索与实践》,《新工科产教融合模式探索与实践》,《高校大数据专业与实验室建设“新范式”》,《构建大数据专业课程在线实践教学生态系统——头歌平台大规模探索与实践》报告分享了大产业应用及产教融合等问题,包括数据产教融合创新平台、应用场景平台、联合实验室、实训基地建设,呼吁高校、企业顺势而上,强强联合培养社会需要的大数据人才。 本次大会报告内容丰富、形式多样,契合了大数据发展背景下产教融合的切实需要。通过这次高峰论坛,知晓了兄弟院校在大数据人才培养过程中宝贵经验和存在问题及解决方案的探索,与知名企业的交流互动更加坚定了积极探索产教融合新方法、新模式、新路径,充分吸收知名企业在大数据专业建设中的成果,大力推动本专业和其他兄弟院校和企业进一步交流,促进本专业快速发展,将是本专业建设的重心之一。 论坛线下代表合影

我院教师赴工业互联网企业学习

为进一步推进产教融合,为我院开设工业互联网产业学院积累实际经验。7月中旬至8月中旬,信息与智能工程学院吴刚、罗通两位老师赴重庆广域铭岛数字科技有限公司进行学习。 广域铭岛数字科技有限公司是吉利集团全资子公司,吉利工业互联网平台全球总部,是重庆市政府引进的工业互联网领域重点企业。公司基于吉利数十年制造经验和资源打造的跨行业、跨领域、多场景工业互联网平台设计、研发及运营企业,承接集团智能制造和数字化转型业务,并致力于在此基础上实现跨行业、跨领域的产业赋能、技术创新及多场景融合应用。 两位老师首先通过参观交流的形式,了解了广域铭岛数字科技有限公司的基本概况,对公司的主要职能和结构组成有了基本的认识。随后,两位老师重点对Geega工厂数字化解决方案进行了学习。最后,通过与各部门相关技术人员的交流跟踪学习,两位老师重点学习了由广域铭岛数字科技有限公司自行开发的Gpass企业级云原生平台、大数据平台、物联网平台。 此外,两位老师还参观了其他相关机构。7月26日,两位老师参观了腾讯云工业互联网基地,腾讯云互联网基地是腾讯在西南地区落地的首个工业互联网基地,主要利用云计算、大数据、物联网,人工智能、区块链,安全等领域领先的技术和丰富的生态能力,运用数字化手段全面提升企业“研,产,供、销、服”各环节能力,助力产业数字化转型。通过参观,两位老师对工业互联网的具体应用场景有了更加直观的认识。 7月27日,两位老师参观了中国信息通信研究院工业互联网创新中心,主要参观学习了工业互联网标识解析国家顶级节点(重庆节点)的相关内容,重庆节点是我国部署的五大工业互联网标识解析顶级节点之一,主要面向西部进行标识解析。通过参观学习,两位老师对工业互联网标识解析技术有了一定的了解。 通过此次学习,两位老师对工业互联网从基本原理到基本架构、以及具体应用场景有了比较全面的认识,对我校相关人才培养工作的开展具有一定的探索意义。

我院领导和老师调研工业和信息部重点实验室

2021年4月8~10日,三亚学院执行校长刘开南教授,信息与智能工程执行院长杨涛教授、理工学院执行院长周密教授等一行五人在国家工业信息安全发展研究中心调研了工业和信息部重点实验室建设情况,汽车系贾志成教授、数据科学与大数据技术专业主任周显春副教授参加调研。 图1 调研小组在实验室前合影 实验室李主任向带领调研组参观了工业和信息部重点实验室。详细介绍了下一代互联网关键技术基础设施-Handler系统所作的技术开发和应用工作。Handle系统能提供符合国际标准的、全球统一的标识服务和信息管理,为政府部门、相关企业提供应用系统和商业模式改进服务。可以在安全的前提下低成本实现与原有系统的无缝对接及不同应用系统间低成本的互操作,有效解决信息孤岛问题,实现跨平台跨部门的信息共享交换。在产品的生产、流通过程的信息管理和产品质量的追溯中有非常重要应用。接着,介绍了实验室申报和建设情况。 图2 调研组参观工业互联网实验室 图3 专家介绍Handler系统 刘开南副校长和杨涛执行院长对重点实验室获批以来取得的成果表示肯定,提出要加强学科、学位点、专业一体化建设,加强科研平台对学科的支撑作用,需要充分了解国内工业互联网和信息安全发展情况,抓住工业互联网信息安全的发展契机,扎实推进相关研究,更好的支撑学校重点学科计算机科学与技术建设。 图4 工业互联网实验室内部 此外,双方从实验室的建设、1+X证书、企业场景案例化/项目化和产业创新基地四个方面进行合作进一步交流。 此次考察交流虽然时间紧、任务重,但是收获颇丰、受益匪浅。我院将学习借鉴有益经验,加强内涵建设,勇于担当、积极作为,为学校高质量发展做出新贡献。 国家工业信息安全发展研究中心(工业和信息化部电子第一研究所)简称国家工信安全中心,是工业和信息化部直属事业单位,是我国工业领域国家级信息安全研究与推进机构。中心现有科研办公面积50000多平方米,总资产近10亿元。现有在职人员近700人,其中科研业务人员占比为84%、硕博人员占比为59%、中高级职称人员占比为54%。中心以“团结 敬业 创新 有为”为核心价值理念,曾先后获得“中央国家机关文明单位标兵”“首都文明单位标兵”等荣誉称号。

“未来全球财富新方向”——区块链专业

什么是区块链?提到区块链,人们最先想到的就是比特币。区块链是比特币的一个重要概念,该概念在中本聪的白皮书中提出,其存在主要目的是用于验证其信息的有效性。简单来说,区块链是一个分布式的共享账本,是一个去中心化数据库,一切存在中心化账本的技术都具备区块链应用前景。区块链工程涉及计算机科学与技术、软件工程、网络空间安全、数据科学与大数据技术等多个学科的理论与技术,需要多学科的交融。 习近平总书记在中央政治局第十八次集体学习时强调把区块链作为核心技术自主创新重要突破口,加快推动区块链技术和产业创新发展。从2016年区块链作首次作为战略性技术写入《“十三五”国家信息化规划以来》,在各种政策的推动下,区块链技术在中国迅速发展,不断加速着融入各行各业的步伐。 区块链可用范围十分广泛,包括智能合约、证券交易、电子商务、物联网、社交通讯、文件存储、存在性证明、身份验证、股权众筹等,其在金融行业和网络信息产业的应用尤为突出,在“构信无界—数字通证高峰论坛暨SLA年终盛典”上,区块链经济学者朱幼平在主题演讲中提出“区块链是未来全球财富新方向。”,“区块链的能量远超于5G。”充分展现出区块链充满机遇的发展前景。现如今,区块链技术在中国的发展依然处于起步阶段,这意味着需要更多专业人才的探索与研究。区块链工程专业旨在不断为社会和企业培养自主创新产业复合型、应用型高新技术人才。 编辑:崔鑫