构建多模态教学知识图谱的方法与流程

本发明涉及计算机数据处理领域，尤其涉及一种构建多模态教学知识图谱的方法。

背景技术：

个性化学习是教育改革和发展的永恒主题，随着大数据、人工智能等技术的迅猛发展，以知识图谱为核心的新一代人工智能技术的回归，使教学知识图谱辅助教师实现智慧课堂的教学成为可能。知识图谱是一种叫做语义网络的知识库，即具有有向图结构的一个知识库，其中，图的节点代表实体或概念，而图的边代表实体/概念之间的各种语义关系，但现有的教学知识图谱多为文本形式呈现知识点，文本形式的知识点或实体相关信息的呈现是非常单调且不完整的，因此，传统的知识图谱很大程度上只是完成了文字知识的收集与整合，对学生而言，没有图片、音频、视频等多媒体资源的配合，枯燥的文字无法充分调动学生的学习兴趣。

因此，亟需一种涉及文字、图片、音频和视频等多媒体资源的知识图谱。

技术实现要素：

有鉴于此，本申请提供一种多模态教学知识图谱的方法。

本申请提供一种构建多模态教学知识图谱的方法，其特征在于：所述方法包括以下步骤：

s1：构建目标教材的知识点以及所述知识点对应的属性；

s2：根据所述知识点及所述知识点的属性从多个数据源获取多个原始数据，所述原始数据包括图片、音频或视频资源；

s3：以目标教材的教学大纲为主题，对步骤s1和步骤s2的数据进行处理，生成教学知识图谱。

进一步，所述步骤s1具体包括：

获取目标教材文本资源；

对所述文本资源的预处理；

采用tf-idf完成知识点提取；

完成知识所述知识点提取后，根据目标教材课程标准和教学大纲输入属性。

进一步，所述预处理包括文本格式转换、分词和新词合并。

进一步，所述根据所述知识点及所述知识点的属性从多个数据源获取多个原始数据之前，还包括创建知识抽取策略。

进一步，所述知识抽取策略包括：根据预设的教学知识图谱的趣味性要求，创建所述知识抽取策略。

进一步，所述以目标教材的教学大纲为主题，对步骤s1和步骤s2的数据进行处理，生成教学知识图谱之前，还包括创建知识图谱构建策略。

进一步，所述图谱构建策略至少包括知识点属性映射策略：所述知识点属性映射策略以学科教学规律、教学大纲和培养目标为基础，以知识点的方向性、相互性和传递性获得知识点属性映射策略。

进一步，所述预设的知识抽取策略和预设的知识图谱构建策略，对步骤s1和步骤s2的数据集合进行处理，生成教学知识图谱后，还包括：

调整所述知识抽取策略和/或图谱构建策略；

根据调整后的所述知识抽取策略和/或图谱构建策略，生成新的知识图谱。

进一步，所述方法还包括显示所述知识图谱的架构，所述架构包括所述知识图谱的实体信息和属性信息，所述实体信息包括文本信息、图片、音频或视频的一种或多种。

本申请的有益技术效果：本申请通过构建多模态教学知识图谱将目标教材的知识点、知识点间的关系用图谱的形式展现出来，且将多模态融入所述知识图谱中，丰富知识从展现形式，增强课堂趣味性；同时创建一个多模态教与学的互动智慧教育。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的知识图谱构建流程图。

具体实施方式

以下结合说明书附图对本发明做出进一步的说明：

本发明提供的一种构建多模态教学知识图谱的方法，其特征在于：所述方法包括以下步骤：

s1：构建目标教材的知识点以及所述知识点对应的属性；

s2：根据所述知识点及所述知识点的属性从多个数据源获取多个原始数据，所述原始数据包括图片、音频或视频资源；

s3：以目标教材的教学大纲为主题，对步骤s1和步骤s2的数据进行处理，生成教学知识图谱。

在本实施例中，所述模态是指人接收信息的特定方式，包括视觉、听觉、空间感受等多方面，对应到信息的呈现形式上，则可以包括文字、图片、音频、视频或者实物。多模态教学知识图谱不再局限于以文字形式组织知识，二是尝试将多模态知识加入进来，丰富知识的形式和内容。考虑到每位学生的认知差异以及学习风格差异等因素，为更好地为学生提供学习服务，学科知识图谱中的资源具备多模态属性，不仅包含文本形式的学习资源，还包括视频、音频、图片等多种形式的学习资源，以满足不同学生的不同学习需求，从而为其提供更具针对性的学习资源。比如：有的学生喜欢观看视频进行学习，则可以为其推荐更多的视频学习资源；而有的学生更喜欢看图，则可以为其推荐更多的图像形式的学科知识资源。

通过上述技术方案，建立多模态教学知识图谱将目标教材的知识点、知识点间的关系用图谱的形式展现出来，且将多模态融入所述知识图谱中，丰富知识从展现形式，增强课堂趣味性；同时创建一个多模态教与学的互动环境。

在本实施例中，所述步骤s1具体包括：

获取目标教材文本资源；所述目标教材包括教学大纲、教材、教师指导用书；教学知识图谱最终是面向学生的一个知识库，与其他领域知识图谱不同，教学知识图谱的数据质量要求极高，其内容必须准确无误。教学知识图谱主要的数据源必须严谨，因此，教学知识图谱构建所使用的数据源包括教学大纲、教材、教师指导用书，从数据源保证内容的准确性。

对所述文本资源的预处理；预处理包括文本格式转换、分词和新词合并；文本格式转换是为了将所有的文本格式统一，便于后续对文本的进一步处理；

采用tf-idf完成知识点提取；

完成知识所述知识点提取后，根据目标教材课程标准和教学大纲输入属性。

tf-idf(termfrequency–inversedocumentfrequency，词频-逆向文件频率)是一种用于信息检索(informationretrieval)与文本挖掘(textmining)的常用加权技术。tf-idf是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。tf-idf的主要思想是：如果某个单词在一篇文章中出现的频率tf高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

tf-idf算法中的词频表示词条t在领域文档中出现的总次数，通过出现次数计算词条t的词频，实际计算中这个数字需要归一化。逆向文件频率用来对文档进行中的词条进行区分，主要含义是假如逆向文件频次的值随包含词条t的减少而增加，则词条t具有较好的区分能力。逆向文件频率值为文档总数除以包含词条t的文档树，再对结果取对数。即

其中，tfij表示词条t在文档j中出现的频率，d表示目标教材中的总数目，dfi表示目标教材中出现词条的文档数。

在本实施例中，所述根据所述知识点及所述知识点的属性从多个数据源获取多个原始数据之前，还包括创建知识抽取策略。根据预设的教学知识图谱的趣味性要求，创建所述知识抽取策略。本领域技术人员，可根据实际教学要求，来设置，如为了增加趣味性可增加视频、图片和音频在知识图谱中的比例。

所述以目标教材的教学大纲为主题，对步骤s1和步骤s2的数据进行处理，生成教学知识图谱之前，还包括创建知识图谱构建策略。通过知识抽取策略和图谱构建策略，对所述知识点、图片、视频和音频集合进行处理，生成知识图谱。生成知识图谱的过程包括知识抽取、属性映射以及消除歧义归一化处理，其中，知识抽取是指基于目标教材的知识点以及从多源数据源中获取的原始数据进行要素抽取和属性值抽取，经过知识抽取后，可以抽取到知识点以及从多源数据源中获取的原始数据对应的属性等。消除歧义归一化处理是指将指向同一个实体的数据进行归一化处理。

所述图谱构建策略至少包括知识点属性映射策略：所述知识点属性映射策略以学科教学规律、教学大纲和培养目标为基础，以知识点的方向性、相互性和传递性获得知识点属性映射策略。学科知识图谱不仅仅是知识点或者教学资源的堆叠，而是包含知识点之间、知识点与教学资源以及教学资源之间的关系连接。学科知识图谱中结点间的关系主要有三个特征：首先是方向性，知识点之间的关系具有明确的方向指向，并不是杂乱无序的连接；其次是相互性；最后是传递性，如描述知识点之间前序关系，即前序课程、后序课程，因学习是一个循序渐进的过程，因此搞清楚知识点之间的承前启后的关系非常重要，同样，对于构建教学知识图谱的层次结构也是至关重要的。

所述预设的知识抽取策略和预设的知识图谱构建策略，对步骤s1和步骤s2的数据集合进行处理，生成教学知识图谱后，还包括：

调整所述知识抽取策略和/或图谱构建策略；

根据调整后的所述知识抽取策略和/或图谱构建策略，生成新的知识图谱。为根据实际教学需要，教师可根据实际教育目的或教学要求修改知识抽取策略或知识图谱，从而需要根据调整后的所述知识抽取策略和/或图谱构建策略，在图谱生成软件中生成新的知识图谱，以适应不同的教育需求。

在本实施例中，所述方法还包括显示所述知识图谱的架构，所述架构包括所述知识图谱的实体信息和属性信息，所述实体信息包括文本信息、图片、音频或视频的一种或多种。构建教学知识图谱的目的是为了在教学中展现，因此，构建好知识图谱后，所述教学知识图谱可在现有显示器上进行显示，从而实现教与学中知识的展示。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。