一种话题排序方法及装置与流程

本发明涉及计算机技术领域，尤其涉及一种话题排序方法及装置。

背景技术：

随着各种社交媒体的日益普及，信息传播的速度越来越快，传播途径也越来越广泛，应用在这些信息之上的话题探测和追踪技术(tdt)也变得越来越热门。

一般意义上的话题探测指的就是挖掘出新的、热门的、重要的、有价值的话题，但是，在话题检测的过程中会发现非常多的话题，有的是已经存在话题的延续和变形，有的是新兴话题，当然更多的可能是无意义的垃圾话题。话题探测的目的，就是通过对话题的排序来统计哪些话题是用户感兴趣的话题。而一般的话题排序所参考的因素包括文档的来源(如重大新闻网站新闻头条、统一资源定位符(uniformresourcelocator，url)层级深度等)、发布时间(时间越近发布的话题是越热门的)以及话题的提及量等，利用这些因素综合计算一个话题得分，然后通过对得分的排序进行输出。

然而，现有的话题排序技术所需要参考的因素较多，并且许多是附加到话题内容中的附加因素，而各个因素融合的参数调整过程也比较复杂，同时对语料的要求比较高(比如，需要明确知道文档发布时间的，但是通过页面浏览器解析的方式获得的发布时间可能是不准确的甚至是缺失的)。因此，现有的话题排序方式在实际实施过程中，效果并不是特别理想。

技术实现要素：

有鉴于此，本发明提供一种话题排序方法及装置，主要目的在于通过分析话题中关键词的重要程度来区分话题的重要性，并依此排序。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供了一种话题排序方法，该方法包括：

确定话题语料中的词语重要性，所述词语重要性为所述话题语料中的词语在区分一个话题时的区别程度；

提取所述话题语料中一个话题的关键词；

利用所述词语重要性计算所述关键词的话题重要性，所述话题重要性为所述话题语料中的每个话题针对于所述关键词所具有的重要性；

根据所述话题重要性对所述话题语料中的话题进行排序。

另一方面，本发明还提供了一种话题排序装置，该装置包括：

确定单元，用于确定话题语料中的词语重要性，所述词语重要性为所述话题语料中的词语在区分一个话题时的区别程度；

提取单元，用于提取所述话题语料中一个话题的关键词；

计算单元，用于利用所述确定单元确定的词语重要性计算所述提取单元提取的关键词的话题重要性，所述话题重要性为所述话题语料中的每个话题针对于所述关键词所具有的重要性；

排序单元，用于根据所述计算单元计算的话题重要性对所述话题语料中的话题进行排序。

依据上述本发明所提出的话题排序方法及装置，通过统计给定范围的语料中所有词语在语料中的词语重要性来确定每个词语在不同话题中的重要程度。同时，对语料进行话题探测与划分，并针对每一个话题进行关键词的提取，在确定该话题中的关键词后，根据该关键词在整体语料中的词语重要性来确定针对于该关键词的话题在所有话题中的重要性，即根据话题中关键词的词语重要性来确定话题的重要性排序。与现有的综合话题多方面因素的排序方式相比，本发明所采用的话题排序方式不需要话题的附加因素，完全根据话题本身所提取的关键词进行判断，因此，不存在判断依据不准确或缺失的情况，能够有效地应用于实际操作中，完成对话题重要性的有效排序。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于 本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提出的一种话题排序方法的流程图；

图2示出了本发明实施例提出的另一种话题排序方法的流程图；

图3示出了本发明实施例提出的一种话题排序装置的组成框图；

图4示出了本发明实施例提出的另一种话题排序装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种话题排序的方法，该方法应用于对固定语料范围中所划分的话题进行重要性排序，语料一般是由许多的基础文档所组成，且其中文档的内容各有不同，而话题就是将语料中内容相似或相近的文档进行归类，在一定规模内的语料中，根据话题划分等级以及划分方式的不同，可以将一批语料划分为多个不同的话题，每个话题之间的内容不同，而在语料中要对不同的话题进行描述则可以通过一系列有代表性的关键词组合进行表示。其中，每个关键词都具有话题区别程度的重要性，也就是说，在固定的语料中，一个话题中的关键词在表达其对该话题的重要性的同时，也可以用于表示该关键词在其它话题中所具有的重要性。因此，本发明实施例所提供的话题排序方法是根据一个关键词或一组关键词所表达的意义在固定语料范围中进行的重要性排序，通过这一个关键词或一组关键词分别在不同话题中的重要性指标来确定话题的排列顺序。具体的步骤如图1所示，包括：

101、确定话题语料中的词语重要性。

首先，是要确定一个固定的语料范围，不论范围的大小，在该范围中 的语料文档在进行分析时应是固定不变的。在有了语料中的文档后，需要对这些文档进行加工处理，最基本的是要对文档进行分词处理，去重后得到一个组成文档以及语料的词组集合。该词组集合中记录有组成该语料所有文档的基础词语，即语料中的任何一个文档都可以通过该集合中的词语所组成。

其次，是对语料中的文档进行话题的划分，生成多个话题，每个话题中含有语料中至少一篇的文档。对于话题的划分方式，所采用的话题探测与追踪技术是现有信息处理技术中已被广泛应用的技术，对此，本实施例不做话题划分的具体介绍，同时也不限定划分话题的具体方式。

在进行话题划分的同时，确定词组集合中每个词语在语料中的词语重要性，该词语重要性是指话题语料中所包含的词语在区分一个话题时所具备的区别程度，可以通过数值的方式进行表示。而该词语重要性可以通过该词语在整个语料中出现的次数确定，也可根据出现在语料文档中的文档数量进行确定，还可以通过计算该词在语料中的tf-idf值来确定，其中，词频(termfrequency，tf)指的是某一个给定的词语在一个文档中出现的次数。出现次数越多，越重要。逆向文件频率(inversedocumentfrequency，idf)指的是一个词语普遍重要性的度量。即一个词在越多文档中出现，则说明该词的重要性越低。对于词语重要性的确定方式可根据实际情况进行具体分析，本发明实施例不限定具体的确定方式。

102、提取话题语料中一个话题的关键词。

根据上述101的描述，在已经划分好的多个话题中选取一个话题。并在该话题所包含的文档中提取至少一个的关键词。关键词的提取同样可参考上述步骤中判断词语重要性的方式，将该话题中的所有文档进行分词，并确定每一个分词在该话题中所拥有的重要性，将重要性最大的一个词语作为关键词，或者是将重要性达到某一个预置值的所有词语定义为该话题的关键词。

需要指出的是，在确定话题中的关键词时，该关键词在整个话题语料中也具有一个词语重要性，而该重要性与该关键词所在的话题中的重要性并不等同，即重要性的值不等同，原因在于所计算的参照系不同，该关键 词的词语重要性是相对整体语料，而后者则是相对于语料中的一个话题。因此，同一个词在具有一个词语重要性的同时，在不同话题中还有不同的重要性的值，通过对在话题中重要性的判断可以确定该词是哪些话题的关键词。

此外，关键词的提取还可以通过预置或人工的方式进行确定。

103、利用词语重要性计算关键词的话题重要性。

在确定话题中的关键词后，就可以根据关键词所具有的词语重要性来计算语料中每一个话题针对该关键词的话题重要性，该话题重要性通过关键词在话题中的重要性以及该关键词的词语重要性在不同话题中的比重进行综合判断，由于一个关键词在语料中的词语重要性是固定的，但该关键词在不同话题中所占的重要性比重是不同，因此，通过关键词在不同话题中的词语重要性比重以及该关键词在话题中的重要性就可以确定不同话题针对于该关键词的重要性。

104、根据话题重要性对话题语料中的话题进行排序。

根据上述103得到的话题重要性，就可以对话题语料中的话题根据重要性的高低进行排序。需要说明的是，话题重要性是针对一个关键词进行重要性计算，当排序时所需要参考的关键词有多个时，就需要计算一个话题中相对于每一个关键词所得到的话题重要性，将所有关键词的重要性相加或加权累加，得到该话题的综合重要性得分，再根据得分的高低进行排序。其中，加权累加是将关键词之间差异化以加权的形式体现在最终的得分中，如根据不同的关键词在话题语料中的出现次数确定权值。

结合上述的实现方式可以看出，本发明实施例所采用的话题排序方法，通过统计给定范围的语料中所有词语在语料中的词语重要性来确定每个词语在不同话题中的重要程度。同时，对语料进行话题探测与划分，并针对每一个话题进行关键词的提取，在确定该话题中的关键词后，根据该关键词在整体语料中的词语重要性来确定针对于该关键词的话题在所有话题中的重要性，即根据话题中关键词的词语重要性来确定话题的重要性排序。与现有的综合话题多方面因素的排序方式相比，本发明所采用的话题排序方式不需要话题的附加因素，完全根据话题本身所提取的关键词进行判断， 因此，不存在判断依据不准确或缺失的情况，能够有效地应用于实际操作中，完成对话题重要性的有效排序。

为了更加详细地说明本发明提出的一种话题排序方法，本发明实施例将通过具体的举例说明话题排序的过程，如图2所示，该方法具体的步骤包括：

201、确定话题语料中的词语重要性。

首先要确定话题语料的范围，即确定语料中所含有的文档，再对语料中所有的文档进行预处理，生成有效词语集合。其中，预处理包括对文档进行分词处理，对分词进行去重过滤、去停用词等处理，保留对文档区分具有意义的词语，最终得到有效词语集合。

在得到有效词语集合后，利用tf-idf值来计算集合中每一个有效词语的重要性，具体的tf-idf值是由tf*idf计算得到的，其中，tf、idf的定义可参见101中的具体说明，其具体的计算方式均为现有技术，本发明实施例中不再详细说明。

集合中的每一个词都有其对应tf-idf值，以该值作为词语相对于整个语料的重要性指标。值越大，说明该词在语料中越重要。

202、提取话题语料中一个话题的关键词。

在确定词语重要性的同时，对话题语料中的文档以话题的形式进行划分，现有的话题探测技术已经可以在给定的语料中进行话题的探测与划分，具体的实现方式也有很多，其中一种较为简单的方法是采用n元组探测的方法，就是在语料的文档提取n个相连的词组成词组，统计该词组出现在语料中的频次，将出现频次较高的n元组提取出来，分别将含有这些n元组的文档划分到不同的话题中。同时，将文档内容重复的话题进行合并，形成一个话题。统计确定的话题数量，生成话题组。

在话题组中的每一个话题内有多个与该话题相关的文档，通过对这些文档的分词、去停用词等预处理，就能够得到该话题的有效词语集合，再通过计算词语在该话题中的tf-idf值，确定每个词在话题中的重要性，将tf-idf值高的定义为该话题的关键词。其中，关键词的选取可以是一个也可以是多个。

203、根据关键词在话题语料中的分布确定该关键词在每个话题中的重要性系数。

在确定了话题中的关键词后，对于该关键词，除了有一个在话题中的tf-idf值外，还有一个相对于整个话题语料的tf-idf值，即该关键词的词语重要性。为了表示该关键词的词语重要性在每个话题中所占有的比重，可以通过计算该关键词在话题中出现的文档个数与语料中出现的文档个数的商值来表示，并将该商值定义为该关键词在该话题中的重要性系数。

204、根据关键词在话题中的分布情况确定该关键词在所述话题中的关键词重要性。

在计算关键词的重要性系数的同时，还需要计算该关键词在话题中的重要性，在上述202描述中，通过获取该关键词在话题中tf-idf值来确定关键词重要性。此外，还可以通过更简单地计算在话题中包含有该关键词的文档数占该话题所包含的总文档数的比值确定该关键词在该话题中重要性，即关键词重要性。

205、计算关键词的话题重要性。

结合上述203、204的计算结果，计算该关键词的词语重要性、关键词重要性以及重要性系数的乘积，将得到的值定义为该话题相对于该关键词的话题重要性。

206、根据话题重要性对话题语料中的话题进行排序。

根据205的计算结果，就能够计算出话题语料中该关键词相对于其他话题的话题重要性，在关键词确定唯一的情况下，话题排序就可以根据话题组中各话题的话题重要性进行顺序排序。而当关键词不唯一而是具有多个时，则需要根据关键词的数量逐一的计算每个关键词在各个话题中的话题重要性，再以话题为单位，将不同关键词的话题重要性进行累加，并定义该值为该话题在话题组中的重要性分值，即综合所有关键词的话题重要性分值，分值高，则重要性大。最终，以该分值的大小对话题组中的话题进行由高到低的排序，完成对整个话题组的重要性排。

进一步的，作为对上述方法的实现，本发明实施例提供了一种话题排序装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施 例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置设置在用于进行话题发现与排序的计算设备中，具体结构如图3所示，该装置包括：

确定单元31，用于确定话题语料中的词语重要性，所述词语重要性为所述话题语料中的词语在区分一个话题时的区别程度；

提取单元32，用于提取所述话题语料中一个话题的关键词；

计算单元33，用于利用所述确定单元31确定的词语重要性计算所述提取单元32提取的关键词的话题重要性，所述话题重要性为所述话题语料中的每个话题针对于所述关键词所具有的重要性；

排序单元34，用于根据所述计算单元33计算的话题重要性对所述话题语料中的话题进行排序。

进一步的，如图4所示，所述确定单元31包括：

预处理模块311，用于预处理所述话题语料，得到有效词语集合；

计算模块312，用于计算所述预处理模块311得到的有效词语集合中的词语在所述话题语料中的tf-idf值；

确定模块313，用于根据所述计算模块312计算的tf-idf值确定所述词语的词语重要性。

进一步的，如图4所示，所述提取单元32包括：

分组模块321，用于利用所述话题语料进行话题划分，生成话题组；

计算模块322，用于提取所述分组模块321划分的话题组中的一个话题，计算所述话题中每个词语的tf-idf值；

确定模块323，用于根据所述计算模块322计算的tf-idf值确定所述话题中的关键词。

进一步的，如图4所示，所述计算单元33包括：

第一确定模块331，用于根据所述关键词在所述话题语料中的分布确定所述关键词在每个话题中的重要性系数；

第二确定模块332，用于根据所述关键词在所述话题中的分布情况确定所述关键词在所述话题中的关键词重要性；

计算模块333，用于计算所述词语重要性、所述第二确定模块332确定的关键词重要性以及所述第一确定模块331确定的关键词的重要性系数的乘积，得到所述关键词的话题重要性。

进一步的，如图4所示，所述排序单元34包括：

计算模块341，用于根据预置的关键词数量分别计算每个关键词在所述话题中的话题重要性；

所述计算模块341还用于，累加所有关键词的话题重要性，得到所述话题在所述话题组中的重要性分值；

排序模块342，用于根据所述计算模块341计算的重要性分值按照由高到低的顺序确定所述话题的排序位置，完成对所述话题组的重要性排序。

综上所述，本发明实施例所采用的话题排序装置，通过统计给定范围的语料中所有词语在语料中的词语重要性来确定每个词语在不同话题中的重要程度。同时，对语料进行话题探测与划分，并针对每一个话题进行关键词的提取，在确定该话题中的关键词后，根据该关键词在整体语料中的词语重要性来确定针对于该关键词的话题在所有话题中的重要性，即根据话题中关键词的词语重要性来确定话题的重要性排序。与现有的综合话题多方面因素的排序方式相比，本发明实施例所采用的话题排序方式不需要话题的附加因素，完全根据话题本身所提取的关键词进行判断，因此，不存在判断依据不准确或缺失的情况，能够有效地应用于实际操作中，完成对话题重要性的有效排序。此外，本发明实施例还可以作为现有排序方式的一种有益补充，将本发明实施例所得到的排序结果以加权的形式作为现有方式的一个判断因素进行综合排序，以完善现有排序方式的排序效果以及实现的可操作性。

所述话题排序装置包括处理器和存储器，上述确定单元、提取单元、计算单元和排序单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现简化话题排序器的播放，特别是针对在话题排序意外中断时的视频续播功能。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：确定话题语料中的词语重要性，所述词语重要性为所述话题语料中的词语在区分一个话题时的区别程度；提取所述话题语料中一个话题的关键词；利用所述词语重要性计算所述关键词的话题重要性，所述话题重要性为所述话题语料中的每个话题针对于所述关键词所具有的重要性；根据所述话题重要性对所述话题语料中的话题进行排序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备 上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其 中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。