全文摘要
本发明实施例提供一种容量资源的预测方法及装置,根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数后,先将目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到主机的基准处理效率,然后将基准处理效率作为一个因子,与目标业务参数一起输入预先训练得到的实际容量资源的预测模型,得到主机的实际处理效率,进而可以根据主机的实际处理效率,预测未来的预设时间段内所需的容量资源,既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。
主设计要求
1.一种容量资源的预测方法,其特征在于,所述方法包括:根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数;将所述目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到所述主机的基准处理效率;将所述目标业务参数和所述基准处理效率输入预先训练得到的实际容量资源的预测模型,得到所述主机的实际处理效率;根据所述主机的实际处理效率,预测未来的预设时间段内所需的容量资源。
设计方案
1.一种容量资源的预测方法,其特征在于,所述方法包括:
根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数;
将所述目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到所述主机的基准处理效率;
将所述目标业务参数和所述基准处理效率输入预先训练得到的实际容量资源的预测模型,得到所述主机的实际处理效率;
根据所述主机的实际处理效率,预测未来的预设时间段内所需的容量资源。
2.根据权利要求1所述的方法,其特征在于,所述目标业务参数包括以下参数中的至少一个:目标负载率、目标话单量、目标用户数和目标外围资源配比;和\/或,
所述容量资源包括以下资源中的至少一种:主机数量,虚拟机的数量,中央处理器CPU的处理速度和内存大小。
3.根据权利要求2所述的方法,其特征在于,当所述业务参数包括所述目标话单量和所述目标用户数时,根据预测策略得到主机上运行的业务的目标业务参数,包括:
使用自回归滑动平均ARMA算法,对历史话单量和历史用户数进行运算,得到所述目标话单量和所述目标用户数。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据预测策略得到主机上运行的业务的目标业务进程数,包括:
将业务进程数的初始值输入所述基准容量资源的预测模型,得到所述主机的测试处理效率;
按照预设步长依次增加所述业务进程数的取值,并输入所述基准容量资源的预测模型,得到所述业务进程数在不同取值情况下对应的所述主机的测试处理效率;
根据所述业务进程数在不同取值情况下对应的所述主机的测试处理效率,确定所述主机的测试处理效率为最大值时对应的所述业务进程数的取值为所述目标业务进程数。
5.根据权利要求4所述的方法,其特征在于,所述业务进程数包括以下进程数中的至少一个:平均核心业务进程数、平均重要业务进程数和平均总业务进程数。
6.一种容量资源的预测装置,其特征在于,包括:
得到模块,用于根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数;
第一输入模块,用于将所述目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到所述主机的基准处理效率;
第二输入模块,用于将所述目标业务参数和所述基准处理效率输入预先训练得到的实际容量资源的预测模型,得到所述主机的实际处理效率;
预测模块,用于根据所述主机的实际处理效率,预测未来的预设时间段内所需的容量资源。
7.根据权利要求6所述的装置,其特征在于,所述目标业务参数包括以下参数中的至少一个:目标负载率、目标话单量、目标用户数和目标外围资源配比;和\/或,
所述容量资源包括以下资源中的至少一种:主机数量,虚拟机的数量,中央处理器CPU的处理速度和内存大小。
8.根据权利要求7所述的装置,其特征在于,当所述业务参数包括所述目标话单量和所述目标用户数时,所述得到模块还用于:
使用自回归滑动平均ARMA算法,对历史话单量和历史用户数进行运算,得到所述目标话单量和所述目标用户数。
9.根据权利要求6-8任一项所述的装置,其特征在于,所述得到模块还用于:
将业务进程数的初始值输入所述基准容量资源的预测模型,得到所述主机的测试处理效率;按照预设步长依次增加所述业务进程数的取值,并输入所述基准容量资源的预测模型,得到所述业务进程数在不同取值情况下对应的所述主机的测试处理效率;根据所述业务进程数在不同取值情况下对应的所述主机的测试处理效率,确定所述主机的测试处理效率为最大值时对应的所述业务进程数的取值为所述目标业务进程数。
10.根据权利要求9所述的装置,其特征在于,所述业务进程数包括以下进程数中的至少一个:平均核心业务进程数、平均重要业务进程数和平均总业务进程数。
设计说明书
技术领域
本发明涉及电子技术领域,尤其涉及一种容量资源的预测方法及装置。
背景技术
随着通信运营商数据规模的不断扩大,电信业务种类的不断增多,用于处理电信业务的各业务主机的处理压力也在不断增大,生产过程中需要对主机的处理上限、应急能力、系统稳定性等容量资源有明确的预估。
目前传统对容量资源的预估方式,大多基于日常统计数据加经验公式完成预估。一般预估流程包括:在人工参与的情况下,基于脚本和数据库,利用简单的平均趋势分析等方法,根据人为的经验判断,预估出当前或近期的容量资源状况。
但是,现有的预测方式的效率低且预测结果准确性低。
发明内容
本发明实施例提供一种容量资源的预测方法及装置,以提升容量资源的预测的效率。
本发明实施例第一方面提供一种容量资源的预测方法,包括:
根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数;
将所述目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到所述主机的基准处理效率;
将所述目标业务参数和所述基准处理效率输入预先训练得到的实际容量资源的预测模型,得到所述主机的实际处理效率;
根据所述主机的实际处理效率,预测未来的预设时间段内所需的容量资源。
可选的,所述目标业务参数包括以下参数中的至少一个:目标负载率、目标话单量、目标用户数和目标外围资源配比;和\/或,
所述容量资源包括以下资源中的至少一种:主机数量,虚拟机的数量,中央处理器CPU的处理速度和内存大小。
可选的,当所述业务参数包括所述目标话单量和所述目标用户数时,根据预测策略得到主机上运行的业务的目标业务参数,包括:
使用自回归滑动平均ARMA算法,对历史话单量和历史用户数进行运算,得到所述目标话单量和所述目标用户数。
可选的,所述根据预测策略得到主机上运行的业务的目标业务进程数,包括:
将业务进程数的初始值输入所述基准容量资源的预测模型,得到所述主机的测试处理效率;
按照预设步长依次增加所述业务进程数的取值,并输入所述基准容量资源的预测模型,得到所述业务进程数在不同取值情况下对应的所述主机的测试处理效率;
根据所述业务进程数在不同取值情况下对应的所述主机的测试处理效率,确定所述主机的测试处理效率为最大值时对应的所述业务进程数的取值为所述目标业务进程数。
可选的,所述业务进程数包括以下进程数中的至少一个:平均核心业务进程数、平均重要业务进程数和平均总业务进程数。
本发明实施例第二方面提供一种容量资源的预测装置,包括:
得到模块,用于根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数;
第一输入模块,用于将所述目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到所述主机的基准处理效率;
第二输入模块,用于将所述目标业务参数和所述基准处理效率输入预先训练得到的实际容量资源的预测模型,得到所述主机的实际处理效率;
预测模块,用于根据所述主机的实际处理效率,预测未来的预设时间段内所需的容量资源。
可选的,所述目标业务参数包括以下参数中的至少一个:目标负载率、目标话单量、目标用户数和目标外围资源配比;和\/或,
所述容量资源包括以下资源中的至少一种:主机数量,虚拟机的数量,中央处理器CPU的处理速度和内存大小。
可选的,当所述业务参数包括所述目标话单量和所述目标用户数时,所述得到模块还用于:
使用自回归滑动平均ARMA算法,对历史话单量和历史用户数进行运算,得到所述目标话单量和所述目标用户数。
可选的,所述得到模块还用于:
将业务进程数的初始值输入所述基准容量资源的预测模型,得到所述主机的测试处理效率;按照预设步长依次增加所述业务进程数的取值,并输入所述基准容量资源的预测模型,得到所述业务进程数在不同取值情况下对应的所述主机的测试处理效率;根据所述业务进程数在不同取值情况下对应的所述主机的测试处理效率,确定所述主机的测试处理效率为最大值时对应的所述业务进程数的取值为所述目标业务进程数。
可选的,所述业务进程数包括以下进程数中的至少一个:平均核心业务进程数、平均重要业务进程数和平均总业务进程数。
本发明实施例第三方面提供一种电子设备,包括:处理器,存储器以及计算机程序;其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如前述第一方面任一项所述的方法的指令。
本发明实施例第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行时,实现如前述第一方面任一项所述的方法。
本发明实施例相对于现有技术的有益效果:
本发明实施例提供的一种容量资源的预测方法及装置中,考虑到模型训练中通常需要大量的训练数据,而生产环境的通常不能得到大量的生产数据,仅根据生产环境的数据通常无法进行模型训练或无法训练得到准确的预测模型,因此本发明实施例中,采用了两段式的预测模型,具体来说,基准容量资源的预测模型可以是在测试环境中训练的模型,在测试环境中可以收集各类情况下的测试数据进行训练,因此,该基准容量资源的预测模型可以输出较多情况下的基准处理效率;在通过实际容量资源的预测模型预测时,将基准处理效率与生产数据均作为容量资源的预测模型的输入,则既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。具体的,本发明实施例中,根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数后,先将目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到主机的基准处理效率,然后将基准处理效率作为一个因子,与目标业务参数一起输入预先训练得到的实际容量资源的预测模型,得到主机的实际处理效率,进而可以根据主机的实际处理效率,预测未来的预设时间段内所需的容量资源,既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。
附图说明
图1为本发明实施例提供的容量资源的预测方法的流程示意图;
图2为本发明实施例提供的容量资源的预测方法的第一种测试结果示意图;
图3为本发明实施例提供的容量资源的预测方法的第二种测试结果示意图;
图4为本发明实施例提供的容量资源的预测方法的第三种测试结果示意图;
图5为本发明实施例提供的容量资源的预测方法的第四种测试结果示意图;
图6为本发明实施例的一种基准处理效率预测效果示意图;
图7为本发明实施例的一种容量资源的预测模型预测效果示意图;
图8为本发明实施例提供的容量资源的预测方法的模型架构示意图;
图9为本发明提供的容量资源的预测装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和\/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和\/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“\/”,一般表示前后关联对象是一种“或”的关系。
应当理解,本发明说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
本发明实施例提供的一种容量资源的预测方法及装置中,考虑到模型训练中通常需要大量的训练数据,而生产环境的通常不能得到大量的生产数据,仅根据生产环境的数据通常无法进行模型训练或无法训练得到准确的预测模型,因此本发明实施例中,采用了两段式的预测模型,具体来说,基准容量资源的预测模型可以是在测试环境中训练的模型,在测试环境中可以收集各类情况下的测试数据进行训练,因此,该基准容量资源的预测模型可以输出较多情况下的基准处理效率;在通过实际容量资源的预测模型预测时,将基准处理效率与生产数据均作为容量资源的预测模型的输入,则既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。具体的,本发明实施例中,根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数后,先将目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到主机的基准处理效率,然后将基准处理效率作为一个因子,与目标业务参数一起输入预先训练得到的实际容量资源的预测模型,得到主机的实际处理效率,进而可以根据主机的实际处理效率,预测未来的预设时间段内所需的容量资源,既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。
本发明实施例可以应用在终端中,终端可以包括:手机、平板电脑、笔记本电脑、台式电脑或者服务器等可以运行容量资源的预测方法的电子设备。
本发明实施例所描述的处理效率为主机单位时间内处理的业务量,业务量具体可以包括:话单量、数据请求个数,和\/或数据包大小等。
本发明实施例所描述的基准容量资源的预测模型可以是基于深度学习技术,以及测试环境中的测试数据训练得到的神经网络模型。具体的,深度学习技术是一种由大规模神经元构成的机器学习算法,该技术主要通过收集大量的基础数据,研究其中数据间的规律,形成一定的统计模型,使用回归分析、时间序列、神经网络等算法来构建智能模型。
本发明实施例所描述的实际容量资源的预测模型可以是基于深度学习技术,以及生产环境中的生产数据训练得到的神经网络模型。
具体应用中,本领域在训练基于神经网络的容量资源的预测模型时,通常容易想到的是仅基于测试样本进行训练,或仅基于生产样本进行训练。
但是,仅基于测试样本进行训练得到的模型中,因为测试样本与实际样本之间存在差异,因此通常不能得到准确的容量预测效果;而仅基于生产样本进行训练得到的模型中,由于难以得到大量的生产样本,进而无法根据大量的生产样本训练神经网络模型。也正是基于该原因,在容量资源预测的应用场景中,通常采用人工预测等效率较低的检测,而没有基于神经网络模型进行容量预测的技术方案。
基于此,本发明实施例中,采用了两段式的预测模型,具体来说,基准容量资源的预测模型可以是在测试环境中训练的模型,在测试环境中可以收集各类情况下的测试数据进行训练,因此,该基准容量资源的预测模型可以输出较多情况下的基准处理效率;在通过实际容量资源的预测模型预测时,将基准处理效率与生产数据均作为容量资源的预测模型的输入,则既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。
如图1所示,图1为本发明实施例提供的容量资源的预测方法的流程示意图。该方法具体可以包括:
步骤S101:根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数。
本发明实施例中,预测策略可以根据实际的应用场景确定,示例的,可以根据历史数据预测某时间的数据,例如,根据今年双十一时主机运行的业务的目标业务进程数和目标业务参数,可以预测明年双十一时主机运行的业务的目标业务进程数和目标业务参数等,可以理解,预测策略可以根据实际的应用场景确定,本发明实施例对此不作具体限定。
可选的,所述业务进程数包括以下进程数中的至少一个:平均核心业务进程数、平均重要业务进程数和平均总业务进程数。
本发明实施例中通过分析主机环境,发现在以电信业务为中心,将系统资源以业务维度进行分割,通过测试环境的不断测试收集测试数据,再应用回归分析、主成分分析、数据降维等数据处理方法后,通过基于业务进程的业务复杂度、生产实际处理瓶颈、主机中央处理器(central processing unit,CPU)内存占比等因素中,只需要研究主机平均业务进程数的即可,因此提取了三个主要的因子:平均核心业务进程数、平均基础业务进程数、平均总业务进程数。根据该三个主要因子训练,结合缺失值补全、数据归一化等方法可以建立基准容量资源的预测模型。
因此,在预测策略中,得到的业务进程数包括:平均核心业务进程数、平均重要业务进程数和平均总业务进程数的至少一个时,能够得到较好的预测效果。
可以理解,平均核心业务平均核心业务进程数、平均重要业务进程数和平均总业务进程数的具体内容可以根据实际的应用场景进行确定,本发明实施例对此不作具体限定。
可选的,所述根据预测策略得到主机上运行的业务的目标业务进程数,包括:
将业务进程数的初始值输入所述基准容量资源的预测模型,得到所述主机的测试处理效率;按照预设步长依次增加所述业务进程数的取值,并输入所述基准容量资源的预测模型,得到所述业务进程数在不同取值情况下对应的所述主机的测试处理效率;根据所述业务进程数在不同取值情况下对应的所述主机的测试处理效率,确定所述主机的测试处理效率为最大值时对应的所述业务进程数的取值为所述目标业务进程数。
本发明实施例中,业务进程数的初始值以及预设步长都可以根据实际的应用场景确定,本发明实施例对此不作具体限定。
本发明实施例中,根据业务进程数在不同取值情况下对应的主机的测试处理效率,确定主机的测试处理效率为最大值时对应的业务进程数的取值为目标业务进程数,因为主机的测试处理效率为最大值是期望的处理效率值,因此确定主机的测试处理效率为最大值时对应的业务进程数的取值为目标业务进程数,能得到期望的基准处理效率。
可选的,所述目标业务参数包括以下参数中的至少一个:目标负载率、目标话单量、目标用户数和目标外围资源配比。
本申请实施例中,考虑到随着目前通信运营商数据规模的不断扩大,业务种类的不断增多,日常生产中各业务主机的处理压力也在不断增大,生产过程中需要对主机的处理上限、应急能力、系统稳定性等容量资源有明确的预估。因此,可以将本发明实施例的容量资源的预测方法应用在基于电信系统业务及分布式生产环境中,基于跨行业数据挖掘标准流程(cross-industry standard process for data mining,CRISP-DM)规范的流程来实现。
在基于电信系统业务及分布式生产环境中,负载率、话单量、用户数和外围资源配比是比较常用和重要的业务参数,因此,在本发明实施例中,所述目标业务参数包括以下参数中的至少一个:目标负载率、目标话单量、目标用户数和目标外围资源配比。
可选的,当所述业务参数包括所述目标话单量和所述目标用户数时,根据预测策略得到主机上运行的业务的目标业务参数,包括:使用自回归滑动平均(Auto-Regressiveand Moving Average Model,ARMA)算法,对历史话单量和历史用户数进行运算,得到所述目标话单量和所述目标用户数。
步骤S102:将所述目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到所述主机的基准处理效率。
本发明实施例中,基准容量资源的预测模型可以通过卷积神经网络等方法,首先获取各场景下的测试数据样本,可以理解,因为测试环境的灵活度较高,因此,可以将各类突出情况及各类风险预测场景的样本包括在内,后续在应急预测或面对复杂场景时,只需要改变当前场景的因子输入配置,便能得到较为准确的预测结果,从而可以提高生产环境上应对风险的能力。
具体的,基准容量资源M1的预测模型构建过程可以为:
基准容量资源M1的预测模型:预测基准处理效率(Z1)=平均核心业务进程数(x1)~平均重要业务进程数(x2)~平均总业务进程数(x3)
函数式表示:Z1=M1(x1,x2,x3)
在实验中,对于预先训练得到的基准容量资源的预测模型进行下述四种方法的测试。
第一种方法:如图2所示,核心业务进程数与总业务进程数按一定比例递增,观察核心业务效率的变化。
第二种方法:如图3所示,核心业务进程数与基准业务数一定,观察核心业务进程数与效率关系。
第三种方法:如图4所示,忽略其它因素,只观察核心业务进程数与效率关系。
第四种方法:如图5所示,总业务进程数一定,观察核心业务进程数与效率关系。
经过实验,如图6所示,本申请实施例得到的基准处理效率准确率能达到95%以上。
步骤S103:将所述目标业务参数和所述基准处理效率输入预先训练得到的实际容量资源的预测模型,得到所述主机的实际处理效率。
本发明实施例中,实际容量资源的预测模型M2可以是基于生产环境数据训练的。具体的,可以通过采集生产环境日志、详单流、主机配置等信息,使用相关性分析、数据降维等方法,提取出模型中的主要几个因子:负载率(描述单个进程的负载情况)、预测效率(M1中的预测结果,这里以因子的方式整合到M2中)、话单量、用户数、外围资源配比(业务进程运行需要使用到的外围资源,当资源类型一致时,配比的大小会影响到实际效率),建立的饱和度效率模型。再经过补全、归一等方法,使用前馈神经网络算法训练出最终的模型。
示例的,M2的模型构成如下:
批价效率(Z2)=饱和度(Y1)~基准效率(Z1)~话单量(Y3)~用户数(Y4)~外围资源配比(Y5)。
函数式表示:Z2=M2(Y1,Z1,Y3,Y4,Y5)。
整合两个模型得:Z2=M2(Y1,M1(x1,x2,x3),Y3,Y4,Y5)。
可以理解,由于生产环境无法随意的调整配置,如果不加入M1模型的结果因子,M2模型只能依据可以获取的生产实际数据,灵活性、预测场景、准确性都较差。本发明实施例中,将M1理想条件下满负载下的容器效率为相关因子,整合入M2模型中,这样在M2的模型中充分包括的M1模型的优点,又紧紧依赖于生产数据,弥补了M1模型的不足。
示例的,实验中,通过实际容量资源的预测模型,得到主机的实际处理效率的效果如图7所示,可见整体误差控制在0.03以内。
步骤S104:根据所述主机的实际处理效率,预测未来的预设时间段内所需的容量资源。
本发明实施例中,主机的实际处理效率是主机单位时间内处理的业务量,因此,可以根据未来预设时间段内可能处理的总业务量,除以主机的实际处理效率,得到该未来预设时间段内需要配置的容量资源,从而能达到提前预备,保证该未来预设时间段内业务顺畅实现的效果。
可选的,所述容量资源包括以下资源中的至少一种:主机数量,虚拟机的数量,中央处理器CPU的处理速度和内存大小。
本发明实施例中,考虑到主机数量,虚拟机的数量,中央处理器CPU的处理速度和内存大小是影响主机计算能力的主要因素,因此,可以将主机数量,虚拟机的数量,中央处理器CPU的处理速度和内存大小作为需要徐策的容量资源进行预测。
综上所述,本发明实施例提供的一种容量资源的预测方法及装置中,考虑到模型训练中通常需要大量的训练数据,而生产环境的通常不能得到大量的生产数据,仅根据生产环境的数据通常无法进行模型训练或无法训练得到准确的预测模型,因此本发明实施例中,采用了两段式的预测模型,具体来说,基准容量资源的预测模型可以是在测试环境中训练的模型,在测试环境中可以收集各类情况下的测试数据进行训练,因此,该基准容量资源的预测模型可以输出较多情况下的基准处理效率;在通过实际容量资源的预测模型预测时,将基准处理效率与生产数据均作为容量资源的预测模型的输入,则既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。具体的,本发明实施例中,根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数后,先将目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到主机的基准处理效率,然后将基准处理效率作为一个因子,与目标业务参数一起输入预先训练得到的实际容量资源的预测模型,得到主机的实际处理效率,进而可以根据主机的实际处理效率,预测未来的预设时间段内所需的容量资源,既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。
图8为本发明实施例提供的容量资源的预测方法的模型架构示意图。如图8所示,本发明提供的容量资源的预测方法中:
包括两个数据模型:基准容量资源的预测模型(M1)、实际容量资源的预测模型(M2),通过核心业务进程数、基础业务进程数、总业务进程数训练得到M1,而后将目标业务近程数输入M1后,可以M1模型预测的基准处理效率作为因子,加上由生产环境收集的因子参数:负载率、话单量、用户数、内存库数,再次训练形成模型M2,最终按照一定的预测策略得到预测结果。
本发明实施例一方面以数据为基础,排除了人为经验的干扰,保证的预测的稳定性,从而使生产配置时可完全依赖模型的预测结果做出容量资源的分配,减少了不必要的资源浪费,另一方面,在模型中加入的多方面影响因子,使得可以将各类突出情况及各类风险预测场景包括在内,在应急预测或面对复杂场景时,只需要改变当前场景的因子输入配置,便能得到较为准确的预测结果,提高了生产环境上应对风险的能力。
综上所述,本发明实施例提供的一种容量资源的预测方法及装置中,考虑到模型训练中通常需要大量的训练数据,而生产环境的通常不能得到大量的生产数据,仅根据生产环境的数据通常无法进行模型训练或无法训练得到准确的预测模型,因此本发明实施例中,采用了两段式的预测模型,具体来说,基准容量资源的预测模型可以是在测试环境中训练的模型,在测试环境中可以收集各类情况下的测试数据进行训练,因此,该基准容量资源的预测模型可以输出较多情况下的基准处理效率;在通过实际容量资源的预测模型预测时,将基准处理效率与生产数据均作为容量资源的预测模型的输入,则既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。具体的,本发明实施例中,根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数后,先将目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到主机的基准处理效率,然后将基准处理效率作为一个因子,与目标业务参数一起输入预先训练得到的实际容量资源的预测模型,得到主机的实际处理效率,进而可以根据主机的实际处理效率,预测未来的预设时间段内所需的容量资源,既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。
图9为本发明提供的容量资源的预测装置一实施例的结构示意图。如图9所示,本实施例提供的容量资源的预测装置包括:
得到模块210,用于根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数;
第一输入模块220,用于将所述目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到所述主机的基准处理效率;
第二输入模块230,用于将所述目标业务参数和所述基准处理效率输入预先训练得到的实际容量资源的预测模型,得到所述主机的实际处理效率;
预测模块240,用于根据所述主机的实际处理效率,预测未来的预设时间段内所需的容量资源。
可选的,所述目标业务参数包括以下参数中的至少一个:目标负载率、目标话单量、目标用户数和目标外围资源配比;和\/或,
所述容量资源包括以下资源中的至少一种:主机数量,虚拟机的数量,中央处理器CPU的处理速度和内存大小。
可选的,当所述业务参数包括所述目标话单量和所述目标用户数时,所述得到模块还用于:
使用自回归滑动平均ARMA算法,对历史话单量和历史用户数进行运算,得到所述目标话单量和所述目标用户数。
可选的,所述得到模块还用于:
将业务进程数的初始值输入所述基准容量资源的预测模型,得到所述主机的测试处理效率;按照预设步长依次增加所述业务进程数的取值,并输入所述基准容量资源的预测模型,得到所述业务进程数在不同取值情况下对应的所述主机的测试处理效率;根据所述业务进程数在不同取值情况下对应的所述主机的测试处理效率,确定所述主机的测试处理效率为最大值时对应的所述业务进程数的取值为所述目标业务进程数。
可选的,所述业务进程数包括以下进程数中的至少一个:平均核心业务进程数、平均重要业务进程数和平均总业务进程数。
本发明实施例第三方面提供一种电子设备,包括:处理器,存储器以及计算机程序;其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如前述第一方面任一项所述的方法的指令。
综上所述,本发明实施例提供的一种容量资源的预测方法及装置中,考虑到模型训练中通常需要大量的训练数据,而生产环境的通常不能得到大量的生产数据,仅根据生产环境的数据通常无法进行模型训练或无法训练得到准确的预测模型,因此本发明实施例中,采用了两段式的预测模型,具体来说,基准容量资源的预测模型可以是在测试环境中训练的模型,在测试环境中可以收集各类情况下的测试数据进行训练,因此,该基准容量资源的预测模型可以输出较多情况下的基准处理效率;在通过实际容量资源的预测模型预测时,将基准处理效率与生产数据均作为容量资源的预测模型的输入,则既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。具体的,本发明实施例中,根据预测策略得到主机上运行的业务的目标业务进程数和目标业务参数后,先将目标业务进程数输入预先训练得到的基准容量资源的预测模型,得到主机的基准处理效率,然后将基准处理效率作为一个因子,与目标业务参数一起输入预先训练得到的实际容量资源的预测模型,得到主机的实际处理效率,进而可以根据主机的实际处理效率,预测未来的预设时间段内所需的容量资源,既考虑了生产环境,又兼顾了测试环境,容量预测的准确性得到了很大的提高,且不需要人工参与,具有较高的预测效率。
本发明各实施例提供的容量资源的预测装置可用于执行如前述各对应的实施例所示的方法,其实现方式与原理相同,不再赘述。
本发明实施例还提供一种电子设备,包括:处理器,存储器以及计算机程序;其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如前述实施例中任一项所述的方法的指令。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行时,实现如前述实施例中任一项所述的方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
设计图
相关信息详情
申请码:申请号:CN201910729638.1
申请日:2019-08-08
公开号:CN110445939A
公开日:2019-11-12
国家:CN
国家/省市:11(北京)
授权编号:授权时间:主分类号:H04M 3/36
专利分类号:H04M3/36;H04L12/24
范畴分类:39A;
申请人:中国联合网络通信集团有限公司
第一申请人:中国联合网络通信集团有限公司
申请人地址:100033北京市西城区金融大街21号
发明人:叶浩;丛新法;侯青军;王晓明;崔涛;刘亚瑞;李团结;刘双;张婷;胡海波;张忠龙;邱斌;高晓兵;孙莉华;徐士方
第一发明人:叶浩
当前权利人:中国联合网络通信集团有限公司
代理人:祝乐芳;刘芳
代理机构:11205
代理机构编号:北京同立钧成知识产权代理有限公司
优先权:关键词:当前状态:审核中
类型名称:外观设计