全文摘要
本发明公开了一种基于容器的云计算平台任务处理方法、系统及其应用方法，本发明利用容器编排技术基于编程语法来识别解析计算任务中的语法定义，从而实现对计算任务中循环的处理以及计算任务之间的依赖关系处理，通过运行计算子任务Ai的容器，运行结束后将计算结果传输到数据仓库，来完成基于容器的云计算平台任务处理。本发明面向有一定编程能力的用户，提供并行和串行运行算法任务支持，解决了计算子任务之间相互依赖的问题，可根据自身业务自定义任务处理，将计算子任务使用容器结合现有容器资源编排调度完成业务处理，能够有效提高平台实用性及优化平台的资源效能。
主设计要求
1.一种基于容器的云计算平台任务处理方法，其特征在于实施步骤包括：1）接收提交的计算任务A，计算任务A包含至少一个计算子任务；2）针对计算任务A中的每一个计算子任务Ai，跳转执行步骤3）；3）为计算子任务Ai选择客户端节点，在选择的客户端节点中创建容器containerAij，其中containerAij表示针对子任务Ai第j次创建的容器；4）判断计算子任务Ai中是否有循环属性，如果存在循环属性则将循环计数加1，判断循环计数的值是否等于循环属性的值，如果不等于循环属性的值，则跳转执行步骤3）；否则，跳转执行步骤5）；5）判断计算子任务Ai是否有依赖属性，如果没有依赖属性则跳转执行步骤6）；否则，监控依赖属性对应的目标计算子任务An是否运行完毕，当目标计算子任务An运行完毕时跳转执行步骤6）；6）运行计算子任务Ai的容器containerAij，运行结束后将计算结果传输到数据仓库，并删除计算子任务Ai的容器containerAij。
设计方案
1.一种基于容器的云计算平台任务处理方法，其特征在于实施步骤包括：
1）接收提交的计算任务A，计算任务A包含至少一个计算子任务；
2）针对计算任务A中的每一个计算子任务Ai<\/sub>，跳转执行步骤3）；
3）为计算子任务Ai<\/sub>选择客户端节点，在选择的客户端节点中创建容器containerAij<\/sub>，其 中containerA ij<\/sub>表示针对子任务Ai<\/sub>第j次创建的容器；
4）判断计算子任务Ai<\/sub>中是否有循环属性，如果存在循环属性则将循环计数加1，判断循 环计数的值是否等于循环属性的值，如果不等于循环属性的值，则跳转执行步骤3）；否则， 跳转执行步骤5）；
5）判断计算子任务Ai<\/sub>是否有依赖属性，如果没有依赖属性则跳转执行步骤6）；否则，监 控依赖属性对应的目标计算子任务A n<\/sub>是否运行完毕，当目标计算子任务An<\/sub>运行完毕时跳转 执行步骤6）；
6）运行计算子任务Ai<\/sub>的容器containerAij<\/sub>，运行结束后将计算结果传输到数据仓库，并 删除计算子任务A i<\/sub>的容器containerAij<\/sub>。
2.根据权利要求1所述的基于容器的云计算平台任务处理方法，其特征在于，步骤3）中 为计算子任务A i<\/sub>选择客户端节点的具体步骤包括：获取所有的客户端节点资源信息，所述 资源信息包括CPU资源使用率和内存资源使用率，选择一个CPU资源使用率和内存资源使用 率最低的客户端节点作为计算子任务A i<\/sub>选择的客户端节点。
3.根据权利要求1或2所述的基于容器的云计算平台任务处理方法，其特征在于，步骤 3）中在选择的客户端节点中创建容器containerA ij<\/sub>时还包括检查计算子任务Ai<\/sub>中的镜像属 性，且根据镜像属性的值选定执行的运行环境镜像来创建容器containerA ij<\/sub>。
4.根据权利要求3所述的基于容器的云计算平台任务处理方法，其特征在于，步骤3）中 在选择的客户端节点中创建容器containerA ij<\/sub>后还包括检查计算子任务Ai<\/sub>中的文件属性， 如果文件属性存在则将文件属性对应的数据仓库文件从数据仓库中下载到容器 containerA ij<\/sub>中。
5.一种基于容器的云计算平台任务处理系统，包括计算机设备，其特征在于：所述计算 机设备被编程以执行权利要求1～4中任意一项所述基于容器的云计算平台任务处理方法 的步骤。
6.一种基于容器的云计算平台任务处理系统，其特征在于：包括相互连接的服务器、任 务解析器、容器编排调度器以及至少一个客户端，所述任务解析器接收并解析用户通过web 客户端提交给服务器的计算子任务后生成计算任务A发送给容器编排调度器，所述容器编 排调度器被编程以执行权利要求1～4中任意一项所述基于容器的云计算平台任务处理方 法的步骤。
7.一种权利要求6所述基于容器的云计算平台任务处理系统的应用方法，其特征在于， 所述任务解析器接收并解析用户通过web客户端提交给服务器的计算子任务后生成计算任 务A的详细步骤包括：
S1）接收用户通过web客户端提交给服务器的包含n个计算子任务的计算任务A；
S2）根据计算子任务的语句语法对每一个计算子任务进行解析，如果任意计算子任务 指定了需要多次运行，则为该计算子任务添加循环属性、且将循环属性的值设置为运行次 数；如果计算子任务之间存在依赖关系，则为存在依赖关系的计算子任务添加依赖属性、且 将依赖属性的值设置为所依赖的计算子任务，最终得到完成解析后的计算任务A。
8.根据权利要求7所述基于容器的云计算平台任务处理系统的应用方法，其特征在于， 步骤S2）还包括镜像属性解析的步骤：如果任意计算子任务指定了容器运行镜像，则为该计 算子任务添加镜像属性、且将镜像属性的值设置为指定的容器运行镜像；否则，为该计算子 任务添加镜像属性、且将镜像属性的值设置为默认的容器运行镜像。
9.根据权利要求8所述基于容器的云计算平台任务处理系统的应用方法，其特征在于， 步骤S2）还包括文件属性解析的步骤：如果任意计算子任务指定了需要添加至容器的文件， 如果该文件为数据仓库中的文件则为该计算子任务添加文件属性、且将文件属性的值设置 为指定的添加至容器的文件。
设计说明书
技术领域
本发明涉及云计算服务领域，具体涉及一种基于容器的云计算平台任务处理方 法、系统及其应用方法。
背景技术
容器是轻量级的操作系统级虚拟化技术，可以让我们在一个资源隔离的进程中运 行应用及其依赖项。相对于传统虚拟机技术，容器技术具有轻量级的资源开销和秒级启动 时间良好属性。随着容器技术不断完善与发展，众多服务提供商以优化平台的资源效能和 提升服务响应能力的目的，采用容器技术构建云计算平台，提供在线计算等服务，随着阿里 云、亚马逊等云服务的出现，为在线云计算服务的出现奠定的基础。
现有容器基础平台已很好的实现容器资源编排调度功能，在资源使用率较低的节 点动态地创建容器，并借助负载均衡技术将业务量分发到新建的容器。图1是kubernetes、 rancher和docker等公司的现有容器基础平台架构，主要包括Web前端、服务端、容器编排调 度器、客户端四部分，容器编排调度器的编排流程如下：用户通过Web端提交业务请求；Web 端将业务请求发送给服务端；服务端接收到业务请求后，进行响应和处理，将请求发送给编 排调度器；编排调度器选择资源使用率最小的客户端节点，将容器创建指令发送给客户端； 客户端接收到容器创建指令后，根据指令进行容器的创建。
因此，基于现有的现有容器基础平台架构实现基于容器的云计算平台任务处理， 对于云计算平台而言具有非常积极的意义，但是如何基于现有的现有容器基础平台架构实 现基于容器的云计算平台任务处理，则仍然是一项亟待解决的关键技术问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于容器的云计 算平台任务处理方法、系统及其应用方法，本发明面向有一定编程能力的用户，提供并行和 串行运行算法任务支持，解决了计算子任务之间相互依赖的问题，可根据自身业务自定义 任务处理，将计算子任务使用容器结合现有容器资源编排调度完成业务处理，能够有效提 高平台实用性及优化平台的资源效能。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于容器的云计算平台任务处理方法，实施步骤包括：
1）接收提交的计算任务A，计算任务A包含至少一个计算子任务；
2）针对计算任务A中的每一个计算子任务Ai<\/sub>，跳转执行步骤3）；
3）为计算子任务Ai<\/sub>选择客户端节点，在选择的客户端节点中创建容器 containerA ij<\/sub>，其中containerAij<\/sub>表示针对子任务Ai<\/sub>第j次创建的容器；
4）判断计算子任务Ai<\/sub>中是否有循环属性，如果存在循环属性则将循环计数加1，判 断循环计数的值是否等于循环属性的值，如果不等于循环属性的值，则跳转执行步骤3）；否 则，跳转执行步骤5）；
5）判断计算子任务Ai<\/sub>是否有依赖属性，如果没有依赖属性则跳转执行步骤6）；否 则，监控依赖属性对应的目标计算子任务A n<\/sub>是否运行完毕，当目标计算子任务An<\/sub>运行完毕时 跳转执行步骤6）；
6）运行计算子任务Ai<\/sub>的容器containerAij<\/sub>，运行结束后将计算结果传输到数据仓 库，并删除计算子任务A i<\/sub>的容器containerAij<\/sub>。
优选地，步骤3）中为计算子任务Ai<\/sub>选择客户端节点的具体步骤包括：获取所有的 客户端节点资源信息，所述资源信息包括CPU资源使用率和内存资源使用率，选择一个CPU 资源使用率和内存资源使用率最低的客户端节点作为计算子任务A i<\/sub>选择的客户端节点。
优选地，步骤3）中在选择的客户端节点中创建容器containerAij<\/sub>时还包括检查计 算子任务A i<\/sub>中的镜像属性，且根据镜像属性的值选定执行的容器运行镜像来创建容器 containerA ij<\/sub>。
优选地，步骤3）中在选择的客户端节点中创建容器containerAij<\/sub>后还包括检查计 算子任务A i<\/sub>中的文件属性，如果文件属性存在则将文件属性对应的数据仓库文件从数据仓 库中下载到容器containerA ij<\/sub>中。
本发明还提供一种基于容器的云计算平台任务处理系统，包括计算机设备，所述 计算机设备被编程以执行本发明前述基于容器的云计算平台任务处理方法的步骤。
本发明还提供一种基于容器的云计算平台任务处理系统，包括相互连接的服务 器、任务解析器、容器编排调度器以及至少一个客户端，所述任务解析器接收并解析用户通 过web客户端提交给服务器的计算子任务后生成计算任务A发送给容器编排调度器，所述容 器编排调度器被编程以执行本发明前述基于容器的云计算平台任务处理方法的步骤。
本发明还提供一种前述基于容器的云计算平台任务处理系统的应用方法，所述任 务解析器接收并解析用户通过web客户端提交给服务器的计算子任务后生成计算任务A的 详细步骤包括：
S1）接收用户通过web客户端提交给服务器的包含n个计算子任务的计算任务A；
S2）根据计算子任务的语句语法对每一个计算子任务进行解析，如果任意计算子 任务指定了需要多次运行，则为该计算子任务添加循环属性、且将循环属性的值设置为运 行次数；如果计算子任务之间存在依赖关系，则为存在依赖关系的计算子任务添加依赖属 性、且将依赖属性的值设置为所依赖的计算子任务，最终得到完成解析后的计算任务A。
优选地，步骤S2）还包括镜像属性解析的步骤：如果任意计算子任务指定了容器运 行镜像，则为该计算子任务添加镜像属性、且将镜像属性的值设置为指定的容器运行镜像； 否则，为该计算子任务添加镜像属性、且将镜像属性的值设置为默认的容器运行镜像。
优选地，步骤S2）还包括文件属性解析的步骤：如果任意计算子任务指定了需要添 加至容器的文件，如果该文件为数据仓库中的文件则为该计算子任务添加文件属性、且将 文件属性的值设置为指定的添加至容器的文件。
和现有技术相比，本发明具有下述优点：
1、本发明面向有一定编程能力的用户，提供并行和串行运行算法任务支持，解决 了计算子任务之间相互依赖的问题，可根据自身业务自定义任务处理，将计算子任务使用 容器结合现有容器资源编排调度完成业务处理，能够有效提高平台实用性及优化平台的资 源效能。
2、本发明使用容器运行计算子任务，可利用现有容器资源编排技术优化平台性 能。
3、本发明通过可编程任务调度方法结合数据仓库，用户可将任务拆分计算或一次 性计算，也可多人协作，支持多种方式处理，有限扩展云计算平台业务。
4、本发明支持任务调度和资源调度相结合，提高了计算子任务的处理效率。
附图说明
图1为现有技术的现有容器基础平台架构示意图。
图2为本发明实施例容器基础平台架构示意图。
图3为本发明实施例方法的基本流程示意图。
图4为本发明实施例中任务解析器的工作流程示意图。
具体实施方式
如图3所示，本实施例基于容器的云计算平台任务处理方法的实施步骤包括：
1）接收提交的计算任务A，计算任务A包含至少一个计算子任务；
2）针对计算任务A中的每一个计算子任务Ai<\/sub>，跳转执行步骤3）；
3）为计算子任务Ai<\/sub>选择客户端节点，在选择的客户端节点中创建容器 containerA ij<\/sub>，其中containerAij<\/sub>表示针对子任务Ai<\/sub>第j次创建的容器；
4）判断计算子任务Ai<\/sub>中是否有循环属性，如果存在循环属性则将循环计数加1，判 断循环计数的值是否等于循环属性的值，如果不等于循环属性的值，则跳转执行步骤3）；否 则，跳转执行步骤5）；本实施例中循环属性的形式为{\ 申请码:申请号:CN201910010905.X 申请日:2019-01-07 公开号:CN109376017A 公开日:2019-02-22 国家:CN 国家/省市:43(湖南) 授权编号:CN109376017B 授权时间:20190412 主分类号:G06F9/50 专利分类号:G06F9/50 范畴分类:40B; 申请人:人和未来生物科技（长沙）有限公司 第一申请人:人和未来生物科技（长沙）有限公司 申请人地址:410000 湖南省长沙市长沙高新开发区文轩路27号麓谷钰园C2栋1101号 发明人:李根;宋卓;邓文平;唐骏翔;吴侃;孙朝辉;宁文飞;谢成龙;朱德龙;张栓;马丑贤 第一发明人:李根 当前权利人:人和未来生物科技（长沙）有限公司 代理人:邹大坚;谭武艺 代理机构:43008 代理机构编号:湖南兆弘专利事务所（普通合伙） 优先权:关键词:当前状态:审核中 类型名称:外观设计设计图
相关信息详情