导读:本文包含了处理引擎论文开题报告文献综述、选题提纲参考文献,主要关键词:事件,数据,数据处理,分布式,引擎,在线,处理器。
处理引擎论文文献综述写法
周二专,冯东豪,冯长有,张思远,袁启海[1](2019)在《面向电网在线分析的复杂事件处理引擎研发》一文中研究指出针对电网在线分析系统快速(秒级)响应需求,研发了一套适用于电网实时安稳评估、面向事件驱动的规则评估的复杂事件处理(CEP)引擎软件系统。首先介绍了CEP引擎的系统架构设计,相关软件功能模块的实现技术路线和主要实施步骤。其次描述了CEP技术在电网在线分析中应用的方法,包括在线快速安稳评估、电网运行状态实时跟踪、电网运行态势感知和大电网全局监控应用场景。(本文来源于《电力系统自动化》期刊2019年20期)
顾永雄,曾山[2](2019)在《数据库高频事务处理引擎设计思路》一文中研究指出"数据库高频事务处理引擎"通过提升单节点处理效率,使应用以更为积极的方式应对短时间内超量事务请求对数据库的冲击访问,达到节约成本、简化部署的目的。引擎对以数据库事务为核心的过程加以分解、封装与重构,有针对性地设计事务调试算法和处理机制,消除系统数据库事务处理瓶颈,增强数据库执行能力,平稳应对突发性、超量数据库事务处理请求。该引擎被应用在湖北省普通高校招生网上填报志愿系统,该系统多年运行稳定、响应迅速。(本文来源于《计算机产品与流通》期刊2019年04期)
叶枫,张鹏,夏润亮,顾和生,陈勇[3](2019)在《基于新一代大数据处理引擎Flink的“智慧滁河”系统》一文中研究指出概述了水利领域大数据的特点,展示了基于Flink构建的"智慧滁河"系统,并以在滁河监测中获取的传感器数据为实验数据,以常用的查询操作测试了系统性能。结果表明,采用Flink的"智慧滁河"系统的处理能力远超传统的多层架构系统,可为水利信息化迈向"智慧"提供可行的解决方案。(本文来源于《水资源保护》期刊2019年02期)
马娇,万雅莉,兰燕,蒲朝旭[4](2018)在《基于智能数据处理引擎的iData数据入库——以四川省第叁届测绘技能竞赛为例》一文中研究指出iData数据工厂是一款集数据采集、数据加工、数据入库和产品制作于一体的地理信息数据处理软件。本文以四川省第叁届测绘技能竞赛为例,介绍了依托智能数据处理引擎的iData数据工厂,利用其元规则对DWG格式矢量数据进行数据格式转换、地物构面、拓扑检查与处理、属性检查与处理以及质量检查等入库操作,最后得到空间拓扑表达正确、属性信息完整的MDB格式数据文件。实践证明,iData数据工厂不仅能够实现数据入库,而且其效率高,降低了劳动强度。(本文来源于《测绘》期刊2018年03期)
王国智[5](2018)在《面向制造物联云服务的复杂事件处理引擎研究》一文中研究指出随着物联网技术的不断发展,一种物联网+制造业的新型制造模式已然形成。对于如何从制造过程里产生的海量、多源数据中提取企业所需要的信息,该模式通常会在数据采集层之上,通过上位机来实现企业的目标。但由于企业间的业务具有多样性,且制造流程多变,一旦企业增加了某个设备要实现某个业务时,就需要对上位机进行重构,导致企业的研发实施成本高,资源不能够统一管理,且传统的数据处理方式已经满足不了新的制造模式对于数据处理实时、高效、快速的要求。本文通过引入制造物联云平台,将制造过程中的设备、人员、网络、应用等基础设施统一接入云平台,实现资源的统一管理,使企业可以根据自己的需求友好地从云平台中获取所需要的资源,并实现业务与基础设施的解耦,将业务交给分布式复杂事件处理引擎处理,使云端的各个模块能够更加专注于本模块的设计与实现,提高了系统的可扩展性。本文的主要研究内容包括:(1)通过对国内主流云平台在制造领域使用情况的分析,本文选择了阿里云平台作为本课题的制造物联云平台。主要研究了设备与应用的接入方式,并对云平台中消息的协议和转发机制进行了设计。(2)为了能够实时、高效、快速地从海量、多源的数据中获取与业务规则相匹配的复杂事件,完成企业的需求,本文提出了以Storm流式框架和Esper为基础的分布式复杂事件处理引擎。该引擎由事件监听模块、规则管理模块、复杂事件处理模块和事件分发模块组成,本文对引擎的四个模块进行了设计与实现。(3)为了便于企业能够根据业务需求动态地生成相应规则,本文为企业提供了规则模板,并提出了一种基于规则模板和规则关联设备集的流分组策略,提高了引擎的事件处理性能。(4)本文通过智能窗帘和车间报工两个案例,分别从应用到设备和设备到应用两个方面进行功能测试,并对复杂事件处理引擎的性能进行了评估。(本文来源于《广东工业大学》期刊2018-05-01)
叶艺峰[6](2018)在《基于VLIW结构的雷达信号处理引擎设计与实现》一文中研究指出雷达信号处理引擎作为雷达系统中的核心组成部分,用来实现对雷达接收数据的实时处理,直接影响着雷达整机的性能。随着集成电路数字化的程度越来越高,雷达信号处理引擎也不断向数字化的方向发展。随着雷达应用的场景和领域越来越丰富,算法灵活多变,希望雷达信号处理引擎能够具有可配置的特性,能灵活适应不同的需求和算法。当前,ASIC实现方式需要将算法固化成电路,灵活性差。DSP实现方式在进行雷达信号处理时专用性不足。如何兼顾专用性和灵活性,这对雷达信号处理引擎的设计提出了新的挑战。本论文的研究工作源自国家部委雷达信号处理器项目,本文基于脉冲多普勒雷达中雷达信号实时处理的需求,提出了一种面向脉冲多普勒雷达信号处理的专用指令集处理器(ASIP)作为雷达信号处理引擎。该处理引擎使用专用指令集编程的方式能适应各种场景下的雷达信号处理需求,对算法进行灵活升级和更新。同时使用专用结构和专用指令保证雷达信号处理引擎的信号处理性能。重点研究了面向脉冲多普勒雷达信号处理的专用指令集处理器的专用结构设计,专用指令集设计。研究了雷达信号处理中的关键算法(下变频,脉冲压缩,动目标检测)的原理,并对核心算法的并行化方案进行了探索。使用LANCE编译器和GNU工具对目标算法进行分析,提取基本操作,设计专用指令集。充分利用算法中数据和指令的并行,采用了并行通道数为5的超长指令字(VLIW)结构,宽度为4*16bit的SIMD技术。针对结构中出现的访存冲突,使用了多体存储器结构,并对存储器的地址映射方法进行了优化。针对算法中的大量循环,设计了硬件循环取指单元。针对VLIW通道内和通道间存在大量的数据相关,设计了专用的数据前推网络。设计了专门的系数存储器。最后从结构验证,系统验证两个方面完成了设计整体的仿真与验证。并将FIR和FFT运算的循环核心代码封装成函数库的形式,方便调用。雷达信号处理引擎的硬件运算结果和matlab结果进行比对,相对误差在10~(-3)数量级,能够正确识别目标的位置信息和速度信息。在xilinx Zynq7020上进行实现,速度可以达到182.774Mhz,达到了文中应用场景实时处理的要求。同时通过编程,可以对信号处理算法进行升级和更新,体现了本文设计的雷达信号处理引擎的灵活性。与市场上常见的C64系列信号处理器相比,完成相同点数的FIR和FFT,加速比分别达到2~3倍,5~6倍,体现了本文设计的面向多普勒雷达信号处理的专用指令集处理器的专用性特点。(本文来源于《西安电子科技大学》期刊2018-04-01)
缪磊[7](2018)在《网络处理引擎性能评估技术研究》一文中研究指出随着网络新业务不断出现和贪得无厌的带宽需求,网络处理器NP(network processor)的开发成本日益增加。基于传统的硬件开发流程设计NP使得其性能分析只有在硬件实现之后才能进行,其高昂的时间开发成本不利于NP快速上市,并且NP硬件实现之后的性能分析结果好坏很大程度是由初期的系统设计方案决定,如果能够对NP系统设计方案进行性能分析,有益于降低时间成本。针对这种情况,本文设计了一款能够仿真40Gbps线速处理能力的通用性NP仿真平台。该平台根据设计方案快速完成系统模型的搭建,通过仿真分析评估NP系统设计方案的优劣。另外由于商用NP开发环境的封闭性,使得其无法有效评估其他架构的NP性能,而本文设计的NP仿真平台,可从容应对NP的设计方案修改和架构变换,同时设计者可进一步对平台搭建的系统模型进行功能算法和时序信息优化,以此提高设计人员对仿真平台功能开发的自由度。本文的研究课题来源于国家部委项目。本文在NP体系架构分析的基础上,对NP的主要组成部分进行了抽象概括,采用多核多线程作为系统模型架构设计的基础,将分组处理流程映射到各个功能子单元,同时在每个单元的分组处理流程中插入了预估延迟。NP仿真平台由驱动系统仿真的底层架构和上层事务级系统模型两部分构成。仿真平台的底层架构是基于离散事件仿真机制设计,根据模型实体状态迁移规律规划系统仿真事件以及相互逻辑关系,采用事件链表安排系统模型仿真过程中产生的事件,依据时间最近原则,利用事件调度器提取事件,驱动仿真向前推进。仿真平台的上层TLM模型采用模块参数化策略设计,其存储访问延迟和功能单元的处理延迟,确定了系统模型仿真过程中事件执行时刻表。另外本文设计了性能统计单元用于记录事件执行时刻,方便平台统计仿真结果,以对系统模型进行性能分析。通过对仿真结果的分析,NP系统模型的数据转发功能、处理延迟、丢包率等性能参数得到了证实。同等架构下,该平台的仿真结果与商用NP仿真平台的结果一致,本文对模型的时序信息影响因素进行了数学分析与量化,供系统模型后期的时序精确和功能优化参考使用。(本文来源于《西安电子科技大学》期刊2018-04-01)
田军[8](2018)在《动态自适应的流式数据处理引擎的设计与实现》一文中研究指出传统的批处理系统和流处理系统主要针对大规模数据实时处理的需求,系统的开发和部署复杂,数据处理应用的重构和使用困难。随着应用性能管理的发展,迫切需要一种轻量级的,具备良好重构能力的流处理引擎,以应对应用性能管理所需的多源结构化日志数据的流式处理需求。论文针对应用性能管理的数据处理需求,分析了现有流处理系统在集群节点动态管理、消息持久化、消息恢复、任务并发执行等方面存在的问题,提出了一种动态自适应的流式数据处理方法。该方法通过引入基于ZeroMQ的集群对等节点广播策略和基于Redis的AOF持久化特性的时间窗口算法,解决了 Kafka这类传统流式数据处理引擎,在应对应用性能管理数据分析系统时容易出现的集群节点同步不及时、消息恢复慢、集群配置过于复杂的问题,提高了节点数据处理的可靠性和集群管理的高效性。论文首先分析了应用性能管理系统的集群节点管理需求和节点故障恢复需求,设计了一个包含分布式处理引擎、流处理节点代理的动态自适应流式数据处理引擎。分布式处理引擎通过封装ZeroMQ集群内对等节点广播来实现集群节点的动态发现和管理,及节点间的数据消息传递。流处理节点代理则通过“生产者-消费者”模式封装数据的获取和分发,从而解耦流数据处理节点,完成数据处理的动态管理。流处理节点内则通过时间窗口算法,处理节点在故障恢复过程中的数据自适应加载,完成数据处理的自适应管理。其后,论文对动态自适应流处理引擎的核心功能、开发者接口、数据结构、数据流程等进行了设计与实现,向开发者提供了一个完整的轻量级数据传输与处理服务。论文最后通过一个典型应用性能管理应用对该引擎进行了功能和性能测试,验证了系统的有效性,并对轻量级流式数据处理引擎进行了总结和展望。(本文来源于《北京邮电大学》期刊2018-03-21)
黎爽[9](2017)在《高通推出骁龙神经处理引擎》一文中研究指出高通近日宣布,将在其开发者网络上提供骁龙神经处理引擎(NPE)软件开发包(SDK)。骁龙NPE是首个面向骁龙移动平台设计的深度学习软件框架。骁龙NPE旨在向开发者提供软件工具,面向搭载骁龙处理器的移动终端和其他类型的网络边缘终端,加速深度神经网络(本文来源于《人民邮电》期刊2017-07-31)
殷荣[10](2016)在《基于DAG模型的离线数据处理引擎的设计与实现》一文中研究指出随着经济和科学的快速发展,各行各业每天都会有大量的数据产生,其中有很多数据甚至是没有任何规律的。面对如此复杂而又庞大的数据,我们应该如何将他们利用起来,如何在较短的时间内从这些数据中挖掘出有意义的信息?本课题的目的是实现一个通用的、灵活的、高效的海量离线数据处理引擎。基于目前大数据处理引擎不具有通用性的问题,本引擎提出了一种新的设计方案:采用DAG(有向无环图)模型进行应用场景建模。DAG模型能够满足用户根据自身需要灵活改变各个场景执行顺序的需求;DAG模型解决了本引擎允许用户自定义算子的问题;DAG模型有利于实现引擎的高扩展性、灵活性和通用性。为了提高引擎的处理速度,本引擎采用的是Spark计算框架。Spark的中间处理结果是存储在内存中的。在数据迭代处理过程中会减少大量的IO消耗。同时,Spark的内部设计模式决定了其具有高扩展性,这能够满足本引擎对扩展性、灵活性的需求。最后,Spark是支持DAG的分布式计算框架,与本引擎选用的DAG模型相契合。本引擎中每个算子代表一种数据处理功能,本引擎提供一些算子,同时支持用户根据自身处理需求自定义算子。本引擎是对Spark的进一步封装,用户在自定义算子的时候不需要使用Spark的底层API。该引擎能够实现对接各种异构数据,能够从用户指定的不同数据源将数据拉到HDFS,能够处理不同类型的文件。本引擎已经投入使用,目前运行良好。本引擎解决了现有的大数据处理系统效率低、通用性差的技术问题。(本文来源于《哈尔滨工业大学》期刊2016-06-01)
处理引擎论文开题报告范文
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
"数据库高频事务处理引擎"通过提升单节点处理效率,使应用以更为积极的方式应对短时间内超量事务请求对数据库的冲击访问,达到节约成本、简化部署的目的。引擎对以数据库事务为核心的过程加以分解、封装与重构,有针对性地设计事务调试算法和处理机制,消除系统数据库事务处理瓶颈,增强数据库执行能力,平稳应对突发性、超量数据库事务处理请求。该引擎被应用在湖北省普通高校招生网上填报志愿系统,该系统多年运行稳定、响应迅速。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
处理引擎论文参考文献
[1].周二专,冯东豪,冯长有,张思远,袁启海.面向电网在线分析的复杂事件处理引擎研发[J].电力系统自动化.2019
[2].顾永雄,曾山.数据库高频事务处理引擎设计思路[J].计算机产品与流通.2019
[3].叶枫,张鹏,夏润亮,顾和生,陈勇.基于新一代大数据处理引擎Flink的“智慧滁河”系统[J].水资源保护.2019
[4].马娇,万雅莉,兰燕,蒲朝旭.基于智能数据处理引擎的iData数据入库——以四川省第叁届测绘技能竞赛为例[J].测绘.2018
[5].王国智.面向制造物联云服务的复杂事件处理引擎研究[D].广东工业大学.2018
[6].叶艺峰.基于VLIW结构的雷达信号处理引擎设计与实现[D].西安电子科技大学.2018
[7].缪磊.网络处理引擎性能评估技术研究[D].西安电子科技大学.2018
[8].田军.动态自适应的流式数据处理引擎的设计与实现[D].北京邮电大学.2018
[9].黎爽.高通推出骁龙神经处理引擎[N].人民邮电.2017
[10].殷荣.基于DAG模型的离线数据处理引擎的设计与实现[D].哈尔滨工业大学.2016