您的当前位置:首页正文

一种SparkSQL系统中的数据处理方法和装置[发明专利]

2020-12-22 来源:个人技术集锦
专利内容由知识产权出版社提供

专利名称:一种SparkSQL系统中的数据处理方法和装置专利类型:发明专利发明人:李远策,李振炜申请号:CN201611016865.2申请日:20161118公开号:CN106844415A公开日:20170613

摘要:本发明公开了一种SparkSQL系统中的数据处理方法和装置。其中所述方法包括:当接收到对SparkSQL系统中的数据表的查询请求时,判断该请求是否命中聚合查询预处理任务的列;如果命中,则将所述查询请求发送至联机分析处理OLAP引擎,接收所述OLAP引擎返回的聚合查询结果;如果未命中,则调用SparkSQL系统的SQL查询模块完成本次查询请求。该技术方案有效地利用了OLAP引擎毫秒级的多维度聚合分析能力,显著地提升了在SparkSQL系统中进行聚合查询的速度。

申请人:北京奇虎科技有限公司,奇智软件(北京)有限公司

地址:100088 北京市西城区新街口外大街28号D座112室(德胜园区)

国籍:CN

代理机构:北京市隆安律师事务所

更多信息请下载全文后查看

因篇幅问题不能全部显示,请点此查看更多更全内容

Top