1.1. presto发展

随着数据量的快速递增,传统数据库已经不能满足大数据量的业务需求,接着出现了hadoop大数据平台,hadoop就是专门来处理大量数据的存储和离线 计算的开源框架。但是hadoop提供的是map-reduce计算框架,这种框架适用于大数据的离线和批量计算,因为该框架考虑的是数据吞吐率而不是计算效 率,所以不能满足大数据快速实时(Ad-hoc)查询。

各大互联网公司和企业也发现map-reduce计算框架在快速查询所表现出来的弊端,各个互联网公司都纷纷进行大数据实时查询的开发,facebook于2012 年开始开发presto,目前产品已经超过facebook1000名雇员开始使用,每天运行超过30000个查询,每日查询数据量在1PB级别。facebook称rpresto比hive 要好上10倍还多,于2013年进行开源发布。