通用查询引擎Restful service设计(目前支持hive,shark)

最近在设计开发一个通用查询Restful Service (https://github.com/lalaguozhe/polestar-1) ，项目名polestar (中文名叫北极星，野营灯，指导者，希望把大家的查询语句都吸引汇聚过来，你懂的) ，之前查询Hive语句基本都是走Hive Server，但是Hive Server 1不太完善，比如

1. 有编译器memory leak问题

2. thrift api不支持multiple connections和client sessions

3. 提交语句后就会被block住，无法实时获取执行状态信息

4. 不支持authentication(kerberos)

这些问题要到hive server 2才能解决(https://issues.apache.org/jira/browse/HIVE-2935)，因此我们开发一个统一查询语句的Restul Service，让用户把查询语句(Hive, Shark和Phoenix等) 都通过restful api提交上来，后台worker节点会以command line的方式把它启起来，然后把结果和中间状态信息返回给他。

Polestar 架构图

最上层是应用层，比如Hive Web（用户在edit box自定义查询语句）, 运营工具（DW的报表工具，会生成Query模版查询）, ad hoc (其他应用ad hoc查询)，所有请求都会经过HAProxy+Keepalived做load balance，HAProxy支持多种balance algorithm,默认是leastconn，我们这边使用source，也就是根据client的IP和server权重进行hash。接下来请求就会被转发到某一台worker节点。每一个worker节点都是独立部署，安装有Hive, Shark的客户端，根据用户指定的执行引擎起不同的process处理，并且抓取stdout和stderr

Restful API:

@Path("/query")
public class PolestarController {
    private IQueryService queryService = DefaultQueryService.getInstance();  

    @GET
    @Produces(MediaType.TEXT_PLAIN)
    public String getQueryId() {
        return queryService.getQueryID();
    }  

    @GET
    @Path("/status/{id}")
    @Produces(MediaType.APPLICATION_JSON)
    public QueryStatus getQueryStatus(@PathParam("id") String id) {
        return queryService.getStatusInfo(id);
    }  

    @GET
    @Path("/download/{filename}")
    @Produces(MediaType.APPLICATION_OCTET_STREAM)
    public Response get(@PathParam("filename") String filename) {
        return Response.ok(queryService.getDataFile(filename)).build();
    }  

    @GET
    @Path("/cancel/{id}")
    @Produces(MediaType.APPLICATION_JSON)
    public Boolean cancelQuery(@PathParam("id") String id) {
        return queryService.cancel(id);
    }  

    @POST
    @Path("/post")
    @Consumes(MediaType.APPLICATION_JSON)
    @Produces(MediaType.APPLICATION_JSON)
    public Response postQuery(Query query) {
        QueryResult result = queryService.postQuery(query);
        return Response.status(Status.CREATED).entity(result).build();
    }
}

更多精彩内容：http://www.bianceng.cnhttp://www.bianceng.cn/database/extra/

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索查询
， hive
， return
， response
， advanced rest client
， 语句
， public
， hive查询报错
， hive查询卡死
web+hive
hive restful、shark hive、restful webservice、webservice和restful、restful service，以便于您获取更多的相关知识。