简介
mysql作为非常流行的关系型数据库，很多软件支持通过mysql传输协议和sql语法获取mysql数据。用户只需要对sql语法熟悉，即可完成对接。日志服务提供了mysql协议查询和分析日志数据。用户可以使用标准mysql客户端连接到日志服务，使用标准的sql语法计算和分析日志。支持mysql传输协议的客户端包括，mysql client，jdbc, Python MySQLdb。例如,我们使用tableau，通过mysql协议连接日志服务，读取日志数据。有两种场景使用jdbc:
- 使用可视化类工具，例如dataV, Tableau， Kibana来通过mysql协议连接日志服务。
- 使用java的jdbc,python的MySQLdb等库在程序中访问日志服务，在程序中处理查询结果。
本文将介绍如何使用mysql协议和sql语法来计算日志。
数据样例
以共享单车日志为例，日志内容包括用户年龄，电量使用量，车辆id，性别，操作延时，纬度，锁类型，经度，操作类型，操作结果，开锁方式。数据保存在project:trip_demo的logstore:ebike中。在控制台给logstore的每一列开启索引和分析功能 。project所在地域是cn-hangzhou
Time :10-12 14:26:44
__source__: 11.164.232.105
__topic__: v1
age: 55
battery: 118497.673842
bikeid: 36
gender: male
latency: 17
latitude: 30.2931185245
lock_type: smart_lock
longitude: 120.052840484
op: unlock
op_result: ok
open_lock: bluetooth
userid: 292
JDBC统计
首先创建一个maven项目，在pom依赖中添加jdbc依赖。
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.6</version>
</dependency>
新建一个java类，在代码中使用jdbc进行查询：
/**
* Created by mayunlei on 2017/6/19.
*/
import com.mysql.jdbc.*;
import java.sql.*;
import java.sql.Connection;
import java.sql.Statement;
/**
* Created by mayunlei on 2017/6/15.
*/
public class jdbc {
public static void main(String args[]){
//在这里修改成你的配置
final String endpoint = "cn-hangzhou-intranet.sls.aliyuncs.com";//日志服务内网或VPC域名
final String port = "10005"; //日志服务mysql 协议端口
final String project = "trip-demo";
final String logstore = "ebike";
final String accessKeyId = "";
final String accessKey = "";
Connection conn = null;
Statement stmt = null;
try {
//步骤1 ： 加载jdbc驱动
Class.forName("com.mysql.jdbc.Driver");
//步骤2 ： 创建一个链接
conn = DriverManager.getConnection("jdbc:mysql://"+endpoint+":"+port+"/"+project,accessKeyId,accessKey);
//步骤3 ： 创建statement
stmt = conn.createStatement();
//步骤4 ： 定义查询语句，查询2017年10月11日全天日志中满足条件op = "unlock"的日志条数,操作平均延时
String sql = "select count(1) as pv,avg(latency) as avg_latency from "+logstore+" " +
"where date >= '2017-10-11 00:00:00' " +
" and date < '2017-10-12 00:00:00'" +
" and op ='unlock'";
//步骤5 ： 执行查询条件
ResultSet rs = stmt.executeQuery(sql);
//步骤5 ： 提取查询结果
while(rs.next()){
//Retrieve by column name
System.out.print("pv:");
//获取结果中的pv
System.out.print(rs.getLong("pv"));
System.out.print(" ; avg_latency:");
//获取结果中的avg_latency
System.out.println(rs.getDouble("avg_latency"));
System.out.println();
}
rs.close();
} catch (ClassNotFoundException e) {
e.printStackTrace();
} catch (SQLException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
} finally {
if (stmt != null) {
try {
stmt.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
if (conn != null) {
try {
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
}
}
使用DavaV连接展示日志服务
可视化大屏DataV提供数据的展示功能，可以对接日志服务读取日志数据，或展示日志计算结果。
1. 创建数据源
数据源可以选择mysql for RDS或者简单日志服务，根据自己的需求选择对应的方式，这里以mysql协议为例，展示如何接入。
如图所示，选择对应的地域，网络选择内网，用户名和密码填写accesskey ，可以是主账号的accessKey，也可以是有权限读取日志服务的子帐号accessKey。端口输入10005，数据库输入project名称。
2. 创建视图
视图中选择好业务的模板，然后点击大屏中的任何一个视图，右侧点击修改数据，修改视图的数据源。
如图，数据源选择上文创建的数据库，输入查询的SQL，在上边的字段映射中，输入查询结果和视图字段的映射关系。
3. 预览视图并发布
点击预览，可以查看预览效果：
