基于python从redmine-api中获取项目缺陷数据(1)

1.引言

本文主要内容是将如何利用 Python 对 Redmine缺陷进行缺陷数据获取操作。目前统计缺陷数据时基本是根据项目手动去redmine获取缺陷数据,至少要花费一个工作日去完成,目前的目标是通过python脚本通过 Redmine-API快速去获取各个维度的缺陷数据

需求:

需要输出 产品质量数据(总BUG数,每日新建bug数,每日关闭bug数,bug修复周期,bug提交者统计、bug严重程度比)

实现方案:

1.redmine API形式发布不同维度的缺陷数据统计接口
2.采用python调用api接口,获取缺陷数据,并存储在数据库

2.必备环境

Python3
pycharm IDE
mysql
自行安装Python需要的包
redminelib
datetime
json
pandas
charts

3.redmine-api理解

了解各个字段代表的含义,比如新建BUG、关闭BUG,优先级、作者,引入者、BUG状态等字段的定义及获取

4.基于python编码-获取缺陷数据

引入必须的python库及包

#coding=utf-8
#引入所需要的库
from redminelib import Redmine
from pandas import DataFrame;
from string import punctuation
import datetime
import time
import matplotlib
import charts
from mysql_save import Bugcount
import json

定义函数
由于篇幅有限及涉及项目业务,这里只摘抄一部分关键代码

首先定义函数
def __init__(self, userName, passWord):
        self.userName = userName
        self.passWord = passWord
        self.redMineURL = 'http://10.20.11.218:8222/redmine'
        try:
            self.redmine = Redmine(self.redMineURL, username=self.userName, password=self.passWord)
            self.project = self.redmine.project.get('f_project')
        except Exception as ex:
            raise RuntimeError('无法连接到Redmine,请检查网络!\n'+ str(ex))
        self.fields = None

#新建BUG数定义筛选
def creat_list(created_on,subject):
    redmine = MyRedMine("zhangmeiyuan656", "password")
    issues1 = redmine.redmine.issue.filter(
        project_id='f_project',
        created_on='><'+str(created_on)+'|'+str(created_on),
        #closed_on='><'+str(closed_on),
        status_id='*'
        subject=('~'+str(subject)).encode('utf-8'))
    result1=str(len(issues1))
    return result1

    #return issues
#关闭BUG数定义筛选
def closed_list(closed_on,subject):
    redmine = MyRedMine("zhangmeiyuan656", "password")
    issues2 = redmine.redmine.issue.filter(
        project_id='f_project',
        closed_on='><'+str(closed_on)+'|'+str(closed_on),
        status_id='*',
        subject=('~'+str(subject)).encode('utf-8'))
    result2=str(len(issues2))
    return result2
#数据处理及时间戳转换使用
if __name__ == '__main__':
    redmine = MyRedMine("zhangmeiyuan656", "PASSDWOR")
    start_time = "2017-08-01 00:00:00"
    end_time = "2017-08-16 00:00:00"
    start_time = int(time.mktime(time.strptime(start_time, "%Y-%m-%d %H:%M:%S")))
    end_time = int(time.mktime(time.strptime(end_time, "%Y-%m-%d %H:%M:%S")))
    c = start_time
    while (c < end_time):
        c = c + 86400
        d = datetime.datetime.utcfromtimestamp(c)
        f=str(d.strftime("%Y-%m-%d")
        #定义类,字典,导入MYSQL数据库
        bugCount = Bugcount()
        bug_data1 = {}
        bug_data1['date_time'] = f
        bug_data1['newbug'] = creat_list(f,"XXXv1.0")
        bug_data1['closebug'] = closed_list(f,"XXXv1.0")
        bugCount.insert_to_db(bug_data1)
        bug_data1_string = json.dumps(bug_data1)
        print ('json:',bug_data1_string)

4.数据存储

MYSQL安装:

在官网上下载mysqlserver 下一步一直安装
mysql配置

  • 1.step1:
    苹果->系统偏好设置->最下边点mysql 在弹出页面中 关闭mysql服务
    (点击stop mysql server)
  • 2.进入终端输入:cd /usr/local/mysql/bin/
    回车后 登录管理员权限 sudo su
    回车后输入以下命令来禁止mysql验证功能 ./mysqld_safe --skip-grant-tables &
    回车后mysql会自动重启(偏好设置中mysql的状态会变成running)
  • 3.输入命令 ./mysql
    回车后,输入命令 FLUSH PRIVILEGES;
    回车后,输入命令 SET PASSWORD FOR 'root'@'localhost' = PASSWORD('你的新密码');
    至此,密码修改完成,可以成功登陆。
    注意测试:mac终端基础操作mysql
    首先手动启动MySQL应用程序
    打开终端输入如下命令: /usr/local/MySQL/bin/mysql -u root -p
    *4、进入编码,新建脚本mysql_sav.py
    由于篇幅有限,这里只摘抄一部分
#coding=utf-8
#引入所需要的库
import pymysql
import json

    #"""docstring for Bugcount"""
    #连接数据库
    connect = pymysql.connect(
        host='localhost',
        user='root',
        passwd='jammy2017',
        db='test',
        port=3306,
        charset='utf8'
        )
    #获取cursor对象来进行操作
    cursor = connect.cursor()

    def __init__(self):
        pass

    #插入数据
    def insert_to_db(self, bug_data):
        self.cursor.execute("use test")
        self.cursor.execute(
            "insert into bug_line(date_time,newbug,closebug) values(%s,%s,%s)", (bug_data.get('date_time'), bug_data.get('newbug'), bug_data.get("closebug")))
        self.connect.commit()

5.数据展现

这里尝试了三种方式
1、一种是将数据通过pands方法转换后以csv格式导出,这种只适用于将获取到的数据导出excel表格
示例如下:

#生成CSV格式导出
# df = DataFrame({
#     '时间周期':['2017-07-24|2017-07-30','2017-07-20|2017-07-23','2017-07-10|2017-07-20'],
#     '每周新建bug数':[str(len(issues)),str(len(issues2)),str(len(issues3))],
#     '每周关闭bug数':[str(len(issues4)),str(len(issues5)),str(len(issues6))]
#     })
# print(df)
# df.to_csv(
#     "/Users/zhangmeiyuan/Desktop/爬虫脚本/bug趋势表格.csv",encoding='gb18030'
#     )

2、通过POTLY库生成图表,不过此方法是在线生成的图表,借助POTLY的服务器,不能存本地

 py.sign_in('jammy0528','erYbv2ED1VmGbWglVhHf')
 new_bug = Scatter(
     x=[1,2,3],
     y=[str(len(issues3)),str(len(issues2)),str(len(issues))],
 )
 close_bug = Scatter(
     x=[1,2,3],
     y=[str(len(issues6)),str(len(issues5)),str(len(issues4))]
 )
 data = Data([new_bug,close_bug])

 py.plot(data, filename = 'bug-line')

3、通过hightcharts+jupyter生成图表

2C46FA55-FC46-41EC-A40D-8F8A1996F00D.png

6、关于数据可视化,未完待续

后续考虑通过web框架flask将获取到的数据进行web数据可视化

时间: 2024-09-13 08:33:26

基于python从redmine-api中获取项目缺陷数据(1)的相关文章

基于python从redmine-api中获取项目缺陷数据并可视化(2)

上一篇文章讲到缺陷数据的获取实现方式,这篇文章主要讲讲如何通过web框架flask将获取到的数据进行web数据可视化 1.调研python web框架 一开始想通过html+js+highcharts去实现数据可视化,但是实现起来不方便而且本人js及前端开发了解甚少,所以还是借助web框架.故调研了以下框架进行对比分析,最终选取了flask框架 web框架调研对比.png 2.安装搭建web框架 2.1.安装flask 安装flask最便捷的方式是使用虚拟环境,这是一个python解释器的一个私

Python的Bottle框架中获取制定cookie的教程

  Python的Bottle框架中获取制定cookie的教程         这篇文章主要介绍了Python的Bottle框架中获取制定cookie的教程,主要是针对别的路径而不是当前页面的cookie,需要的朋友可以参考下 这两天为用bottle+mongodb写的一个项目加上登录功能,无奈怎么都获取不到保存的cookie,文档给出让我们这样操作cookie的代码片段: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 @route('/login') def lo

全面剖析Python的Django框架中的项目部署技巧第1/2页_python

项目开始时是一个关键时刻,选择会对项目产生长期的影响.有很多关于如何开始使用Django框架的教程,但很少讨论如何专业地使用Django,或如何使用行业公认的最佳做法来确保你的项目规模的持续增长.事前的筹划让你(和所有同事的生活)在走向将来时更容易. 文章结束时,你将有     一个全功能的Django 1.6项目     源代码受控的所有资源(使用Git或Mercurial)     自动回归和单元测试(使用unittest库)     一个独立于特定环境的安装项目(使用virtualenv)

.net实现oracle数据库中获取新插入数据的id的方法_实用技巧

在sql sever中实现插入数据的自动增长是很容易的,但是在oracle数据库中实现这一操作不是很容易,同时要想在.net中实现获取新插入数据的id,而且不会出现读错的情况,就更显得困难了,为了解决在oracle数据中插入的数据能够自增id,同时获取新数据的id,并避免因并发操作而出现的id读错的问题. 数据表结构为test(id,name) 首先,解决数据id自增问题 创建一个序列sequence(sequence详解可从网上搜一下,这里不赘述) create sequence SEQ_te

怎么样从gridview中获取一列数据的值?没分了,还望各位大哥帮帮忙!!谢谢

问题描述 单击gridview控件外部的一个按钮,怎么获取gridview中的一列数据? 解决方案 解决方案二:用循环啊foreach(GridViewRowmyrowinGridView1.Rows){stringlie=myrow.Cells[0].Text;}解决方案三:引用楼主wolf_268的帖子: 单击gridview控件外部的一个按钮,怎么获取gridview中的一列数据? 楼上的大哥说的yes!!!!!!!!解决方案四:帮顶!解决方案五:问一下,下边的"GridViewRow&q

怎么样从gridview中获取一列数据的值?再怎么把获得的数据插入到另一个表中?没分了,还望各位大哥帮帮忙!!谢谢

问题描述 单击gridview控件外部的一个按钮,怎么获取gridview中的一列数据?获得的数据怎么插入到另一个表中,比如说那个表名是a 解决方案 解决方案二:FindControl获取RowIndex,再cells[i].text解决方案三:你根据ID查询出来值,然后再把值添加到a表这样就可以了吧!解决方案四:DataTabledt=newDataTable();dt.Columns.Add("col1");foreach(GridViewRowgvrinGridView1.Row

Python的Bottle框架中获取制定cookie的教程_python

这两天为用bottle+mongodb写的一个项目加上登录功能,无奈怎么都获取不到保存的cookie,文档给出让我们这样操作cookie的代码片段: @route('/login') def login (): username = request .forms .get('username ') password = request .forms .get('password ') if check_user_credentials(username, password): response

jQuery EasyUI API 中文文档 - DataGrid数据表格_jquery

扩展自 $.fn.panel.defaults ,用 $.fn.datagrid.defaults 重写了 defaults . 依赖 panel resizable linkbutton pagination 用法 复制代码 代码如下: <table id="tt"></table> 复制代码 代码如下: $('#tt').datagrid({ url:'datagrid_data.json', columns:[[ {field:'code',title:'

jQuery EasyUI API 中文文档 - DataGrid 数据表格

扩展自 $.fn.panel.defaults ,用 $.fn.datagrid.defaults 重写了 defaults . 依赖 panel resizable linkbutton pagination 用法 1. <table id="tt"></table> 1. $('#tt').datagrid({   2.     url:'datagrid_data.json',   3.     columns:[[   4.         {field