基于python从redmine-api中获取项目缺陷数据并可视化（2）

上一篇文章讲到缺陷数据的获取实现方式，这篇文章主要讲讲如何通过web框架flask将获取到的数据进行web数据可视化

1.调研python web框架

一开始想通过html＋js＋highcharts去实现数据可视化，但是实现起来不方便而且本人js及前端开发了解甚少，所以还是借助web框架。故调研了以下框架进行对比分析，最终选取了flask框架

web框架调研对比.png

2.安装搭建web框架

2.1.安装flask

安装flask最便捷的方式是使用虚拟环境，这是一个python解释器的一个私有副本，即virtualenv。
我用的是python3.6，在命令窗口用：

$pip3 install virtualenv*

即可自动安装,安装完虚拟环境，则要开始使用了，在你的项目文件的目录执行：

$virtualenv venv*

出现下面结果，那么恭喜你你的第一个虚拟环境就建好了。

 ~ pip3 install virtualenvCollecting virtualenv  Downloading virtualenv-15.1.0-py2.py3-none-any.whl (1.8MB)    100% |████████████████████████████████| 1.8MB 650kB/sInstalling collected packages: virtualenvSuccessfully installed virtualenv-15.1.0  ~ cd /Users/zhangmeiyuan/PycharmProjects/MyProject  MyProject lsTEST     test1.py  MyProject virtualenv venvUsing base prefix '/Library/Frameworks/Python.framework/Versions/3.6'New python executable in /Users/zhangmeiyuan/PycharmProjects/MyProject/venv/bin/python3.6Also creating executable in /Users/zhangmeiyuan/PycharmProjects/MyProject/venv/bin/python
Installing setuptools, pip, wheel...done.

virtualenv 安装完毕，你可以立即打开 shell 然后创建你自己的环境。在python3下由于在MAC上自带pyvenv，不用额外安装。
我用的是mac：故操作如下：

mkdir .pyvenv
cd .pyvenv
pyvenv flask_venv
source flask_venv/bin/activate

 cd /Users/zhangmeiyuan/PycharmProjects/MyProject  MyProject mkdir .pyvenv  MyProject cd .pyvenv  .pyvenv pyvenv flask_venvWARNING: the pyenv script is deprecated in favour of `python3.6 -m venv`  .pyvenv source flask_venv/bin/activate
(flask_venv)   .pyvenv

启动成功后，会在前面多出 flask_env字样，如下所示

zhangmeiyuan-4:.pyvenv zhangmeiyuan$ source flask_venv/bin/activate
(flask_venv) zhangmeiyuan-4:.pyvenv zhangmeiyuan$

接下来就可以在虚拟环境中安装包，不影响外貌的环境

pip3 install requests
pip3 install flask_sqlalchemy
pip3 install pymysql
pip3 install flask
pip3 install flask-script
pip3 install flask-migrate

退出虚拟环境
deactivate

2.2Flask 创建代码工程

体验 Flask
有一点准备工作要做，既然 Flask 是一个 MVC 的 web 框架，我们就得按照 MVC 的模式来对代码文件分层。

  1. 首先我们创建一个工作的文件目录
$ mkdir -p bug_report/app
$ mkdir -p bug_report/app/static
$ mkdir -p bug_report/app/templates

Tips: 我们的应用程序包是放置于 app 文件夹中。子文件夹static
用来存放静态文件例如图片，JS 文件以及样式文件。子文件夹templates是存放模板文件类的html文件。

  1. 接下来我们进入到 app 文件夹中，并创建init.py和views.py
$ cd bug_report/app
$ touch __init__.py
$ touch views.py
  1. 上面创建项目是直接在命令行进行，也可以打开pycharm创建flask项目

screenshot.png

location为项目路径
interpreter为解释器路径，我们可以将这里更改为自己创建的虚拟环境中的解释器，
第一次添加需要add local，选定制定虚拟环境文件夹flask_env/bin/python3.6，
创建好后默认会出现一个简单的flask程序

  1. 让我们编写第一个视图函数(文件app/views.py
    )
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from flask import flask

app = Flask(__name__)

@app.route('/')
@app.route('/index')
def index():
    return "Hello, World!"
if __name__ == '__main__':
    app.run(host='localhost', port=8888, debug=True)

Flask自带一个Web服务器，Run这个文件后，就会开始监听，可以使用,出现如下提示

/Users/zhangmeiyuan/PycharmProjects/MyProject/.pyvenv/flask_venv/bin/python3.6 /Users/zhangmeiyuan/PycharmProjects/bug_report/app/views.py
 * Running on http://localhost:8888/ (Press CTRL+C to quit)
 * Restarting with stat
 * Debugger is active!
 * Debugger PIN: 117-803-899

在浏览器输入http://localhost:8888/index，最终效果图如下

screenshot.png

以上flask框架已经基本搭建完成，可以在已经建好的项目中进行编程实现缺陷数据可视化

3.采用pygal charts＋flask＋mysql实现缺陷数据可视化

3.1框架设计

流程框架如下：

生成缺陷数据可视化流程图.png

代码目录框架如下：
├── pycache
│ └── mysql_save.cpython-36.pyc
├── app
│ ├── init.py
│ ├── pycache
│ │ ├── init.cpython-36.pyc
│ │ └── views.cpython-36.pyc
│ ├── static
│ │ └── pygal-tooltips.min.js
│ ├── templates
│ │ ├── charts.html
│ │ └── config.py
│ └── views.py
├── fix_period.py
├── mysql_save.py
└── run.py

3.2实现过程

从上一篇文章写到，从redmine获取到的数据将存在mysql中，所以Flask + sqlalchemy 是一种不错的选择，由于自己此前完全未接触过 flask,基本是零基础边学边用，对于网页展示动态数据，摸索了很久才弄明白其实现方式原理，而且遇到各种各样的调试问题，所以这块的功能实现的时间比较长也比较坎坷。

数据展示层的代码如下：由于涉及业务内容，只拿（三种类型的图）出来展示

def bugdata():
   try:
       conn = pymysql.connect(host='localhost', user='root', passwd='****', db='test', charset='utf8')
   except Exception as e:
       print(e)
       sys.exit()
   cursor = conn.cursor()
   sql = "select distinct category,bugs from priority_line where bank='***' "

   sql3 = "select distinct date_time,newbug,closebug from bug_line where bank='***' "

   sql5 = "select distinct period_time,bugs from period_line where bank='***' "
   cursor.execute(sql)
   alldata = cursor.fetchall()
   print(alldata)
   cursor.execute(sql2)
   alldata1 = cursor.fetchall()
   print(alldata1)

   cursor.execute(sql4)
   alldata3 = cursor.fetchall()

   title = " This is a  demo"
   pie_chart = pygal.Pie()

   pie_chart.title = '电子账户4.2_priority_bug'
   line_chart = pygal.Line()
   line_chart1 = pygal.Bar()
   line_chart.title = '电子账户4.2_bug_trend'
＃饼图
   if alldata:
       for rec in alldata:
           print(rec[0], rec[1])
           pie_chart.add(rec[0], rec[1])
       chart = pie_chart.render_data_uri()
   pie_chart2.title = '电子账户4.2_author_bug'
#折线图
   if alldata2:
       date_time =[]
       new_bug = []
       close_bug = []
       for rec in alldata2:
           date_time.append(rec[0])
           new_bug.append(rec[1])
           close_bug.append(rec[2])
       print(date_time)
       print(close_bug)
       line_chart.title = '电子账户4.2_Bug_trend'
       line_chart.x_labels=date_time
       line_chart.add('new_bug',new_bug)
       line_chart.add('close_bug',close_bug)
       chart1 = line_chart.render_data_uri()

 ＃柱形图
   line_chart1.title = '电子账户4.2_period_time'
   if alldata4:
       period_time = []
       bugs = []
       for rec in alldata4:
           period_time.append(rec[0])
           bugs.append(rec[1])
       print(period_time)
       print(bugs)
       line_chart1.title = '电子账户4.2_period_line'
       line_chart1.x_labels = period_time
       line_chart1.add('bugs', bugs)
       chart4 = line_chart1.render_data_uri()

   return render_template('charts.html', title=title,chart=chart,chart2=chart2,chart3=chart3,chart4=chart4)

   cursor.close()
   conn.close()

if __name__ == '__main__':
   app.run(host='localhost', port=8888, debug=True)

charts.html代码如下

<!DOCTYPE html>
<html>
<head>

    <meta charset="utf-8">
    <script type="text/javascript" src="{{url_for('static',filename='pygal-tooltips.min.js')}}"></script>
    <script type="text/javascript" src="http://kozea.github.com/pygal.js/javascripts/svg.jquery.js"></script>
</head>

<body>
**************
隐藏
**************
    <h3 style="text-align:center;">电子账户4.2_质量分析报告可视化</h3>
    <div id="chart">
        <embed type="image/svg+xml" src={{ chart|safe}}></embed>
        <embed type="image/svg+xml" src={{ chart3|safe}}></embed>
        <embed type="image/svg+xml" src={{ chart1|safe}}></embed>
        <embed type="image/svg+xml" src={{ chart4|safe}}></embed>
    <embed type="image/svg+xml" src={{ chart2|safe}}></embed>
    </div>
 author: Jammy
</body>

</html>

最后成果如下（后续还将继续优化展示结果、新增维度分析及支持多个项目缺陷数据图片查询）：

all.png

1.png

bug_trend.png

period_line.png

status_line.png

时间： 2024-07-30 12:02:25

基于python从redmine-api中获取项目缺陷数据并可视化（2）的相关文章

基于python从redmine-api中获取项目缺陷数据（1）

1.引言 本文主要内容是将如何利用 Python 对 Redmine缺陷进行缺陷数据获取操作.目前统计缺陷数据时基本是根据项目手动去redmine获取缺陷数据,至少要花费一个工作日去完成,目前的目标是通过python脚本通过 Redmine-API快速去获取各个维度的缺陷数据 需求: 需要输出 产品质量数据(总BUG数,每日新建bug数,每日关闭bug数,bug修复周期,bug提交者统计.bug严重程度比) 实现方案: 1.redmine API形式发布不同维度的缺陷数据统计接口 2.采用pyt

Python的Bottle框架中获取制定cookie的教程

  Python的Bottle框架中获取制定cookie的教程         这篇文章主要介绍了Python的Bottle框架中获取制定cookie的教程,主要是针对别的路径而不是当前页面的cookie,需要的朋友可以参考下 这两天为用bottle+mongodb写的一个项目加上登录功能,无奈怎么都获取不到保存的cookie,文档给出让我们这样操作cookie的代码片段: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 @route('/login') def lo

全面剖析Python的Django框架中的项目部署技巧第1/2页_python

项目开始时是一个关键时刻,选择会对项目产生长期的影响.有很多关于如何开始使用Django框架的教程,但很少讨论如何专业地使用Django,或如何使用行业公认的最佳做法来确保你的项目规模的持续增长.事前的筹划让你(和所有同事的生活)在走向将来时更容易. 文章结束时,你将有     一个全功能的Django 1.6项目     源代码受控的所有资源(使用Git或Mercurial)     自动回归和单元测试(使用unittest库)     一个独立于特定环境的安装项目(使用virtualenv)

.net实现oracle数据库中获取新插入数据的id的方法_实用技巧

在sql sever中实现插入数据的自动增长是很容易的,但是在oracle数据库中实现这一操作不是很容易,同时要想在.net中实现获取新插入数据的id,而且不会出现读错的情况,就更显得困难了,为了解决在oracle数据中插入的数据能够自增id,同时获取新数据的id,并避免因并发操作而出现的id读错的问题. 数据表结构为test(id,name) 首先,解决数据id自增问题 创建一个序列sequence(sequence详解可从网上搜一下,这里不赘述) create sequence SEQ_te

怎么样从gridview中获取一列数据的值？没分了，还望各位大哥帮帮忙！！谢谢

问题描述 单击gridview控件外部的一个按钮,怎么获取gridview中的一列数据? 解决方案 解决方案二:用循环啊foreach(GridViewRowmyrowinGridView1.Rows){stringlie=myrow.Cells[0].Text;}解决方案三:引用楼主wolf_268的帖子: 单击gridview控件外部的一个按钮,怎么获取gridview中的一列数据? 楼上的大哥说的yes!!!!!!!!解决方案四:帮顶!解决方案五:问一下,下边的"GridViewRow&q

怎么样从gridview中获取一列数据的值？再怎么把获得的数据插入到另一个表中？没分了，还望各位大哥帮帮忙！！谢谢

问题描述 单击gridview控件外部的一个按钮,怎么获取gridview中的一列数据?获得的数据怎么插入到另一个表中,比如说那个表名是a 解决方案 解决方案二:FindControl获取RowIndex,再cells[i].text解决方案三:你根据ID查询出来值,然后再把值添加到a表这样就可以了吧!解决方案四:DataTabledt=newDataTable();dt.Columns.Add("col1");foreach(GridViewRowgvrinGridView1.Row

《数据科学实战手册（R+Python）》一第2章 汽车数据的可视化分析（R）

第2章 汽车数据的可视化分析(R) 数据科学实战手册(R+Python) 本章涵盖如下内容. 获取汽车燃料效率数据 为了你的第一个项目准备好R 将汽车燃料效率数据导入R 探索和描述燃料效率数据 进一步分析汽车燃料效率数据 研究汽车的产量以及车型 简介 本书介绍的第一个项目是分析汽车燃料经济数据.我们首先用R对该数据集进行分析.R常常被称为数据科学通用语言,因为它是目前最流行的统计和数据分析语言.在本书前半部分的各个章节中,你将会看到R在数据处理.建模.可视化方面的过人之处,并开发一些有用的脚本,

Python的Bottle框架中获取制定cookie的教程_python

这两天为用bottle+mongodb写的一个项目加上登录功能,无奈怎么都获取不到保存的cookie,文档给出让我们这样操作cookie的代码片段: @route('/login') def login (): username = request .forms .get('username ') password = request .forms .get('password ') if check_user_credentials(username, password): response

jQuery EasyUI API 中文文档 - DataGrid数据表格_jquery

扩展自 $.fn.panel.defaults ,用 $.fn.datagrid.defaults 重写了 defaults . 依赖 panel resizable linkbutton pagination 用法 复制代码 代码如下: <table id="tt"></table> 复制代码 代码如下: $('#tt').datagrid({ url:'datagrid_data.json', columns:[[ {field:'code',title:'