[Tip:2011-05-19 14:55左右修正个别Bug后重新上传了一下,之前下载的新重新下载。]
杂七几句:
自从购买VPS之后,打算将 秋色园QBlog 搬迁,也想把目前的Access数据库换成其它数据库。
由于VPS只有512M内存,装完系统都快300M,跑MSSQL2005太吃力,所以就不装了。
刚好系统默认装了MySql,于是就打算在MySql中跑一下。
秋色园QBlog 一开始就用上了CYQ.Data 的多数据库解析标签,能解析各数据库的差异化代码或函数。
所以更换数据库是几乎是0成本的,代码是不用动的,唯一要想的就是怎么生成MySql的表结构和把数据导过去。
于是自然第一反应就是上网搜“Access导数据到MySql”的工具:
1:好不容易下了一个,安装后默认带插件导航网页,只能说一声RI,然后马上卸了,还得手动删除插件文件,这个纠结。
2:再后来,搜到一个小巧的工具,看似能导,导了几条数据后就没反应了,结果一看,是个Demo版本,这下更纠结了。
3:再之后,寻到了“Navicat for MySQL”,用它导数据,3万多文章给我导不见了2万多,特纠结。
不过有个好处,就是帮着生成了表结构,可惜这表结构也不实在,只能凑和,数据类型对不上号,还得自己大大的改一下:
看原来的Bit生成后变成其它类型,就顺手把MySql也改成Bit,结果发现数据导不进去了,因为Access是true/false,MySql是1/0,报数据长度too long,本来文章就丢了很多,这又来个类型不对称,纠结中带点压抑。
4:问以前同事有没有什么好工具,同事说,你还是自己写代码吧。没折,就决定自己写代码了。
刚好 CYQ.Data 的MDataTable已实现了批量插入[不带自增ID]和批量更新功能[按需更新]。
想着,把它扩展一下,增加带ID的插入,就成了批量导数据功能了:
于是开始忙碌的敲代码,做测试,在各个数据库间转来复去,折腾了几天,虽然中间被一些问题卡住了很久,比如MySQL的字符集问题,不过还是终见成果了。
批量导入功能实现后,写了个DOS版本工具,用于批量把整个数据库数据从Access导到MySQL中。
之后让秋色园在MySQL跑了一圈,遇到了不少MySql的问题,如动则就十几或几十秒的查询,太过异常,发动群众测试之后:
发现是默认配置问题,需要把内存配置上去,修改my.ini增加内存后,速度也正常上去了。
可惜VPS内存不多,和MySql耗不起,只好作罢,于是顺路把数据导到SQLite、Oracle、Sql2000下也跑了一圈。
修正了个别函数解析后,全部正常运行,SQLite下发现速度和Access没啥差别,Oracle下需要增加索引,速度才正常。
目前:秋色园示例版本:http://demo.cyqdata.com/ 运行在Sql2000的数据库下。
不过秋色园目前仍运行在Access数据库版本中。
此时,CYQ.Data 的MDataTable已具备了批量导数据工具,按说来应该很强大了。
接着之后几天似乎“领域驱动”挺热的,于是又产生了一个想法:
让CYQ.Data也“驱动”一下,若从MDataTable的Columns列结构,可以反向生成不同数据库的表结构,这样在使用CYQ.Data开发的时候,就可以做到“Code First”了,可以不用优先考虑数据库问题。
再接着,又转来复去在各数据库间,调优代码,数据类型转换,测试,生成,示例,代码,修改,再测试,一堆又一堆,又花了几天,终于也完成了,CYQ.Data 强大的反向工程功能也完成了。
为了更方便的使用,于是花了一个晚上写了个 CYQ.DBImport 工具,再花了一天调试代码,终于也就有了以下的内容:
主功能介绍:
1:数据库反向工程功能
可以从任意 CYQ.Data 支持的数据库,生成其它数据库脚本。
目前支持的数据库:Access、Sql2000/2005/2008、Oracle、MySql、Sqlite。
2:批量导数据功能
可以从任意数据库中将数据导向另一个数据库。
由于具有反向生成其它数据库脚本功能,因此会自动检测是否存在指定表:
若表不存在,则自动创建表;
若表存在,则直接导入数据。
界面及使用介绍:
1:双击运行,见:主界面
说明:
1:DBConnection From:从哪个数据库导数据。
2:DBConnection To :把数据导向哪个数据库。
2:输入DBConnection From的数据库链接,点击链接Connect
说明:
ReadMe:有各种数据库链接示例Demo,不用担心不会写。
Tables:数据库的表
(Un)Check All:对表的全选和反选。
3:[可选步骤]选择ViewDBSql,查看反向生成的表脚本,若不满意,还可以自己修改。
A:从Mssql的Blog_File表生成Access表结构的截图
B:从Mssql的Blog_Visit表生成MySql表结构的截图
说明:
1:点击左右的表,再选择右侧的DalType,就可以看到生成不同的表结构。
2:Execute DBSql:可以执行任意SQL语句,默认不可用,把DBConnection To的链接字符串填上,
点击Connect成功后就恢复可用状态。
4:填写DBConnection To的数据库链接,点击链接:Connect
说明:
链接成功后:Execute DBSql和Import Go[导数据]恢复可用状态。
5:选择要导数据的表,根据需要勾选[Import By Pager],点击“Import Go”,开始导数据
说明:
1:Import By Page:是指分页查询并导数据,如果数据量很大,最好是采用这种方式进行,否则默认一次性读取所有数据后再进行插入时,读数据时就卡死了。
2:根据说明,分页导数据时,若DBConnection From的链接为Mssql/Oracle数据库,则需要有CYQ.Data相应的分页存储过程,具体可以到上面提示的网址上找,新近刚发布了,秋色园和博客园都有。
6:批量导数据库完成了,提示完成
总结:
本工具是基于CYQ.Data 数据框架完成的,欢迎使用与关注CYQ.Data。
CYQ.DBImport 下载地址:http://www.cyqdata.com/download/article-detail-426
其它附加哆嗦几句:
1:不要问源码,该发布时会发布。
2:开源!=免费,不清楚的先上网看下相关资料,当然,没开源也不一定是收费的。
3:索要源码时,问下自己,你都贡献了什么?别只知索取,人家上辈子应该没欠你什么,需要你今生苦苦的追索或漫骂。
版权声明:本文原创发表于博客园,作者为路过秋天,原文链接:
http://www.cnblogs.com/cyq1162/archive/2011/05/19/2050632.html