linux下使用ssh远程执行命令批量导出数据库到本地_linux shell

前天正在跟前端的同事调试功能。服务器开好,模拟的玩家登录好,就在倒计时。这时突然运营的同事跑过来说要统计几个服务器玩家的一些情况,也就是需要从几个服的数据库导出部分玩家的数据。好吧,我看了一下时间,11:47。心想,跟前端调试完,去吃个饭再午休一下那就下午再给吧。没想对方来一句"就导个数据库而已,要这么久么?",而且还是直接跟我上司说的。我嚓,好吧,我导。可问题来了,平时的统计是由php做的,批量部署这些是由运维做的。服务端完全没有对应的工具。而且服务器是在阿里云上的,数据库的用户是限制了ip段登录的,我所在的ip没法登录的。于是,只好终止调试,切ip,写sql,然后用navicat手动一个个服务器导出数据到excel。

  事后想想,还是写个脚本吧,不然以后还是会被坑的。
  从环境来看,数据库不能直接登录,没法直接导出。不过可以由运维提供key通过ssh登录到远程服务器再将数据导出到本地。
  先配置ssh通过key登录服务器。这里略过...

  然后就是通过ssh执行命令。先看一下ssh的帮助文档:

usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec]
      [-D [bind_address:]port] [-E log_file] [-e escape_char]
      [-F configfile] [-I pkcs11] [-i identity_file]
      [-L [bind_address:]port:host:hostport] [-l login_name] [-m mac_spec]
      [-O ctl_cmd] [-o option] [-p port]
      [-Q cipher | cipher-auth | mac | kex | key]
      [-R [bind_address:]port:host:hostport] [-S ctl_path] [-W host:port]
      [-w local_tun[:remote_tun]] [user@]hostname [command]

最后一项就是执行指令的。假如远程服务器地址为180.97.33.108,开启的ssh端口为998,ssh用户名为xzc,然后想通过在远程服务器上执行命令ls,那么脚本应该这么写:

复制代码 代码如下:

ssh xzc@180.97.33.108 -p 998 "ls"

如果ssh的认证key已配置好,那么会把登录后当前目录下的文件列出来,当然第一次登录会提示保存远程服务器的指纹。现在是要导出数据库的数据,那么需要把ls命令换成导出数据库的命令。

复制代码 代码如下:

echo "select * from user;" | mysql xzc_db -uxzc -pxzcpwd
#或者
mysql xzc_db -uxzc -pxzcpwd -e "select * from user"

上面两命令都可以使用数据库用户xzc,密码xzcpwd从数据库xzc_db打印出user表,使用的是默认的本地数据库地址localhost,默认的端口。如果不是默认,需要指定。

   登录OK了,打印也OK了,那么下一步就是导出到文件了。这在bash也就是一个 > 的事。把上面的命令拼起来就是:

复制代码 代码如下:

ssh xzc@180.97.33.108 -p 998 'echo "select * from user;" | mysql xzc_db -uxzc -pxzcpwd' > user.txt

这样就把user表导出来本地的user.txt中了。注意"> user.txt"如果放到 ''里则是在远程服务器执行,导出的文件在远程服务器。文件现在也有了,不过是txt,这样交给运营不太好吧。那就导出excel吧。不过遗憾的是我查了N多资料,也找不到mysql不依赖第三方插件或工具导出原生excel的方法。而navicat导出的可是货真价实的excel,如果用notepad++之类的文本工具打开是会乱码的,并且导出的文件不会有编码问题。幸好如果一个txt以tab分割的话,excel也是能认得出来的。于是把user.txt改名user.xls就可以了。但这样做的问题是excel会按自己的方式处理内容的。比如把一个很大的数字转换成科学记数法形式。这些都得手动去处理一下了。

  最后,就是写成脚本批量操作了。附上我使用的脚本一个:

#!/bin/bash

# 通过ssh远程执行远程指令
# 需要先部署key认证,保证ssh只需要ip、port即可连接
# 如果需要和远程服务器交互,请参考ssh的-t、-tt参数
# 如果需要反复登录服务器执行多条指令,请使用ssh的通道重用
# 参考:http://en.wikibooks.org/wiki/OpenSSH/Cookbook/Multiplexing
# 使用通道需要注意退出通道,如"ssh github.com -O exit"或者"ssh github.com -O stop"
#                       --by coding my life

#分别设置ssh用户名、数据库用户名、数据库密码、导出数据
SSH_USER='xzc_ssh'
DB_USER='xzc_db'
DB_PWD='xzc_db_pwd123'
EXP_PATH=export_data/

# 执行远程命令
# $1 服务器ip
# $2 ssh端口
# $3 指令
function exec_remote_command()
{
  ssh $SSH_USER@$1 -p $2 '$3'
}

# 执行远程sql,导出数据
# $1 服务器ip
# $2 ssh端口
# $3 指令,多个sql指令如select * from user;select * from bag;也可执行,但结果将会写到同一个文件
# s4 服务器
# $5 导出文件
function export_remote_sql()
{
  echo export from $4 ...
  cmd="echo \"$3\" | mysql $4 -u$DB_USER -p$DB_PWD --default-character-set=utf8"

  ssh $SSH_USER@$1 -p $2 "$cmd" > $EXP_PATH$4_$5  #如果要导出到远程服务器,将把 > $EXP_PATH$4_$5放到cmd中
}

# $1 区服名
# $2 ip
# $3 端口
function exec_sqls()
{
  cat SQLS | while read sql ; do

    fc=${sql:0:1}
    if [ "#" == "$fc" ]; then  #被注释的不处理
      continue
    fi

    #sql语句中包含空格,不能再以空格来区分。最后一个空格后的是导出的文件名
    exp_file="${sql##* }"        #两个#表示正则以最大长度匹配*和一个空格(*后面的空格),截取余下的赋值给exp_file
    sql_cmd="${sql%% $exp_file}"     #两个%表示从右至左删除%%以后的内容

    export_remote_sql $2 $3 "$sql_cmd" $1 "$exp_file"
  done
}

# 需要在当前目录下创建服务器列表文件SERVERS,格式为"数据库名 ip ssh端口",如"xzc_game_s99 127.0.0.1 22"
# 需要在当前目录下创建sql命令列表文件SQLS,格式为"sql语句 导出的文件",如"select * from user; user.xls"
# 多个sql请注意用;分开,sql必须以;结束
# 文件名中不能包含空格,最终导出的文件为"数据库名_文件名",如"xzc_game_s99_user.xls"

mkdir -p $EXP_PATH

cat SERVERS | while read server ; do

  fc=${server:0:1}
  if [ "#" == "$fc" ]; then  #被注释的不处理
    continue
  fi

  name=`echo $server|awk '{print $1}'`
  ip=`echo $server|awk '{print $2}'`
  port=`echo $server|awk '{print $3}'`

  exec_sqls $name $ip $port
done

当前目录下的文件如下,其中SERVERS是服务器列表,里面指定数据库名,ip,ss端口,SQLS则指定sql指令及导出的文件名。这两个文件里以#开头的都不会处理:

xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ ls
remote_cmd.sh SERVERS SQLS
xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ cat SERVERS
xzc_game_s99 120.0.0.99 6162
xzc_game_s91 120.0.0.91 6162
xzc_game_s92 120.0.0.92 6162
xzc_game_s93 120.0.0.93 6162
xzc_game_s94 120.0.0.94 6162
#xzc_game_s91 120.0.0.91 6162

xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ cat SQLS
#select * money from money; money.xls
select * from user; user.xls
xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$

到这里,脚本基本完成了要求。

以上是小编为您精心准备的的内容,在的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索ssh
, 远程执行命令
批量导出数据库
ssh连接mysql数据库、ssh上传图片到数据库、ssh连接oracle数据库、ssh连接数据库、ssh查询数据库,以便于您获取更多的相关知识。

时间: 2024-10-02 08:29:55

linux下使用ssh远程执行命令批量导出数据库到本地_linux shell的相关文章

使用ssh远程执行命令批量导出数据库到本地(转)

  前天正在跟前端的同事调试功能.服务器开好,模拟的玩家登录好,就在倒计时.这时突然运营的同事跑过来说要统计几个服务器玩家的一些情况,也就是需要从几个服的数据库导出部分玩家的数据.好吧,我看了一下时间,11:47.心想,跟前端调试完,去吃个饭再午休一下那就下午再给吧.没想对方来一句"就导个数据库而已,要这么久么?",而且还是直接跟我上司说的.我嚓,好吧,我导.可问题来了,平时的统计是由php做的,批量部署这些是由运维做的.服务端完全没有对应的工具.而且服务器是在阿里云上的,数据库的用户

Linux下非交互式远程执行命令脚本

  Linux下非交互式远程执行命令脚本(比ssh更好的方式) openssh在每台机器上都有,ssh与scp经常出现在我们的生活中. 然而当要管理的机器规模越来越大时,ssh登陆到目标机器进行管理就变得不现实了. 虽然可以直接在ssh后面接命令的方式,进行命令的执行. 但是ssh的严格的权限认证使得我们不得不输入密码,或是建立信任关系,很难去自定义一个特定的认证方式. 基于ssh的这种不足.于是笔者就写了一个jetfire,这个工具.比ssh多的一个重要的功能就是可以自定义认证方式,顺便避免了

linux下使用adduser与useradd命令批量添加用户

在linux下添加用户的命令有 adduser与useradd ,这两个命令有些不同 .下面结合批量添加用户来说明. 一.adduser批量添加用户        使用adduser时,创建用户的过程更像是一种人机对话,系统会提示你输入各种信息,然后会根据这些信息帮你创建新用户.这样我们没有必要知道那么多的参数,一样可以达到自定义添加用户. 步骤如下: (1)建立用户名列表文件username.txt stu1 stu2 stu3 stu4 stu5 stu6 (2)批量添加的脚本文件 ###在

ssh远程执行命令方法和Shell脚本实例_linux shell

写这篇博客之前,我google了一堆相关文章,大都是说修改/etc/sudoers,然后NOPASSWD:指定的cmd,但是真心不管用,没有远程虚拟终端这个方法就是浮云,ubuntu10.04 server 亲测!! ssh执行远程操作命令格式 复制代码 代码如下: ssh -p $port $user@$p 'cmd'    $port : ssh连接端口号  $user: ssh连接用户名  $ip:ssh连接的ip地址  cmd:远程服务器需要执行的操作  准备工作 基于公私钥认证或者用户

ssh远程执行命令的例子

命令模式 ssh -p $port $user@$p 'cmd' $port : ssh连接端口号 $user: ssh连接用户名 $ip:ssh连接的ip地址 cmd:远程服务器需要执行的操作 连接上了就 ssh 远程服务器ip "要执行的命令" 例如 ssh 216.189.56.71 "ifconfig" 要全自动远程执行任务 必须开始ssh双机认证.

Linux 下目录文件权限(命令)的查看和修改_Linux

Linux 下目录文件权限的查看和修改 在我的服务器下面有这几个文件夹 同时用ls -l也可以查看到这几个文件的权限. 看其中的assets文件一共有十位数,其中: 最前面那个 - 代表的是类型 中间那三个 rwx 代表的是所有者(user)拥有的权限 然后那三个 rwx 代表的是组群(group)拥有的权限 最后那三个 rwx 代表的是其他人(other)拥有的权限 r 表示文件可以被读(read) w 表示文件可以被写(write) x 表示文件可以被执行(如果它是程序的话) -表示相应的权

在Linux下如何修改Mysql的用户(root)的密码_linux shell

下面给大家分享下在Linux下如何修改Mysql的用户(root)的密码,分两种情况:第一种当拥有原来的mysql的root密码,第二种情况忘记原来的mysql的root的密码. 修改的用户都以root为列. 一.拥有原来的mysql的root的密码: 方法一: 在mysql系统外,使用mysqladmin 复制代码 代码如下: # mysqladmin -u root -p password "test123" Enter password: [输入原来的密码] 方法二: 通过登录m

Linux Shell远程执行命令(命令行与脚本方式)

shell远程执行: 经常需要远程到其他节点上执行一些shell命令,如果分别ssh到每台主机上再去执行很麻烦,因此能有个集中管理的方式就好了.一下介绍两种shell命令远程执行的方法. 前提条件: 配置ssh免密码登陆 对于简单的命令: 如果是简单执行几个命令,则: ssh user@remoteNode "cd /home ; ls" 基本能完成常用的对于远程节点的管理了,几个注意的点: 双引号,必须有.如果不加双引号,第二个ls命令在本地执行 分号,两个命令之间用分号隔开 对于脚

ssh如何远程执行命令并自动退出

ssh命令格式如下: usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec] [-D [bind_address:]port] [-e escape_char] [-F configfile] [-I pkcs11] [-i identity_file] [-L [bind_address:]port:host:hostport] [-l login_name] [-m mac_spec] [-O ctl