标王 热搜:
 
当前位置: 首页 » 系统运维 » 操作系统 » 正文

Linux下导出数据库文件进行统计+去重

放大字体  缩小字体 发布日期:2019-04-27  来源:k1a67a  作者:xinb2b.cn  浏览次数:75
核心提示:本文主要讲述了如何在Linux中实现数据库文件统计以及去重,感兴趣的朋友可以来学习一下!1. 把数据库表导出到文本文件中mysql -h


本文主要讲述了如何在Linux中实现数据库文件统计以及去重,感兴趣的朋友可以来学习一下!

1. 把数据库表导出到文本文件中

mysql -h主机 -P端口 -u用户 -p密码 -A 数据库 -e "select email,domain,time from ent_login_01_000" > ent_login_01_000.txt

总共要统计最近3个月的登陆用户 , 按月份分表,并且每月有128张表 , 全部导出到文件中 , 总共有80G

2. grep 查出所有的2018-12 2019-01 2019-02

find ./ -type f -name "ent_login_*" |xargs cat |grep "2018-12" > 2018-12.txt
find ./ -type f -name "ent_login_*" |xargs cat |grep "2019-01" > 2019-01.txt
find ./ -type f -name "ent_login_*" |xargs cat |grep "2019-02" > 2019-02.txt

3.使用awk sort 和 uniq 只取出前面的用户 , 并且先去一下重复行

cat 2019-02.txt|awk -F " " '{print $1"@"$2}'|sort -T /mnt/public/phpdev/187_test/tmp/|uniq > 2019-02-awk-sort-uniq.txt

cat 2019-01.txt|awk -F " " '{print $1"@"$2}'|sort -T /mnt/public/phpdev/187_test/tmp/|uniq > 2019-01-awk-sort-uniq.txt

cat 2018-12.txt|awk -F " " '{print $1"@"$2}'|sort -T /mnt/public/phpdev/187_test/tmp/|uniq > 2018-12-awk-sort-uniq.txt

uniq 只去除连续的重复行 , sort可以把行排成连续的 -T是因为默认占用/tmp的临时目录 , 根目录我的不够用了,因此改一下临时目录

这几个文件占用了100多G

想学习更多关于Linux教程,请关注PHP中文网的Linux视频教程

以上就是Linux下导出数据库文件进行统计+去重的详细内容,更多请关注其它相关文章!

k1a67a
 
关键词: 导出
 
[ 系统运维搜索 ]  [ 加入收藏 ]  [ 告诉好友 ]  [ 打印本文 ]  [ 违规举报 ]  [ 关闭窗口 ]
 
推荐图文
如何在shell脚本中使用逻辑或&和 在bash shell脚本中使用for循环
如何在Linux上为用户设置Http代理 如何在Linux上创建,列出和删除Docker容器
推荐系统运维
点击排行
 
网站首页 | 关于我们 | 联系方式 | 使用协议 | 版权隐私 | 网站地图 | 排名推广 | 广告服务 | 积分换礼 | 网站留言 | RSS订阅