本文作者:kris

MySQL中常见的几种日志汇总-mysql中常见的几种日志汇总方式

kris 2025-01-30 16:56:51 3
MySQL中常见的几种日志汇总-mysql中常见的几种日志汇总方式摘要: 如何将syslogng的日志写入MySQL数据库?我在使用syslog-ng搭建日志服务器中已经讲了如何将syslog-ng配置为中心日志服务器,下面介绍如何将syslogng的日...

如何将syslogng的日志写入MySQL数据库?

我在使用syslog-ng搭建日志服务器中已经讲了如何将syslog-ng配置为中心日志服务器,下面介绍如何将syslogng的日志写入mysql数据库系统:Gentoo-20071、修改/etc/syslog-ng/syslog-ng.conf,添加CODE:source s_remote {udp(ip(0.0.0.0) port(514));}

;destination r_mysql {program("/usr/bin/mysql -usyslogadmin -psyslogadmin syslog

如何将Apache日志的每日更新导入MySQL表?

请问多少日志量呢?

(1)如果不多,直接转化成insert即可,简单实用。

(2)如果日志量多,可以对日志进行处理,保存为一个sql文件。按照正确的格式。

比如:

1,"xiaoming",24,"未婚"

2,"xiaodong",29,"未婚"

3,"jdoo",19,"已婚"

每行一条数据。

批量导入即可(速度快):

LOAD DATA LOCAL INFILE '/apache/2018-02-12.log' INTO TABLE apache_log \

fields terminated by "," enclosed by """" LINES TERMINATED BY '\n';

(3)如果日志特别多,建议先想办法,安装TokuDB引擎。

特点:高压缩比,插入读取非常快。

缺点:有些变更操作不支持,或很慢。

既然是日志,那么基本无改动了,所以非常适合。

然后再按照(2)方法,批量导入,下图是我测试时候的截图,以供参考:

MySQL中常见的几种日志汇总-mysql中常见的几种日志汇总方式

是否有帮你解决了问题呢? 求个赞+关注。

目前常用的方法有:

1、利用LogFormat设置将日志转换为接近sql的格式,再通过CustomLog 调用pipe实现mysql写入。

实现方法为:在apache配置文件或是虚拟主机配置文件中,配置LogFormat以及CustomLog部分,增加如下内容:

LogFormat "INSERT INTO xxxx_log (ID, dateTime, IP, URL, code, referer, userAgent, size, request) VALUES ( NULL , \"%{%Y-%m-%d %H:%M:%S}t\", \"%a\", \"%U\", \"%>s\", \" %{Referer}i\", \"%{User-Agent}i\", %b, %T);" sqlcomm

CustomLog "| /usr/bin/mysql --user=root --password='xxxxxxx' --database=xxxxlogs" sqlcomm

2、配置模块rotatelogs、seci-log、mod_log_sql实现,具体可查询相关使用手册

3、使用shell或者python脚本对日志文件进行解析,并操作数据库导入

另外具体还要视具体情况而定。

文章版权及转载声明

作者:kris本文地址:https://www.damoyx.com/p/28948.html发布于 2025-01-30 16:56:51
文章转载或复制请以超链接形式并注明出处大漠游侠网

阅读
分享