Python中想写一个日志分析工具，有没有好的轮子推荐？

对于日志分析，Python生态里确实有几个很成熟的轮子。

如果只是基础分析，用内置的re模块做正则匹配就够用了。比如提取特定错误信息：

import re

log_content = "2023-10-01 ERROR: Database connection failed"
pattern = r'ERROR: (.+)'
match = re.search(pattern, log_content)
if match:
    print(f"Found error: {match.group(1)}")

需要更复杂的解析时，logparser库能处理各种日志格式：

# 需要先安装：pip install logparser
from logparser import Drain

log_format = '<Date> <Time> <Level> <Component>: <Content>'
parser = Drain.LogParser(log_format, indir='./logs/', outdir='./result/')
parser.parse('your_log_file.log')

要是做实时监控，logging模块配合watchdog可以监听文件变化：

import logging
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

class LogHandler(FileSystemEventHandler):
    def on_modified(self, event):
        if event.src_path.endswith('.log'):
            with open(event.src_path) as f:
                new_lines = f.readlines()[-10:]  # 读取最后10行
                for line in new_lines:
                    if 'ERROR' in line:
                        logging.error(f"Found error: {line}")

observer = Observer()
observer.schedule(LogHandler(), path='./logs/', recursive=False)
observer.start()

对于大规模日志分析，pandas是必备的：

import pandas as pd

df = pd.read_csv('app.log', sep=' ', names=['timestamp', 'level', 'message'])
error_df = df[df['level'] == 'ERROR']
print(f"Total errors: {len(error_df)}")

简单来说，根据你的需求选合适的工具就行。