better-exceptions使用简介

介绍这个库前,我们先看一个简单的例子(example.py),代码如下:

# -*- encoding: utf-8 -*-
def get_student_infos(logs):
student_infos = []
for log in logs:
name, catgory, grade = log.split(’ ')
student_infos.append({
‘name’: name,
‘catgory’: catgory,
‘grade’: grade,
    })
return student_infos
if name == ‘main’:
exam_logs = [
‘zhangsan math 60’,
‘lisi english 80’,
‘wangwu chinese 90’,
‘qianliu music’
]
get_student_infos(exam_logs)

运行输出:

Traceback (most recent call last):
  File "example.py", line 24, in <module>
    get_student_infos(exam_logs)
  File "example.py", line 7, in get_student_infos
    name, catgory, grade = log.split(' ')
ValueError: not enough values to unpack (expected 3, got 2)

如果我们给example.py增加一行代码import better_exceptions,使用前需要执行:

pip install better_exceptions

export BETTER_EXCEPTIONS=1  # Linux / OSX
setx BETTER_EXCEPTIONS 1    # Windows
最好是加入到系统环境变量里
或者
import better_exceptions; 
better_exceptions.hook()

再执行,输入如下:

Traceback (most recent call last):
  File "example_with_better_exceptions.py", line 25, in <module>
    get_student_infos(exam_logs)
    │                 └ ['zhangsan math 60', 'lisi english 80', 'wangwu chinese 90', 'qianliu music']
    └ <function get_student_infos at 0x7fa594d1fe18>
  File "example_with_better_exceptions.py", line 8, in get_student_infos
    name, catgory, grade = log.split(' ')
    │     │        │       └ 'qianliu music'
    │     │        └ '90'
    │     └ 'chinese'
    └ 'wangwu'
ValueError: not enough values to unpack (expected 3, got 2)

看到了吗,加上import better_exceptions后, 异常时会将调用栈每一层用的变量值打印出来, 和普通异常时输出有比有什么好处呢,然我们来回忆一下,

没有better_exceptions时是这样对待异常的:
- 看到一个异常, 能看到异常的类型, 但是无法直接给出错误原因
- 追踪异常时, 往往得修改代码,将关键变量打印出来. 如果是线上环境, 貌似没什么好办法,只能上线上改一改.
有better_exceptions时:
- 从异常时打印出来的信息可以清晰的看到异常发生时变量的值,可很容易定位问题.

是不是有小伙伴会想, 要是某些变量特别大(比如有几万个元素的列表),这样会造成日志很大的.确实存在这样的问题,不过这个库的作者已经够给解决方案了: 加上这句better_exceptions.MAX_LENGTH = 字符数控制字符的个数, 对于上面的例子加上better_exceptions.MAX_LENGTH = 20这句输出如下:

Traceback (most recent call last):
  File "example_with_better_exceptions_limit_length.py", line 25, in <module>
    get_student_infos(exam_logs)
    │                 └ ['zha...
    └ <func...
  File "example_with_better_exceptions_limit_length.py", line 8, in get_student_infos
    name, catgory, grade = log.split(' ')
    │     │        │       └ 'qian...
    │     │        └ '90'
    │     └ 'chin...
    └ 'wang...
ValueError: not enough values to unpack (expected 3, got 2)

看到了吗,只是简单的再代码上加上一句import better_exceptions就有如此神奇的效果. 但是, 这个库目前只会在控制台打印出这样的错误信息, 下面说一下怎么与 logging、django 集成.

logging 接入

先简单说一下,:

logging 模块在输出一个异常的时候,会调用handler的formater的formatException函数来格式化异常.
better_exceptions有个format_exception方法会将异常调用栈变量值输出,就是上面例子的那种输出.

看代码:

# -*- encoding: utf-8 -*-
import logging
from better_exceptions import format_exception
logger = logging.getLogger()
formatter = logging.Formatter(’%(asctime)s - %(name)s - %(levelname)s - %(message)s’)
formatter.formatException = lambda exc_info: format_exception(*exc_info)
file_handler = logging.FileHandler(“example.log”)
file_handler.setLevel(logging.DEBUG)
file_handler.setFormatter(formatter)
logger.addHandler(file_handler)
def get_student_infos(logs):
student_infos = []
for log in logs:
name, catgory, grade = log.split(’ ')
student_infos.append({
‘name’: name,
‘catgory’: catgory,
‘grade’: grade,
    })
return student_infos
if name == ‘main’:
exam_logs = [
‘zhangsan math 60’,
‘lisi english 80’,
‘wangwu chinese 90’,
‘qianliu music’
]
try:
get_student_infos(exam_logs)
except Exception as e:
logger.exception(e)

查看example.log文件输出:

2018-04-18 14:12:17,751 - root - ERROR - not enough values to unpack (expected 3, got 2)
Traceback (most recent call last):
  File "better_exceptions_with_logging.py", line 36, in <module>
    get_student_infos(exam_logs)
    │                 └ ['zhangsan math 60', 'lisi english 80', 'wangwu chinese 90', 'qianliu music']
    └ <function get_student_infos at 0x7f5c28d088c8>
  File "better_exceptions_with_logging.py", line 18, in get_student_infos
    name, catgory, grade = log.split(' ')
    │     │        │       └ 'qianliu music'
    │     │        └ '90'
    │     └ 'chinese'
    └ 'wangwu'
ValueError: not enough values to unpack (expected 3, got 2)

django 接入

思路和logging 接入一样的. 例如有如下django项目:

☁  test_better_exceptions_django  tree
.
├── db.sqlite3
├── manage.py
└── test_better_exceptions_django
    ├── fm.py
    ├── __init__.py
    ├── settings.py
    ├── urls.py
    ├── views.py
    └── wsgi.py

两处修改:

增加一个fm.py文件:

import logging
from better_exceptions import format_exception
class ExceptionFormatter(logging.Formatter):
    def formatException(self, ei):
        return format_exception(*ei)

修改settings.py的 LOGGING 配置:

LOGGING = {
    'version': 1,
    'disable_existing_loggers': True,
    'formatters': {
        'simple': {
            '()': 'test_better_exceptions_django.fm.ExceptionFormatter',
            'format': '%(levelname)s %(message)s'
        },
    },
    'handlers': {
        'console': {
            'level': 'INFO',
            'class': 'logging.StreamHandler',
            'formatter': 'simple'
        },
        'file': {
            'level': 'ERROR',
            'class': 'logging.FileHandler',
            'filename': os.path.join(BASE_DIR, "error.log"),
            'formatter': 'simple'
    }
},
'loggers': {
    'django': {
        'handlers': ['console', 'file'],

    }
}
}

这里主要是自定义了一个formatters.

我是在请求里故意出发了一个异常,代码如下:

urls.py:

from django.conf.urls import url
from django.contrib import admin
from . import views
urlpatterns = [
url(r’^$’, views.index, name=‘index’),
]

views.py:

from django.http import HttpResponse
import logging
logger = logging.getLogger('django')
def index(request):
    a, b = 2, 0
    try:
        a / b
    except Exception as e:
        logger.exception(e)
    return HttpResponse("You have an excepion, see console and log")

接着打开浏览器,可以看到根目录下error.log文件内容:

Traceback (most recent call last):
  File "/opt/github/better-exceptions-example/test_better_exceptions_django/test_better_exceptions_django/views.py", line 7, in index
    a / b
    │   └ 0
    └ 2
ZeroDivisionError: division by zero

说明

所有的例子都在examples目录下. 可以在这里查看 https://github.com/510908220/better-exceptions-examples

Python中如何加速异常处理

zlyuanteng 1楼

好玩

yibo5220 2楼

异常处理本身的开销主要来自捕获异常时的栈展开和上下文切换。如果性能是关键，最好的办法是避免异常，改用条件判断。

举个例子，处理字典键不存在的情况：

# 慢的方式：用异常
try:
    value = my_dict[key]
except KeyError:
    value = default_value

# 快的方式：用get()方法或条件判断
value = my_dict.get(key, default_value)
# 或者
if key in my_dict:
    value = my_dict[key]
else:
    value = default_value

对于数值计算，可以用numpy的掩码操作代替try/except：

import numpy as np

# 避免对每个元素都try/except
arr = np.array([1, 2, 0, 4])
result = np.zeros_like(arr, dtype=float)
mask = arr != 0
result[mask] = 100 / arr[mask]
result[~mask] = 0  # 处理除零情况

如果必须用异常，确保只在真正异常的情况下抛出，别用异常做常规控制流。另外，把try块写小点，只包含可能出错的代码。

总结：少用异常，多用条件判断。

phonegap100 3楼作者

nice

vueper 4楼

道理我都懂，为什么标题叫加速 Python 异常处理

yuanlaile 5楼

用普通方式，当出现一个异常，缺少上下文(各个变量值等)去排查不是很费时吗. 如果集成了类似这样的方式,遇到异常根据上下文基本上可以直接定位问题. 不是节约了很多时间吗

eggper 6楼

不错

caililin 7楼

我还以为作者写了 better exception 这个库

eggper 8楼

啥，不是作者本人？

phonegap100 9楼作者

看标题我还以为是加速抛异常。。原来是加速看异常

sinazl 10楼

可以的，不过标题党了

songsunli 11楼

不错不错。

不过我是推荐 python -m pdb 一把梭

ionicwang 12楼

哈哈我看标题也以为是加速异常处理速度

itying888 13楼

你这方法适合脚步。有些 web 框架并不能这样运行吧？

itying888 14楼

难道，我的 django 是假的？还是，ta 自己生产错误？我是不添加环境变量的方式复制进去的啊
ValueError: Unable to configure formatter ‘simple’: Cannot resolve ‘test_better_exceptions_django.fm.ExceptionFormatter’: No module named ‘test_better_exceptions_django’

itying888 15楼

你这是模块导入的有问题. 你可以把你的目录结构贴出来看看.

sinazl 16楼

flask 里面怎么用？

ionicwang 17楼

一样的。日志 format 使用自定义类。这个只 logging 相关，实际和具 web 框架没多大关系

h691938207 18楼

好的，我试试看