Сбор покрытия Flask (Python) в Runtime

Всем привет, меня зовут Осипов Станислав. Я занимаюсь AppSec/DevOps с 2021 года. В этой статье я хочу рассказать как можно собрать покрытие Python приложения в runtime незавершая работу приложения.

Что было использовано в статье:

https://github.com/pallets/flask - Flask 3.03
https://github.com/nedbat/coveragepy - coverage 7.5.1

Подготовка Flask

Выполним установку Flask согласно инструкции:

https://github.com/pallets/flask/blob/main/docs/installation.rst

В директории приложения создадим app.py, взяв за основу пример из репозитория Flask, и добавим пару роутов:

import coverage, hashlib 
from flask import Flask

#Регистрация rout'ов
def main(): 
  @app.route("/") 
  def hello():
    return "Main route"
  
  @app.route("/1")
  def hello1():
     return "First route"
  
  @app.route("/2")
  def hello2():
      return hashlib.sha256(b"Nobody inspects the spammish repetition").hexdigest() 
  #Запуск веб-сервера
  app.run()

#Инициализация
app = Flask(__name__) 
main()

Подготовка coverage

Установим модуль для сборки покрытия:

pip install coverage

Для отображения покрытия third-party модулей в отчёте закомментим следующие строки:

.venv/lib/python3.11/site-packages/coverage/inorout.py-16478: 
if self.third_match.match(filename) and not self.source_in_third_match.match(filename):

.venv/lib/python3.11/site-packages/coverage/inorout.py:16579:  
return "inside --source, but is third-party"  

Инструментация кода

Согласно https://coverage.readthedocs.io/en/7.5.1/api.html сбор покрытия осуществляется следующим образом:

import coverage

cov = coverage.Coverage() #Инициализация модуля
cov.start() # Запуск сбора покрытия

# .. call your code ..

cov.stop() # Остановить сбор покрытия - в нашем случае является избыточным
cov.save() # Сохранить покрытие

cov.html_report() # Сгенерировать отчет в формате .html

Так как стоит задача обновлять покрытие при каждом запросе к приложению Flask, то необходимо внедрить функции по сборке покрытия в исходный код Flask.

Для этого в файле выполним следующие изменения:

.venv/lib/python3.11/site-packages/flask/app.py

Подключим модуль coverage указав флаги:
cover_pylib - отображать покрытие стандартых модулей Python
auto_data - продолжать запись покрытия в один файл
source - список директорий исходного кода, которые будут учитываться в отчете

Подключения модуля coverage

13a14 
> import coverage

Встраивание модуля покрытия

Добавим инициализацию модуля coverage в аттрибуте класса Flask и метод запуска сбора покрытия:

253c253,254 #Добавляем инициализацию сбора покрытия в объект класса Flask
и запуск сбора покрытия в метод "run" класса Flask
< 
---
>         self.cov = coverage.Coverage(cover_pylib=True, auto_data=True, source=["./", ".venv"])
>         self.cov.start()

Поиск метода для сохранения покрытия

Найдем метод, который будет вызываться при обработке запроса.
В случае Flask я выбрал метод make_response, который отвечает за отправку ответа на запорс.
В методе этом будем сохранять/обновлять покрытие

1230c1229,1230 
< 
---
>         self.cov.save()
>         self.cov.html_report() 

Проверяем сбор покрытия в Runtime

1. Запустим приложение: python3 app.py

2. В браузере перейдем по адресу, содержащий main route - 127.0.0.1:5000

3. Откроем страницу, содержащую покрытие - firefox htmlcov/index.html

Покрытие: Составило 11% вместе исходным кодом сторонних зависимостей.

1. В браузере перейдем по адресу, содержащий второй route - 127.0.0.1:5000/2

2. Обновим страницу, содержащую покрытие

Покрытие: Увеличилось на 5 процентов после обращения к 2 rout'у.

Итоги

Благодаря встраиванию модуля сбора покрытия в исходный код Flask, удалось добиться обновления покрытия при каждом запросе к приложеню.

Благодарю за внимание!
Предложения, вопросы, замечания, конструктивная критика приветствуется в комментариях.