ploshadka.net

Flask Pedantic

Admin — Mon, 12 Dec 2022 08:00:00 +0000

Примеры кода проверок на Pedantic для Flask.

Эта статья будет пополняться примерами.

Проверка списка данных

Модель проверки:

class OperationsUpdateModel(BaseModel):
id: int
confirmed: bool

Как проверить валидацию данных в API и отправить ошибку:

@operations_bp.route('/update-operations/', methods=['PATCH'])
@login_required
def update_operations_route():
try:
data = request.get_json()
try:
list_ = parse_obj_as(List[OperationsUpdateModel], data)
except Exception:
return {"error": "Must be a list {id: int, confirmed: bool}"}, 400

return jsonify('ok')
except Exception as e:
logger.error({e}, exc_info=True)

JavaScript как изменить свойство во вложенном массивов

Admin — Wed, 07 Dec 2022 08:00:00 +0000

Как изменить свойство в массиве вложенного в другой массив данных.

Как в таком массиве данных заменить значение вложенного свойства:

[{…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}]
0
:
{commission: -0.05, confirmed: true, currency: 'usd', date: '21:20 | 05 декабря 2022', id: 3455, …}
1
:
{commission: -0.04, confirmed: true, currency: 'usd', date: '20:51 | 05 декабря 2022', id: 3453, …}
2
:
{commission: -0.05, confirmed: true, currency: 'usd', date: '20:25 | 05 декабря 2022', id: 3450, …}

Сначала давайте посмотрим как можно сделать это обычным способом:

Другой вариант сделать это так:

function itemsToggle(b) {
items = items.map(obj => ({
...obj,
confirmed: true
}));
}

Как создать новый массив данных по такому свойству:

function createNewArrayForUpdate() {
confirmedArray = [];
let data = []
items.forEach(function (item) {
if (!item.confirmed) {
data = {
'id': item.id,
'confirmed': false,
}
} else {
data = {
'id': item.id,
'confirmed': true,
}
}
confirmedArray.push(data)
});
}

Python / dictionary: как перемножить или сложить каждый элемент с числом

Admin — Sun, 04 Dec 2022 08:00:00 +0000

Короткий вариант как перемножить или сложить каждый элемент в словаре (dictionary) с каким-нибудь числом.

Пример

ready = {k: v + sum for k, v in dictionary.items()}

Ошибка

Если возникает такая ошибка:

return self.view_functions[rule.endpoint](**req.view_args)
in calculate_results
for x, v in response_rub_in_usd:
ValueError: too many values to unpack (expected 2)

Попробуйте добавить .items() к словарю, как в примере выше.

Устанавливаем nvm, npm, node.js на Mac OS

Admin — Thu, 01 Dec 2022 10:23:20 +0000

Установка Node.js через консоль для Mac OS.

Протестировано на Mac OS Ventura, архитектура M2.

Установка NVM на Mac OS

Для начала нужно убедиться, что есть файл .zshrc. Для этого в консоли набрать:

ls -a

Если файла нет в списке представленных, то создадим его:

touch .zshrc

Теперь устанавим NVM:

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.2/install.sh | bash

Официальная инструкция находится здесь:

https://github.com/nvm-sh/nvm#install--update-script

После установки запустим команду:

export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm
[ -s "$NVM_DIR/bash_completion" ] && \. "$NVM_DIR/bash_completion" # This loads nvm bash_completion

Установка Node.js на Mac OS

Есть предыдущая статья, где установка node.js ya mac через дистрибьютер. Здесь мы установим через консоль.

Устанавливаем:

nvm install node

Запускаем:

nvm use node

Проверить версии установленного:

nvm -v
node -v
npm -v

Эта статья решает ошибки:

npm install run
zsh: command not found: npm
zsh: command not found: nvm

Если вновь будут ошибки, перезагрузите консоль, иногда это помогает.

Используем npm сборщики

При установке нового Node.js часто перестает работать сборщик со старыми версиями. Это неприятно, потому что вместе с обновлением ноды, приходится обновлять пакеты, а с обновлением пакетов перестают работать старые конфиги. И на правку всего этого может уйти целый день. А если все это работает еще на других компьютерах, то придется обновиться и там. Так что много раз следует подумать, стоит ли обновлять ноду.

Для обновления версий воспользуемся статьёй про обновление package.json.

Обновление конфигов

На примере обновления конфига rollup.js.

Ошибки и исправление конфига rollup.config.js после обновления Node

Admin — Thu, 01 Dec 2022 10:23:03 +0000

На примере обновления Node исправляем ошибки в rollup.js после запуска компиляционных npm команд.

После обновления Node.js могут возникнуть разного рода ошибки.

Вариант ошибок

При запуске команды npm run dev после обновления возникли ошибки:

(node:2023) Warning: To load an ES module, set «type»: «module» in the package.json or use the .mjs extension.
(Use `node —trace-warnings …` to show where the warning was created)

[!] RollupError: Node tried to load your configuration file as CommonJS even though it is likely an ES module. To resolve this, change the extension of your configuration to «.mjs», set «type»: «module» in your package.json file or pass the «—bundleConfigAsCjs» flag.

Original error: Cannot use import statement outside a module
https://rollupjs.org/guide/en/#—bundleconfigascjs
/app/templates/svelte/rollup.config.js:1
import svelte from ‘rollup-plugin-svelte’;
^^^^^^

SyntaxError: Cannot use import statement outside a module
at internalCompileFunction (node:internal/vm:74:18)
at wrapSafe (node:internal/modules/cjs/loader:1141:20)
at Module._compile (node:internal/modules/cjs/loader:1182:27)
at Object.Module._extensions..js (node:internal/modules/cjs/loader:1272:10)
at Module.load (node:internal/modules/cjs/loader:1081:32)
at Function.Module._load (node:internal/modules/cjs/loader:922:12)
at ModuleWrap. (node:internal/modules/esm/translators:169:29)
at ModuleJob.run (node:internal/modules/esm/module_job:194:25)

Немного теории

Никогда не стоит игнорировать ошибки, которые показывает команда:

npm install

Проигнорировать ошибки можно командой: 

npm install —force

В этом случае будут проигнорированы все предупреждения и установятся все пакеты. Однако лучше так не делать. Можно пропустить ошибки вида:

npm WARN deprecated @npmcli/move-file@1.1.2: This functionality has been moved to @npmcli/fs
npm WARN deprecated @npmcli/move-file@2.0.1: This functionality has been moved to @npmcli/fs
npm WARN deprecated rollup-plugin-terser@7.0.2: This package has been deprecated and is no longer maintained. Please use @rollup/plugin-terser
npm WARN deprecated rollup-plugin-commonjs@10.1.0: This package has been deprecated and is no longer maintained. Please use @rollup/plugin-commonjs.

А затем пытаться исправить то, что не правится без контекста проигнорированных ранее ошибок.

Из ошибок выше видно, что rollup-plugin-terser устарел и вместо него используется @rollup/plugin-terser.

Это значит, что в файле package.json нужно поменять пакеты, а также поменять в файлах конфига rollup.config.js.

Одна из ошибок, которая возникла после обновления Node.js и пакетов:

Ошибка Node tried to load your configuration as an ES module

Reloading updated config…
[!] RollupError: Node tried to load your configuration as an ES module even though it is likely CommonJS. To resolve this, change the extension of your configuration to «.cjs» or pass the «—bundleConfigAsCjs» flag.

Original error: require is not defined in ES module scope, you can use import instead
This file is being treated as an ES module because it has a ‘.js’ file extension and ‘/app/templates/svelte/package.json’ contains «type»: «module». To treat it as a CommonJS script, rename it to use the ‘.cjs’ file extension.
https://rollupjs.org/guide/en/#—bundleconfigascjs
ReferenceError: require is not defined in ES module scope, you can use import instead
This file is being treated as an ES module because it has a ‘.js’ file extension and ‘/app/templates/svelte/package.json’ contains «type»: «module». To treat it as a CommonJS script, rename it to use the ‘.cjs’ file extension.
at file:///app/templates/svelte/rollup.config.js?1669819006568:24:22
at ModuleJob.run (node:internal/modules/esm/module_job:194:25)

Для исправления в свой package.json нужно добавить:

"type": "module",

А дальше в файле rollup.config.js изменить такие:

import { terser } from '@rollup/plugin-terser';

на это

import terser from '@rollup/plugin-terser';

Убрать все require

В том числе, если встречаются такие моменты:

postcss: {
plugins: [require('autoprefixer')],
},

Заменить на это:

import postcss from "autoprefixer";

postcss: {
plugins: [postcss],
},

Все это будет работать только в том случае, если в пакетах нет несовместимостей. Это важно, иначе исправления не решат проблему. Вместо одной ошибки будет вылезать другая.

JavaScript — передача функции в функцию

Admin — Tue, 29 Nov 2022 08:00:00 +0000

На примере обычного экспорта функций в JS и участка кода на Svelte.

Файл 1: JS файл экспортируемых функций

let timeout = null;
export function updateWait(item, updateNote) {
clearTimeout(timeout);

timeout = setTimeout(function () {
updateNote(item);
}, 1000);
}

Файл 2: Svelte

— Сначала мы импортируем функцию.
— Затем основная функция, которая мы дальше передадим в импортированную функцию.
— И в самом низу мы вызываем импортированную функцию и передаем туда параметры: один из параметров — вторая функция.

Размышление о python и в целом о программировании

Admin — Thu, 24 Nov 2022 08:00:00 +0000

Немного размышлений на принципы программирования. Тут не будет основательных трудов, просто немного мыслей на эту тему.

Возможно буду дописывать эту статью. Возможно…

Не использовать странные решения

Чем более стандартизировано, тем лучше. Потом сам не запутаешься.

Например, в БД нужно сохранить дату. Всегда сохранять в формате datetime, даже если может показаться, что это лишнее. Зато потом не будет путаницы.

Потому что, если в одном месте будет datetime, а в другом string – это создаст лишний код и баги.

Не писать излишние проверки

Все проверять хорошо, но чрезмерность не нужна там где не нужна.

@categories_bp.route('/update-category/', methods=['POST'])
@login_required
def update_category():
user_id = flask_login.current_user.id
if not user_id:
return error_message('user_not_found')

В данном примере проверка на пользователя лишняя, потому что уже есть @login_required.

Если код можно сократить, его нужно сократить

Не нужно жалеть свой код. Если когда-то вы написали очень длинно, а сейчас видите, что можно сделать короче: удаляем старое и пишем короче.

Не переусердствовать с сокращением

В сокращении кода лучше не переусердствовать. И читабельность кода может ухудшиться и человек с меньшим опытом может не понять, что там происходит.

Избегать сокращения до букв.

Избегать несколько логический действий в одной строке.

List / список — как найти следующий элемент

Admin — Sat, 19 Nov 2022 08:00:00 +0000

Пример функции на python перебора списка, в котором мы обращаемся к следующему элементу.

С помощью функции zip можно получить предыдущий объект. Однако мы пойдем простым перебором.

Принцип функции:
— Сначала мы сортируем список в обратном направлении.
— На первой итерации присвоим значение
— На второй итерации сможем работать с этим значением
— В конце снова отсортируем

def calculate_prev_diff_balance(data):
data.reverse()

prev = None
for x in data:
if prev_sum:
x['new_sum'] = x['sum'] - prev_sum
prev_sum = x['sum']

data.reverse()
return data

Случайное преобразование в кортедж (tuple)

Admin — Mon, 14 Nov 2022 08:00:00 +0000

Особенность python в преобразовании элемента в кортедж (tuple) способно направить несколько часов на поиски ошибок.

Если случайно поставить запятую в конце строки, например, копируя объект откуда-нибудь из списка:

for x in data:
x['a'] = 'abc',

или

x = 'a',

^ в конце строки запятая,

то это превратит элемент в tuple.

Минимализм SQLAlchemy — передача списка и распаковка

Admin — Wed, 09 Nov 2022 08:00:00 +0000

Как передавать разные параметры в SQLAlchemy и распаковать их. Как одновременно создать объект в SQLAlchemy, а если он создан, то обновить объект. Как передавать любые параметры при этом не создавая много одинаковых функций.

Ниже приведены несколько вариантов длинного кода, но сокращение для всех применяется одно и то же.

Сокращение при создании и обновлении БД

Вместо увеличения списка параметров:

query = db.session.query(Result).filter_by(user_id=user_id, date=date).first()
if not query:
new = Result(
rub=balance['rub'],
usd=balance['usd'],
time=balance['time'],
)
else:
db.session.query(Result).filter_by(user_id=user_id, date=date).update(
{
'rub': balance['rub'],
'usd': balance['usd'],
'time': balance['time'],
})
db.session.commit()

Можно сделать так:

def update_results(user_id, balance):
balance['user_id'] = user_id
balance['updated_at'] = datetime.utcnow()

query = db.session.query(Result).filter_by(user_id=user_id, date=balance['date']).first()
if not query:
new = Result(**balance)
db.session.add(new)
else:
for key, value in balance.items():
setattr(query, key, value)
db.session.commit()

Сокращение при создании нового объекта

Вместо:

def add_new_balance_assets(
user_id: int, portfolio_id: int, instrument_type: str, currency: str,
quantity: float
):
new = BalanceAssets(
user_id=user_id,
portfolio_id=portfolio_id,
instrument_type=instrument_type,
currency=currency,
quantity=quantity
)
db.session.add(new)

Это:

def add_new_balance_assets(balance):
new = BalanceAssets(**balance)
db.session.add(new)

Сокращение при обновлении объекта

Вместо:

def update_balance(user_id, id_, date_time, description, sum_in_rub):
if date_time:
db.session.query(Balance).filter_by(user_id=user_id, id=id_).update(
{'date': date_time}
)
if description or description is None:
db.session.query(Balance).filter_by(user_id=user_id, id=id_).update(
{'description': description}
)
if sum_in_rub:
db.session.query(Balance).filter_by(user_id=user_id, id=id_).update(
{'sum_in_rub': sum_in_rub}

Так:

def update_balance(balance):
query = db.session.query(Balance).filter_by(user_id=balance['user_id'], id=balance['id']).first()
for key, value in balance.items():
setattr(query, key, value)
db.session.commit()

Как обновить python на Ubuntu

Admin — Sun, 30 Oct 2022 08:00:00 +0000

Обновление на новые версии это всегда «весело». Вместе с новым функционалом понадобится убрать устаревшие функции, обновить потерявшие совместимость модули и в целом проделать большую работу.

Подготавливаем данные с локальной версии

Сначала обновляем версию локально, тестируем. Фиксируем изменения всех зависимостей командой: 

pip freeze > requirements.txt

Обновляем Ubuntu на сервере

Проверим версию Ubuntu:

cat /etc/*release

Обновим систему и пакеты в ней:

sudo apt update && sudo apt upgrade -y

Обновляем python на сервере

Проверить версию:

python3 -V

Если сразу запустить обновление, то возникнет ошибка:

sudo apt install python3.10
Чтение списков пакетов… Готово
Построение дерева зависимостей
Чтение информации о состоянии… Готово
E: Невозможно найти пакет python3.10
E: Не удалось найти ни один пакет с помощью шаблона «python3.10»

Сначала установим необходимые компоненты для добавления пользовательских PPA:

sudo apt install software-properties-common -y

Добавим PPA-репозиторий deadsnakes/ppa в список источников диспетчера пакетов APT:

sudo add-apt-repository ppa:deadsnakes/ppa -y

Запустим обновление APT для обновления менеджера пакетов — появится новый импортированный PPA:

sudo apt update

Теперь можем установить новую версию python 3.10:

sudo apt install python3.10

Проверим установленную версию:

python3.10 --version

Также проверим текущую версию по умолчанию:

python3 -V

Установим дополнительные модули стандартной библиотеки (venv):

sudo apt install python3.10-venv -y

Для расширений C:

sudo apt install python3.10-dev -y

Также могут пригодиться и другие модули:

sudo apt install python3.10-distutils -y
sudo apt install python3.10-lib2to3 -y
sudo apt install python3.10-gdbm -y
sudo apt install python3.10-tk -y

Многие дополнительные модули python нужны для работы библиотек, без них они не установятся и будут вылезать ошибки.

Меняем версию python в системе «по умолчанию»

По умолчанию python будет указывать на старую версию.

Например, Python 3 указывает на Python 3.8. Это значит, что когда мы запустим python3, он будет выполняться как python 3.8, мы же хотим выполнить его как python 3.10.

Для этого добавим альтернативы:

sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.8 1
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 2

Выберем нужную сборку:

sudo update-alternatives --config python3

Устанавливаем новое окружение

Переименовываем старую директорию окружения (мы должны находится в директории сайта с виртуальным окружением):

mv venv venv-old-python-3.8

Затем в этой директории создаем новое виртуальное окружение:

python3 -m venv venv

Подтягиваем изменения:

git pull

Активируем оболочку:

source venv/bin/activate

Установим зависимости:

pip install --upgrade pip
pip install -r requirements.txt

Не обновляется new Date в Svelte

Admin — Tue, 25 Oct 2022 08:00:00 +0000

При изменении даты в реактивном режиме она не меняется. Может это баг, может фича. Но нам нужно, чтобы все изменилось. Как это сделать.

Код даты:

let currentDate;
const options = {weekday: 'long', year: 'numeric', month: 'short', day: 'numeric'};

Место, где она должна меняться при её изменении:

<div class="title">{currentDate}</div>

Решения через фронт не нашел, как вариант передавать через бэкенд и обрабатывать:

postFetch('get-date/', data).then((r) => {
currentDate = r['current_date']
currentDate = new Date(currentDate).toLocaleDateString('ru-RU', options);
});

На выходе получим:

суббота, 23 окт. 2030 г.

SQLAlchemy — связи relationship

Admin — Mon, 24 Oct 2022 10:16:48 +0000

Как связать несколько моделей таблиц базы данных PostgreSQL между собой в SQLAlchemy.

Пример связей

Я уже когда-то писал статью в которой затрагивалась тема связей SQLAlchemy. Это статья будет эволюционным продолжением предыдущий.

Возьмём пример из официальной документации:
https://docs.sqlalchemy.org/en/14/orm/basic_relationships.html

class Association(Base):
__tablename__ = "association_table"
left_id = Column(ForeignKey("left_table.id"), primary_key=True)
right_id = Column(ForeignKey("right_table.id"), primary_key=True)
extra_data = Column(String(50))
child = relationship("Child", back_populates="parents")
parent = relationship("Parent", back_populates="children")

class Parent(Base):
__tablename__ = "left_table"
id = Column(Integer, primary_key=True)
children = relationship("Association", back_populates="parent")

class Child(Base):
__tablename__ = "right_table"
id = Column(Integer, primary_key=True)
parents = relationship("Association", back_populates="child")

В примере выше есть все необходимое. Я лишь обращу внимание на конкретные места, чтобы не было путаницы.

1. Начинаем строить наши связи с таблицы, через которую будет связываться две другие.

2. Обратим внимание на первую модель, на свойство child:

child = relationship("Child", back_populates="parents")

Название переменной в единственном роде и оно же ссылается на класс (модель, таблицу) с названием в единственном роде. Принцип построения этой связи легко запоминается по критерию — единственный род.

3. Второй параметр из примера выше (но для разнообразия возьмем другую связь) back_populates:

parent = relationship("Parent", back_populates="children")

Видим, что back_populates ссылается на свойство children в классе Parent.

4. В обоих моделях (таблицах), которые мы связываем есть отсылки к связанной модели через модель ассоциаций:

children = relationship("Association", back_populates="parent")

Т.е. class Parent(Base) мы связываем не напрямую через класс class Child(Base), а через класс class Association(Base) и свойство в нем parent, которое уже ссылается на другой класс class Child(Base).

Важно понимать как строится связи, иначе будут возникать ошибки:

SAWarning: relationship ‘Task.cat_Task’ will copy column Task.id to column categories_Task.Task_id, which conflicts with relationship(s): ‘Category.Task’ (copies Task.id to categories_Task.Task_id), ‘Task.cats’ (copies Task.id to categories_Task.Task_id). If this is not the intention, consider if these relationships should be linked with back_populates, or if viewonly=True should be applied to one or more if they are read-only. For the less common case that foreign key constraints are partially overlapping, the orm.foreign() annotation can be used to isolate the columns that should be written towards. To silence this warning, add the parameter ‘overlaps=»cats,Task»‘ to the ‘Task.cat_Task’ relationship. (Background on this error at: https://sqlalche.me/e/14/qzyx)

Пример доступа к связанным объектам

Рассмотрим следующий пример. Допустим нам нужно получить объект из одной таблицы, но подтянуть связи из других таблиц. Весь код выглядит так:

class TaskCategory(db.Model):
__tablename__ = 'task_categories'
id = db.Column(db.Integer, primary_key=True, unique=True)
category = db.relationship('Category', back_populates="tasks")
task = db.relationship('Task', back_populates="categories")

@property
def get_task_cats(self):
return {
'task_cat_id': self.id,
}

@property
def get_cats(self):
return self.category.get_cats

class Task(db.Model):
__tablename__ = 'tasks'
id = db.Column(db.Integer, primary_key=True, unique=True)
categories = db.relationship('TaskCategory', back_populates="task")

@property
def serialize(self):
return {
'task_id': self.id,
'cats': [x.get_cats for x in self.categories],
'task_cats': [x.get_task_cats for x in self.categories],
}

class Category(db.Model):
__tablename__ = 'categories'
tasks = db.relationship('TaskCategory', back_populates="category")

@property
def get_cats(self):
return {}

Я говорю об этом участке:

@property
def serialize(self):
return {
'task_cats': [x.get_task_cats for x in self.categories],
'cats': [x.get_cats for x in self.categories],
}

В примере выше мы хотим получить по свойству serialize данные из таблицы class Task(db.Model), но одновременно запрашиваем обработанные данные из двух других связанных таблиц.

В этом случае:

'task_cats': [x.get_task_cats for x in self.categories]

обращение идет к данным class TaskCategory(db.Model).

В другом случае:

'cats': [x.get_cats for x in self.categories]

обращение идет также к классу class TaskCategory(db.Model), но к функции, которая обращается за данными уже к третей таблице.

Таким образом мы берем данные по связи из третей таблицы через вторую (таблица которая связывает обе).

Как исправить в css заливку при overflow

Admin — Thu, 20 Oct 2022 08:00:00 +0000

При свойстве overflow, когда скролится таблица в одну из сторон может наблюдаться баг неполной заливки.

Ошибка возникает при:

overflow: auto;

Для исправления изменим на:

display: grid;

Как передать пустое значение с фронта на бэкенд

Admin — Wed, 19 Oct 2022 18:39:17 +0000

Как передать пустое значение с фронта, чтобы на бэкенде оно приходило пустым. Для чего это нужно? Например, для удаление из поля данных.

Например, при передаче пустой строки " ", бэкенд может вернуть ошибку, если входящие данные проверяются на int или на none.

Для передачи пустого значения приведем его к null

На фронте, если передается пустое значение, то превратим в null:

<input class="rub edit" type="text" bind:value="{b.rub}" on:change={saveUsersData(b)}>

function saveUsersData(b) {
if (b.rub === '') {
b.rub = null
}

let data = {
'rub': b.rub,
}

patchFetch('balance/update/', data);
}

На бэкенде проверим это значение на число через pydantic:

sum_in_rub: Optional[int]

Видим, что пройдет только int и на пустое значение " " возвратит ошибку.

А затем сохраним или значение, которое есть или значения, которого нет:

def update_balance(user_id, rub):
if rub or rub is None:
db.session.query(Balance).filter_by(user_id=user_id, id=id_).update(
{'rub': rub}
)

Как запустить python скрипт на Linux в виде demon

Admin — Sun, 16 Oct 2022 18:23:40 +0000

Описание процесса от создания БД и до запуска скрипта.

Соединяемся со своим сервером и дальше работаем через консоль.

Переносим локальный проект на сервер

Создаем директорию для нашего нового приложения:

cd /home/ploshadka/new-application
mkdir new-application

Клонируем свой git-проект на наш сервер:

git clone "git@github.com:nikname/name_repository.git" ./

Создаем виртуальное окружение python:

python3 -m venv venv

Активируем оболочку:

source venv/bin/activate

Устанавливаем зависимости:

pip install --upgrade pip
pip install -r requirements.txt

Создаем БД в PostgreSQL

Подключаемся к PostgreSQL:

sudo su - postgres

Создаем БД

CREATE DATABASE new-application TEMPLATE=template0 ENCODING 'UTF-8' LC_COLLATE 'ru_RU.UTF-8' LC_CTYPE 'ru_RU.UTF-8';

Назначаем привелегии новой таблице:

GRANT ALL PRIVILEGES ON DATABASE new-application TO ploshadka;

Импортируем БД:

pg_restore -U ploshadka -d new-application /home/ploshadka/new-application/bd.tar

Выходим из postgres окружения:

exit

В коде должно быть подключение к PostreSQL

Выдержка из примера подключения к PostreSQL вместе с логированием.

def create_connection(
db_name='new-application',
db_user='ploshadka',
db_password='12345',
db_host='localhost',
db_port=5432
):
connection = None
try:
connection = psycopg2.connect(
database=db_name,
user=db_user,
password=db_password,
host=db_host,
port=db_port,
)
connection.autocommit = True
except psycopg2.OperationalError as error:
logger.info(f'Ошибка: {error}')
return connection

Создаем демон для запуска нашего скрипта на python

Создаем службу:

sudo nano /etc/systemd/system/new-application.service

Внутри этого файла вставляем:

Description=New Application
After=network.target

[Service]
User=ploshadka
Group=www-data
WorkingDirectory=/home/ploshadka/new-application
Environment="PATH=/home/ploshadka/new-application/venv/bin"
ExecStart=/home/ploshadka/new-application/venv/bin/python bot.py --start
ExecStop=/home/ploshadka/new-application/venv/bin/python bot.py --stop
ExecReload=/home/ploshadka/new-application/venv/bin/python bot.py --restart
TimeoutSec=30
Restart=always

Команды для запуска, остановки, перезагрузки службы

sudo systemctl start new-application
sudo systemctl stop new-application
sudo systemctl start new-application
sudo systemctl reload new-application

Узнать статус работы:

sudo systemctl status new-application

Установка FastApi

Admin — Wed, 03 Aug 2022 08:00:00 +0000

Установка и настройка FastApi. Статья не полная, будет со временем наполняться.

Установка модулей

Основной модуль

pip install fastapi

ASGI web server

pip install uvicorn

Модуль валидации и аннотации

pip install pydantic

Поддержка асинхронности для файлов

pip install aiofiles

Адаптер для PostgreSQL

pip install psycopg2

ОРМ SQLAlchemy

pip install SQLAlchemy

Асинхронный драйвер для SQLAlchemy

pip install asyncpg

Миграция alembic

pip install alembic

Шаблонизатор

pip install jinja2

Flask Login Pytest API

Admin — Mon, 01 Aug 2022 12:46:12 +0000

Конфигурация PyTest для тестирования Flask API при использовании Flask-Login (Flask-Admin, Flask-Security) при которой тесты обходят авторизацию на сайте.

Описание проблемы

При тестировании, особенно при тестировании API для прохождения тестов необходимо обойти авторизацию на сайте. Для этого будем использовать встроенные функции. Ниже две конфигурации при которой всё работает.

Код учитывает обход как @login_required для путей API, так и авторизирует пользователя при прохождении тестов. В результате flask_login.current_user.id видит указанного пользователя.

Конфигурация 1

Содержимое файла conftest.py. Этот файл используется для инициализации тестов.

import flask_login
import pytest
from app import app, db
from app.models.users import User

@pytest.fixture
def client():
app.config["TESTING"] = True
# Обходит @login_required
app.config["LOGIN_DISABLED"] = True
with app.test_client() as client:
yield client

@pytest.fixture
def authenticated_request():
# Решает проблему с flask_login.current_user.id:
# AttributeError: 'AnonymousUser' object has no attribute 'id'
# Создает авторизацию пользователя
with app.test_request_context():
test_user = db.session.query(User).filter_by(id=1).first()
yield flask_login.login_user(test_user)

Содержимое файла test-category.py

import json
import pytest

from app import db
from app.models.categories import Category
from app.repositories.category import get_category_by_id

headers = {"Content-Type": "application/json"}

@pytest.mark.usefixtures("authenticated_request")
def test_category_rename(client):
# Create test data
user_id = 1
cat = Category(user_id=user_id, name='Test Category')
db.session.add(cat)
db.session.commit()

# Mock
mock_name = 'Test Category New'
mock_request_data = {
'cat_id': cat.id,
'name': mock_name,
}

# Rename category
url = 'http://127.0.0.1:5000/categories/update/'
client.patch(url, headers=headers, data=json.dumps(mock_request_data))

# Check new name
category = get_category_by_id(user_id, cat.id)
assert category.name == mock_name

# Clear test data
db.session.delete(category)
db.session.commit()

Ссылка на репозиторий в GitHub.

Конфигурация 2

Если не нужен обход авторизации во всех тестах можно обходить авторизацию в каждом отдельном тесте.

Содержимое файла conftest.py:

import pytest
from app import app, db

@pytest.fixture
def client():
app.config["TESTING"] = True
# Bypasses @login_required
app.config["LOGIN_DISABLED"] = True
with app.test_client() as client:
yield client

Содержимое файла test_category.py:

import json
from app import db, app
from app.models.categories import Category
from app.models.users import User
from app.repositories.category import get_category_by_id

headers = {
"Content-Type": "application/json",
}

def test_category_rename(client):
# Create test data
user_id = 1
cat = Category(user_id=user_id, name='Test Category')
db.session.add(cat)
db.session.commit()

# Mock
mock_name = 'Test Category New'
mock_request_data = {
'cat_id': cat.id,
'name': mock_name,
}

with app.test_client() as client:
# Решает проблему с flask_login.current_user.id:
# AttributeError: 'AnonymousUser' object has no attribute 'id'
test_user = db.session.query(User).filter_by(id=user_id).first()

@app.login_manager.request_loader
def load_user_from_request(request):
return test_user

# Tests starts here
url = 'http://127.0.0.1:5000/categories/update/'
client.patch(url, headers=headers, data=json.dumps(mock_request_data))

# Check new name
category = get_category_by_id(user_id, 576)
assert category.name == mock_name

# Clear test data
db.session.delete(category)
db.session.commit()

Ссылка на репозиторий в GitHub.

Запуск тестов

Запуск тестов осуществляется командой:

pytest app/tests/

Дополнительные ключи:

# -s - отображает содержимое print
# -v - отображает полное название тестов
# --disable-pytest-warnings - убирает warnings summary

fastapi users coroutine ‘create_db_and_tables’ was never awaited

Admin — Fri, 15 Jul 2022 08:00:00 +0000

Ошибки с созданием таблиц в fastapi users.

Ошибки

fastapi users coroutine ‘create_db_and_tables’ was never awaited

Если запустить через asyncio.run(), то возникнет другая ошибка:

RuntimeError: asyncio.run() cannot be called from a running event loop

Решение

Для решение запустить инсталляцию таблиц в БД через роут, например так:

@router.get('/')
async def create_db(favorite: Optional[bool] = None, db: Session = Depends(get_db)):
return await create_db_and_tables()

Команды для Alembic

Admin — Thu, 14 Jul 2022 13:48:29 +0000

Чистый Alembic для SQLALchemy отличается от команд на Flask. Разберем основные команды для Alembic.

SQLAlchemy на Flask

flask db init
flask db migrate -m "Update"
flask db upgrade

Чистый Alembic для FastAPI

alembic init alembic
alembic init db-migration / alembic init -t async migrations
alembic upgrade head