Python для ML-собеседований

Python int is arbitrary precision. Arithmetic does not overflow at 32 or 64 bits; instead, the object allocates more machine words as the value grows. Eventually you can still run out of memory or time.

To estimate memory for n!, estimate the number of bits rather than the numeric value itself. The bit length is floor(log2(n!)) + 1. Using Stirling, log2(n!) is approximately n log2(n) - n log2(e) plus a smaller term from sqrt(2 pi n). Divide by 8 for bytes and remember that Python object overhead means the actual memory is higher.

This is the key reasoning move in the interview: switch from the magnitude of n! to the logarithm of n!, because storage is proportional to digits or bits.

В for-loop Python сначала получает iterator через iter(obj). Потом он многократно вызывает next(iterator). Когда значения закончились, iterator поднимает StopIteration, и цикл завершается нормально.

Iterator - это объект с протоколом __iter__ и __next__: __iter__ возвращает iterator, а __next__ возвращает следующее значение или поднимает StopIteration. Generator - частный и очень удобный способ создать iterator: функция с yield приостанавливается и сохраняет локальное состояние между вызовами next.

Для обычного ответа на собеседовании этого достаточно: iter, next, StopIteration и yield. Методы generator вроде send/throw/close можно упомянуть только как дополнительный факт, если интервьюер уводит вопрос глубже.

The with statement is syntax for entering and leaving a managed context. Python calls __enter__ before the block and __exit__ after the block, including when the block exits through an exception. Files, locks, transactions, sockets and temporary settings are common examples.

The reason is deterministic cleanup. Garbage collection is not a good resource-management policy for file descriptors, sockets, locks or database connections. These are external system resources with limits and side effects. Waiting until an object is eventually collected can keep handles open too long, leak locks, hold transactions or exhaust descriptors.

In ML code, the same pattern appears in things such as torch.no_grad or temporary precision/autocast contexts: the context manager makes state changes scoped and reversible.

A dataclass is a class decorator that reads annotated fields and generates common methods, usually including __init__, __repr__ and equality methods. It is a convenience layer over an ordinary Python class, not a new object model.

With frozen=True, the generated class blocks normal attribute reassignment after construction. It is useful for value objects such as points or configuration records. It is not the same as deep immutability: mutable values stored inside can still mutate unless you choose immutable field types.

Descriptors are objects that define methods such as __get__, __set__ and __delete__. Python's attribute access machinery calls them to customize reads and writes. property is a common descriptor-based API. The connection to the interview is that high-level conveniences such as dataclasses and properties ultimately sit on top of Python's attribute model.

Базовый декоратор принимает функцию и возвращает другой callable. Внутренний wrapper принимает *args и **kwargs, может залогировать вход, вызвать исходную функцию, залогировать результат и вернуть его.

functools.wraps(func) нужен, чтобы wrapper не ломал метаданные: __name__, __doc__, annotations и __wrapped__. Это важно для отладки, introspection, тестов и инструментов.

Если у декоратора есть аргументы, появляется один дополнительный уровень функции: factory получает конфигурацию, затем decorator получает исходную функцию, затем wrapper получает runtime-аргументы. Ленивый импорт можно делать внутри wrapper-а через importlib.import_module(name), когда модуль реально нужен; при необходимости модуль кешируют в closure. Важно понимать: ошибка импорта тогда случится во время вызова, а не при старте программы.

Python list в CPython реализован как динамический массив ссылок. Добавление в начало требует освободить позицию 0 и сдвинуть все существующие элементы, поэтому это O(n).

Добавление в конец обычно кладет ссылку в уже выделенную свободную ячейку, поэтому стоит O(1). Когда capacity заканчивается, list выделяет новый больший буфер и копирует туда старые ссылки. Такой отдельный append стоит O(n), но средняя стоимость по длинной серии append остается амортизированно O(1).

Для обычных строк Python должен вычислить hash по символам, поэтому первая вставка строки длины k включает O(k) на хеширование. Сама операция set.add в среднем амортизированно O(1), если hash хорошо распределяет элементы.

Если сделать hash константным, все элементы попадают в один кластер коллизий. Тогда при вставке нового элемента нужно проверять уже лежащие элементы с тем же hash, и суммарно по n вставкам получается квадратичная деградация. Для строк и пользовательских объектов при коллизиях также важна стоимость equality-сравнений.

Число с плавающей точкой представляется как sign, exponent и significand/mantissa. Экспонента задает масштаб, мантисса - значащие биты. FP32 имеет 1 бит знака, 8 бит экспоненты и 23 бита мантиссы.

bfloat16 использует 16 бит, но оставляет экспоненту шириной как у FP32: 1 бит знака, 8 бит экспоненты и 7 бит мантиссы. Он менее точен по мантиссе, зато лучше переносит широкий диапазон активаций и градиентов. В ML это удобно для обучения и инференса: меньше память и выше throughput, при этом меньше проблем с overflow/underflow, чем у FP16.

Процесс - более тяжелая единица выполнения с отдельным адресным пространством. Поток легче: он живет внутри процесса и разделяет память, файловые дескрипторы и состояние процесса, но имеет свой stack.

GIL в CPython - глобальная блокировка, которую должен держать поток, исполняющий Python bytecode. Из-за этого CPU-bound Python-код обычно не ускоряется на нескольких потоках. Потоки полезны для I/O-bound задач, потому что GIL может отпускаться на ожидании I/O и в некоторых C-расширениях.

GIL не делает бизнес-инварианты атомарными. Для shared mutable state нужны Lock, Queue или другие примитивы синхронизации. Между процессами нельзя передать обычную Python-ссылку: нужны pipes, queues, sockets, shared memory, файлы, Redis или другой IPC/transport.

В CPython у каждого объекта есть счетчик ссылок. Когда счетчик падает до нуля, объект можно сразу освободить. Это хорошо работает для обычных ацикличных графов объектов.

Проблема возникает, когда объекты ссылаются друг на друга: например, список a содержит ссылку на b, а b содержит ссылку на a. Если внешние переменные перестали указывать на этот цикл, счетчики ссылок внутри цикла все равно не равны нулю, потому что объекты держат друг друга. Reference counting сам по себе такой цикл не освободит.

Для этого в CPython есть cyclic garbage collector. Он периодически ищет группы контейнерных объектов, которые достижимы только друг из друга, но недостижимы из корней программы. Такие циклы можно собрать. При этом освобождение не обязано случиться ровно в момент зануления внешней ссылки.

Mutable default argument — другой классический runtime-подвох. Значение аргумента по умолчанию вычисляется один раз при создании функции, а не при каждом вызове. Поэтому функция вида def f(x=[]): x.append(1); return x будет переиспользовать один и тот же список во всех вызовах без явного x. Правильный паттерн — использовать None как sentinel и создавать новый список внутри функции.