Результаты контрольных прогонов
Срез результатов: 9 сентября 2026 года. Это диагностика скорости и качества на просмотренных данных; независимая приёмка качества и численные пороги ускорения остаются открытыми. Машиночитаемая сводка содержит значения без округления, конфигурации и SHA исходных отчётов.
Сравнительная серия
Проверены восемь ноутбуков в режимах baseline и frozen fast. Основная сопоставимая выборка содержит 15 завершённых запусков ноутбуков из 16 запланированных, 36 из 38 fit и 17 из 19 пар. Frozen fast Home Credit завершил оба fit, но упал в отчётной ячейке; его результаты исключены из основного сравнения. Отдельный успешный final fast сохраняется как самостоятельный запуск.
В обоих режимах заданы четыре native/BLAS threads, seed 42, отключён кеш и отправка submissions. Внешний runner ограничивает HPO пятью trials на семейство; исходные кодовые ячейки ноутбуков сохраняют собственные бюджеты. Лимит подтверждения frozen fast — 16384 строк, текущий default — 65536. Измеряется один AutoML.fit, включая его подготовку и завершение.
В 17 сопоставимых парах fast быстрее в 15 и медленнее в двух. По направлению метрики результат лучше в трёх, хуже в 11 и равен в трёх. Три пары сравнивают одиночные модели одного семейства, 11 — разных семейств, три — ансамбль baseline с одиночной моделью fast. Эти наблюдения не отделяют эффект FS от выбора семейства и ансамблирования.
| Notebook / fit | Baseline, s | Frozen fast, s | Metric | Baseline | Frozen fast | Comparable |
|---|---|---|---|---|---|---|
| 01-titanic / 1 | 106.15 | 3.63 | accuracy | 0.776536 | 0.776536 | True |
| 01-titanic / 2 | 102.40 | 3.24 | accuracy | 0.798883 | 0.759777 | True |
| 01-titanic / 3 | 124.45 | 24.68 | accuracy | 0.938547 | 0.955307 | True |
| 02-house-prices / 1 | 515.20 | 45.67 | rmse | 0.129381 | 0.141275 | True |
| 02-house-prices / 2 | 1809.78 | 56.27 | rmse | 0.135027 | 0.138396 | True |
| 03-adult-income / 1 | 559.60 | 252.98 | roc_auc | 0.923428 | 0.923428 | True |
| 03-adult-income / 2 | 858.35 | 580.57 | roc_auc | 0.913824 | 0.922461 | True |
| 04-credit-card-fraud / 1 | 215.01 | 27.85 | pr_auc | 0.848846 | 0.848846 | True |
| 04-credit-card-fraud / 2 | 598.06 | 136.86 | pr_auc | 0.873524 | 0.848846 | True |
| 05-otto-product-classification / 1 | 2372.27 | 8487.02 | log_loss | 0.476325 | 0.500928 | True |
| 05-otto-product-classification / 2 | 1825.23 | 4955.66 | log_loss | 0.474787 | 0.500928 | True |
| 06-store-sales / 1 | 5630.22 | 1743.65 | rmse | 0.372255 | 0.380758 | True |
| 06-store-sales / 2 | 155.95 | 145.53 | rmse | 0.393452 | 0.402010 | True |
| 06-store-sales / 3 | 2421.46 | 488.61 | rmse | 0.402796 | 0.410752 | True |
| 07-ieee-fraud / 1 | 4662.66 | 2339.41 | roc_auc | 0.955821 | 0.936651 | True |
| 07-ieee-fraud / 2 | 3052.20 | 2082.97 | roc_auc | 0.950596 | 0.937859 | True |
| 07-ieee-fraud / 3 | 1029.55 | 152.65 | roc_auc | 0.884460 | 0.892786 | True |
| 08-home-credit / 1 | 757.18 | - | roc_auc | 0.775250 | - | False |
| 08-home-credit / 2 | 863.13 | - | roc_auc | 0.779242 | - | False |
Отдельные итоговые прогоны
| Notebook / fit | Final fast, s | Metric | Holdout | Model | Completed / failed fits |
|---|---|---|---|---|---|
| otto / 1 | 196.64 | log_loss | 0.476325 | lightgbm | 15 / 0 |
| otto / 2 | 266.57 | log_loss | 0.476325 | lightgbm | 40 / 0 |
| home / 1 | 623.82 | roc_auc | 0.775250 | catboost | 15 / 0 |
| home / 2 | 981.62 | roc_auc | 0.775250 | catboost | 40 / 0 |
В final Otto оба сценария возвращают LightGBM на всех 93 признаках; расширенный сценарий проверяет subset из 31 признака и пять HPO trials, затем сохраняет широкий контроль. В final Home оба сценария возвращают CatBoost на 377 признаках; расширенный проверяет 191 признак и пять trials, затем сохраняет широкий контроль. Отсутствие итогового feature_selection не означает отсутствия затрат на FS/HPO.
Итоговый Otto fit 2 уступает baseline по log loss на 0,0015379, Home fit 2 — по ROC-AUC на 0,0039916. Прогоны относятся к собственным снимкам кода и предшествуют условному прогнозу стоимости FS/HPO. Они не доказывают точность прогноза и не являются повтором всех ноутбуков на публикуемой версии.
Узкие диагностические проверки
- Adult FS на seeds 42/43/44 сохраняет одинаковые шесть признаков и ROC-AUC оценки subset. Медиана времени FS — 11,932 → 0,841 с, число fit — 62 → 8; ускорение 14,20× относится только к этой процедуре.
- Credit FS при трёх положительных событиях в ES/test нестабилен: seed 43 даёт AP 0,334492 → 0,017516 после удаления V7; seed 44 — 0,632258 → 0,698637 после удаления V9. Это отдельная оценка subset без полного AutoML wide-control.
- Adult с фиксированным CatBoost и FS-рецептом: 503,46 с, 42 fit без ошибок, без модельных проб и HPO; итогом становится широкий контроль. Этот сценарий не воспроизводит подобранные HPO-параметры и продовый churn.
- Store Sales, расширенный временной сценарий: FS 12 → 4 fit, 1705,70 → 9,83 с; HPO 30 → 15 inner fit. Fast wide-control занимает ещё 333,59 с; просмотренный holdout RMSE хуже на 1,98%. Повтор baseline показывает большое изменение CV-времени при совпавших конфигурации и DEV scores; причина не установлена.
- IEEE, временной baseline fit 3: ансамбль четырёх моделей на 142 признаках имеет holdout ROC-AUC 0,8844597404. DEV score 0,8507103459 относится к одиночному LightGBM; эта пара значений не измеряет optimism ансамбля.
- Отдельные DEV-пробы Otto и IEEE IID с ресурсом подтверждения 65536 выбирают LightGBM на seeds 42/43/44; Store IID выбирает CatBoost/CatBoost/LightGBM. Эти пробы не вычисляют holdout score и не заменяют полный AutoML-прогон.
Проверка прогноза и протокола качества
Короткий синтетический сценарий: 1600 строк, 12 признаков, seed 42, два HPO trials, 23 завершённых backend fit без ошибок. Общий fit занимает 1,036 с, профилирование FS/HPO — 0,047 с. Прогноз FS составляет 0,0213 с при измеренной стадии 0,0283 с. Условный HPO-прогноз 0,5735 с и фактическая стадия 0,1986 с имеют разные параметры и границы работ; их отношение нельзя трактовать как ошибку сопоставимого прогноза.
Эта проверка подтверждает исполнение и учёт затрат. Точность на реальных задачах, полный wall time и production-коэффициент ускорения требуют отдельного эксперимента. Парный протокол качества фиксирует модели, предсказания и контракт до меток; независимость происхождения данных подлежит отдельной проверке. Реальная внешняя приёмка пока не проведена.
Границы применения
Ноутбуки содержат сохранённые outputs собственных запусков; текстовые таблицы выше относятся к контрольной серии внешнего runner. Кодовые ячейки и outputs не заменяются результатами другого режима.
В Store Sales lag/rolling признаки строятся по доступным прошлым фактическим продажам: более поздняя строка тестового окна может использовать метку более ранней тестовой строки. Это сценарий последовательного наблюдения, а не доказательство качества прогноза всего фиксированного горизонта. Заполнение oil через bfill также может использовать будущее значение. В IEEE составной uid не доказывает идентичность карты, а групповой и временной сценарии являются отдельными разбиениями.
Для churn принят референс TUNE=False. Сопоставимый замер на его данных отсутствует. Основную метрику, допустимую потерю качества, независимый период и пороги времени требуется согласовать до итоговой приёмки. Дальнейшие работы описаны в плане улучшений; действующий API — в руководстве по стоимости обучения.