План производительности обучения
Состояние на 9 сентября 2026 года: ограниченный поиск, учёт работы, повторное использование вычислений и условный прогноз оставшегося обучения реализованы. Приёмка точности прогноза, качества и production-сценария остаётся открытой.
Настройки и контракты описаны в руководстве по производительности, измерения и версии проверок — в сводке результатов. План проверок и улучшений задаёт оставшиеся срезы.
Цель и границы
Цель — выбирать семейство модели и рецепт отбора признаков на ограниченном DEV-ресурсе, затем выполнять дорогую работу для выбранной комбинации. Регулярное обучение заранее фиксированных семейства и FS-рецепта обходится без повторного выбора между альтернативами.
Время, выполненная работа и качество оцениваются раздельно. Сокращение числа fit не доказывает заданное ускорение на другой машине; просмотренный holdout и post_search_dev не доказывают независимое качество. Пороги скорости и допустимой потери качества требуют соглашения для конкретного сценария.
Реализованное состояние
| Направление | Возможность | Граница подтверждения |
|---|---|---|
| P0. Учёт стоимости | Общее время, exclusive stages, фактические fit/rows/columns/iterations и recipe/trial/fold | Backend-время вложено в стадии; выборочные RSS не равны непрерывному пику |
| P1. Итерации и ES | Раздельные fit/ES/test, внутренний ES для поддерживаемого HPO, перенос итераций в refit | Малый ES отражается как недостаточный ресурс; time/group-ограничения сохраняются |
| P2. Точный кеш | Ограниченное по памяти повторное использование FS subset/OOF и широкого контроля | Только совпадающий контекст данных, folds, модели и признаков |
| P3. Продолжение | Сохранение завершённой подготовки/FS и HPO с проверкой контекста | Частичные и неуспешные результаты не становятся завершённым выбором |
| P4. Выбор модели | Initial/confirmation-пробы, достаточность классов и ES, парное сравнение не более двух финалистов | Ограниченная проба может изменить ранжирование на полном DEV |
| P5. Исполнение FS | Ограниченные строки, ширина и fit; один рецепт; HPO выбранного семейства; wide/subset-контроль | Ограниченный FS меняет политику и требует проверки качества |
| P6. Прогноз завершения | CV/refit и условные FS/HPO-профили до окончательного выбора семейства | Срез 2.3 частичный: точность, охват и полный wall time не приняты |
| P7. Оценка | Сопоставимые измерители, фиксированное семейство/FS, парная NI с фиксацией предсказаний до меток | Внешняя независимость и production-приёмка не подтверждены |
Модельные пробы используют доступные исходные признаки; max_features относится к FS. Initial и confirmation имеют отдельные ресурсы; default confirmation_rows — 65536. Одна явно указанная модель и один FS-рецепт исключают family/recipe scouting, сохраняя исполнение FS и предусмотренные проверки.
Ускорение встроенной статистики и ансамбля сохраняет критерии и ресурс повторов. Специализированные scorer/cache-пути применяются при выполнении их условий; остальные случаи используют общий путь.
Наблюдаемые ограничения
Основной baseline/fast-корпус содержит 15 завершённых режимов из 16 запланированных, 36 из 38 основных fit и 17 сопоставимых пар. Обоим режимам задано четыре native/BLAS-потока, HPO ограничен пятью trials на семейство; HPO-off сохранён. Два завершённых Home fast fit исключены по правилу целого режима из-за ошибки отчётной ячейки. Отдельные финальные Otto/Home относятся к другой версии и не подменяют этот корпус.
В 17 парах fast быстрее в 15 и медленнее в двух; просмотренный holdout лучше в трёх, хуже в 11 и равен в трёх. Разные метрики не усредняются; single/ensemble сравниваются отдельно. Общая нагрузка машины и пропуски ресурсных наблюдений ограничивают причинную интерпретацию wall time.
Узкие FS-пробы Adult дали одинаковые признаки и DEV-score при уменьшении FS fit с 62 до восьми. Credit оказался нестабилен: дельты average precision на seeds43/44 составили −0.316976 и +0.066379 при трёх положительных примерах в каждой ES/test-части. Эти пробы выполняли FS и post_search_dev без полного AutoML wide/subset-контроля.
Фиксированный Adult family/FS-сценарий завершён: 42 fit без ошибок, без HPO и backend-проб семейств. Он использует параметры семейства по умолчанию и не является воспроизведением HPO-параметров или измерением churn. Независимые внешние метки не оценивались.
Оставшийся план
- Калибровка стоимости. Проверить FS/HPO на нескольких ресурсах при одинаковых параметрах, folds, cache-состоянии и границе измерения. Отдельно оценить overhead, ES, ширину после FS и адаптивный HPO. Согласовать критерий ошибки и бюджет профилирования. Unknown-компонента не должна оправдывать смену лидера по качеству.
- Устойчивость поиска. На DEV проверить редкие классы Credit, временной ES Store и инверсии ранга. Сохранять парные OOF и class/block counts; проверять полный wide/subset-путь. Увеличивать ресурс ограниченного числа кандидатов без перебора всех семейств на полном DEV.
- Независимая приёмка. До меток согласовать сценарий, метрику, классы, абсолютный допуск и bootstrap. Зафиксировать модели, предсказания, строки, веса, блоки и fingerprints внешнего набора; проверить полную training/tuning-историю. Отделить статистический NI от review независимости и времени.
- Production-сравнение. Ручной churn-референс TUNE=False подтверждён по исходнику; необходимые данные и измерение отсутствуют. После получения входов сопоставить ручной и библиотечный фиксированный рецепт на одинаковой работе. Раздельно измерить cold/warm, FS, fit/refit, сохранение и inference.
- Итоговая фиксация. Публиковать результаты с версиями кода, ресурсами и незакрытыми проверками. Полную серию ноутбуков не повторять по умолчанию: сначала узкие проверки, затем согласованный объём итоговой оценки.
План остаётся открытым до согласованных проверок точности стоимости, независимого качества и production-измерения. Тесты реализации не заменяют эти результаты.