Validating architectural hypotheses in Neural Decision Trees with Neural Architecture Search
Loading...
Date
2025
Authors
Mykytyshyn, Artem
Shvai, Nadiia
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
This article introduces an automated and unbiased framework for validating architectural hypotheses for neural network models, with a particular focus on Neural Decision Trees (NDTs). The proposed methodology employs Neural Architecture Search (NAS) as an unbiased tool to explore architectural variations and empirically assess theoretical claims. To demonstrate this framework, we investigate a hypothesis found in the literature: that the complexity of decision nodes in NDTs decreases monotonically with tree depth. This assumption, initially motivated by the task of monocular depth estimation, suggests that deeper nodes in the tree require fewer parameters due to simpler split functions. To rigorously test this hypothesis, we conduct a series of NAS campaigns over the CIFAR-10 image and fully connected layers, while all other architectural components are held constant to isolate the effect of node depth. By applying Tree-structured Parzen Estimator (TPE)-based NAS and evaluating over 300 architectures, we quantify complexity metrics across tree levels and analyze their correlations using Spearman’s rank coefficient. The results provide no statistical or visual evidence supporting the hypothesized trend: node complexity does not decrease with depth. Instead, complexity remains nearly constant across levels, regardless of tree depth or search space size. These results suggest that assumptions derived from specific applications may not generalize to other domains, underscoring the importance of empirical validation and careful searchspace design. The presented framework may serve as a foundation for verifying other structural assumptions across various neural network families and applications.
Description
У цій роботі запропоновано автоматизовану та об’єктивну методику перевірки архітектурних гіпотез за допомогою пошуку нейронних архітектур (Neural Architecture Search, NAS). Основна ідея полягає в застосуванні NAS як інструменту для оцінки теоретичних припущень щодо структури моделей без ручного налаштування архітектур або впливу суб’єктивних рішень дослідника. Для демонстрації підходу було перевірено гіпотезу про те, що складність вузлів у нейронних деревах рішень (Neural Decision Trees, NDTs) зменшується зі збільшенням глибини дерева. Це припущення зустрічається в науковій літературі та використовується як обґрунтування для побудови спеціалізованих архітектур, однак раніше не було перевірене на систематичній експериментальній основі. У межах дослідження було розроблено повністю автоматизований експериментальний фреймворк для генерації, навчання та оцінювання сотень архітектур NDT з різними конфігураціями вузлів. Для пошуку ефективної структури дерев було використано метод баєсівської оптимізації (Treestructured Parzen Estimator, TPE). Складність вузлів оцінювали за кількома метриками: кількістюпараметрів, кількістю обчислювальних операцій, кількістю нейронів у шарі та глибиною шару. Для аналізу зв’язку між глибиною вузлів і їхньою складністю застосовували коефіцієнт рангової кореляції Спірмена (Spearman’s rank correlation coefficient). За результатами обчислювального експерименту, що охопив понад 300 згенерованих моделей на синтетичному класифікаційному датасеті, не було виявлено жодної стабільної або статистично значущої залежності між глибиною вузла та його складністю. Отримані результати свідчать про те, що припущення, сформовані на основі окремих прикладів або інтуїції, можуть не узагальнюватися на інші задачі або домени. Це підкреслює важливість емпіричної перевірки теоретичних архітектурних міркувань, а також необхідність уважного проєктування простору пошуку в NAS. Запропонований підхід може бути використаний для перевірки інших архітектурних гіпотез у різноманітних типах нейронних мереж, що робить його перспективним інструментом у дослідженнях у сфері автоматизованого машинного навчання.
Keywords
Neural Architecture Search (NAS), Neural Decision Trees (NDTs), Automated Machine Learning (AutoML), Computer Vision, Node Complexity, article, пошук нейронних архітектур, нейронні дерева рішень, автоматизоване машинне навчання, комп’ютерний зір, складність вузлів
Citation
111