Ученые изобрели новый вид нейросетей. Сети Колмогорова-Арнольда (KAN) превосходят MLP с точки зрения точности и интерпретируемости. Однако интуитивно визуализированы и могут легко взаимодействовать с пользователями-людьми.
Многослойные персептроны (MLP), также известные как полностью подключенные нейронные сети прямого действия, являются основополагающими строительными блоками современных моделей глубокого обучения. Несмотря на широкое использование MLP, они имеют существенные недостатки. Например, в трансформаторах MLP потребляют почти все параметры, не являются встроенными и, как правило, менее поддаются интерпретации (относительно уровней внимания) без инструментов постанализа.
Как более сильную альтернативу MLP, исследователи Массачусетского технологического института изобрели нейронную сеть Колмогорова-Арнольда (KAN).
Как устроены KAN
Как и MLP, KAN имеют полносвязные структуры. Однако в то время как MLP размещают фиксированные функции активации в узлах (нейронах), KAN размещают обучаемые функции активации на ребрах (весах). В результате KAN не имеют линейных весовых матриц вообще: вместо этого каждый весовой параметр заменяется доступной для изучения 1D-функцией, параметризованной в виде сплайна.
Узлы KAN просто суммируют входящие сигналы без применения каких-либо нелинейностей. Ученые отмечают, что весовой параметр каждого MLP становится сплайновой функцией KAN. Однако KAN позволяют выполнять вычисления на графиках гораздо меньшего размера, чем MLP, поэтому не требуют повышенных затрат.
Преимущества KAN
Небольшие KAN могут достигать такой же или даже более высокой точности, чем гораздо более крупные MLP, при обработке данных и решении PDE. Кроме того, как теоретически, так и эмпирически, KAN проявляют более эффективные принципы масштабирования нейронов по сравнению с MLP.
Также для удобства интерпретации KAN можно интуитивно визуализировать, и они могут легко взаимодействовать с людьми-пользователями. Исследователи продемонстрировали на примерах из математики и физики, что KAN являются полезными инструментами, помогающими ученым (повторно) открывать математические и физические законы.
Недостатки KAN
В настоящее время самым большим недостатком KAN является медленное обучение. Эти сети работают в 10 раз медленнее, чем MLP, при том же количестве параметров. Однако специалисты отмечают, что не прилагали усилий для оптимизации эффективности KAN, поэтому считают медленное обучение технической проблемой, которую необходимо решить в будущем.
Ученые подчеркивают, что KAN представляют собой перспективную замену MLP, открывая новые горизонты для улучшения существующих моделей глубокого обучения, которые сильно зависят от MLP.