通用近似定理

在人工神經網絡的數學理論中， 通用近似定理（或稱萬能近似定理）指出人工神經網絡近似任意函數的能力^[1]。通常此定理所指的神經網絡爲前饋神經網絡，並且被近似的目標函數通常爲輸入輸出都在歐幾里得空間的連續函數。但亦有研究將此定理擴展至其他類型的神經網絡，如卷積神經網絡^[2]^[3]、放射狀基底函數網絡^[4]、或其他特殊神經網絡^[5]。

此定理意味着神經網絡可以用來近似任意的復雜函數，並且可以達到任意近似精準度。但它並沒有說明要如何選擇神經網絡參數（權重、神經元數量、神經層層數等等）來達到想近似的目標函數。

歷史

1900年代

1950年代至60年代

蘇聯數學家安德烈·柯爾莫哥洛夫與學生弗拉基米爾·阿諾爾德在1950年代及60年代期間，證明多元函數可分解為以下形式（e.g. Kolmogorov–Arnold表示定理（英語：Kolmogorov–Arnold representation theorem））:

f(\mathbf {x} )=f(x_{1},\ldots ,x_{n})=\sum _{q=0}^{2n}\Phi _{q}\left(\sum _{p=1}^{n}\phi _{q,p}(x_{p})\right)

.

1980年代後

喬治·西本科於1989年證明了單一隱藏層、任意寬度、並使用S型函數作爲激勵函數的前饋神經網絡的通用近似定理^[6]。科特·霍尼克（英語：Kurt Hornik）在1991年證明，激勵函數的選擇不是關鍵，前饋神經網絡的多層神經層及多神經元架構才是使神經網絡有成為通用逼近器的關鍵^[7]。

2020 量子計算

量子神經網絡可以用電路量子計算機的不同數學工具來表示，從量子感知器到變分量子電路，都基於量子邏輯門的組合。變分量子電路基於參數電路，不涉及神經網絡。相反，量子感知器能夠設計具有與前饋神經網絡相同結構的量子神經網絡，前提是每個節點的閾值行為不涉及量子態的崩潰，即沒有測量過程。 2022 年，這種為量子神經網絡提供激活函數行為的免測量構建模塊已經被設計出來 ^[8]。量子電路返回與量子比特相關的 -1 到 +1 區間內的壓縮函數的任意近似值。這種設計任意量子激活函數的方法通常可以實現量子多感知器和量子前饋神經網絡。

參見

Kolmogorov–Arnold表示定理（英語：Kolmogorov–Arnold representation theorem）
代表定理（英語：Representer theorem）
沒有免費的午餐定理（英語：No free lunch in search and optimization）
Stone–Weierstrass定理
傅里葉級數
希爾伯特第十三問題

參考文獻

^ Nielsen, Michael. 4. Neural Networks and Deep Learning. Determination Press. 2015 [2020-08-27]. （原始內容存檔於2017-07-29）（英語）.
^ Zhou, Ding-Xuan (2020) Universality of deep convolutional neural networks; Applied and computational harmonic analysis 48.2 (2020): 787-794.
^ A. Heinecke, J. Ho and W. Hwang (2020); Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets; IEEE Signal Processing Letters, vol. 27, pp. 1175-1179.
^ Park, Jooyoung, and Irwin W. Sandberg (1991); Universal approximation using radial-basis-function networks; Neural computation 3.2, 246-257.
^ Yarotsky, Dmitry (2018); Universal approximations of invariant maps by neural networks.
^ Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions" （頁面存檔備份，存於互聯網檔案館）, Mathematics of Control, Signals, and Systems, 2(4), 303–314. doi:10.1007/BF02551274
^ Kurt Hornik (1991) "", Neural Networks, 4(2), 251–257. doi:10.1016/0893-6080(91)90009-T
^ Maronese, Marco; Destri, Claudio; Prati, Enrico. Quantum activation functions for quantum neural networks. Quantum Information Processing (Springer). 2022, 21 (4): 1-24 [2022-07-20]. arXiv:2201.03700 . doi:10.1007/s11128-022-03466-0. （原始內容存檔於2022-07-20）.

[1] Nielsen, Michael. 4. Neural Networks and Deep Learning. Determination Press. 2015 [2020-08-27]. （原始內容存檔於2017-07-29）（英語）.

[2] Zhou, Ding-Xuan (2020) Universality of deep convolutional neural networks; Applied and computational harmonic analysis 48.2 (2020): 787-794.

[3] A. Heinecke, J. Ho and W. Hwang (2020); Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets; IEEE Signal Processing Letters, vol. 27, pp. 1175-1179.

[4] Park, Jooyoung, and Irwin W. Sandberg (1991); Universal approximation using radial-basis-function networks; Neural computation 3.2, 246-257.

[5] Yarotsky, Dmitry (2018); Universal approximations of invariant maps by neural networks.

[cyb-6] Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions" （頁面存檔備份，存於互聯網檔案館）, Mathematics of Control, Signals, and Systems, 2(4), 303–314. doi:10.1007/BF02551274

[horn-7] Kurt Hornik (1991) "", Neural Networks, 4(2), 251–257. doi:10.1016/0893-6080(91)90009-T

[maronese-8] Maronese, Marco; Destri, Claudio; Prati, Enrico. Quantum activation functions for quantum neural networks. Quantum Information Processing (Springer). 2022, 21 (4): 1-24 [2022-07-20]. arXiv:2201.03700 . doi:10.1007/s11128-022-03466-0. （原始內容存檔於2022-07-20）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]