hh.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
A Simple trick for estimating the weight decay parameter
Högskolan i Halmstad, Akademin för informationsteknologi, Halmstad Embedded and Intelligent Systems Research (EIS).ORCID-id: 0000-0001-5163-2997
2012 (Engelska)Ingår i: Lecture Notes in Computer Science, ISSN 0302-9743, E-ISSN 1611-3349, Vol. 7700 LECTURE NO, s. 69-89Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

We present a simple trick to get an approximate estimate of the weight decay parameter λ. The method combines early stopping and weight decay, into the estimate λ̂ = ||∇E(Wes)||/||2W es||, where Wes is the set of weights at the early stopping point, and E(W) is the training data fit error. The estimate is demonstrated and compared to the standard cross-validation procedure for λ selection on one synthetic and four real life data sets. The result is that is as good an estimator for the optimal weight decay parameter value as the standard search estimate, but orders of magnitude quicker to compute. The results also show that weight decay can produce solutions that are significantly superior to committees of networks trained with early stopping. © Springer-Verlag Berlin Heidelberg 2012.

Ort, förlag, år, upplaga, sidor
Berlin: Springer Berlin/Heidelberg, 2012. Vol. 7700 LECTURE NO, s. 69-89
Nyckelord [en]
Cross validation, Early stopping, Optimal weight, Orders of magnitude, Real life datasets, Training data, Weight decay, Artificial intelligence, Estimation
Nationell ämneskategori
Signalbehandling
Identifikatorer
URN: urn:nbn:se:hh:diva-37450DOI: 10.1007/978-3-642-35289-8-6Scopus ID: 2-s2.0-84872568634OAI: oai:DiVA.org:hh-37450DiVA, id: diva2:1242363
Tillgänglig från: 2018-08-28 Skapad: 2018-08-28 Senast uppdaterad: 2018-08-28Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltextScopus

Personposter BETA

Rögnvaldsson, Thorsteinn

Sök vidare i DiVA

Av författaren/redaktören
Rögnvaldsson, Thorsteinn
Av organisationen
Halmstad Embedded and Intelligent Systems Research (EIS)
I samma tidskrift
Lecture Notes in Computer Science
Signalbehandling

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 37 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf