Overfitting

Discussione in 'Trading Systems, Econometria' iniziata da GiuliaP, 21 Dicembre 2011.

    21 Dicembre 2011
  1. GiuliaP

    GiuliaP The Dark Side

    Registrato:
    26 Novembre 2011
    Messaggi:
    1.830
    EDIT 7/1: inserisco un post per me importante da cui è partito il dicorso:
    --------------------------------------------------------------------------------

    Skarso, questo non è evitare overfitting, questo è evitare di guardare al futuro relativo per prevederlo. Del resto se vuoi prevedere l'andamento futuro, non hai certo a disposizione le quotazioni di domani per farlo.

    Ovvero significa semplicemente evitare un banale errore computazionale.



    Addirittura malafede? :D

    "Overfitting" significa modellare rumore piuttosto che la legge di funzionamento del sistema reale che si vuole controllare/prevedere; questa non è una mia opinione: è una definizione.

    Inutile dire che modellare rumore passato non serve certo a prevedere rumore futuro, per definizione stessa di rumore.

    Tutti gli algoritmi da te citati possono essere efficaci per sistemi dove il rumore è trascurabile rispetto agli effetti delle leggi reali che li regolano. In questi casi riescono a "simulare" leggi di comportamento senza la necessità di conoscerle.

    Quando invece il sistema è estremamente soggetto a rumore e reagisce ad ogni tentativo di "controllo" (una specie di legge di Heisenberg per i mercati :D), questi sistemi generano overfitting più di qualunque altro metodo.

    Ovvero non sono adatti allo scopo.

    Se si vuole una prova pratica di quanto detto, basta generare una serie casuale e verificare che una rete neurale sarà capace di generare su di essa una equity di tutto rispetto. Ex-post. Ex-ante, ovviamente, fallirà miseramente.

    Per concludere, la ricerca empirica può anche essere fatta in maniera esaustiva, purchè si abbia tempo infinito. Altrimenti è fondamentale saper riconoscere al più presto le strade che possono avere più speranze di altre con logiche del tipo qui sopra descritte. Che si traduce metodologicamente parlando nel tagliare i rami morti della ricerca prima di doverli esplorare completamente (senza trascurare il rischio che questo tipo di operazione comporta).

    Come al solito il tempo è un valore che si trascura sistematicamente, pur essendo il più importante di tutti.


    ---------------------------------------------------------------------------------------------------------------------------------------------


    Qui credo si stia discutendo di serie storiche date in pasto ad algoritmi caratterizzati da parametri ottimizzati empiricamente sulle stesse.

    La possibilità che questi algoritmi riescano a distinguere rumore da qualche reale principio di causa-effetto degli andamenti finanziari, per loro stessa struttura, è estremamente scarsa, per non dire nulla. Questa è una mia semplice opinione, basata su esperienza personale e quanto detto sopra.

    E mi fa piacere esprimerla su questo forum, per chi vuole avere una diversa prospettiva su tutti questi ragionamenti.

    Hai capito male. Soprattutto riguardo il random walk, che è provato non avere niente a che fare con gli andamenti di borsa.

    In ogni caso in generale considero il backtest molto più adatto alla verifica di una strategia piuttosto che alla sua progettazione o peggio ottimizzazione.
     
    Ultima modifica: 7 Gennaio 2012
    A given1988 piace questo elemento.
  2. 21 Dicembre 2011
  3. expectancy.pm

    expectancy.pm New Member

    Registrato:
    10 Novembre 2011
    Messaggi:
    30
    In compenso la signora va cosi tanto d'accordo con il barbiere che qualche volta mi è venuto il dubbio siano la stessa persona :)
    Comunque io questi "strani" metodi (decisamente più rudimentali di quelli di skarso) li uso da 3 anni e finora tutti chiusi in gain. Solito culo dei principianti direi...
     
    Ultima modifica: 21 Dicembre 2011
  4. 21 Dicembre 2011
  5. expectancy.pm

    expectancy.pm New Member

    Registrato:
    10 Novembre 2011
    Messaggi:
    30
    Non ho difficoltà a crederti :up:
    Visto che sono in partenza approfitto per farti gli auguri per un sereno Natale ed un felicissimo (e ricchissimo) anno nuovo.
    Gli auguri sono estesi a tutti gli iscritti al forum senza esclusione alcuna.
    Auguroni!!!
     
  6. 21 Dicembre 2011
  7. GiuliaP

    GiuliaP The Dark Side

    Registrato:
    26 Novembre 2011
    Messaggi:
    1.830
    L'overfitting non è qualcosa a cui possiamo dare un significato arbitrario. Ne una parola alla quale si possa dare più di un senso logico. Non concede fraintendimenti.

    Quello che tu chiami overfitting in realtà è solo banale errore computazionale. Per comprenderne invece il vero significato, quando giustamente non mi si voglia credere sulla parola, basta usare google. Molto banalmente. Inutile che stia qui a ripetere la mia definizione.

    "invisible overfitting", che io non ho mai sentito nominare, su google mi da solo due risultati: uno direttamente collegato al tuo post, ed un altro ad un post del fol di nello cionsepi. Che non ho più alcun dubbio essere tu stesso.


    Io non so cosa sia questo Dropbox e questi files da esaminare, ma credimi quando ti dico che non ho bisogno di andarmi a leggere manuali di astrologia per capire che ci perderei solo preziosissimo tempo.

    Skarso, io non ho la più pallida idea di chi tu sia. Esprimo semplicemente le mie opinioni, ed il fatto che tu le legga sempre come un attacco personale nasconde un egocentrismo di fondo che è uno dei peggiori nemici del trader.

    Ma questo può aiutarti solo se è trader quello che tu vorresti essere.
     
    Ultima modifica: 21 Dicembre 2011
  8. 21 Dicembre 2011
  9. GiuliaP

    GiuliaP The Dark Side

    Registrato:
    26 Novembre 2011
    Messaggi:
    1.830
    Io questo lo chiamo sempre overfitting. Se poi si vuole fare i fighi e battezzarlo come un supereroe, buon divertimento ;)

    Il solo fatto di creare un sistema in base alla nostra esperienza di trading pregressa può generare overfitting.

    Figuriamoci il secondo test out-of-sample.

    P.S. Ronzy, se leggi anche qui, è proprio quello che ti dicevo tempo fa riguardo il fatto di poter fare la verifica ex-ante una ed una sola volta. Pena (ulteriore) overfitting.

    Ma allora è facilissimo!!! :D

    Sarà per questo che anche su questo forum pare guadagnino tutti. O forse è un bias, visto che siamo gli stessi dell'altro! :D
     
  10. 21 Dicembre 2011
  11. GiuliaP

    GiuliaP The Dark Side

    Registrato:
    26 Novembre 2011
    Messaggi:
    1.830
    Una battuta: ho provato - Doyne Farmer "invisible overfitting" - su google.

    Indovinate cos'è uscito! :D

    P.S. Se ora scrivo qui "wonder overfitting" e poi google me lo trova, posso dire di averlo inventato? :D
     
  12. 21 Dicembre 2011
  13. expectancy.pm

    expectancy.pm New Member

    Registrato:
    10 Novembre 2011
    Messaggi:
    30
    GiuliaP a sentir te non esiste modo di costruire un ts o quasi. Perchè non ci spieghi tu come si fa?
     
  14. 21 Dicembre 2011
  15. maurice

    maurice New Member

    Registrato:
    24 Settembre 2005
    Messaggi:
    19
    aah.. sintesi discutibile mi pare..
    Credo che la lettura delle granitiche esposizioni del "nostro" sull'altro lato della forza :D potrebbe essere - se non illuminante - utile a fare chiarezza
    Meditate gente.
    maurizio
     
  16. 22 Dicembre 2011
  17. maurice

    maurice New Member

    Registrato:
    24 Settembre 2005
    Messaggi:
    19
    Vedo che il tempo passa ma l'astio no..

    Nel merito di questo e dell'altro tuo post sulla fuzzy, come "palma natalizia" posto il link di una tesi :

    The Structure and Behaviour of the Continuous Double Auction - ECS EPrints Repository

    Buona lettura e Buon Natale, e rilassati che la vita è breve :)

    Maurizio
     
  18. 22 Dicembre 2011
  19. GiuliaP

    GiuliaP The Dark Side

    Registrato:
    26 Novembre 2011
    Messaggi:
    1.830
    Qualora potessi/sapessi, non lo farei per il principio di indeterminazione di Heisenberg applicato alla finanza. Campo dove tutti competono con tutti. Semplicissimo motivo per il quale è assurdo sperare di trovare in rete un metodo per fare soldi in borsa. Ma si sa che l'uomo spesso, volentieri ed in massa, non riesce a non credere a cose assurde. Enorme potenza dei bias psicologici.

    E' molto difficile accontentarsi di sapere cosa non conviene fare, soprattutto quando risulta difficile vedere al di là del proprio naso. Eppure dovrebbe essere apprezzato moltissimo, per tutto il tempo che potrebbe far guadagnare.

    Ovviamente sempre che lo scopo non sia quello di vendere consapevolmente e colpevolmente fumo, ma non credo sia questo il caso.
     

Utenti che hanno già letto questo Thread (Totale: 0)

Condividi questa Pagina