Overfitting (3 lettori)

[Imar]

quanto poi alla possibilità di discernere segnale dal rumore, costruisco sistemi solo laddove esiste correlazione seriale statisticamente significativa

Se si vuole restringere il discorso, il punto è tutto qui.

ALCUNI D) ritengono che le correlazioni siano condizione non sufficiente per distinguere il segnale dal rumore (*).

Le correlazioni saltano, nel senso che spariscono e poi magari ritornano, ci sono esempi piuttosto ridicoli quali l'effetto predittivo della finale del superbowl (che si gioca a gennaio) rispetto alla performance del mercato azionario.. oppure la popolarità tra gli economisti del 18° secolo della correlazione tra macchie solari e ciclo economico.

E' poi anche la critica - credo - che operava il Sign Ernesto quando parlava di sistemi sulle giarrettiere.... ma - non si offenda nessuno - confondere PGiulia con Ernesto (al di là della baruffe FOL di qualche mese fà) è abbastanza ridicolo.

Basta leggere tre righe di PGiulia, quando parla un minimo seriamente (come qui) per capire che lei viene da un altro pianeta.... rispetto a tutti (poi, ognuno si può scegliere i "maestri" che preferisce e non è vietato dalla legge stimare tantissimo chi posta un Garch sull'S&P500 che non scende mai sotto il 20% negli ultimi 10 anni .... ).

Questo intevento, per esempio, IMHO dovrebbe essere stampato, piazzato vicino al monitor e riletto tutti i giorni prima di iniziare la giornata professionale:

http://www.investireoggi.it/forum/2635994-post46.html

Un saluto.


(*) e neanche i "p ratio, i T test ad una coda, i chi quadro, ecc... " ci possono salvare più di tanto.... la soluzione per me.... se esiste è altrove..... ma sui forum di econometria non si può dire...altrimenti ti scomunicano

 

[jackgladney]

(*) e neanche i "p ratio, i T test ad una coda, i chi quadro, ecc... " ci possono salvare più di tanto.... la soluzione per me.... se esiste è altrove..... ma sui forum di econometria non si può dire...altrimenti ti scomunicano

dilla dilla, non temere, qua siamo molto curiosi

 

[Imar]

Jack, ti hanno già risposto.... ma forse repetita iuvant:

Qualora potessi/sapessi, non lo farei per il principio di indeterminazione di Heisenberg applicato alla finanza. Campo dove tutti competono con tutti. Semplicissimo motivo per il quale è assurdo sperare di trovare in rete un metodo per fare soldi in borsa. Ma si sa che l'uomo spesso, volentieri ed in massa, non riesce a non credere a cose assurde. Enorme potenza dei bias psicologici.

Un saluto.

 

[alvin_angel]

beh mi sembra assolutamente gratuito ed ingiusto criticare il Maestro . . .
non c' è stato nessuno sui forum pseudo-finanziari che ha insegnato così tanto ai pochi che hanno avuto occhi per leggere e mente aperta per capire . . .

mica era una critica... era solo un dato di fatto...
"prima" (ex-ante) insegnava a dividere le serie...
"poi" (ex-post) insegnava a non farlo...
guarda... posso passare per irriverente ma espongo solo i fatti...
purtroppo ho una memoria fotografica...

gradirei, se possibile, un tuo commento anche sul Piero francese...
a naso direi che dite le stesse cose ma lui utilizza solo programmi Pakko...
c'e' del costrutto nella sua intervista o dice solo caxate?!??!

cia'!!!

PS
non lo conosco ma da quello che ho visto Lorenzo deve essere una brava e onesta persona che vuole aiutare...
su questo non ci piove... mai messo in dubbio...
pero' mannaggetta... far sempre i professori... azzarolina...

 

[alvin_angel]

Questo intevento, per esempio, IMHO dovrebbe essere stampato, piazzato vicino al monitor e riletto tutti i giorni prima di iniziare la giornata professionale:

http://www.investireoggi.it/forum/2635994-post46.html

Un saluto.

e che ha detto?!?!? non comprendo... non capisko...
anzi... se uno lo legge poi dopo non accende neppure il PC e se ne va in vacanza...

cia'!!!!!

 

[starless]

anche se non dovrei permettermi, in questo scontro esoterico tra professori di finanza, non resisto: ma di questo 'overfitting' da voi così demonizzato, non è permeata la storia della conoscenza umana? addirittura della scienza?

la progettazione del sistema in base ad un periodo di "backtest", (o per usare le parole di PGiulia, "Il solo fatto di creare un sistema in base alla nostra esperienza di trading pregressa può generare overfitting") non equivale all'osservazione sistematica che precede la formulazione di ipotesi da portare poi alla verifica sperimentale?

l'ottimizzazione non equivale all'utilizzo di costanti adimensionali, via via eliminate non appena la teoria faceva progressi ma che, fintanto che servivano, erano lo stesso utilizzate in fisica (ed alcune ancora lo sono)?

davvero la prima preoccupazione dev'essere evitare paradossi della meccanica quantistica nel momento in cui non sappiamo stabilire un abbozzo approssimativo di modello di funzionamento?

 

[GiuliaP]

...ma di questo 'overfitting' da voi così demonizzato, non è permeata la storia della conoscenza umana? addirittura della scienza?

No, quello è fitting. L'overfitting è quello precedentemente specificato nel mio post da te apprezzato (sembrava).

...la progettazione del sistema in base ad un periodo di "backtest", (o per usare le parole di PGiulia, "Il solo fatto di creare un sistema in base alla nostra esperienza di trading pregressa può generare overfitting") non equivale all'osservazione sistematica che precede la formulazione di ipotesi da portare poi alla verifica sperimentale?...

Ma certo, peccato che questa osservazione sistematica la si possa fare anche (inutilmente) su rumore. Portando a formulare ipotesi che poi alla "vera" verifica sperimentale si riveleranno farlocche. Allora forse è il caso di chiedersi prima cosa, dove, quando e perchè "osservare".

...l'ottimizzazione non equivale all'utilizzo di costanti adimensionali, via via eliminate non appena la teoria faceva progressi ma che, fintanto che servivano, erano lo stesso utilizzate in fisica (ed alcune ancora lo sono)?...

Le leggi della fisica sono completamente diverse dalle leggi del mercato. Le metodologie di analisi e sintesi delle stesse non possono essere banalmente paragonate.

Un banale esempio: puoi creare una rete neurale capace di fare più o meno complesse operazioni matematiche semplicemente mostrandole esempi e mai algoritmi. Non puoi fare lo stesso quando negli esempi è presente una forte componente di rumore perchè la rete non sarà MAI in grado di distinguerla dall'esempio utile. La rete stessa inevitabilmente amplificherà il rumore, senza filtrarlo.

Ovviamente questo accadrà qualora non fossimo in grado noi stessi di insegnare alla rete come filtrare: ma in tal caso cesserebbe la stessa ragione d'essere della rete, per inutili problemi di analisi e sintesi della stessa.

Parlo di reti neurali perchè la mia esperienza, sia di alto che di basso livello, mi ha convita, per ora, del fatto che siano la possibile generalizzazione di qualunque algoritmo ad ottimizzazione empirica presente su piazza.

...davvero la prima preoccupazione dev'essere evitare paradossi della meccanica quantistica nel momento in cui non sappiamo stabilire un abbozzo approssimativo di modello di funzionamento?

Quella è una preoccupazione che, se sei abbastanza sveglio, ti dovrebbe cominciare a venire qualora già sapessi "stabilire l'abbozzo approssimativo di modello di funzionamento" con successo. Non certo quando ancora annaspi alla ricerca del segreto per fare soldi in borsa, sperando di trovarlo in rete.

 

[starless]

No, quello è fitting. L'overfitting è quello precedentemente specificato nel mio post da te apprezzato (sembrava).

molto apprezzato, come anche questo, ma da pressochè incolto quale sono non arrivo a fare A=C specie se dubito che B=A e B=C.

ad es. sull'osservazione, è pur vero che ars longa vita brevis, ma se seleziono il campo di osservazione per cui escludo a priori quello che penso già sia rumore arriverò molto probabilmente solo a conclusioni già note, non è così? siamo sicuri che tutto quello che il buon senso ci indica come rapporto spurio lo sia davvero?

per quanto riguarda l'ottimizzazione in fisica,

(non volendo affatto con quell'argomento spezzare una lancia alle soluzioni tecnologiche prospettate: fuzzy, ga, NN, ecc. ecc., ma solo rimanere su un discorso astrattamente metodologico),

non ho capito dal tuo esempio perchè un'approssimazione arbitraria che si applica alla formulazione delle leggi fisiche, dove mi sembra viga un rigore formale estremamente elevato, non potrebbe essere tollerato anche per quelle di mercato

buone feste

 

[GiuliaP]

molto apprezzato, come anche questo, ma da pressochè incolto quale sono non arrivo a fare A=C specie se dubito che B=A e B=C.

ad es. sull'osservazione, è pur vero che ars longa vita brevis, ma se seleziono il campo di osservazione per cui escludo a priori quello che penso già sia rumore arriverò molto probabilmente solo a conclusioni già note, non è così? siamo sicuri che tutto quello che il buon senso ci indica come rapporto spurio lo sia davvero?

Ti ringrazio per l'apprezzamento.

Devi inquadrare il mio intervento nell'ottica oggetto del thread da cui è nato.
Perchè se fossimo già in grado di separare rumore da segnale utile, non avremo assolutamente bisogno di nient'altro.

...per quanto riguarda l'ottimizzazione in fisica,

(non volendo affatto con quell'argomento spezzare una lancia alle soluzioni tecnologiche prospettate: fuzzy, ga, NN, ecc. ecc., ma solo rimanere su un discorso astrattamente metodologico),

non ho capito dal tuo esempio perchè un'approssimazione arbitraria che si applica alla formulazione delle leggi fisiche, dove mi sembra viga un rigore formale estremamente elevato, non potrebbe essere tollerato anche per quelle di mercato

buone feste

La fisica classica è deterministica. Il mercato è governato dal comportamento umano, che purtroppo finora non è stato possibile associare ad alcun modello deterministico, ne si sa se questo sia possibile (io francamente ne dubito). Sono realtà completamente diverse, non paragonabili.

Non saprei spiegarlo meglio.

Buone feste anche a te

 

[Imar]

Ho capito! Ti senti responsabile per la mia partecipazione a questo forum e vuoi rimediare con complimenti!

In effetti sei colpevolissimo, e l'unico modo per farti perdonare è farti leggere, almeno ogni tanto!

Buon Natale amico mio!

Buon Natale PGiulia!!

PS formulo i miei migliori auguri a tutti, anche a chi ci legge da altri forum...