Overfitting (2 lettori)

GiuliaP

The Dark Side
EDIT 7/1: inserisco un post per me importante da cui è partito il dicorso:
--------------------------------------------------------------------------------

...forse non c’ è nessuno che teme l’ overfitting più di me ed infatti per ridurre al minimo almeno quello dovuto al training ho cura di effettuare sempre stime ex-ante, cioè nel fare la previsione per il giorno N non fare mai conoscere all’ algoritmo il risultato del giorno N, ma solo quelli precedenti fino al giorno N - 1...

Skarso, questo non è evitare overfitting, questo è evitare di guardare al futuro relativo per prevederlo. Del resto se vuoi prevedere l'andamento futuro, non hai certo a disposizione le quotazioni di domani per farlo.

Ovvero significa semplicemente evitare un banale errore computazionale.

...quindi stando così le cose come è facile verificare nei files open source, parlare di overfitting senza conoscere è pura illazione ed anche malafede . . . :down:

Addirittura malafede? :D

"Overfitting" significa modellare rumore piuttosto che la legge di funzionamento del sistema reale che si vuole controllare/prevedere; questa non è una mia opinione: è una definizione.

Inutile dire che modellare rumore passato non serve certo a prevedere rumore futuro, per definizione stessa di rumore.

Tutti gli algoritmi da te citati possono essere efficaci per sistemi dove il rumore è trascurabile rispetto agli effetti delle leggi reali che li regolano. In questi casi riescono a "simulare" leggi di comportamento senza la necessità di conoscerle.

Quando invece il sistema è estremamente soggetto a rumore e reagisce ad ogni tentativo di "controllo" (una specie di legge di Heisenberg per i mercati :D), questi sistemi generano overfitting più di qualunque altro metodo.

Ovvero non sono adatti allo scopo.

Se si vuole una prova pratica di quanto detto, basta generare una serie casuale e verificare che una rete neurale sarà capace di generare su di essa una equity di tutto rispetto. Ex-post. Ex-ante, ovviamente, fallirà miseramente.

Per concludere, la ricerca empirica può anche essere fatta in maniera esaustiva, purchè si abbia tempo infinito. Altrimenti è fondamentale saper riconoscere al più presto le strade che possono avere più speranze di altre con logiche del tipo qui sopra descritte. Che si traduce metodologicamente parlando nel tagliare i rami morti della ricerca prima di doverli esplorare completamente (senza trascurare il rischio che questo tipo di operazione comporta).

Come al solito il tempo è un valore che si trascura sistematicamente, pur essendo il più importante di tutti.


---------------------------------------------------------------------------------------------------------------------------------------------


dipende molto cosa dai in pasto
se dai spazzatura ottieni spazzatura
invece cosi' ha un senso

http://www.palisade.com/images3/product/NeuralTools/55NeuralToolsDataSet.png

certo se do in pasto la prod. ind..e' capace anche mio nonno....ma questo e'

Qui credo si stia discutendo di serie storiche date in pasto ad algoritmi caratterizzati da parametri ottimizzati empiricamente sulle stesse.

La possibilità che questi algoritmi riescano a distinguere rumore da qualche reale principio di causa-effetto degli andamenti finanziari, per loro stessa struttura, è estremamente scarsa, per non dire nulla. Questa è una mia semplice opinione, basata su esperienza personale e quanto detto sopra.

E mi fa piacere esprimerla su questo forum, per chi vuole avere una diversa prospettiva su tutti questi ragionamenti.

Giulia mi ha impressionato il tuo msg molto eloquente e didattico, ma riflettendoci meglio mi sembra che, portando avanti il tuo ragionamento, si arriverebbe a concludere che ogni backtest è superfluo e non c'è altro che random walk, oppure ho capito male?

Hai capito male. Soprattutto riguardo il random walk, che è provato non avere niente a che fare con gli andamenti di borsa.

In ogni caso in generale considero il backtest molto più adatto alla verifica di una strategia piuttosto che alla sua progettazione o peggio ottimizzazione.
 
Ultima modifica:

expectancy.pm

Nuovo forumer
invece hai capito benissimo . . . :up:
ma forse non sai che la gentile signora, nuova gradita presenza in questo forum, è altrove nota come la implacabile “distruttrice” di ogni sistema, ipotesi, ragionamento . . . :rolleyes:
inoltre pensa e mi tratta, bontà sua, come se io fossi alla stregua del lettore quadratico medio dei forum pseudo-finanziari, generalmente scientificamente analfabeta . . . :eek:
però forse sull' ultimo punto ha ragione a guardare la mia foto a lato e il luogo di provenienza . . .
In compenso la signora va cosi tanto d'accordo con il barbiere che qualche volta mi è venuto il dubbio siano la stessa persona :)
Comunque io questi "strani" metodi (decisamente più rudimentali di quelli di skarso) li uso da 3 anni e finora tutti chiusi in gain. Solito culo dei principianti direi...
 
Ultima modifica:

expectancy.pm

Nuovo forumer
beh effettivamente quella sua amicizia le fa perdere molti punti . . .
quanto ai metodi basati sulla correlazione seriale, indipendentemente da come viene applicata ( modelli AR, SETAR, Fuzzy, AG etc ) , anche io li uso dal 2000 e ( facendo i debiti scongiuri per il futuro) ho sempre chiuso l' anno in attivo . . . :up:
non credo pertanto di essere un "noise trader" . . . ;)
Non ho difficoltà a crederti :up:
Visto che sono in partenza approfitto per farti gli auguri per un sereno Natale ed un felicissimo (e ricchissimo) anno nuovo.
Gli auguri sono estesi a tutti gli iscritti al forum senza esclusione alcuna.
Auguroni!!!
 

GiuliaP

The Dark Side
ah ma sei proprio de coccio !
certo, esiste anche lo “invisible overfitting” che non è eliminabile . . .
ma io sto parlando dell’ overfitting da training che è evitabilissimo se si fa girare l’ algoritmo una sola volta facendo conoscere alla previsione del giorno N solo i risultati fino al giorno N – 1

L'overfitting non è qualcosa a cui possiamo dare un significato arbitrario. Ne una parola alla quale si possa dare più di un senso logico. Non concede fraintendimenti.

Quello che tu chiami overfitting in realtà è solo banale errore computazionale. Per comprenderne invece il vero significato, quando giustamente non mi si voglia credere sulla parola, basta usare google. Molto banalmente. Inutile che stia qui a ripetere la mia definizione.

"invisible overfitting", che io non ho mai sentito nominare, su google mi da solo due risultati: uno direttamente collegato al tuo post, ed un altro ad un post del fol di nello cionsepi. Che non ho più alcun dubbio essere tu stesso.


poi se non capisci ancora iscriviti a Dropbox, esamina i files e solo dopo eventualmente parla !

Io non so cosa sia questo Dropbox e questi files da esaminare, ma credimi quando ti dico che non ho bisogno di andarmi a leggere manuali di astrologia per capire che ci perderei solo preziosissimo tempo.

...inoltre pensa e mi tratta, bontà sua, come se io fossi alla stregua del lettore quadratico medio dei forum pseudo-finanziari, generalmente scientificamente analfabeta . . . :eek:

Skarso, io non ho la più pallida idea di chi tu sia. Esprimo semplicemente le mie opinioni, ed il fatto che tu le legga sempre come un attacco personale nasconde un egocentrismo di fondo che è uno dei peggiori nemici del trader.

Ma questo può aiutarti solo se è trader quello che tu vorresti essere.
 
Ultima modifica:

GiuliaP

The Dark Side
...Tipicamente accade che il trader inizi creando un modello complicato, con parecchie regole e ampi gradi libertà, ottenendo buoni risultati in-sample e scarsi risultati out-sample. A questo punto naturalmente cambia il modello, aggiunge indicatori vari, aggiunge parametri, e ripete più e più volte l'operazione finché ottiene buoni risultati in entrambi gli spezzoni...

Io questo lo chiamo sempre overfitting. Se poi si vuole fare i fighi e battezzarlo come un supereroe, buon divertimento ;)

Il solo fatto di creare un sistema in base alla nostra esperienza di trading pregressa può generare overfitting.

Figuriamoci il secondo test out-of-sample.

P.S. Ronzy, se leggi anche qui, è proprio quello che ti dicevo tempo fa riguardo il fatto di poter fare la verifica ex-ante una ed una sola volta. Pena (ulteriore) overfitting.

...quando si sfrutta la correlazione seriale eventualmente presente nei dati cui va il vero merito del successo perché realizza una relazione di causa - effetto , in qualsiasi modo lo si faccia, più o meno sofisticato, funziona . . . ;)

Ma allora è facilissimo!!! :D

Sarà per questo che anche su questo forum pare guadagnino tutti. O forse è un bias, visto che siamo gli stessi dell'altro! :D
 

maurice

Nuovo forumer
GiuliaP a sentir te non esiste modo di costruire un ts o quasi. Perchè non ci spieghi tu come si fa?

aah.. sintesi discutibile mi pare..
Credo che la lettura delle granitiche esposizioni del "nostro" sull'altro lato della forza :D potrebbe essere - se non illuminante - utile a fare chiarezza
Meditate gente.
maurizio
 

maurice

Nuovo forumer
e te pareva che non arrivassero per disturbare il Gatto e la Volpe, erano attesi . . . :eek:
per il momento è arrivato l’ anziano che tirava numeri magici “3”, “13” etc buoni forse da giocare al lotto, poi vedrete arriverà anche il suo compare e compagno di merende, il molesto peluquero . . . :down:

Vedo che il tempo passa ma l'astio no..

Nel merito di questo e dell'altro tuo post sulla fuzzy, come "palma natalizia" posto il link di una tesi :

The Structure and Behaviour of the Continuous Double Auction - ECS EPrints Repository

Buona lettura e Buon Natale, e rilassati che la vita è breve :)

Maurizio
 

GiuliaP

The Dark Side
GiuliaP a sentir te non esiste modo di costruire un ts o quasi. Perchè non ci spieghi tu come si fa?

Qualora potessi/sapessi, non lo farei per il principio di indeterminazione di Heisenberg applicato alla finanza. Campo dove tutti competono con tutti. Semplicissimo motivo per il quale è assurdo sperare di trovare in rete un metodo per fare soldi in borsa. Ma si sa che l'uomo spesso, volentieri ed in massa, non riesce a non credere a cose assurde. Enorme potenza dei bias psicologici.

E' molto difficile accontentarsi di sapere cosa non conviene fare, soprattutto quando risulta difficile vedere al di là del proprio naso. Eppure dovrebbe essere apprezzato moltissimo, per tutto il tempo che potrebbe far guadagnare.

Ovviamente sempre che lo scopo non sia quello di vendere consapevolmente e colpevolmente fumo, ma non credo sia questo il caso.
 

Users who are viewing this thread

Alto