Trading system: la convenzionalita' dei termini (1 Viewer)

Giardiniere

Nuovo forumer
Ottima discussione, complimenti.
Secondo me conviene fare un passo indietro, un passo lungo almeno un paio di chilometri.
Se ha un senso applicare tutta una serie di misure su dati relativi a trade reali, uscenti dallo storico di un account reale, ha già meno senso se queste info escono dal paper trading, dove non sono rappresentate tutte le varie situazioni reali di mercato, non ha senso alcuno applicare tutte le misure di cui sopra sulle performance dei classici backtesting.

Questo perché ormai è noto a tutti come sia possibile, frullando indicatori di AT a caso, creare ‘strategie’ capaci di ottenere performance mirabolanti nel passato.
Qualsiasi trader alle prime armi munito di excel e con poche nozioni di AT, così come qualsiasi econometrista munito di software matematici sofisticati e altrettanto sofisticate nozioni statistiche, è in grado di battere, in backtesting, le performance stellari del Medallion di Jim Simons negli ultimi 25 anni, però nessuno di noi preferirebbe affidare un solo euro al trader o all’econometrista, piuttosto che a Jim Simons.

Da ciò deriva che l’unica misura che abbia un senso sia quella che riesca a distinguere anche se in modo rudimentale, ex-ante (cioè prima di metterci i quattrini), lo skill di Simons da quello dell’anonimo trader. In altre parole: misurare quantitativamente l’illusorietà delle performance teoriche.
In caso contrario sarebbe come voler stimare peso e altezza degli unicorni analizzando le rappresentazioni pittoriche degli ultimi 2000 anni, senza interrogarci prima sull’esistenza dei simpatici animali.
E qui le cose si complicano maledettamente.

Vero.
Ovviamente presentare un report con delle performance reali rispetto a quello realizzato attraverso l'utilizzo di un qualsiasi programma che riesce ad ottenere un equity teorica su una serie storica passata, ha un impatto enormemente diverso.
Però anche il buon Simons per il suo HF avrà pure iniziato da zero, partendo da performance teoriche che poi per sua fortuna e/o bravura si sono rivelate reali.
La vera differenza risiede, evidentemente, nella sua maggiore capacità di saper valutare i possibili bias del proprio modello teorico rispetto a quello che è il mondo reale probabilmente con strumenti migliori di qualunque altro.
Cosa che evidentemente gli fa costruire dei modelli non solo attendibili ma anche robusti nel tempo (così facciamo contento PAT non uscendo troppo fuori OT rispetto al suo tema). :)

p.s.

Ma prendendo a spunto questo tua osservazione, io credo che per chi approccia i TS da comuni mortali lasciando per un attimo Simons al suo olimpo, sarebbe già utile avere ad esempio un elenco di quelli che sono gli errori piu comuni che magari avversano un TS in fase di realizzazione e con perfomance teoriche apparentemente ottime, in maniera da evitare per quanto possibile il degrado delle stesse, una volta a mercato.
Partendo non so dalla sottovalutazione dei costi commissionali, di slippage ecc. fino ad arrivare magari al mai troppo poco citato problema dell'overfitting.
 
Ultima modifica:

Gaintrap

Nuovo forumer
Giardiniere ha scritto:
Ma prendendo a spunto questo tua osservazione, io credo che per chi approccia i TS da comuni mortali lasciando per un attimo Simons al suo olimpo, sarebbe già utile avere ad esempio un elenco di quelli che sono gli errori piu comuni che magari avversano un TS in fase di realizzazione e con perfomance teoriche apparentemente ottime, in maniera da evitare per quanto possibile il degrado delle stesse, una volta a mercato. Partendo non so dalla sottovalutazione dei costi commissionali, di slippage ecc. fino ad arrivare magari al mai troppo poco citato problema dell'overfitting.


Salve a tutti,
visto che negli ultimi post è stata posta parecchia 'carne al fuoco' e di ottima qualità devo ammettere, colgo l'occasione per ragionare sui alcuni contributi letti e confrontare la mia visione del problema con utenti, mi pare di capire, decisamente piu preparati del sottoscritto.

Giardiniere ha scritto:
A chi mi chiede quali sono i miei migliori TS, rispondo sempre alla stessa maniera. Quelli che si accontentano di riempire un bicchiere d'acqua nel pieno di un temporale, quando nel cielo non compare nemmeno uno squarcio di cielo sereno..

La metafora di Giardiniere, a mio avviso una vera 'perla' di saggezza, fa sorgere più di una riflessione.

Ma partiamo dall'origine, che cos'è un TS?
In termini semplicistici possiamo definire un TS come un filtro, basato su un determinato algoritmo costituito da regole di ingresso/uscita dal mercato, che una volta applicato su una serie di prezzi di un determinato strumento 'dovrebbe' (uso il condizionale) generare dei rendimenti positivi, o meglio degli extra-rendimenti rispetto a quelli generati da una attività finanziaria priva di rischio. Obbiettivo ultimo di un TS è quello di incrementare il valore del capitale investito. Fin qua penso che siamo tutti d'accordo.

Vediamo adesso come viene generato il motore del nostro filtro. L'algoritmo o le regole operative su cui si fonda a volte nascono da un'intuizione su una proprietà della curva dei prezzi che trae origine da ragioni macroeconomiche, altre volte dall'analisi quantitativa della curva stessa.

Quest'ultima modalità, sicuramente più seguita della prima, si compie attraverso il 'data mining', e qui apro una breve parentesi per ringraziare All In per aver messo in luce una mia leggerezza nell'averne associato il significato all'overfitting.

All In ha scritto:
vorrei però far notare - ad evitare disinformazione - che il "data mining" è una attività positiva ed utile nell’ analisi dei dati, troppo spesso confusa sui forum forse con il "data snooping" che è invece un parente stretto dell’ overfitting".

In pratica attraverso il 'data mining' si cerca di estrarre da una serie di prezzi delle informazioni 'nascoste', allo scopo di scoprire dei pattern, ossia degli schemi significativi che abbiano una forte valenza previsiva. Rapportando il tutto ai TS diremo che attraverso il 'data mining' possiamo trovare delle regole operative che permettono di generare 'extra-rendimenti' in specifiche condizioni di mercato.

Facciamo l'esempio di due tipologie di TS molto diffuse che sono le strategie Momentum e Mean Reversing. Per Momentum mi riferisco riferisco ai TS che sfruttano un mercato direzionale con bassa volatilità, o in trend, mentre per Mean Reversing mi riferisco a quelle che guadagnano su un mercato poco direzionale e caratterizzato da alta volatilità. Per loro stessa costruzione i due TS andranno a genere un incremento di valore del capitale solo nei tratti della curva di prezzo in cui si presenta più spesso il pattern di cui si servono per generare gli extra-rendimenti, mentre generano un decremento di valore dello stesso (o rendimenti negativi), causato dai falsi segnali, nei tratti della curva di prezzo in cui il pattern non si presenta affatto.
E da qui non si scappa, per quanto 'ottimizzata' possa essere la gestione del rischio del sistema, nella migliore delle ipotesi l'equity generata dal TS in condizioni avverse o scenderà o si muoverà in lateralmente.

In questo caso la metafora di Giardiniere del bicchiere che si riempie meglio in caso di pioggia abbondante e ampiamente prevista, risulta perfettamente calzante.
Inoltre qualsiasi ottimizzazione volta a rendere profittevole un TS anche quando 'non dovrebbe esserlo', ossia cercando di renderlo buono per tutte le occasioni, non solo porta al rischio di 'sovraottimizzare' il sistema con le conseguenze che ben conosciamo, ma và inevitabilmente ad indebolirne le prestazioni nei contesti di mercato più congeniali all'algoritmo su cui si basa.

Dimostrato che i nostri TS di esempio sono per loro costruzione imperfetti e limitati, allora chiediamoci se esiste un modo per sfruttarli in maniera 'efficiente'.

Sappiamo che le variazioni di una serie di prezzi non sono perfettamente casuali come il Prof. Malkiel (autore del volume "A Random Walk Down Wall Street") voleva farci credere, ma bensì debolmente casuali, ossia non perfettamente stocastiche a causa della persistenza nel breve periodo di variazioni dello stesso segno.
Fenomeno che spiega la possibilità di individuare, al netto del rumore, dei movimenti piu o meno duraturi e ricorrenti in qualsiasi distribuzione di prezzi di qualunque strumento finanziario, nonchè l'alternanza dei due differenti 'stati' del prezzo di cui abbiamo parlato prima, ossia il Momentum e il Mean Reversing. Questa caratteristica non vale solo per la direzionalità dei prezzi, ma anche per il loro 'temperamento', infatti la stessa eteroschedasticità delle serie storiche dei rendimenti prova che a periodi di elevata volatilitàspesso seguono periodi di volatilità relativamente modesta (raggruppamenti di volatilità).

Queste caratteristiche del prezzo fanno suppore che i due TS genereranno rendimenti positivi in maniera complementare, a seconda delle condizioni di mercato che incontrerà il sottostante, ovvero un TS genererà rendimenti positivi in condizioni Momentum e negativi in condizioni Mean Reversing, mentre l'opposto varrà per l'altro TS.

Esiste il modo di utilizzarli cercando di limitarne le loro inefficienze implicite?

Generalizzando se li utilizzassimo entrambi contemporaneamente sullo stesso sottostante, i risultati saranno assolutamente casuali ed imprevedibili, dal momento che oltre al fatto che quando un sistema perde l'altro guadagna, in caso di perfetta equivalenza tra le due differenti condizioni di prezzo, il risultato finale sarà la parità o giù di li.
In tal caso l'unica variabile che potrebbe giocare nostro favore sarebbe quella di 'sperare' che sul lungo termine un sistema sovraperformi l'altro, ciò vorrebbe dire che una delle due differenti condizioni di prezzo 'sfruttate' dai due sistemi duri più tempo dell'altra, ma anche in questo modo restiamo sempre nel campo dell'incertezza.

Torniamo all'esempio del bicchiere sotto la pioggia che mi piace tanto, come facciamo a sapere quando il fenomeno metereologico che ci ha permesso di riempirlo è svanito? Semplice, quando il livello dell'acqua nel bicchiere smette di salire, o nel caso le condizioni meteo siano cambiate in un bel tempo sereno e molto soleggiato, quando il livello diminuisce per via dell'evaporazione.

Così per valutare quando smettere di servirci di uno o di entrambi i TS, andremo a misurare il livello dei rispettivi rendimenti.
Ad esempio possiamo stabilire che se i rendimenti dovessero scendere sotto una certa soglia 'attesa', se ne interrompa l'operatività.
Questa soglia si può misurare anche come un livello percentuale di drawdown fisso, calcolato però non sull'equity cumulativa generata dall'uso congiunto dei due sistemi, ossia dell'intero portafoglio, ma sull'equity del singolo TS. In questo modo il calo di performance della sua curva di rendimento sarà al netto di eventuali 'compensazioni' generate dall'altro TS.
I sistemi verranno poi 'riattivati' solo quando le rispettive curve di rendimento si riporteranno allo stesso 'valore' del momento in cui sono stati 'spenti' (recupero del drawdown).

Operando in questo modo avremo le seguenti possibilità:

1) Entrambi i TS generano rendimenti positivi

2) Un solo TS genera rendimenti positivi (perchè l'altro non vieneutilizzato)

3) Entrambi i TS non generano segnali operativi

4) Entrambi i TS non sono operativi.

Le prime due situazioni sono sempre 'buone', la terza e la quarta, peraltro simili quanto a conseguenze, un pò meno.

Queste ultime si possono verificare sia per mancanza di egde sfruttabili da entrambi i TS o perchè sono stati 'spenti' per superamento della loro soglia massima di drawdown, in ogni caso le probabilità che ciò accada non sono trascurabili.

A questo punto per limitare questa eventualità si potrebbe complicare il nostro modello (o meglio portafoglio) con l'aggiunta di un'altro strumento la cui curva di prezzo sia decorrelata rispetto al primo.
Senza entrare nel dettaglio, per strumenti finanziari decorrelati intendo quando le variazioni delle rispettive curve di prezzo avvengono in misura pressochè casuale. In pratica si sfrutta questa casualità per limitare l'eventualità di un possibile immobilismo del nostro portafoglio.
Alla fine il nuovo portafolgio sarà composto da due TS con strategie complementari che operano simultaneamente su due strumenti decorrelati.

Nella pratica non'è facile trovare strumenti che siano effettivamente 'decorrelati' e che ci rimangano per un apprezzabile intervallo temporale, e lo stesso grado di correlazione è un valore che varia nel tempo e che dipende da un numero considerevole di fattori, sia fondamentali che tecnici. Ad esempio un sistema che sfrutta in modo intensivo la 'decorrelazione' esistente tra i cross valutari eurusd e usdjpy, genererà una certa continuità di rendimenti positivi fintanto che le politiche sui tassi di interesse dei rispettivi paesi consentiranno il permanere di queste condizioni macro. Ma il fatto che queste 'opportunità' siano limitate nel tempo non ci impedisce di sfruttarle fintanto che continueranno a manifestarsi.

A mio avviso questa doppia 'diversificazione', di strategie e di strumenti a queste sottostanti, potrebbe essere una possibile strada da seguire per un utilizzo intelligente di TS limitati e imperfetti.

Ovviamente anche il portafoglio dell'esempio non sfugge all'impossibilità di sancirne l'attendibilità se non con backtest su dati storici e questo rimane un limite invalicabile.

Però possiamo 'scommettere' sulla sua robustezza, dato che osservando la sua ipotetica distribuzione dei rendimenti non dovremo preoccuparci più di tanto dei cigni neri che si nascondono nella coda dei rendimenti negativi che oltrepassano una certa soglia di drawdown.. e questo per un semplice trader può essere già un grande sollievo.
IMHO.

PS. Spero di essere andato troppo 'off topic'.
 
Ultima modifica:

GiuliaP

The Dark Side
...Se ha un senso applicare tutta una serie di misure su dati relativi a trade reali, uscenti dallo storico di un account reale, ha già meno senso se queste info escono dal paper trading, dove non sono rappresentate tutte le varie situazioni reali di mercato, non ha senso alcuno applicare tutte le misure di cui sopra sulle performance dei classici backtesting.

Questo perché ormai è noto a tutti come sia possibile, frullando indicatori di AT a caso, creare ‘strategie’ capaci di ottenere performance mirabolanti nel passato.
Qualsiasi trader alle prime armi munito di excel e con poche nozioni di AT, così come qualsiasi econometrista munito di software matematici sofisticati e altrettanto sofisticate nozioni statistiche, è in grado di battere, in backtesting, le performance stellari del Medallion di Jim Simons negli ultimi 25 anni, però nessuno di noi preferirebbe affidare un solo euro al trader o all’econometrista, piuttosto che a Jim Simons.


Fin qui, da incorniciare.

...Da ciò deriva che l’unica misura che abbia un senso sia quella che riesca a distinguere anche se in modo rudimentale, ex-ante (cioè prima di metterci i quattrini), lo skill di Simons da quello dell’anonimo trader. In altre parole: misurare quantitativamente l’illusorietà delle performance teoriche...

A questo punto sarebbe da discutere la fattibilità di misurare ex-ante "quantitativamente" l'affidabilità di un TS "quantitativo".

Perchè, volendo evitare tutti gli inutili ragionamenti "filosofici" da me fatti fino ad ora in numerose discussioni sulla misura dell'errore di misura con lo stesso strumento usato per la misura :)D), basterebbe un semplice ragionamento per assurdo per dimostrare che ciò porta ad un paradosso: infatti se fosse possibile capire ex ante il valore del TS grazie agli stessi "strumenti" con il quale è stato costruito, lo stesso sistema ne dovrebbe incorporare di per se la logica e non necessiterebbe quindi di alcuna verifica.

...Ovviamente presentare un report con delle performance reali rispetto a quello realizzato attraverso l'utilizzo di un qualsiasi programma che riesce ad ottenere un equity teorica su una serie storica passata, ha un impatto enormemente diverso...

Oltre che, nel secondo caso, a risultare avvilentemente ridicolo, soprattutto quando lo si "confronta" al primo.

...fino ad arrivare magari al mai troppo poco citato problema dell'overfitting.

Che mi sembra lo stesso surcontre definisse, molto prima di me, causa prima di fallimento dei TS :)
 

pprllo

Nuovo forumer
[/FONT][/COLOR]A questo punto sarebbe da discutere la fattibilità di misurare ex-ante "quantitativamente" l'affidabilità di un TS "quantitativo".

Perchè, volendo evitare tutti gli inutili ragionamenti "filosofici" da me fatti fino ad ora in numerose discussioni sulla misura dell'errore di misura con lo stesso strumento usato per la misura :)D), basterebbe un semplice ragionamento per assurdo per dimostrare che ciò porta ad un paradosso: infatti se fosse possibile capire ex ante il valore del TS grazie agli stessi "strumenti" con il quale è stato costruito, lo stesso sistema ne dovrebbe incorporare di per se la logica e non necessiterebbe quindi di alcuna verifica.
Ma se invece uno impiegasse una cosa del genere come puro e semplice filtro euristico ? Ovviamente se la strategia viene gia' costruita "econometricamente" (es. noto un effetto, lo misuro, e' significativo, scrivo la strategia) la cosa diventa sostanzialmente inutile.

Ma in tutti gli altri casi (es. AT, ma in generale ogni strategia costruita secondo un approccio che non preveda di partire gia' da una misurazione di significativita'), fare una misura preliminare dell'effettiva capacita' dei rendimenti della strategia di rigettare l'ipotesi nulla puo' aiutare quantomeno a scremare le strategie completamente campate in aria (che pure in backtest possono fare tranquillamente meglio dei blasonati gestori).
 

surcontre

Nuovo forumer
….
A questo punto sarebbe da discutere la fattibilità di misurare ex-ante "quantitativamente" l'affidabilità di un TS "quantitativo".
Pensavo che dopo centinaia di interventi nel thread Overfitting, l’aspetto ‘quantitativo’ e lo stato dell’arte sui rimedi che il mondo accademico suggerisce per evitare il data-snooping fosse stato trattato a dovere. In particolare la presenza dell’ottimo Cren, molto legato al mondo della produzione scientifica, mi aveva rassicurato in merito.
…. infatti se fosse possibile capire ex ante il valore del TS grazie agli stessi "strumenti" con il quale è stato costruito, lo stesso sistema ne dovrebbe incorporare di per se la logica e non necessiterebbe quindi di alcuna verifica.
Teoricamente è possibile, ma mi sembra una complicazione eccessiva.
Anche la correlazione di Pearson ha associato una forma di controllo per non pigliare lucciole per lanterne (livello di confidenza per un preciso intervallo), calcolato con i medesimi strumenti, eppure nessuno si scandalizza.

……. non solo attendibili ma anche robusti nel tempo (così facciamo contento PAT non uscendo troppo fuori OT rispetto al suo tema)
…….

Giusto, restiamo in-topic.
Qui devo dire di avere una view un po’ eretica: per me una strategia può essere affidabile senza essere necessariamente robusta, almeno se consideriamo come robustezza la capacità di generare profitti nel futuro, nel trading reale.

Una strategia, è affidabile se posso rifiutare, con un buon livello di confidenza, l’ipotesi nulla di fare trading a caso, ovvero che l’anomalia di mercato su cui si basa sia spuria.
In altre parole: se 10000 scimmie fanno trading a caso sulla medesima serie storica, oppure su serie simili, quante faranno meglio di me?
Se sono due o tre, ok mando giù il rospo e vado avanti, ma se sono 30-50 o più c’è di che preoccuparsi, e parecchio :)
Anche se con grande difficoltà, nel caso di strategie semplici non è del tutto impossibile pervenire alla misura del p-value di cui sopra: esistono alcuni test formali ad hoc, adottati da circa un decennio dalla comunità accademica (montecarlo vari, Reality Check di White, SPA di Hansen, step-wise di Wolf-Romano e probabilmente altri).
La cosa è alla portata anche dei comuni mortali, ad esempio i test RC e SPA sono implementati in un package di R (ttrTest).

Ovviamente non basta avere una ragionevole certezza sull’esistenza della presunta anomalia di mercato (e sulla capacità del nostro modello di catturarla) per fare utili nel trading reale: è indispensabile che l’anomalia continui ad esistere nel futuro.
Questa è forse la cosa più difficile da stabilire, ed è anche ciò che rende diverse le previsioni meteo ( rifacendomi agli esempi di PAT) da quelle finanziarie. Se le difficoltà per evitare ‘relazioni spurie’ nella costruzione del modello forse sono simili, diverse sono le chance che queste relazioni possano scomparire nel futuro: lente e ‘geologiche’ nel caso meteo (riscaldamento globale, inquinamento, etc.), veloci e meno evidenti nel caso finanziario (cambi di normative, incorporazioni, mode repentine etc.).

Ad esempio, giusto per scivolare maldestramente nel terreno frequentista tanto caro a PAT, da 7-8 mesi è diventata ‘interessante’ la relazione tra variazione dello spread oggi / rendimento FIB domani. Naturalmente lo spread BTP10-BUND10 esiste da anni e per anni ha avuto un impatto modesto sul rendimento futuro del FIB, però solo da poco se ne (s)parla ogni santo giorno, in tutte le tv e in tutti i programmi, dai tg alla prova del cuoco.
In questo caso dal luglio scorso il tam tam televisivo sembra aver creato, senza volerlo (spero..), una nuova anomalia ‘relazionale’.
Probabilmente basterà un po’ di sordina mediatica per affossarla, riconducendola al precedente comportamento: è accaduto dalla metà di gennaio, per circa un mese, quando le tv hanno accantonato lo spread per massacrare gli italici zebedei con ore ed ore di affaire Costa-Schettino.

Happy trading
 

Cren

Forumer storico
In particolare la presenza dell’ottimo Cren [...] mi aveva rassicurato in merito.
Ti ringrazio per le parole di apprezzamento, surcontre; nella discussione che citi, tuttavia, è stata mossa l'obiezione che la significatività statistica di una misura non rappresenti una indicazione della validità della relazione evidenziata.

In particolare anche in altre più vecchie discussioni di tema analogo è stato affermato che questa debolezza è dovuta al fatto di utilizzare per misurare la significatività statistica varianti del modello stesso che impiega la misura: in parole povere, ed esemplificando, un t-ratio, un p-value o un R² in una regressione lineare non ti darebbero ugualmente alcuna "confidenza" sulla bontà della relazione che stai indagando perchè si tratterebbe di misure estrapolate dal modello stesso.

Si è trattato di uno di quei momenti in cui mi sono ritirato in buon ordine, perchè evidentemente si è molto al di là degli argomenti per il dibattito dei quali posso offrire un valido contributo metodologico :D
 
Ultima modifica:

Giardiniere

Nuovo forumer
[FONT=Verdana....]Anche se con grande difficoltà, nel caso di strategie semplici non è del tutto impossibile pervenire alla misura del p-value di cui sopra: esistono alcuni test formali ad hoc, adottati da circa un decennio dalla comunità accademica (montecarlo vari, Reality Check di White, SPA di Hansen, step-wise di Wolf-Romano e probabilmente altri).[/FONT]
La cosa è alla portata anche dei comuni mortali, ad esempio i test RC e SPA sono implementati in un package di R (ttrTest).....


A sto Erre non manca nulla!

Thanks! :)

CRAN - Package ttrTests
 

Giardiniere

Nuovo forumer
Ti ringrazio per le parole di apprezzamento, surcontre; nella discussione che citi, tuttavia, è stata mossa l'obiezione che la significatività statistica di una misura non rappresenti una indicazione della validità della relazione evidenziata.

In particolare anche in altre più vecchie discussioni di tema analogo è stato affermato che questa debolezza è dovuta al fatto di utilizzare per misurare la significatività statistica varianti del modello stesso che impiega la misura: in parole povere, ed esemplificando, un t-ratio, un p-value o un R² in una regressione lineare non ti darebbero ugualmente alcuna "confidenza" sulla bontà della relazione che stai indagando perchè si tratterebbe di misure estrapolate dal modello stesso.

Si è trattato di uno di quei momenti in cui mi sono ritirato in buon ordine, perchè evidentemente si è molto al di là degli argomenti per il dibattito dei quali posso offrire un valido contributo metodologico :D

Bravo, sempre più saggio. :)
 

GiuliaP

The Dark Side
Pensavo che dopo centinaia di interventi nel thread Overfitting, l’aspetto ‘quantitativo’ e lo stato dell’arte sui rimedi che il mondo accademico suggerisce per evitare il data-snooping fosse stato trattato a dovere. In particolare la presenza dell’ottimo Cren, molto legato al mondo della produzione scientifica, mi aveva rassicurato in merito.


Il problema è a monte, ovvero la validità di quei rimedi.

Un pò come parlare dello stato dell'arte dell'astrologia o della teologia.

In ogni caso ringrazio lo stesso Cren per il chiarimento:

...nella discussione che citi, tuttavia, è stata mossa l'obiezione che la significatività statistica di una misura non rappresenti una indicazione della validità della relazione evidenziata.

-----------

Teoricamente è possibile, ma mi sembra una complicazione eccessiva.

Questa obiezione è un gatto che si morde la coda. La complicazione sarà sempre la stessa di quella della misura dell'errore. Meglio utilizzarla in fase di progettazione del TS (qualora funzionasse :)). L'alternativa è un'inutile serie di verifiche ed aggiustamenti: tanto vale, appunto, progettare direttamente il sistema "ottimo" relativamente all'ipotetico "rimedio".

Anche la correlazione di Pearson ha associato una forma di controllo per non pigliare lucciole per lanterne (livello di confidenza per un preciso intervallo), calcolato con i medesimi strumenti, eppure nessuno si scandalizza.

Verificare se hai fatto errori nei tuoi calcoli non significa validare il tuo modello rispetto alla realtà.
 

pprllo

Nuovo forumer
Onestamente sui metodi "anti data snooping" sono scettico pure io.

Alla fine mi paiono tutte permutazioni piu' o meno fantasiose della correzione di Bonferroni, tutti in qualche modo sacrificano potenza statistica in cambio di sensibilita', ed inoltre tendono a dipendere molto dalle ipotesi di fondo.

Ed in effetti dando una rapida occhiata si vede che con questi metodi si riesce a "dimostrare" il tipico "tutto ed il contrario di tutto".
 

Users who are viewing this thread

Alto