marofib
Forumer storico
diciamo che indubbiamente fa al caso ns In Depth: Principal Component Analysis | Python Data Science Handbook
Qualcuno le ha provate? (1 Viewer)
- Creatore Discussione marofib
- Data di Inizio
marofib
Forumer storico
+- questo e' il max che ottengo...altri faranno meglio
ho dovuto dargli pero' un aiutino dato che i dati sono pochi (sara' mai in grado di capirlo in fretta? nel lungo siamo tutti morti)..tipo guarda che la variabile A e' meglio che la sommi con B ecc ..mi sono limitato a somme e sottrazioni altrimenti uscivo da quello che volevo provare
ho dovuto dargli pero' un aiutino dato che i dati sono pochi (sara' mai in grado di capirlo in fretta? nel lungo siamo tutti morti)..tipo guarda che la variabile A e' meglio che la sommi con B ecc ..mi sono limitato a somme e sottrazioni altrimenti uscivo da quello che volevo provare
Ultima modifica:
marofib
Forumer storico
sto cercando di semplificare perche' il tempo e' importante e i pc hanno un costo
ora sto provando l'apprendimento non supervisionato...insomma cerco dei pattern
gia' fatto col DTW ma voglio diversificare
pare gagliardo sto sistema
e' un attimo per un pc cercare una stringa siffatta
semplificando non servirebbe neppure tanto altro, e' sufficiente una hash table (velocissima) per arrivare alla classificazione
e' chiaro che se aggiungo altre variabili o aumenta la lunghezza/complessita' della stringa un qualche algoritmo di clustering serve.... ritrasformando in questo caso il tutto in numeri oppure modificando direttamente il SAX
...."Nelle classiche attività di data mining, come il clustering, la classificazione, l'indice, ecc., SAX è altrettanto ben conosciuto come rappresentazioni come il Discrete Wavelet Transform (DWT) e il Discrete Fourier Transform (DFT), richiedendo meno spazio di archiviazione. Inoltre, la rappresentazione consente ai ricercatori di avvalersi della ricchezza di strutture e algoritmi di dati in bioinformatica o di text mining e fornisce soluzioni a molte sfide connesse con le attività di data mining dei dati."...
http://www.cs.utsa.edu/~qitian/CS7123/slides/08-29-2011/talk2-08-29-2011.pptx
Symbolic Aggregate Approximation (SAX) | SAX-VSM
https://www.quora.com/MLconf-2015-S...ic-aggregate-approximation-SAX-technique-work
tutorials/TS - SAX Symbolic Aggregate Approximation.ipynb at master · dolaameng/tutorials · GitHub
GitHub - nphoff/saxpy: Python implementation of Symbolic Aggregate approXimation
qui c'e' un'implementazione interessante
https://www.researchgate.net/public...assification_Using_SAX_and_Vector_Space_Model
GitHub - jMotif/sax-vsm_classic: SAX-VSM public release, visit our website for detail
e' arrivata anche l'evoluzione della specie ma non ho ste esigenze
Beyond One Billion Time Series: Indexing and Mining Very Large Time Series Collections with iSAX2+
ora sto provando l'apprendimento non supervisionato...insomma cerco dei pattern
gia' fatto col DTW ma voglio diversificare
pare gagliardo sto sistema
e' un attimo per un pc cercare una stringa siffatta
semplificando non servirebbe neppure tanto altro, e' sufficiente una hash table (velocissima) per arrivare alla classificazione
e' chiaro che se aggiungo altre variabili o aumenta la lunghezza/complessita' della stringa un qualche algoritmo di clustering serve.... ritrasformando in questo caso il tutto in numeri oppure modificando direttamente il SAX
...."Nelle classiche attività di data mining, come il clustering, la classificazione, l'indice, ecc., SAX è altrettanto ben conosciuto come rappresentazioni come il Discrete Wavelet Transform (DWT) e il Discrete Fourier Transform (DFT), richiedendo meno spazio di archiviazione. Inoltre, la rappresentazione consente ai ricercatori di avvalersi della ricchezza di strutture e algoritmi di dati in bioinformatica o di text mining e fornisce soluzioni a molte sfide connesse con le attività di data mining dei dati."...
http://www.cs.utsa.edu/~qitian/CS7123/slides/08-29-2011/talk2-08-29-2011.pptx
Symbolic Aggregate Approximation (SAX) | SAX-VSM
https://www.quora.com/MLconf-2015-S...ic-aggregate-approximation-SAX-technique-work
tutorials/TS - SAX Symbolic Aggregate Approximation.ipynb at master · dolaameng/tutorials · GitHub
GitHub - nphoff/saxpy: Python implementation of Symbolic Aggregate approXimation
qui c'e' un'implementazione interessante
https://www.researchgate.net/public...assification_Using_SAX_and_Vector_Space_Model
GitHub - jMotif/sax-vsm_classic: SAX-VSM public release, visit our website for detail
e' arrivata anche l'evoluzione della specie ma non ho ste esigenze
Beyond One Billion Time Series: Indexing and Mining Very Large Time Series Collections with iSAX2+
Ultima modifica:
marofib
Forumer storico
visto che devo scegliere Clustering performance comparison using K-means and expectation maximization algorithms
chiaro che la borsa e' un caso patologico ma tant'e'
giusto per avere un' idea ....10 cluster(in 430gg) mi sembrano insufficienti..ci si muove molto in mezzo
aumentando perdo nella numerosita' del campione che gia' e' scarso
c'e' da considerare poi che per la previsione devo scartare i cluster adiacenti nel tempo altrimenti rischio di sovrappesare la medesima situazione..quindi sempre meno casi..quindi rischio veramente di giocare random
nel DTW riuscivo facilmente a prendere il + rappresentativo del periodo ma qui mi sorge questo problema che al momento non so come risolvere in maniera efficiente ..a meno di un accrocco
per non dire del fatto che gli ultimi valori dovrebbero avere un peso maggiore....anche se qui prob basta accroccare inserendoli doppi..tripli ecc..quindi evitando di riscrivere gli algoritmi
a sto punto e' probabile che mi tengo quello che ho...salvo fatti nuovi
chiaro che la borsa e' un caso patologico ma tant'e'
giusto per avere un' idea ....10 cluster(in 430gg) mi sembrano insufficienti..ci si muove molto in mezzo
aumentando perdo nella numerosita' del campione che gia' e' scarso
c'e' da considerare poi che per la previsione devo scartare i cluster adiacenti nel tempo altrimenti rischio di sovrappesare la medesima situazione..quindi sempre meno casi..quindi rischio veramente di giocare random
nel DTW riuscivo facilmente a prendere il + rappresentativo del periodo ma qui mi sorge questo problema che al momento non so come risolvere in maniera efficiente ..a meno di un accrocco
per non dire del fatto che gli ultimi valori dovrebbero avere un peso maggiore....anche se qui prob basta accroccare inserendoli doppi..tripli ecc..quindi evitando di riscrivere gli algoritmi
a sto punto e' probabile che mi tengo quello che ho...salvo fatti nuovi
Ultima modifica:
marofib
Forumer storico
prima di mollare provo tutto
20 cluster(sono tanti) e scappa sempre qualcosa
senza alcun dubbio vanno sovrappesati i recenti....il brutto e' che algoritmi con pesi differenti per gli attributi ....incredibilmente non li trovo ..almeno nei pacchetti che giro
quindi o si costruisce o inelegantemente devo raddoppiarli
20 cluster(sono tanti) e scappa sempre qualcosa
senza alcun dubbio vanno sovrappesati i recenti....il brutto e' che algoritmi con pesi differenti per gli attributi ....incredibilmente non li trovo ..almeno nei pacchetti che giro
quindi o si costruisce o inelegantemente devo raddoppiarli
marofib
Forumer storico
niente, 3 volte l'ultimo e ancora non ci siamo,andrebbe caricato anche il penultimo ecc ma non si finisce + poi.
si potrebbe tentare rifacendo i cluster nella finestra degli ultimi 5 gg e incrociare il dato
bah, secondo me c'e' di meglio
certo inserendo altre variabili e confrontandole si circoscrive....ma ora deve funzionicchiare da solo
dopo aver eliminato le immagini dal deep learning..sono a buon punto anche qui
si potrebbe tentare rifacendo i cluster nella finestra degli ultimi 5 gg e incrociare il dato
bah, secondo me c'e' di meglio
certo inserendo altre variabili e confrontandole si circoscrive....ma ora deve funzionicchiare da solo
dopo aver eliminato le immagini dal deep learning..sono a buon punto anche qui
marofib
Forumer storico
fatto un ultimo sforzo, messo su un baracchino per vedere l'aria che tira
ho messo pesi in rialzo negli ultimi 5 giorni...forse un po' meglio ma non ancora soddisfacente
e' probabile che metto un controllo correlazione..almeno arrivo sicuro al risultato
la rossa il grafico di sto mese (OGGI) e i suoi "simili" in periodi non adiacenti...la spessa il giorno dopo
certo che con solo i prezzi non si va da nessuna parte..pero' deve rigare dritto da qua
ps: mettere il forecast 2 3 gg dopo, quindi a pelle eliminando rumore nel training...in realta' non e' cosi', gia' provato con i classificatori supervisionati....strano ma e' cosi'...respinta l'idea in maniera inequivocabile
ho messo pesi in rialzo negli ultimi 5 giorni...forse un po' meglio ma non ancora soddisfacente
e' probabile che metto un controllo correlazione..almeno arrivo sicuro al risultato
la rossa il grafico di sto mese (OGGI) e i suoi "simili" in periodi non adiacenti...la spessa il giorno dopo
certo che con solo i prezzi non si va da nessuna parte..pero' deve rigare dritto da qua
ps: mettere il forecast 2 3 gg dopo, quindi a pelle eliminando rumore nel training...in realta' non e' cosi', gia' provato con i classificatori supervisionati....strano ma e' cosi'...respinta l'idea in maniera inequivocabile
Ultima modifica:
marofib
Forumer storico
aggiungiamo un altro attributo, questo tira per lo short ma + incerto
si potrebbe continuare all'infinito ma non ne usciamo vivi
perche' alla fine una scelta e' da fare...e quindi un'altra pesata supervisionata
alla fine penso che non aggiunge niente...tanto vale usarla basic, solo prezzi, per un colpo d'occhio d'artista, nessun calcolo
ps:volendo perdere tempo c'e' una leggera differenza...nel senso che mentre esempio in una classificazione svm ecc c'e' dentro di tutto qui si analizzano le cose molto simili...quanto possa dare e se il gioco vale la candela non lo so
si potrebbe continuare all'infinito ma non ne usciamo vivi
perche' alla fine una scelta e' da fare...e quindi un'altra pesata supervisionata
alla fine penso che non aggiunge niente...tanto vale usarla basic, solo prezzi, per un colpo d'occhio d'artista, nessun calcolo
ps:volendo perdere tempo c'e' una leggera differenza...nel senso che mentre esempio in una classificazione svm ecc c'e' dentro di tutto qui si analizzano le cose molto simili...quanto possa dare e se il gioco vale la candela non lo so
Ultima modifica: