Joomla - Importazione da CSV. Problemi di lentezze estrema.

Pagina 1 di 2 1 2 ultimo
Visualizzazione dei risultati da 1 a 10 su 14
  1. #1
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    38
    Messaggi
    22,071
    configurazione

    Predefinito Joomla - Importazione da CSV. Problemi di lentezze estrema.

    Ho alcuni problemi di prestazioni nell'importazione di un file CSV.

    L'ambiente di test sono delle virtual machine hyper-v con CentOS 5.6 64bit, in esecuzione su delle workstation HP Z400. Delle buone workstation ma nulla di eccezionale.
    L'ambiente di produzione è un server HP DL 120 G5 con 6Gb di ram e 2 dischi sata in RAID1, con RedHat 5.6 64 bit.

    Abbiamo un sito joomla in cui dobbiamo importare un csv tramite virtuemart, per caricare articoli e categorie nel database.
    In ambiente di test, la procedura di importazione dura circa 10 minuti, per importare un file da circa 6000 righe.
    In ambiente di produzione, la procedura di importazione dura oltre 100 minuti, per lo stesso file... Non ho errori o segnalazioni particolari che possano farmi pensare a qualcosa nei log di sistema, nel corso dell'importazione il carico della CPU non supera mail il 10%, mentre in ambiente di test rimane fisso al 100% per tutta la durata dell'import. Ovviamente le versioni di MySQL, apache e del sito (joomla, virtuemart, csvimport) sono le stesse nei due ambienti.
    Sembra che il server di produzione cazzeggi invece che svolgere l'importazione...

    Il server, a parte questo strano problema, risponde piuttosto bene, non presenta problemi evidenti di stabilità che possano far pensare ad un problema hardware. Il check del raid non segnala problemi.


    Qualche idea??


    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Nessuno capì che Ognuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  2. #2
    Supervisore Straordinario L'avatar di tHeGoOd
    Registrato
    Sep 2000
    Località
    Cenaia, Toscana, Italy, Italy
    Età
    34
    Messaggi
    1,669

    Predefinito

    Potrebbe esserci qualche differenza di configurazione; ad esempio (la butto li) il php sul server reale potrebbe avere a disposizione meno memoria ed essere limitato per quello. Oppure il problema potrebbe essere l'upload del file?

    In ogni caso comportamento stranissimo! Certo che le trovi tutte te frakka!
    It is common knowledge that old school hackers all have large beards. Alan Cox,RMS and maddog are brilliant examples. The reason for this is that growing a beard is the most interesting use of one's time when the computer is waiting for fsck to finish messing around after a system crash, and on large filesystems, you'll have plenty of time to waste (this might also be why there are so few female hackers; they can't grow beards).

  3. #3
    Amministratore L'avatar di giampa
    Registrato
    May 2002
    Località
    Pisa
    Età
    54
    Messaggi
    22,925

    Predefinito

    CONCORDO ...


    "Scusate, ma se quest'anno in Texas ci avete spedito questo deficiente, vuol dire che c'è speranza per tutti?"

  4. #4
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    38
    Messaggi
    22,071
    configurazione

    Predefinito

    Originariamente inviato da tHeGoOd
    Potrebbe esserci qualche differenza di configurazione; ad esempio (la butto li) il php sul server reale potrebbe avere a disposizione meno memoria ed essere limitato per quello. Oppure il problema potrebbe essere l'upload del file?
    Ho pensato a qualcosa del genere e ho ricontrollato le configurazioni di apache ed il php.ini di entrambi i server ma mi sembrano identiche.
    Non ho idea di cosa verificare nella configurazione di MySQL, la versione è la stessa e non abbiamo fatto modifiche alla configurazione predefinita.
    Ho pensato a qualcosa collegato agli strani problemi di networking che ogni tanto ci saltano fuori ma non ho trovato nulla di rilevante.
    Ho pensato che potesse essere colpa di SELinux ma è disabilitato.
    Ho pensato ad un problema sui dischi ma, da quello che riesco ad interpretare, le informazioni smart che ottengo non sono affidabili però il check del raid è pulito.
    Il file si trova in locale. Con virtuemart è possibile utilizzare, per questa operazione, l'interfaccia web (caricando il file da un url oppure indicando un file sul server stesso) oppure copiare un comando da mettere in cron che esegue la stessa operazione di importazione, per schedularla. In qualunque modalità di faccia, il risultato non cambia... Accettabilmente rapido in ambiente di test, terribilmente lento in ambiente di produzione.
    Ricontrollerò a fine Agosto ormai... Con le ferie alle porte non posso rischiare di introiare il server.

    Originariamente inviato da tHeGoOd
    In ogni caso comportamento stranissimo! Certo che le trovi tutte te frakka!
    Originariamente inviato da giampa
    CONCORDO ...
    Stai buono va là... Tutte a me capitano!
    Ma porca zozza!!!!


    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Nessuno capì che Ognuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  5. #5
    kibibyte
    Registrato
    Feb 2007
    Messaggi
    202

    Predefinito

    Ciao, fai una cosa... controlla gli indici che hai sulle tabelle di mysql e prima ancora guarda il carico che hai sulla cpu dei vari processi.
    Se mysql fosse altuccio , togli gli indici e prova a reimportare.
    io avevo un problema simile, quando sparavo le query in batch mysql schizzava alle stelle perché la creazione degli indici in fase d'inserimento è roba un po' durina.
    Se poi gli indici sono indispensabili rimettili su dopo aver importato.

    Ciao ciao.
    Intel i7 950@3600 Cooled by Noctua U12P | Asus Rampage III Extreme | 6GB Corsair Dominator 1600 CL8 | OCZ Vertex 2 120 GB boot | ZOTAC GTX 570 1280GB x2 SLI | 8800GTS 512(G92) PhysX | RAID0 x2 WD VelociRaptor 150 GB Programs | RAID0 x2 WD 1GB Green | Antec hcp 1200

  6. #6
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    38
    Messaggi
    22,071
    configurazione

    Predefinito

    Grazie del suggerimento.
    Se mi risolvi anche questo sei a quota due... Mi sà che inizio ad essere pesantemente in debito!!

    Da meno di due ore (il programma di oggi ha aggiunto, come imprevisto del giorno, l'arrampicata su un monte e la scalata di un traliccio per verificare una fibra ottica improvvisamente recalcitante) sono in ferie, quindi ci guardo sicuramente appena rientro. La cosa che però mi lascia perplesso è che il carico della cpu rimane sempre al minimo, difficilmente supera il 10-15% durante l'import...
    Cmq appena rientro provo un import con virtuemart in debug, così dovrei avere un'idea molto più precisa dell'attività del server.

    Grazie di nuovo e buone ferie, se non ci risentiamo prima.


    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Nessuno capì che Ognuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  7. #7
    kibibyte
    Registrato
    Feb 2007
    Messaggi
    202

    Predefinito

    Vai tranquillo e grazie per le ferie... ahimè ho ancora una settimana di calvario
    Speriamo di averci azzeccato ma, come sai, si va per tentativi.
    Ciao ciao
    Intel i7 950@3600 Cooled by Noctua U12P | Asus Rampage III Extreme | 6GB Corsair Dominator 1600 CL8 | OCZ Vertex 2 120 GB boot | ZOTAC GTX 570 1280GB x2 SLI | 8800GTS 512(G92) PhysX | RAID0 x2 WD VelociRaptor 150 GB Programs | RAID0 x2 WD 1GB Green | Antec hcp 1200

  8. #8
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    38
    Messaggi
    22,071
    configurazione

    Predefinito

    Ho dimenticato di aggiornare il thread... Alla fine, il problema è dovuto ai DNS impostati sul sistema e ai problemi che ancora ci riportiamo nella comunicazione con la nostra DMZ.

    Usando il DNS di fastweb sul server l'impostazione risultava lentissima. Utilizzando invece i DNS della rete locale l'operazione si è conclusa in pochi minuti, migliorando come prevedibile anche le prestazioni ottenute nell'ambiente di test...
    Problema indubbiamente molto strano, in quanto l'importazione pesca i files csv dalla macchina locale e li importa in un db sulla macchina stessa... L'unica cosa che mi viene in mente, è che queste righe contengono dei riferimenti a degli url che evidentemente Joomla tenta di contattare durante la fase di importazione e che con il DNS pubblico risultavano difficilmente raggiungibili oppure completamente non disponibili... Boh!!!


    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Nessuno capì che Ognuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  9. #9
    ●⁞◌ Ȏrȉzzȏntέ Ðέglȋ ȨvέntȊ ◌⁞●
    Registrato
    Aug 2008
    Località
    Palermo
    Messaggi
    2,952

    Predefinito

    Originariamente inviato da frakka
    [..]
    Problema indubbiamente molto strano, in quanto l'importazione pesca i files csv dalla macchina locale e li importa in un db sulla macchina stessa... L'unica cosa che mi viene in mente, è che queste righe contengono dei riferimenti a degli url che evidentemente Joomla tenta di contattare durante la fase di importazione e che con il DNS pubblico risultavano difficilmente raggiungibili oppure completamente non disponibili... Boh!!!

    gli url sono interni al server stesso?

    In caso affermativo, sono rappresentati in un formato assoluto o relativo?

  10. #10
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    38
    Messaggi
    22,071
    configurazione

    Predefinito

    Gli url sono indicati in percorsi assoluti, fanno riferimento ad un server windows della nostra rete che la macchina pinga correttamente.


    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Nessuno capì che Ognuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

Pagina 1 di 2 1 2 ultimo

Informazioni Thread

Users Browsing this Thread

Ci sono attualmente 1 utenti che stanno visualizzando questa discussione. (0 utenti e 1 ospiti)

Tags

Regole d'invio

  • Non puoi inserire discussioni
  • Non puoi inserire repliche
  • Non puoi inserire allegati
  • Non puoi modificare i tuoi messaggi
  •  
nexthardware.com - © 2002-2018

Search Engine Optimization by vBSEO 3.6.1