Presentazione nuovo Lab!

Pagina 7 di 10
prima
1 2 3 4 5 6 7 8 9 10 ultimo
Visualizzazione dei risultati da 61 a 70 su 93
  1. #61
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    43
    Messaggi
    23,380
    configurazione

    Predefinito

    Originariamente inviato da frakka
    Questo è un altro degli elementi importanti del Lab, su cui ci sarà un po' da studiare.

    E' un prodotto estremamente interessante, soprattutto in considerazione del basso prezzo d'acquisto: In versione da 1Tb l'ho pagato meno di 120€ (adesso sta a circa 140€ ma, durante il Black Friday, era sceso di poco sotto la soglia dei 100€!) e sto ancora cercando di capire dov'è la fregatura...
    Appartiene alla fascia delle unità NVME PCI-EX da 3Gbps quindi non è neppure una di quelle SSD economiche che si trovano in giro e che non arrivano ai 2Gbps nel in lettura ne in scrittura. Ha la garanzia legale di 2 anni come tutti i prodotti acquistati come consumatore non professionale (il bugiardino all'interno riporta solo 1 anno) ma c'è la possibilità di estendere la garanzia del produttore a 5 anni con la registrazione gratuita dell'unità sul sito del produttore entro 90 giorni dall'acquisto. Inoltre fornisce in bundle una versione di Acronis True image per clonare il disco sull'SSD (da scaricare dal sito del produttore).
    Non ha una propria utility di monitoraggio il che potrebbe essere problematico, ad esempio, per eseguire un secure erase ma ho trovato rimedio a questo.

    Ok, in caso di problemi oltre il termine di garanzia legale ci sarà sicuramente da spedirlo da qualche parte nel mondo ma le unità di pari caratteristiche di marchi più noti costano circa il doppio...


    Il disco arriva in una scatola di cartoncino carina e ben fatta


    [...]
    Oggi ho scoperto che Sabrent ha pubblicato una utility di gestione per i suoi drive NVME.

    Ovviamente solo per Windows, è ancora in beta e di chiama "Rocket Control Panel"-
    Non ho ancora avuto modo di provarla ma lo farò nei prossimi giorni.

    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Ognuno capì che Nessuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  2. #62
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    43
    Messaggi
    23,380
    configurazione

    Predefinito

    Per la cronaca, oggi ho riformattato l'installazione di Windows, da poco aggiornata "in place", facendo una installazione "pulita" della 2004.

    Per ora nessuna problema di compatibilità, anzi mi ha risolto un problema audio con skype piuttosto fastidioso comparso da un po' di tempo (audio in ritardo costantemente di circa 5 secondi sul video)...

    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Ognuno capì che Nessuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  3. #63
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    43
    Messaggi
    23,380
    configurazione

    Predefinito Stress test!!

    Non avevo ancora avuto occasione di validare il setup come si deve: Causa COVID e sempre meno tempo a disposizione, in PC LAB è relegato al ruolo di macchina da cui faccio RDP verso la mia postazione dell'ufficio... Un'attività così ignominiosa per una macchina del genere che pure i core hanno messo su la panza!!

    Finalmente le ferie e ne ho potuto approfittare di questa prima settimana per un po' di commissioni arretrate e dedicare un po' di tempo al pc.
    La cara sorellina mi ha chiesto di convertire tutto il suo archivio storico di serie TV in un formato che fosse compatibile con la SmartTV Samsung del salotto (che sembra leggere praticamente solo MPEG4 e poco altro, sicuramente non i formati più vecchi) quindi ne ho approfittato.

    Partiamo da un NAS molto economico, il QNAP a due dischi più entry level. La copia via SMB o NFS difficilmente supera i 10/12 Mb/s quindi trasferire circa 1,5TB di roba richiede un sacco di tempo e poi va tenuta in locale, convertita e ributtata su.
    Ci vuole poi un tool che si occupi della conversione del video: I dati sono strutturati in directory diverse, con alberatura non del tutto omogenea quindi ho bisogno di qualcosa che possa fare una indicizzazione ricorsiva di una struttura non rigida di directory.
    Non è omogenea neppure la "naming convention" usata per i file, cosa che crea ulteriori difficoltà perchè non si può usare il nome del file per ricostruire la struttura delle directory di destinazione.
    La codifica sorgente non è omogenea, c'è un po' di tutto.
    Facendo una indicizzazione del contenuto, della share di rete, mi risultano che siano circa 2500 files da convertire... Ho visto che la conversione in mp4 (codec h264) di un video mi fa lavorare circa 8 core per per un tempo che va dai 3 ai 5 minuti, a seconda della durata del video e del formato originale, quindi per recuperare tempo sarebbe importate poter eseguire la conversione di diversi video in contemporanea.

    Beh, facendola breve: Ho provato un paio di tool cercati su Google ma non ho trovato nulla che facesse tutto quello che mi serviva. Handbrake è carino e multi-piattaforma ma importa per la conversione batch un solo livello di directory e non esegue le operazioni in parallelo (dovrei avviare più istanze contemporanee ma significa avere i files raggruppati in "n" directory tutte allo stesso livello), ne ho trovato un altro invece che convertiva in parallelo ma non importava ricorsivamente i files da un percorso, dovevi importare esplicitamente i files da lavorare.

    Vabbè: Alla fine, me lo sono scritto da solo!
    Ho preparato uno script powershell che opera come "scheduler" che scansione ricorsivamente un percorso, importa il fullpath dei file in un array e avvia un numero configurabile di job. Lo script scheduler verifica ogni 30 secondi che ci siano "n" processi attivi e se ce ne sono meno avvia i mancanti fino all'esaurimento dei files contenuti nell'array.
    Ogni job è costituito da un altro script "worker" che fa effettivamente la conversione del file, usando il percorso completo del file di origine per costruire l'alberatura delle directory in un altro percorso, così alla fine dovrò semplicemente copiare la directory "padre" sul NAS al posto di quella attuale.
    Il file da codificare viene letto direttamente dalla share sul NAS e salvato in locale dopo la conversione poi saranno da riportare sul NAS al posto degli originali (avrei fatto meglio a spostare il file in locale e salvare sul NAS direttamente il file convertito ma il NAS è talmente lento che non ero sicuro ce la facesse. Inoltre è la prima "rev" dello script e non ho voluto toccare i files sorgenti fino al completamento) così risparmio il tempo della copia in locale (e l'operazione di codifica non sembra averne risentito troppo).
    Per la codifica dei files uso ffmpeg: Files sorgente, parametri di codifica, file di destinazione (costruendo il percorso da una porzione della struttura originale) e basta.

    Boh... E' un po' rudimentale, mancano molto affinamenti e sicuramente non sarà un codice di grande qualità (non sono uno sviluppatore, non è il mio lavoro!!) ma per funzionare funziona!!

    Il PC lab sta dando prova di grande solidità! Sta lavorando da circa 20 ore in queste condizioni, in un locale non climatizzato:


    Notare l'assorbimento di corrente/potenza del socket e le temperature (Tdie, ricordo che la Tctl è shiftata verso l'alto di 27°). Dato che la temperatura ambiente è di circa 30° (non lo so esattamente ma il garage non è ne condizionato ne ventilato quindi dopo un po' di tempo anche la temperatura all'interno sale) tutti i componenti (mobo, cpu, dissipatore e alimentatore) stanno facendo un lavoro eccellente:


    Attualmente ho configurato lo script per elaborare 8 processi in parallelo... Probabilmente avrei potuto anche osare di più, impostando 9 o 10 processi, ma visto che la previsione era di farlo lavorare per oltre 24 ore non ho voluto rischiare di esagerare e ho tenuto un minimo di margine.
    Anche perchè nessuno dei componenti (compreso l'alimentatore, che arrivava dal setup precedente) aveva mai lavorato così tanto e così a lungo.

    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Ognuno capì che Nessuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  4. #64
    The Guilty L'avatar di virgolanera
    Registrato
    Mar 2010
    Località
    Latina
    Età
    50
    Messaggi
    7,740
    configurazione

    Predefinito

    Quanta RAM ti ha occupato mentre lavorava in quelle condizioni?
    EDIT: ho visto dopo nello screenshot.
    Veramente poca considerando tutti i core belli carichi.

  5. #65
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    43
    Messaggi
    23,380
    configurazione

    Predefinito

    Infatti, mi aspettavo molto di più: Avevo anche pensato potessero esserci problemi di ottimizzazione per la questione NUMA ma l'utilizzo di RAM è talmente basso che il problema non si pone.

    In questo caso sto facendo tutto di CPU, non so se sfruttando la GPU avrei potuto ottenere conversioni più veloci... Ma non avevo il tempo di studiare l'ottimizzazione di ffmpeg e le diverse possibilità di accelerazione hardware. Inoltre non sono sicuro che usare la GPU mi avrebbe permesso di utilizzare così tanti processi in parallelo.

    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Ognuno capì che Nessuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  6. #66
    gibibyte L'avatar di lordchaos
    Registrato
    Jul 2013
    Località
    Roma
    Età
    38
    Messaggi
    1,465
    configurazione

    Predefinito

    Direi che il PC lab ti sta dando soddisfazioni!
    Marco

  7. #67
    Moderatore L'avatar di Matty90
    Registrato
    May 2006
    Località
    Zola Predosa (BO)
    Età
    33
    Messaggi
    6,386

    Predefinito

    Mi piacerebbe dare un occhio agli script... Probabilmente oltre a parallelizzare come hai fatto, si riesce a caricare qualcosa in più nelle variabili e a sfruttare di conseguenza anche la ram.

    Per il resto il bestione va alla grandissima, finalmente!


    WS HOME (in pensione): i7 7700k @ 5.2Ghz cooled by Custom Loop - Asus Maximus IX Apex - Asus Strix 980Ti - 16Gb Gskill TridentZ F4-3866C18 - Antec HCP 1000W Platinum - 3 x WD 500Gb (Dati) - Samsung Evo 840 (SO) - Win10 Pro x64
    WS LAB: Ryzen 2700x cooled by Corsair H100i V2 - Asus Rog Strix x370-i Gaming - 32Gb GSkill TridentZ RGB 3600Mhz - Zotac GTX1060 Mini 6GB - Thermaltake Smart Pro RGB 650W - Sabrent 1TB - MP500 NvME 250Gb come cache disk - Win10 Pro x64 - Phanteks Evolv ITX Glass --- Virtualization with Hyper-V

    My HPE MicroServer:
    Configurazione e Setup

  8. #68
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    43
    Messaggi
    23,380
    configurazione

    Predefinito

    Originariamente inviato da lordchaos
    Direi che il PC lab ti sta dando soddisfazioni!
    Decisamente!

    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Ognuno capì che Nessuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  9. #69
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    43
    Messaggi
    23,380
    configurazione

    Predefinito

    Originariamente inviato da Matty90
    Mi piacerebbe dare un occhio agli script... Probabilmente oltre a parallelizzare come hai fatto, si riesce a caricare qualcosa in più nelle variabili e a sfruttare di conseguenza anche la ram.

    Per il resto il bestione va alla grandissima, finalmente!
    Probabilmente sì: Come dicevo, non ho avuto tempo di studiare ffmpeg quindi ho lasciato tutta la parte del "worker" praticamente a default, dopo aver verificato che un video convertito con quelle opzioni venisse letto dalla TV dei miei.
    Ci ho messo un paio di giorni a far funzionare lo scheduler come volevo io... Powershell è potente ma ci sono alcune cose che fanno davvero girare le p@lle: Sembra che chi le ha scritte non le abbia mai dovute usare effettivamente (ok, non è vero. Probabilmente chi le ha scritte ha esperienza di programmazione molto più solida della mia e se hanno fatto certe scelte un motivo c'è... Ma cribbio!!)

    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Ognuno capì che Nessuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

  10. #70
    Super Moderatore L'avatar di frakka
    Registrato
    May 2001
    Località
    Casalecchio di Reno (Bo)
    Età
    43
    Messaggi
    23,380
    configurazione

    Predefinito

    Dopo il rientro dalle ferie (sigh!) mi sono messo ad esaminare un po' il log dell'operazione di conversione.

    Il log dell'elaborazione ha riportato 263 errori su un totale di 2517 file "veri" processati (lo script ha provato a trattare come video anche un paio di link presenti nelle directory dato che non ho ancora gestito il "type" del file quindi questi li ho esclusi dal conteggio). Sembrano essere tutti collegati agli stessi gruppi di video, quindi probabilmente è un problema di codec o di permessi sulle directory sorgente, devo verificare.

    L'elaborazione è iniziata il 27/08/2020 18:26:22 ed è terminata il 29/08/2020 08:59:57, per un totale di 1 giorno 14 ore 33 minuti e 35 secondi di elaborazione.

    Sommando la durata di ogni singola attività di conversione riportata nel log, il processo completo ha richiesto 1067380 secondi che equivalgono a 12 giorni 08 ore 29 minuti 40 secondi se l'attività fosse stata svolta in maniera sequenziale, un file alla volta (se senza tempi morti tra un file e l'altro).

    Considerando che ho eseguito 8 processi in parallelo, se "l'efficienza" dello script fosse stata del 100% (intesa come come la capacità di mantenere costantemente attivi tutti gli 8 processi di conversione) facendo un semplice calcolo 1067380/8 il processo di conversione sarebbe dovuto durare 133422,5 secondi.

    Facendo una rapida proporzione, 138815/133422,5 = 1,040416721 (oppure 133422,5/138815 = 0,961153334 dato che non sono sicuro di quale sia il formato statisticamente corretto di rappresentarlo).

    Insomma, verificando ogni 30 secondi la disponibilità di "worker" liberi ho ottenuto uno "scarto" rispetto alla condizione ideale di circa il 4%... Comunque più che soddisfacente.


    Purtroppo le ferie sono finite ma devo comunque trovare il modo di finire sia la conversione dei files in errore che i files che non ho ancora lavorato... Magari ne approfitto per fare qualche test di conversione usando anche la GPU.
    Ultima modifica di frakka : 08-09-2020 a 08:40

    Questa è la storia di 4 persone chiamate Ognuno, Qualcuno, Ciascuno e Nessuno. C'era un lavoro importante da fare e Ognuno era sicuro che Qualcuno lo avrebbe fatto. Ciascuno poteva farlo, ma Nessuno lo fece, Qualcuno si arrabbiò perché era il lavoro di Ognuno. Ognuno pensò che Ciascuno potesse farlo, ma Ognuno capì che Nessuno l'avrebbe fatto. Finì che Ognuno incolpò Qualcuno perché Nessuno fece ciò che Ciascuno avrebbe potuto fare.

Pagina 7 di 10
prima
1 2 3 4 5 6 7 8 9 10 ultimo

Informazioni Thread

Users Browsing this Thread

Ci sono attualmente 1 utenti che stanno visualizzando questa discussione. (0 utenti e 1 ospiti)

Regole d'invio

  • Non puoi inserire discussioni
  • Non puoi inserire repliche
  • Non puoi inserire allegati
  • Non puoi modificare i tuoi messaggi
  •  
nexthardware.com - © 2002-2022