OVH Community, your new community space.

Impossible d'uploader de gros fichiers...


dynamic-lab
08-11-2015, 08:41 PM
Dommage que SwiftExplorer ne résolve pas votre problème.
Pour l'instant mon application web n'est pas encore sorti. Je publie déjà l'application android que j'ai présenté au sein de ce post :
https://forums.hubic.com/showthread....esign-Ubiquity

Si vous avez envie de tester mon application cela me permettra d'avoir un retour de plusieurs utilisateurs sur différents terminaux. Je vais bientôt ajouter la fonction de téléchargement et upload des fichiers segmentés. J'ai commencé la partie web de mon application. Si de nombreux utilisateurs sont intéressé je consacrerai + de temps au développement et proposerai des mise à jours régulière des fonctionnalités.

Mic

Syl83
08-10-2015, 04:42 PM
Je réagis très tard car j'ai peu de temps en ce moment. Oui effectivement le débit indiqué sur les CGV d'Hubic sont juste là "au cas où" mais cette limite n'est à priori pas appliquée. D'ailleurs, la synchronisation du PC ou l'upload d'un fichier < 5GO sur le browser fonctionne bien (6MO/S chez moi, donc mon débit est pleinement utilisé).

Le problème vient donc de swiftExplorer, et mes autres essais confirment malheureusement la lenteur des uploads (PC allumé tout le WE pour 50Go). Donc je n'ai toujours pas de solution simple et efficace pour uploader mes gros fichiers

dynamic-lab
08-03-2015, 03:41 PM
Non désolé pas d'explication sur le débit. Les conditions d'utilisation de HubiC indique un débit limité à 10Mbits/s mais cela ne devrait pas être bloquant en faisant un petit calcul cela donne je crois du 4,5Go/h en transfert normalement.

J'espère que le débit sera bien meilleur durant un autre essai.

A moins que le débit soit dû à une lenteur sur la phase de "découpe" de la part de swiftExplorer.

Syl83
08-03-2015, 01:56 PM
Tes explications sont très claires, merci! Jeudi soir, j'ai testé swiftExplorer, et j'ai effectivement pu uploader des fichiers de plus de 5GO... enfin je dis "des", mais en réalité, je n'ai pu en uploader qu'un, puisque en ayant laissé l'ordi tourner 24h ou plus, j'ai pu uploader entre 15 et 20GO... en gros, c'était d'une LENTEUR jamais vue
Pourtant, mon débit montant est d'environ 6mo/s.

Donc je ne sais pas si tu as des infos là dessus, mais un tel débit ne m’intéresse pas car je ne compte pas laisser mon PC allumé 24/7 pour qu'il upload constamment mes fichiers...

Je vais réessayer dans la semaine au cas où c'était un problème temporaire, mais je n'ai pas l'impression...

dynamic-lab
07-30-2015, 04:51 PM
Content d'avoir pu éclaircir les choses.

En ce qui concerne les déplacements plus rapide en fait lorsque tu déplaces tes fichiers par l'interface web qu'ils aient été uploader par l'interface web (non segmenté) ou par synchronisation (segmenté), l'interface web utilise grosso modo une technique de copier coller côté serveur mais il réécrit quand même tout les segments ou tout le fichier.

Openstack inclut la fonction de ne déplacer que le fichier qui "pointe" vers ces fichiers segmentés qu'on appelle fichier manifest. Ce fichier manifest indique où sont les fichiers segmenté (dans un container default_segment en l'occurence avec une clé UUID avec plein de chiffre et de lettre par fichier puis un numéro de sequence...). La meilleure technique pour obtenir des déplacements rapide de fichier c'est de déplacer uniquement le fichier manifest qui pèse quelques octets et de laisser les fichiers segmentés là où ils sont sans les recopier étant donné qu'ils sont dans un container dédié autre que celui de visualisation.

Tu verras avec SwiftExplorer tu pourras voir l'ensemble des containers dont je te parle cela sera peut être plus clair. Il existe une explication sur le site de SwiftExplorer en anglais sur les containers et les fichiers segmentés :
http://www.619.io/blog/2014/05/16/un...of-containers/

Voilà j'espère avoir été pas trop obscur dans mes explications.

Mic

PS : la version android de mon application sera accessible dans les semaines à venir et l'application web fin août si mes développements avance bien.

Syl83
07-30-2015, 04:40 PM
Merci beaucoup pour tes éclaircissements dynamic-lab! Tes infos m'ont l'air correctes, car j'avais uploadé via synchronisation mes dossiers au début, puisque quand j'ai vu que les opérations de déplacements était aussi longues qu'un upload, j'ai décidé de passer par l'app Web. Et je n'ai peut être pas fait attention au fait que c'est depuis ce moment là où les gros fichiers ne passent plus (j'ai en effet commencé par des uploads d'environ 4GO, donc je partais du principe ou de gros fichiers fonctionnaient...).

Je vais donc essayer swiftExplorer ce soir (je comptais l'essayer un de ces jours mais je ne pensais pas qu'il résoudrait mon problème). Par contre, il aurait été beaucoup plus judicieux de prévenir l'utilisateur que l'upload d'un fichier de cette taille est impossible, et de tester cette taille afin de ne pas démarrer l'upload pour rien. C'est une perte de temps considérable pour tout ceux qui ont essayé!

Enfin, je suis intéressé par ton application si celle-ci permet un déplacement de fichiers plus rapide, mais le déplacement/renommage de fichier se fait coté serveur, non? Donc je ne comprend pas comment tu peux améliorer la rapidité de celui-ci (à moins que Hubic s'amuse à passer par le client pour faire cela, ce qui serait une aberration encore plus gigantesque que ce qui est actuellement en place...).

dynamic-lab
07-30-2015, 03:56 PM
Je ne suis pas de l'équipe HubiC mais ton problème est que l'interface Web malheureusement ne supporte pas les fichiers plus gros que 5Go d'après mes tests.
Une explication que j'ai déjà eu de l'équipe technique sur un autre sujet est qu' OpenStack ne gère pas les fichiers plus gros que 5Go. La fonctionnalité synchronisation ou backup gère ce cas en utilisant une fonction d'Openstack "la segmentation", les fichiers sont découpés en fichiers de 100Mo pour hubiC.
Le fichier en lui même est accessible en une fois quand on le télécharge grâce à un fichier de type "manifest". Ce vocabulaire technique est lié à Openstack que je ne détaille pas là mais c'est pour donner une idée du fonctionnement.

Alors à l'heure actuel je crois que l'application swiftExplorer permet d'uploader des fichiers tout en gérant la segmentation. Dans cette application tu verras d'ailleurs aussi que le système hubiC utilise pour la synchronisation que le "container" default. Les fameux fichiers segmenté sont mis dans un container à côté normalement "default_segments".

Je suis actuellement en train de réaliser une application android et web pour utiliser tout le temps la segmentation et obtenir des déplacements de fichiers plus rapide et une gestion des fichiers de n'importe quel taille même par un navigateur web.

Ces informations mérite d'être confirmé par l'équipe hubiC mais voilà mon retour personnel.

Cordialement,

Mic

Syl83
07-30-2015, 02:33 PM
Bonjour,

J'ai déjà pu uploader presque 2TO de fichiers sans problème, mais depuis quelques jours (enfin, depuis bien deux semaines même), je n'arrive plus à uploader de gros fichiers (les fichiers d'1 ou 2go ont l'air de passer, mais à partir d'environ 5GO, ça pose problème).

Ça fait donc deux semaines que je ne peux plus utiliser le service (car à part pour mes photos, je m'en sers pour stocker mes gros fichiers et libérer mes diques durs). Je paye donc pour devoir regarder mes fichiers remplir mes disques...

Entre les fonctionnalités très limités de ce service et maintenant ces problèmes là, je commence à beaucoup m'impatienter, j'espère donc que le problème sera rapidement corrigé.

Je fais les uploads en glisser/déposer à l'aide du navigateur (je ne peux pas utiliser un dossier de syncho car les fichiers sont répartis sur plusieurs disques et répertoires... j'ai essayé plusieurs navigateurs, en navigation privée pour ne pas avoir de cookies... bref, plus rien ne marche.

Petite précision: l'upload à l'air de bien se passer, mais quand la barre d'avancement arrive à sa fin, j'ai un message d'erreur rouge m'indiquant qu'une erreur réseau à eu lieu. Et bien sûr, je n'ai jamais de coupure Internet, et j'ai une fibre à 50M en upload, donc l'envoi se fait assez rapidement!

Mon test de un mois se termine le 10/08, si d'ici là je ne peux toujours pas utiliser la principale fonctionnalité du service, je ne renouvellerai pas mon abonnement.

Merci pour votre aide,
Cordialement