We are in the process of migrating this forum. A new space will be available soon. We are sorry for the inconvenience.

Utilisateurs de Rclone


CM63
08-02-2016, 11:05 PM
Non je n'utilise pas rclone. J'ai utilisé HubicFuse pour envoyer des fichiers ponctuellement du PC vers le cloud. Ca marchait assez bien.
Mais en revanche auparavant, j'avais utilisé le logiciel de synchronisation. Je synchronisais un répertoire de mon PC avec le cloud. Ca a marché pendant un certain temps,sauf que les synchronisations étaient lentes, mais elles finissaient par se faire. Et un beau jour, je ne sais si c'était du fait des baisses de performances ou autre chose, il s'est mis à me supprimer plein de fichiers en local: delete local file. Manisfestement en tout cas un problème de synchronisation. J'ai tout arrêté et j'ai fermé mes comptes Hubic, après avoir récupéré mes fichiers à la main, grâce à une sauvegarde sur disque dur externe.

Depuis j'ai fait une croix non seulement sur Hubic, mais aussi sur le principe même de la synchronisation : trop de risque de perte de données. Je fais mes sauvegardes à la main : je crée des archives .tar.gz (je suis sous Linux) et je les envois par morceaux de 200Mo sur un compte Mega ou Google Drive.
Et bien entendu j'ai essayé la restore, et ça marche. Evidemment c'est manuel.

lolop
08-02-2016, 08:09 PM
Quote Originally Posted by CM63
Ouais , c'est ce qu'on disait au début avec Hubic, aucune raison que ça ne marche pas, mais essaye de faire une retaure avec des fichiers sur Hubic, c'est juste infaisable pour une bonne raison : les perfos désatreuses du système, ça prendrait un temps infini. Et si la restaure n'est pas possible, la sauvegarde n'a aucun intérêt, même si elle se passe très bien. AU moment d'en avoir besoin ta sauvegarde est inutilisable.
C'est un passage obligé, pour tester la faissabilité de la sauvegarde, il faut tester la faisabilité ... de la restaure, sinon aucun intérêt.
D'accord, quel réputation à hubic..

Je ferais un retour sur les performances, pour l'instant je test. Une fois le backup fini je ferais le restaure.

Tu t'en sors avec rclone?

CM63
08-02-2016, 07:32 PM
Ouais , c'est ce qu'on disait au début avec Hubic, aucune raison que ça ne marche pas, mais essaye de faire une retaure avec des fichiers sur Hubic, c'est juste infaisable pour une bonne raison : les perfos désatreuses du système, ça prendrait un temps infini. Et si la restaure n'est pas possible, la sauvegarde n'a aucun intérêt, même si elle se passe très bien. AU moment d'en avoir besoin ta sauvegarde est inutilisable.
C'est un passage obligé, pour tester la faissabilité de la sauvegarde, il faut tester la faisabilité ... de la restaure, sinon aucun intérêt.

lolop
08-02-2016, 07:23 PM
Quote Originally Posted by CM63
As-tu essayé de faire une restore? Je veux dire une restore complète en simulant la perte complète des données. Est-ce que cela se passe bien?
Pas encore tester, mais aucune raison que ça ne marche pas.

CM63
08-02-2016, 07:19 PM
As-tu essayé de faire une restore? Je veux dire une restore complète en simulant la perte complète des données. Est-ce que cela se passe bien?

lolop
08-02-2016, 07:16 PM
Quote Originally Posted by CM63
Ah non, ok, Borg fait le backup alors que Hubicfuse monte le cloud sur le PC, c'est ça?
C'est bien ça.

CM63
08-02-2016, 07:15 PM
Ah non, ok, Borg fait le backup alors que Hubicfuse monte le cloud sur le PC, c'est ça?

CM63
08-02-2016, 07:13 PM
Bonjour,

Quel est le rôle de Borg? J'ai l'impression que Hubicfuse et Borg font la même chose ??

lolop
08-02-2016, 07:03 PM
Bonjour,

Nouvel utilisateur d'hubic avec 5 méga à la maison, pas possible d'utiliser rsync et rclone chez moi. C'est pas concluant. Par contre borg-backup m'offre de meilleur performance, même si je fait encore des test; Ce logiciel utilise le cryptage et fait des sauvegardes incrémentielle.

J'ai fait un petit topo içi: https://lolop.no-ip.org/blog/index.p...e-et-hubicfuse

foxbernard
07-09-2016, 07:13 PM
Bonjour,
retour d'expérience de quelques semaines d'utilisation de rclone sur Linux vers Hubic mais aussi vers Dropbox et Google Drive.
Configuration archi-simple, je confirme et approuve rclone config ... et s'est fait

Contrairement au client linux via mono qui est une catastrophe,
rclone est stable, quand ça ne marche plus trop bien, les logs sont claires ... time out coté Hubic par exemple.

rclone est simple d'utilisation également pour qui n'est pas rebuté par quelques lignes de commandes
rclone sync, copy, ls, lsd, delete, purge ... etc ...
Par exemple pour supprimer un dossier .. c'est long mais fiable et on peut suivre ce qu'il se passe.

Pour ce qui est des performances avec Hubic ma fibre n'est pas saturé !
En UpLoad en moyenne 1,5 MB/S grosso modo 5GB/heure disons 100GB par jour pour faire simple et réaliste.
Si on pousse à 10To il faudrait 100 jours à toc pour y parvenir.
Mais c'est utopique car quelquesoit les clients utilisés la synchro est extrêmement lente rien que pour détecter les fichiers qui ont été modifiés ( je ne sais pas commenta fait dropox ou G.Drive mais ils sont bien meilleurs sur cet aspect).

Même si on constate des pointes très ponctuelles à 10MB/S cela ne dure jamais, il semble bien qu'il y ait un "régulateur de vitesse" qui autorise une petite pointe au démarrage et puis c'est tout !

Sinon, rapidement les tests avec les autres Cloud donne des performances nettement meilleures
Sur des très gros fichier, Google Drive - 20 MB/S en moyenne des pointes à 25 MB/S ( le max de ma connexion). Dans les mêmes conditions Dropbox et Hubic sont à l'agonie. Sur des petits fichiers , Dropbox s'en sort mieux que Hubic sans être au niveau de GoogleDrive.

Tazintosh
06-14-2016, 06:49 PM
PURGE.
C'était pour des répertoires non vides, à effacer récursivement.

chac
06-14-2016, 02:33 PM
Bonjour

Il y a 2 commandes , DELETE et PURGE. Vous avez utilisé laquelle ?

Tazintosh
06-10-2016, 05:33 PM
Bonjour à tous,

Pour information, les deux effacements en cours que j'avais lancé avec rclone viennent de se terminer.
Voici le résultat :

• Effacement d'une bibliothèque Photo.app de ≈112GB, contenant 390087 fichiers et dossiers : 51h et 27m (pas de segmentation ici, on est sur une structure "normale".
• Effacement des segments d'un backup (initialement créé par l'application officielle) de ≈2.5TB, contenant 519122 fichiers et dossiers : 70h et 18m.

Voilà, c'est long, très long, mais pour autant, je n'ai jamais atteint une telle vitesse d'effacement qu'elle que soit la solution testée (officielle ou non).
J'ai été régulièrement habitué à des situations pouvant durer d'une à deux semaines.
Notez que le comportement a été stable d'un bout à l'autre, c'est sans faille à ce niveau, c'est très agréable.
Une question de taille demeure et j'aimerais bien qu'un membre de l'équipe hubiC puisse nous éclairer : comment se fait-il qu'une telle procédure soit indécemment si longue ?

CM63
06-10-2016, 12:30 AM
Je ne parlais pas dans le contexte de Hubic, mais plutôt rechercher un GIT as a service, que , je crois, OVH ne fournit pas.

wido
06-09-2016, 11:16 PM
après pour le git, on peut etre bien utilisé svfs et monter hubic comme un disque dur et de faire du versionning dans un dossier, mais je pense que ce sera très long pour uploader tout ça

chac
06-09-2016, 12:27 PM
Bonjour,

Perso je m'en sert depuis 1 an et pour moi c'est nickel, par contre on n'a pas toutes les finesses de Rsync. Effectivement, je m'en sert en script bash, an cron, le seul point génant (mais qui est du à ma config), je chiffre en AES CBC256 avant le dépot sur Hubic, et à chaque transfer, des tar;gz identiques se retrouvent chifrés mais différent , donc upload à nouveau.
Point positif, les vitesses de telechargement; Normalement limité à 10Mbps , OUI mais par l'interface web! avec rclone je suis à 16.5 Mbps en upload (VDSL2 Orange, 250m. du NRA), et 20 Mbps en download.

Le serveur-side de rclone; Je m'en sert pour updater le BAK -1 en BAK-2, le BAK en BAK-1 et après upload du BAK (Compliqué ? nonnnn...). Mes 3 lignes de crontab:

# Backup de niveau -2 interne
rclone sync --checksum --verbose --contimeout 3m HUBIC:default/Bak-1 HUBIC:default/Bak-2
# Backup de niveau -1 interne
rclone sync --checksum --verbose --contimeout 3m HUBIC:default/Documents HUBIC:default/Bak-1

# MAJ dossier ARCHIVES local
rclone copy --checksum --verbose --transfers=8 --include "*.{aes,md5}" /home/chris/ARCHIVES HUBIC:default/Documents

CM63
06-09-2016, 11:21 AM
Ce sont des dépots où on dépose les fichiers source d'un logiciel. Et il y a du versioning, même assez élaboré. Et il me semble qu'on peut les utiliser pour tout autre fichiers que des sources de logiciel. D'ailleurs l'inventeur avait cela en tête au départ, il me semble. Je vais me renseigner.

mdidish
06-09-2016, 10:14 AM
Qu'est-ce qu'un GIT ?

CM63
06-09-2016, 10:09 AM
Bonjour,

Pour du versionning, un GIT ne serait pas mieux qu'un cloud? C'est une question, autant pour moi-même, si j'envisage de faire du versionning.

mdidish
06-09-2016, 09:57 AM
Merci Tazintosh pour ce retour.
Je suis très intéressé si tu fais des tests de débit en upload et download, tant pour des gros fichiers que sur un ensemble de petits fichiers.

En revanche j'ai l'impression que Rclone en gère pas le versionning, ce qui pour moi est rédhibitoire pour une utilisation quotidienne. Par contre pour une utilisation ponctuelle ça m'a l'air intéressant.

Tazintosh
06-09-2016, 09:29 AM
Je l'ai installé il y a 2 jours pour me sortir d'un pétrin ingérable avec toute autre solution testée : effacer des backups fait avec l'application officielle et client officiel planté (« oh ben ça c'est vraiment étonnant alors ! »).
Ces backups ont générés plusieurs centaines de milliers de segments (j'en suis à 278000 pour le plus gros et ça continue…), et oui, parce qu'avec une segmentation par défaut réglée à 100Mo, ça en génère des fichiers le client officiel hubiC…
Bref, comme le listing de plus de 10000 fichier ne semble pas évident pour les clients (y compris avec ftpcloudfs et un client FTP), je teste rclone.

Premier constat, l'installation est diablement simple, mais —vraiment—, c'est du style 1 min chrono pour la configuration.
Pas besoin de passerelle (hubic2swiftgate), pas besoin de proxy (ftpcloudfs), et pas besoin de client FTP (ce point là, ça prive d'une interface graphique par contre).
Tout se fait en ligne de commande, mais je pense qu'il est très simple de se mettre en place quelque bons scripts d'automatisation.
Second point, ça marche. Je n'ai pour l'instant testé que la suppression, mais ça marche.
Pas le moindre soucis depuis qu'elle est lancée. J'en ai deux qui tourne, l'une à effacé plus de 278000 fichiers en 39h, l'autre 220000 en 31h.
C'est long, très long, même si ça semble plus rapide que les autres solutions pour ce genre de tâche (d'autant que ça marche au moins). Par contre, je suis presque convaincu que cette lenteur est clairement générée côté serveur/technologie chez hubiC.

Du coup, il est clair que je vais poursuivre mes tests dans ce sens et voir ce qu'il est possible de faire.
Ma solution reste très pratique pour quiconque souhaite une interface graphique.

mdidish
06-08-2016, 09:00 PM
Bonjour
Je ne connaissais pas Rclone, et encore moins sa compatibilité avec hubiC.

Pour ceux qui l'utilise :
1- l'utilisation de ce client permet-il d'avoir une vitesse d'upload et download rapide et surtout stable ? (sans pause de plusieurs minutes entre chaque fichier)
2- peut-on configurer la non suppression des fichiers sur hubiC en cas de suppression sur notre ordinateur ?
> j'ai l'impression que oui selon leur site : "Copy mode to just copy new/changed files"
3- gère-t-il le versionning ?
Merci d'avance
Marc

chac
06-08-2016, 11:33 AM
Bonjour,

Les utilisateurs de Rclone ont du rencontrer des problèmes d'authentifications ces derniers temps. (Hubic a mis a jour le certificat de l'API)
Solution:
Par l'interface web de hubic, aller dans les parametres, "Mes applications", puis supprimer l'appli qui correspond à 'Rclone'.
Puis sur un terminal lancer rclone config, et supprimer le profil correspondant à HubiC
Le recréer en mode automatique ( Rclone vous envoi sur hubic authentification, login, passwd, et rclone récupère un nouveau token d'auth.

C'est tout , ça marche

PS: Je n'ai que Linux openSuse sur mon PC avec Win , je sais pas.....