Pour accéder à cette page,
inscrivez-vous gratuitement
Choisissez votre profil :
Déjà inscrit sur Codeur.com ? Se connecter
depuis la création du compte
Ce projet sur Malt comportait plusieurs objectifs avec l'utilisation des outils AWS existants.
Ont été réalisés :
- La Création d'un processus de sauvegarde et de restauration fiable pour RDS.
- Création d'un processus de sauvegarde et de restauration fiable pour les fichiers S3, le code, les vidéos et tout autre contenu utilisé par Streamglish.
- Création d'un nouveau processus de déploiement qui garantit une bascule automatisée en cas de défaillance.
- Mise en place de déploiement automatique de EC2 & RDS supplémentaires dans le cadre d'un scale-in/scale-out pour faciliter un trafic variable provenant d'applications Web.
- Le déplacement de tout le contenu existant de l'URL actuelle vers [URL MASQUÉE]
Migration et Upgrade PostgreSQL Project pour l’Établissement Public Territorial
du Bassin de la Dordogne EPIDOR
EPIDOR nous a sollicités pour des problèmes de performances lorsqu’ un nombre important d'agents se connectent au flux PostgreSQL depuis leur logiciel QGIS, en particulier durant les opération de relevés sur le terrain.
Le client a tout d’abord envisagé une mise à niveau de Postgresql (en version 9) pour régler ces problèmes de performances.
Afin de déterminer la ou les causes exactes des problèmes de performances rencontrés par EPIDOR, nous avons réalisé un audit de leurs bases de données et de la configuration de QGIS. En parallèle a été créé un environnement de test identique à leur infrastructure, dans nos bureaux, comme base de comparaison.
L'audit et les comparaisons effectuées ont révélé que les problèmes de performances ne résultaient pas des problèmes de performances de la base de données mais de la faible bande passante sur leur site en Dordogne. Étant donné qu’il faudra un certain temps avant qu'ils aient accès à la fibre, nous avons proposé une migration vers du AWS avec une copie miroir des bases de données : copie disponible sur un serveur dans leurs bureaux.
La proposition comprenait également la mise à niveau de Postgres de 9 à 13 et la migration vers un environnement à haute disponibilité incluant l'accès aux sauvegardes quotidiennes sur leur serveur local. Entre-temps, leur fournisseur de cloud a connu une panne catastrophique et n'a pas été en mesure de fournir des copies de leurs bases de données pendant plusieurs semaines. Ainsi, notre proposition inclut désormais des sauvegardes disponibles localement et une réplication entre deux datacenters à Paris.
Cette proposition a été acceptée et en l'espace de trois mois, toutes les bases de données postgres ont été migrées vers AWS et mises à niveau vers la dernière version 13.
Enfin, à l'aide de pgpool, tout le trafic de lecture est désormais redirigé vers leur serveur postgres local, améliorant ainsi considérablement les performances globales.
Notre objectif : trouver la solution la plus optimale pour gérer les connexions entrants et sortants de PostgreSQL.
DOTIC a sollicité un audit de sa configuration PostgreSQL et PGPool afin de résoudre des problèmes entraînant le blocage des travaux ETL ainsi que la charge de travail quotidienne de la production.
Leur configuration initiale de PostgreSQL et PGPool n'autorisait que 500 connexions simultanées.
Toutes les connexions au-delà de 500 étaient envoyées en file d'attente bloquant ainsi les nouvelles connexions utilisateurs entrantes.
Cette limite à 500 connexions n'a pas été définie à un endroit précis mais se trouvait être la conséquence de plusieurs paramètres de
configuration différents dans PostgreSQL, PGPool et le noyau hôte Linux.
Au terme d'un audit approfondi de PostgreSQL, PGPool et Linux, nous avons identifié plusieurs paramètres en cause et DOTIC peut ainsi augmenter le nombre de connexion en fonction des ressources réelles de leur machine.
Demandez un devis gratuitement en indiquant vos besoins, nous avertirons immédiatement Craig Efrein de votre demande
