Dès 1877, le Conseil Municipal de Bordeaux souhaite la construction d'un observatoire astronomique à Bordeaux (la ville est située sur le 45ème degré de longitude). Très rapidement le choix de l'emplacement se porte sur la rive droite de la Garonne et plus particulièrement sur le domaine de Montfraguey à Floirac. Le domaine est en effet sur un point d'observation intéressant avec ses 73 mètres au-dessus du niveau de la mer.
Les travaux de construction sont confiés tout d'abord à M. Ferrand poursuivis par la suite par M. Mialhe. Le 16 janvier 1879, Georges-Antoine Rayet (véritable instigateur de cette construction)est nommé directeur de l'observatoire ; il y restera jusqu'en 1905. Les bâtiments de l'observatoire sont construits en pierre de taille ; ils sont surmontés d'une coupole munie de plusieurs trappes mobiles.
