Les premiers missionnaires catholiques du fort Dauphin rencontrent des difficultés et les maladies ne sont pas les moindres. Le 8 mars 1654, s'embarquent en France les pères Bourdaise et Mousnier qui arrivent au mois d'aout, pour remplacer les pères Nacquart et Gondrée décédés (lire précédente Note).

Les deux missionnaires n'y trouvent que soixante-douze Français à peine vêtus, réduits à se contenter du lieu où ils habitent. Au mois de mars 1655, le père Mousnier part en expédition de ravitaillement au lointain pays mahafaly. Il meurt au retour, à une journée de marche du Fort, épuisé de faim et de maladie. Deux ans plus tard, un matin de 1657, un navire parait à l'horizon, sur lequel doivent se trouver en principe leurs successeurs.

On chante le Te Deum, mais le père Bourdaise continuera encore sa vie solitaire. En effet, le père de Belleville décède en mer, tandis que le père Prévost fait route, à bord d'un autre navire, vers l'ile de Sainte-Marie où le rejoindra presque aussitôt, le père Dufour qui débarque à Fort-Dauphin.

Avant trois mois, tous deux meurent sur cette « ile malsaine ». En juin 1657, le père Bourdaise se rend à Ranomafana, dans l'Ambolo, au secours d'un Français malade. Pris de dysenterie et de fièvre, il succombe à son retour le 25 juin. En moins de trois ans de séjour, le père Bourdaise, « ardent missionnaire et déjà adapté à son ministère, avait fait plus de six cents baptêmes, composé un catéchisme et un dictionnaire que Flacourt éditera, et solidement établi la Mission au point de vue matériel », écrit le père A. Engelvin, en énumérant quelques-unes de ses réalisations.

Par son zèle, son travail et le résultat obtenu, « il marche en tête de la phalange des Lazaristes, missionnaires à Madagascar au XVIIe siècle », précise Engelvin. Par la suite, trois tentatives de départ se terminent par des naufrages, à Saint-Nazaire en 1656, à Lisbonne en 1658, en Afrique du Sud en 1610. « Heureux qui s'en échappaient comme le frère Delaunay qui fit voile avec son manteau et sauva trente-quatre passagers sur un radeau.»

Plus heureux, ajoute le père Engelvin, le départ du Saint-Charles, le 29 mai 1663, qui atteint Fort-Dauphin en quatre mois et y débarque les pères Étienne et Manié, le frère Patte et le Malgache Nicolas. Flacourt a emmené ce dernier à Paris, saint Vincent de Paul en personne le catéchise et il s'avère une aide précieuse pour les missionnaires.

Le père Manié passe dans la région du Matitanana où il meurt en 1667. Ses trois autres compagnons de voyage sont emprisonnés et massacrés par un roitelet du pays que le père Étienne « pressait trop vivement de se convertir », dans l'espoir que sa famille et ses sujets le suivent dans la foi.

« Bien que débarqué depuis cinq ans, il lui manquait de connaitre à quel degré l'indigène peut porter l'art de dissimuler ses sentiments. » Le 7 mars 1665, quatre pères et trois frères s'embarquent pour Fort-Dauphin où seul le père Montmasson, arrive avec les frères. Deux ans plus tard, après une traversée qui dure un an, les pères Jourdié et Roquet touchent terre, avec quatre autres frères.

Deux pères décèdent en mer, un autre débarque aux iles Canaries. « Ce fut le dernier convoi. » Effectivement, les affaires commerciales périclitent et les actionnaires de la Compagnie des Indes orientales décident l'abandon de la Colonie. Almeras, successeur de saint Vincent de Paul depuis 1660, prie ses missionnaires de rentrer avec les derniers colons.

Le départ a lieu, le 10 septembre 1674, mais il ne reste plus que deux missionnaires en vie, Roquet et Montmasson qui, par la route du Mozambique et des Indes, parviennent en France en juin 1676. Cette tentative d'évangélisation dure vingt-cinq ans et coûte aux prêtres de la Mission la vie de quarante et un pères et frères.

Plus sévère encore sont les pertes subies par la France dans cet essai de colonisation. Seize expéditions maritimes mettent le voile vers Madagascar de 1642 à 1674. Soit en 1666 une flotte de dix vaisseaux escortés par quatre navires de guerre, une flotte de dix vaisseaux en 1670 dont une minorité revient en France. Celle-ci sacrifie aussi plus de quatre mille hommes, marins, soldats, colons... « Les compagnies de l'Orient et des Indes orientales s'y étaient ruinées. »