L'hostilité de la population du Sud-Ouest malgache, vis-à-vis de certains traitants occidentaux, a une triple origine, notamment l'incident de 1835 ainsi que la personnalité même de ces traitants qui usent de violence et de malhonnêteté commerciale (lire précédente Note). " Une curieuse engeance, attachée à ce coin de Madagascar où elle commence à donner un nombre accru de Métis ", commente René-Louis Ader (" Mise à point sur les origines de Tuléar jusqu'en 1897 ", Bulletin de Madagascar, janvier 1969).

La troisième origine est l'esclavage, selon l'auteur. Cette institution qui a fait la fortune de quelques princes locaux, décline au XVIIIe siècle. Aussi ressentent-ils une certaine rancune envers les Européens. Les deux causes signalées précédemment jouant, tout cela entraine la difficulté pour les traitants de trouver " une main-d'œuvre facile et docile ". Dans l'Ouest malgache, les " Musulmans " importent d'Afrique orientale un nombre important d'esclaves Makoa, près de huit mille selon Boiteau, dix mille d'après Mondain et Chapus. Mais il ne semble pas que ce mouvement ait touché le Sud du Mangoky, précise René-Louis Ader.

Ce dernier recueille, en revanche, de la bouche du fils d'un traitant de l'époque, quelques renseignements. Pour avoir une main-d'œuvre sûre, les colons de Nosy-Ve vont chercher des Câfres au Mozambique.

Le bateau mouille hors des ports et des marins vont sur la plage pour y tuer et griller un bouvillon. Les fumées, le relent, attirent la population de quelques villages. De la viande est offerte à tous. Quand l'heure des alcools arrive, il n'y en a pas pour tous, mais à bord... Quelques hommes sont alors attirés et faits prisonniers. Cependant, " ce trafic n'a pas eu une grande ampleur et n'a pas dû porter sur plus de deux cents têtes. Mais cela suffit pour priver la population locale de quelques emplois et provoquer son amertume ".

Il y a aussi les essais d'évangélisation. La première tentative de 1845, est le fait de missionnaires catholiques venus de La Réunion. Sept jésuites demeureront quelque quatre mois à Toliara, mais doivent réembarquer devant l'hostilité générale.

" Arrivés sur un navire de guerre, ils étaient considérés comme des espions préparant une invasion ". Les traitants hostiles à toute évangélisation, des bateaux étrangers, en particulier un baleinier américain, les auraient, en outre, desservis.

Une seconde tentative se verra en 1859. Elle tombera sur un Toliara très agité : la factorerie Charlotte vient d'être pillée et celle de Rosiers incendiée. Aussi cette mission d'évangélisation se repliera-t-elle rapidement sur Soalara avant de se rembarquer également. Le seul succès évangélique sera celui du pasteur norvégien Rostvig. Après un premier voyage de reconnaissance en 1874, ce dernier revient en 1878. Il construit " un temple en bois de Norvège qui devait être le premier édifice de la ville ". Cette mission ne semble pas avoir connu de difficultés majeures.

Ainsi, Toliara reste surtout un poste de traite. Pas question de colonisation agricole malgré le curieux traité signé en 1861, entre les capitaines de vaisseau Rosiers et Bellanger, d'un côté, et le roi Lahimiriza, de l'autre. Les deux officiers se font concéder un territoire correspondant à toute la plaine de Toliara pour

" construire, cultiver... sans aucune redevance ".

L'origine de Toliara vient, sans doute de son rôle de résidence des souverains. Mais le XIXe siècle verra une baisse progressive de l'autorité des souverains. À l'Est, la poussée des Bara limite le royaume à la zone côtière. Mais le fait essentiel vient du Nord. Selon le père Engelvin, une guerre Vezo-Masikoro éclatera avec, pour résultat, la destruction totale de Toliara en 1860. René-Louis Ader pense toutefois que c'est " la manifestation d'une division du royaume en principautés parentes et rivales ".

Le roi vaincu, Lahimiza, est encore très jeune quand il succède à son grand-père et ses oncles se sont emparés du pouvoir alors que l'enfant se réfugie chez un parent, le roi des Bara-Imamono. Quelques années plus tard, le jeune homme bat ses oncles près de Toliara et retrouve son titre.