Il n'y a pas un seul indigène mis en prison pour ne pas être allé travailler au chemin de fer ", précise le chef du district d'Antsirabe, l'administrateur Richard. De son côté, son homologue de Betafo, l'administrateur Ambroise, affirme que les " Fokonolona ont volontairement consenti à fournir de la main-d'œuvre aux travaux du chemin de fer ".
Les enquêtes faites en octobre 1922 par les agents du chemin de fer Tananarive-Antsirabe, sur ordre du nouveau chef de service, le commandant Chaniot, officier du Génie, laissent pourtant apparaitre les doutes du Fanjakana, sur " la légitimité des méthodes du chef du district d'Antsirabe " qui entrainent des désertions massives. Selon Jean Fremigacci, sur le 14e lot, un chantier perd cinquante six hommes sur quatre vingt treize, après le passage du conducteur Douyère (Mise en valeur coloniale et travail forcé : "la construction du chemin de fer Tananarive-Antsirabe 1911-1923", revue d'études historiques Hier et Aujourd'hui N°1-2, 1975). Très justement, dit-il, les ouvriers font remarquer au mpiadidy : " Voici un Vazaha appartenant à l'Administration qui dit qu'on ne doit pas obliger les gens à venir travailler au chemin de fer. Dans ces conditions, nous partons. "
Sur les chantiers, du 15e lot, les effectifs venus du district de Betafo passent de sept cents à quatre cents. Les travailleurs des faritany de Manandona et d'Ambano, dans le district d'Antsirabe, désertent en bloc. L'Administration ne parvient à combler les vides qu'au prix " d'une rotation très rapide de la main-d'œuvre ". Sur les six cent soixante neuf travailleurs du 15e lot, le 9 novembre 1922, cinq cent soixante deux sont arrivés depuis le 1er novembre. Par la suite, en 1923, la crise de main-d'œuvre devient permanente.
Les nouvelles donnes qui viennent s'ajouter au changement survenu à la tête du service du TA, placent dans une position difficile certains entrepreneurs, notamment l'adjudicataire des 14e et 15e lots, Gallois. Ce dernier adresse plainte sur plainte au gouverneur général, Hubert Garbit. Et par " une démarche courante à l'époque chez les colons ",
il demande le limogeage de Chaniot qu'il accuse, le 27 novembre 1922, " d'avoir fait déserter la main-d'œuvre, d'avoir fait circuler dans la population des propos désobligeants et même diffamatoires ", et même " d'oublier l'intérêt public pour arriver à nous ruiner ".
En décembre, devant la perspective d'avoir à payer de lourdes pénalités, Gallois sollicite la résiliation à l'amiable de ses marchés. D'après l'auteur de l'étude, il dispose pour cela d'au moins un argument valable : la mauvaise qualité des études préalables faites par le service technique en 1920. En effet, le volume et la difficulté des travaux ont été sous-estimés. Ainsi la Commission de résiliation se montre d'une " étonnante mansuétude " à l'égard de l'entrepreneur, sous prétexte que " l'intérêt supérieur de la Colonie justifie une solution radicale et rapide permettant de reprendre immédiatement les travaux ".
Pour les évaluations, la Commission retient les calculs et les chiffres que Gallois avance, sans demander à entendre le commandant Chaniot, dont les avis motivés sont, " il est vrai ", très défavorable à Gallois. À la suite de l'arrêté de résiliation du 28 février 1923, celui-ci peut toucher à peu près la totalité du bénéfice escompté sur les travaux restant à exécuter.
Mais le contentieux n'est pas pour autant réglé entre l'Administration et l'entrepreneur. Ce dernier, prend prétexte des retards dans le versement de ses indemnités, pour présenter " en des termes souvent injurieux pour les fonctionnaires " de nouvelles exigences financières. Toutefois, il finit par se rétracter en aout, devant la proposition de porter le différend devant le Conseil du contentieux administratif
Dans tous les cas, l'Administration est dans la difficile situation d'avoir à reprendre des chantiers en régie, au milieu d'une population hostile. Le recours à la persuasion simple, demandé par Chaniot, même accompagné d'une forte augmentation et d'une paie régulière des salaires, ne donne pas de résultats. Selon Jean Fremigacci, " les esprits sont si bien façonnés par un certain langage que la lettre est interprétée comme une demande nouvelle de réquisition des travailleurs ".
Aussi, de mars à septembre 1923, les chantiers n'ont-ils que le cinquième de la main-d'œuvre qui leur serait nécessaire. Il faut alors constamment différer l'ouverture de la ligne TA. Lorsque le premier train entre en gare d'Antsirabe, le 15 octobre 1923, " c'est au milieu de l'exaspération du commerce local qui a déjà plus de 1 000 tonnes de marchandises en souffrance ".
