Aux vacances de 1835, Madame Timon-David a décidé que Joseph partirait en octobre continuer ses études en Suisse au Collège Saint Michel tenu par les Pères Jésuites à Fribourg. Les fils de son parrain Albéric et Maxence de Foresta y sont déjà pensionnaires… ; La Suisse est loin de Marseille et à l’époque, le voyage dure une semaine, tantôt en diligence, tantôt en bateau pour remonter le Rhône. Aussi est-il décidé que Joseph ne reviendrait pas à Marseille d’ici deux ans. La peur de l’inconnu, la peur surtout de quitter sa mère transforment Joseph en fontaine de larmes. On le raisonne, on comprend son chagrin, on le partage. « Mon enfant, lui dit sa mère, ne crois-tu pas que je souffre autant et plus que toi de cette séparation : toi ; mon fils chéri, mon bâton de vieillesse ? Pourquoi augmenter ma douleur par les excès de la tienne ? Je t’aime trop pour ne pas me sacrifier pour ton bonheur. Tu vas recevoir l’éducation que j’avais toujours rêvée et que je n’ai pu donner à tes frères. Tu seras le plus heureux de tous et moi, qui ai eu six enfants, je vais rester seule pendant bien des années. J’ai perdu ta sœur et ton frère Louis ; Gabriel marié, ne demeure plus avec moi ; Jules est à l’Ile Bourbon ; Félix est sur la mer. Je resterai seule avec ta vieille bonne Marie ; je m’y résigne pour toi ; fais de même pour ta mère ». Joseph n’est pas facile à consoler mais Madame Timon-David tient bon. « le jour fatal arriva, écrit le Père Timon ; le 29 Septembre 1835, je crois. Je pris la diligence à la Viste. Ma mère et mon frère Gabriel m’avaient accompagné jusque-là. Je fis une scène d’adieu dont on se souvenait longtemps après, dans le pays. Je m’étais jeté à la portière pour voir, le plus longtemps possible, ma mère agiter son mouchoir. Puis je pleurais abondamment ; puis…. le mouvement de la voiture, la nouveauté du voyage, mes deux compagnons de route, la légèreté de mes douze ans et demi firent qu’au premier relais de poste, au Pin, j’étais entièrement consolé ». Le voyage est long, les paysages défilent lentement. Tout est nouveau pour Joseph : la campagne provençale, la vallée du Rhône, Lyon, les Alpes… Enfin la Suisse, le Lac de Genève et pour finir l’arrivée à Fribourg dans son cadre grandiose de montagnes, Fribourg avec ses tours, ses créneaux et ses herses. Un vrai décor de roman ! Joseph arrive dans le Collège Saint Michel fondé en 1580 par Saint Pierre Canisius, Jésuite, compagnon de Saint Ignace de Loyola. Suite à la décision du Roi Charles X de fermer tous les petits séminaires jésuites de France, le Collège Saint Michel regroupe de nombreux jeunes gens issus de l’élite de la société française, sans oublier tous ceux qui viennent d’autres pays européens. Joseph se trouve soudain, dans un milieu éducatif exceptionnel, un esprit « européen », et va se créer un réseau de relations incomparable qui dépassent les frontières. Il y trouve surtout, parmi les Pères et les élèves, des personnalités éminentes et de véritables saints.
Joseph va rester sept ans à Fribourg. Ces sept années sont certainement les plus importantes de sa vie. Elles vont le marquer pour toujours. Il a trouvé le lieu qui lui fallait pour devenir ce qu’il devait être, et recevoir une éducation digne de ses capacités. Toute sa vie, le Père Timon-David aura Fribourg sur les lèvres ; ce sera le lieu de référence qui marquera profondément sa vie personnelle, sa vie spirituelle et sa conception de l’éducation. Fribourg sera pour lui, comme il l’écrira plus tard « le prototype d’une maison d’éducation ». « C’était la grande éducation » ; « Mon cœur surabonde quand je parle de Fribourg. J’en reviens à ce prototype que je n’ai jamais retrouvé dans aucune autre maison et que je veux offrir comme un modèle à tous ceux qui s’occupent d’éducation » écrit-il dans le livre de sa « Méthode d’éducation ». « Nos maîtres étaient des religieux, nous les savions absolument dévoués à nos personnes ; ils nous donnaient leur temps, leur vie ; aucun intérêt humain ne les animait. Mais quels maîtres nous avions ! Quelle maison en a vu de plus illustres ! » Toute sa vie il se sent redevable de ce qu’il a vécu et reçu à Fribourg. « Les Révérends Pères Jésuites m’ont appris l’art de conduire la jeunesse » écrira t-il plus tard aux jeunes de son œuvre. « Vous m’avez fait tout ce que je suis » écrira t-il un jour en signe de reconnaissance au Père Jeantier, qui fut son guide spirituel à Fribourg.
Après le temps de l’adaptation, Joseph s’épanouit dès le début de son séjour. Il a enfin rencontré des éducateurs dignes de ce nom. « Peu de jours après mon arrivée, j’étais allé chez le préfet des classes, le Père Barelle. Le Père Sellerette, mon surveillant d’étude dans la troisième division, se trouvait avec lui. Le Père Barelle lui demanda :’Etes-vous content de cet enfant ? très content répond le Père Sellerette. Dans ces quatre mots fut en germe, je le crois, toute la suite de ma vie. C’était la première fois que je les entendais. Moi, le mauvais élève du Petit Séminaire, moi l’écolier toujours malmené, grondé, puni, battu je pouvais être sage ! Ce fut comme un baume sur mon cœur, et je ne me démentis plus depuis ce jour ». Tout de suite, il est reçu dans la « Congrégation » de Saint Louis de Gonzague et s’y consacre à la Vierge Marie. Bientôt il en est élu premier Assistant par les autres membres de cette association spirituelle, deux ans plus tard il en sera Préfet. il va combler peu à peu ses lacunes et rattraper son retard scolaire au point d’obtenir en fin de troisième trois prix et quatre accessits. L’ambiance de Fribourg lui réussit à merveille car piété, études et loisirs se vivent ensemble tout naturellement. Il y a une véritable unité de vie. Le Collège est un lieu de vie profondément chrétienne où les Pères Jésuites donnent à chaque élève la possibilité de développer ses talents et ses capacités. Ainsi il peut donner libre court à son tempérament de boute-en-train, exercer ses talents de touche-à-tout, faire de la musique, il joue du cornet à piston, fait du théâtre et de l’opéra où il excelle, du cheval ; plus tard il sera aussi grand cérémoniaire de la Congrégation des Saints Anges. Il aura sous ses ordres une troupe d’enfants de chœur qu’il dirige avec maîtrise et beaucoup d’autorité. « J’étais passionné pour tout, je m’enthousiasmais de tout : j’aimais mes amis de la Congrégation, comme les enfants de chœur, comme la musique, le théâtre, comme mes maîtres… Cette passion d’aimer était alors le bonheur de ma vie ». « Ce qu’il y a de sûr c’est que je passais pour un des plus sages de ma division. Devenu homme je me suis demandé pourquoi. J’étais très paresseux, hâtant mes devoirs pour lire, fort babillard, plein d’amour-propre… J’étais un joli enfant, cheveux bouclés, teint animé, c’est déjà un moyen de s’attacher les maîtres, une prévention en bien qui précède toute appréciation. J’avais un excellent cœur et je m’attachais vivement à mes maîtres qui me le rendaient.. J’étais fort innocent, mais naturellement, sans effort de ma part. Je ne savais pas ce que c’était. J’étais porté à la piété, me confessais tous les samedis, communiais dès le début tous les dimanches, je crois. Un défaut bien grave ternissait tout cela, mais il n’y paraissait pas et personne au pensionnat ne s’en douta jamais : j’étais horriblement gourmand, non pas de mangeaille, j’ai toujours été un petit mangeur, mais de friandises. Que j’aimais les gâteaux, les douceurs, les vins doux ! » C’est le Père Jeantier qui va avec beaucoup de patience, de tact et une réelle paternité spirituelle aider Joseph à grandir humainement, spirituellement en développant toutes ses capacités spirituelles et en l’aidant à répondre aux grâces que le Seigneur lui prépare. Le Père Jeantier avait une très grande dévotion au Cœur de Jésus ; il avait fait le vœu de propager cette dévotion. Joseph, bien plus tard écrivant à son évêque dira, parlant de sa dévotion au Sacré-Cœur de Jésus : « Dès mes jeunes ans j’ai été élevé dans cette dévotion…que mon éducation chez les Jésuites n’a fait qu’augmenter ». Le Père Jeantier est l’homme providentiel, l’homme que Dieu a mis sur sa route pour un événement spirituel capital dans la vie de Joseph. L’été 1837, alors que ses malles sont déjà bouclées pour partir à Marseille et voir sa mère qu’il n’a pas vue depuis deux ans, voici qu’un changement de programme soudain l’accable. Il ne doit pas partir. Il ne sait pas pourquoi. On lui cache la raison. Le choléra a de nouveau frappé Marseille et Madame Timon-David est entre la vie et la mort. Elle s’en sortira. Et Joseph ne connaîtra la réalité qu’une fois sa mère hors de tout danger. Il part donc, avec plusieurs camarades, faire une excursion de plusieurs jours sous la responsabilité du Père Jeantier, magnifique excursion dont il note tous les détails. Au hasard des temps de repos, il lit les Souvenirs de Saint Acheul. Saint Acheul avait été un petit séminaire jésuite. Ce livre racontait la vie de certains jeunes dont la vie était digne d’être imitée. « J’avais 15 ans quand je lus dans les ‘Souvenirs de Saint Acheul’ qu’un des pieux jeunes gens dont on contait la vie avait fait vœu de virginité dans ses jeunes ans ». Il court demander au Père Jeantier la permission de faire pareil. « Le Père Jeantier me trouva assez pieux et vraiment, je l’étais beaucoup à cette époque, pour m’accorder cette grâce, et le 14 Janvier 1838, à la communion, je prononçais pour la première fois mon vœu temporaire de virginité ». il fallait que le Père Jeantier connaisse bien le cœur de Joseph et soit lui-même un grand spirituel pour permettre une chose semblable qui correspondait sans aucun doute à un appel de choix du Seigneur. Le 8 Juillet de la même année le Père Jeantier permet à Joseph de le faire pour toujours. Ce vœu auquel le jeune Joseph s’attacha de tout son cœur lui permit aussi de pouvoir traverser la période difficile de l’adolescence dans la plus grande pureté de corps et de cœur, car même dans le pensionnat jésuite de Fribourg les dangers n’étaient pas absents. Joseph va continuer son séjour à Fribourg riche de cette grâce spirituelle. Mais il n’en reste pas moins le même avec son caractère passionné par tout ce qui fait la vie de cette maison. Les années avancent et au collège Saint Michel on pense à l’avenir des élèves. On peut dire que vu le mode de recrutement il n’y a que deux possibilités : soit une grande situation dans la société, soit le noviciat des Pères Jésuites. Joseph, depuis enfant, a ressenti l’appel du Seigneur à Le suivre. Il sera prêtre. On essaie bien de le faire entrer chez les Jésuites, les éducateurs bien sûr, mais même ses meilleurs amis. Au risque de tous les décevoir, Joseph a fait son choix : « Je les déroutais tous par ma légèreté ; aucune lumière ne se faisait dans mon esprit, en dehors de prêtre séculier, je veux dire prêtre auprès de ma mère ». Joseph a passé sept ans à Fribourg, les plus beaux de sa vie. Il s’y est épanoui, il est devenu complètement lui-même ; il a bénéficié d’une méthode d’éducation remarquable qu’il voudra transmettre plus tard. Sa dévotion au Sacré-Cœur s’y est développée ; les Pères Jésuites lui ont donné un « esprit catholique » ; ses sentiments royalistes et légitimistes hérités de sa famille ont été fortifiés ; mais surtout c’est à Fribourg que le 8 Juillet 1838 il s’est consacré à Dieu par le vœu de virginité qui embauma toute sa vie sous le regard de Marie qui, peut on dire le conduit maternellement jusqu’au Cœur de son Fils. Marie prépare le jeune Joseph !
« Je sortis du Pensionnat parfaitement pur, plein de foi, pieux, mais avec tous mes défauts de caractère, fier, pliant difficilement devant la force, beaucoup trop sensible, trop aimant, tenant trop à être aimé -les enfants de l’œuvre devaient m’en corriger- ayant trop d’imagination ; j’ajouterais trop gracieux, trop bien élevé, ce qui aurait pu me perdre infailliblement si Dieu n’y avait mis bon ordre par les persécutions qui devaient éteindre dans moi toutes ces facultés bonnes ou mauvaises ». C’est avec une immense peine qu’il quitte Fribourg. Le Collège, c’est fini ! Il a 19 ans ! C’est un jeune homme élégant, distingué, instruit, un peu « mondain » mais pieux et désireux d’être tout à Dieu. Il lui faut maintenant répondre à sa vocation. Il sera, dit-il, « prêtre auprès de ma mère ».