Již od renesance byly nezbytnou součástí výchovy mladých šlechticů kavalírské cesty. Sloužily k prohloubení znalosti cizích jazyků, studiu na univerzitách, seznámení se s fungováním na evropských dvorech a navazování potřebných kontaktů.     Tyto cesty byly sice ve druhé polovině 19. století již minulostí, ale pro příslušníky šlechtických rodů, kteří měli své statky, sídla a příbuzné na území celé Evropy, bylo cestování přirozenou součástí jejich každodenního života. V zimě se uchylovali do svých paláců ve městech a účastnili se bohatého společenského života nebo odjeli za příznivějším klimatem. V letních měsících se pak vraceli na svá venkovská sídla.     
      Josef Herberstein nebyl výjimkou. Pro něj se však cestování, lov a později i sběratelství stalo celoživotní vášní. Výnosy z dobře vedeného a prosperujícího panství, jinak velmi skromnému Josefu Herbersteinovi, tento náročný koníček umožňovaly. Nejprve procestoval podstatnou část Evropy, zejména její jižní oblasti, odkud přivezl do sbírek svých zámeckých skleníků celou řadu dendrologických zajímavostí.
     Nejvýznamnější jsou však cesty Josefa Herbersteina do Indie, Barmy, Indonésie, Cejlonu (dnešní Srí Lanka) Egypta, Súdánu a na Jávu. Na mnoha těchto cestách jej doprovázel komorník Jaroslav Vejvoda, některých se zúčastnili i členové rodiny, jedné cesty i komorná Kristýna Podaná.

Doložené cesty Josefa Herbersteina:

• Tzv. „Velká orientální cesta“ do Egypta, k hranicím Súdánu, do Sýrie a Palestiny v r. 1879–1880
• Tzv. „Malá orientální cesta“ do Řecka, Cařihradu a na řecké ostrovy v r. 1881–1882 se nevymykala z jeho předchozích cest po Evropě. Během ní se nejméně třikrát sešel s objevitelem Tróje Heinrichem Schliemannem a jeho ženou Sofií (dvakrát na odpolední čaj a jednou na večeři).
• Indie, Cejlon, Jáva a Barma 1887 - 1888
• Cesta do střední Afriky 1911
• Druhá cesta do Indie a Barmy 1911-1912
• Cesta do Súdánu v r. 1912
• Nová cesta do Súdánu 1913
• Pobyt v Africe v roce 1923
• Poslední cesta do Egypta 1928–1929
• Poslední plánovaná cesta do Egypta (v roce 1932) se již neuskutečnila.

Ze svých cest si hrabě dovezl značné množství zoologických a etnografických exponátů, včetně některých unikátů, pocházejících ze starého Egypta. Ve sbírce se nachází i velmi vzácné předměty z Japonska a Číny. Bohužel, z celkového obrovského objemu původní sbírky mnoho nezbylo. Malá část se dochovala na zámku v Libochovicích, větší zůstala na zámku Ptuj ve Slovinsku. Po roce 1948 bylo mnoho cenných exponátů odvezeno do Národního muzea.