II doit son nom à la ville de Rottweil en Allemagne où il a été sélectionné comme conducteur des troupeaux de bovins, puis il est devenu un très sérieux chien de police avant d'être enrôlé comme chien de guerre.

Le premier standard de la race a été rédigé en 1893 par le peintre Albert Kull.
En 1905 c'est un éleveur de Teckel, Albert Graf, qui présente le premier étalon nommé Stumper à l'exposition d'Heidelberg. Des éleveurs vont se regrouper au sein d'associations comme le Deutscher Rottweiler Klub (1907) ou l'Internationaler Rottweiler Klub [1913) ce qui va engendrer des dissensions qui prendront fin avec la réunion de tous les amateurs au moment de la création de l'Allegemeine Deutsche Rottweiler Klub en 1921. Depuis, l'ADRK préside aux destinées de la race avec sérieux et compétence sous la devise " L'élevage de Rottweiler doit être celui d'un chien d'utilité ". Devant le succès grandissant de la race sur tous les continents, les responsables de l'ADRK ne vont pas hésiter à créer l'Internationale Féderation für Rottweiler Freunde (IFR) en 1969, pour pouvoir contrôler le développement de l'élevage et éviter les débordements.