Ende des 19. Jahrhunderts versuchte der Handwerker-Gesellenverein die Freude am Turnsport nach Werther zu bringen. Die Übungsstunden fanden in Bauernscheunen statt. Der Verein löste sich allerdings bald wieder auf. Als sich 1904 der Turnverein Werther gründete, etablierte sich der Turnsport in Werther. Am 11. Juli 1904 hatten sich 47 Wertheraner zusammengefunden und gründeten den Turnverein Werther 04 e.V. Zum ersten Vorsitzenden wurde Dr. med. Friedrich Lücker gewählt. Noch im Juli erfolgte die Anmeldung des Vereins zum Minden-Ravensberger Turngau. Am 1. Oktober wurde das erste Stiftungsfest des Vereins gefeiert. 1909 wurde im Rah-men des Stiftungsfestes eine Fahnenweihe durchgeführt. Während des Ersten Weltkrieges ruhte, wie auch andernorts, der Vereinsbetrieb.

1920 wurde Karl Konsemüller zum ersten Vorsitzenden gewählt. Im Jahr 1925 wurde neben einer Turnerinnenriege auch eine Handballmannschaft ins Leben gerufen. Ein Jahr später gründete sich die Wandergruppe. 1928 errangen Elisabeth Hemminghaus und Fritz Kaufmann den Siegerkranz beim deutschen Turnfest in Köln. Die Teilnehmer am Turnfest wurden bei ihrer Rückkehr am Wertheraner Bahnhof von der Feuerwehrkapelle freudig begrüßt. Das 25-jährige Vereinsjubiläum, verbunden mit dem Blotenbergfest, feierten 1929 über 1000 Leute. 1930 wurde die Turnhalle an der Bielefelder Straße (heute Skaterhalle des Jugendzentrums) eingeweiht. Vorher wurde im Saal des Deutschen Hauses geturnt. 1934 wird auch der Turnverein Werther „gleichgeschaltet“. Die Deutsche Turnerschaft wurde aufgelöst und der Verein wird Zwangsmitglied im Nationalsozialistischen Reichsbund für Leibesübungen.

Während des Zweiten Weltkrieges, in dem 42 Vereinsmitglieder ihr Leben lassen, ruht erneut der Vereinsbetrieb. Bereits im Herbst 1945 wurden, trotz des Verbotes jeglicher Vereinstätigkeit durch die britische Militärregierung, erste Gespräche über die Wiederaufnahme des Turnbetriebes geführt. Als Ergebnis bildete sich zwei Handballmannschaften (Männer und Jungen). 1946 wird Dr. The Dodt zum ersten Vorsitzenden gewählt. Im Jahr 1948 wird die Tischtennis- und die Schwimmabteilung gegründet. Die Tischtennisabende fanden zunächst im Deutschen Haus statt, wo vier Wirtshaustische zusammengestellt wurden. Der erste Tischtennis-Vereinsmeister Manfred "Kiki" Karnowski konnte mit besonderer Präzision die Rillen zwischen den zusammengestellten Tischen treffen, sodass die Bälle meistens unkontrollierbar absprangen. Die Schläger wurden in der Anfangszeit meistens selbst gefertigt und an heilen Bällen war häufig Mangel. Erst als Willy Scheele eine richtige Tischtennisplatte erbte und diese dem Verein zur Verfügung stellte, wurde das Spiel professioneller.

1952 löste Wilhelm Schwarze Dr. Dodt als ersten Vorsitzenden ab. 1954 wird das 50-jährige Vereinsjubiläum in Verbindung mit dem Turnfest des Kreises Bielefeld-Halle begangen. An den Wettkämpfen, die auf einer großen Wiese neben dem Freibad (heute teilweise Bielefelder Straße) stattfinden, nehmen 1300 Sportler teil. In den 50er Jahren pflegte die Handballabteilung des Vereins eine Freundschaft mit dem Ohligser TV v. 1888 aus Solingen, die sich in vielen wechselseitigen Besuchen niederschlug. Von 1957 bis zu seinem Tod bei einem Verkehrsunfall 1966 führte Paul Grünkemeier den Verein. Sein Nachfolger wird Fritz Peperkorn, der allerdings bereits 1967 von Gerhard Bültmann abgelöst wird. 1969 werden die Umkleideräume am Teutoburger-Wald-Weg/Sportplatz Werther, die der Turnverein zusammen mit dem BV Werther gebaut hat, fertiggestellt.

In den 1970er Jahren organisierte Erwin Menkhoff mehrere Paddeltouren der Vereinsjugend auf der Weser, die sich großer Beliebtheit erfreuten. 1975 werden die Judo- und die Volleyball-Abteilung gegründet, 1980 die Badminton-Abteilung. Ende der 1970er Jahre feierte die Leichtathletin und gebürtige Wertheranerin Christina Sussiek Erfolge als deutsche Jugendmeisterin, bevor sie zu Bayer Leverkusen wechselte und deutsche Meisterin und Olympiateilnehmerin wurde. 1977 wurde Klaus Kusenberg erster Vorsitzender des Turnvereins. 1986 wurde eine Basketballgruppe ins Leben gerufen.

2022 wurde Klaus Kusenberg nach 42 Jahren an der Spitze des Turnvereins von Mark Schomaker abgelöst.