Die Anfänge von Madras, dessen ursprünglicher Name Chennapatnam lautete, lassen sich auf ca. 2.000 Jahre zurückdatieren. Ursprünglich bestand die Stadt nur aus einer Ansammlung von kleinen Dörfern. Die Tempel von  Thiruvanmiyur, Thiruvotriyur, Triplicane und Mylapore existieren bereits seit über 1.000 Jahren, und der Hafen an der Koromandelküste war schon damals ein wichtiger Handelsknotenpunkt.

1522 erreichten die Portugiesen Madras und errichteten einen Hafen, den sie St. Thomé nannten. 1612 ließen sich die Holländern in Pulicat im Norden nieder, und im 17. Jahrhundert entschied sich die East India Company eine Faktorei im Armagon, einem Dorf nördlich von Pulicat, zu bauen. Diese stellte sich jedoch als wenig ertragreich heraus, so dass die Briten einen neuen Standort suchten, und so kundschafteten sie 1637 die Koromandelküste bis fast nach Pondicherry aus. Im August 1639 erhielt Francis Day, Leiter der Faktorei in Armagon, die Erlaubnis, in Madraspatnam ein Fort zu errichten, und im selben Jahr, unter der Regierung von Charles I., wurde Madras gegründet. 1640 wurde mit dem Bau des Forts begonnen, das den Namen „Fort St. George“ erhielt.

Die Portugiesen am Hafen St. Thomé, deren Blütezeit sich langsam dem Ende zuneigte, luden Day ein, sich hier niederzulassen, aber Day bevorzugte einen Standort, der ihn unabhängig agieren ließ. Im Herbst 1640 zogen dreihundert bis vierhundert Familien (Weber und andere), angelockt durch die Zusage einer Befreiung von Abgaben für einen Zeitraum von dreißig Jahren, in den Umkreis des Forts. 1641 wurde das Fort zum Hauptstützpunkt der Kompanie an der Koromandelküste.

Das Fort wurde beinahe ununterbrochen bedroht. 1672 nahmen die Franzosen St. Thomé ein und befestigten Triplicane, die Holländer vertrieben sie 1672; 1687 begegnete Aurangzeb den Briten feindlich, sein General Daud Khan belagerte die Region von St. Thomé aus, und 1739 griffen die Marathen an. Als General La Bourdonnais das Fort 1746 während des ersten britisch-französischen Krieges auf indischem Boden attackierte, kapitulierte Gouverneur Morse beinahe augenblicklich, zu geschwächt war die Abwehr des Forts mittlerweile geworden. Bis 1752 wurde Fort St. David der Hauptstützpunkt der Kompanie. Frankreich hielt Madras bis 1749, dann wurde es im Rahmen des Vertrags von Aix-la-Chapelle an die Engländer zurückgegeben. In den drei Jahren ihrer Besatzung rissen die Franzosen einen Teil der Schwarzen Stadt ab, in der die Einheimischen lebten und hinterließen an der Nordseite des Forts nur noch einen Haufen Schutt. Ansonsten war das Fort noch in demselben schlechten Zustand, in dem die Engländer es verlassen hatten. Nachdem sie es zurückerhalten hatten, machten sie sich zunächst daran, es zu sanieren. Indem sie die Mauern stellenweise erneuerten und um Bastionen erweiterten, hatten sie das Fort beinahe von Grund auf neu errichtet. Diese Baumaßnahmen ermöglichten es Pigot 1759 dem Angriff der Franzosen und Lally erfolgreich standzuhalten.

1783 waren sämtliche Arbeiten am Fort beendet, jedoch verlor Madras durch den zunehmenden Aufschwung, den Kalkutta erfuhr, langsam an Bedeutung. Der größte Teil des von den Europäern beeinflussten Madras in seiner noch heute präsenten Architektur wurde Ende des 18./Anfang des 19. Jahrhunderts erbaut.