Na základe dejín Bytče sa dá predpokladať, že na mieste terajšieho chrámu v dávnej minulosti stál kostol, ktorý dal pravdepodobne postaviť niektorý nitriansky biskup. Pôvodne gotická stavba z konca 13. storočia stála uprostred cintorína ohradená múrom.

V rokoch 1955 – 1957 boli v kostole objavené zvyšky gotických okien a vo vnútri gotické sedadlá. Zasvätenie bytčianskeho kostola Všetkých svätých je prvý raz písomne doložené už v roku 1392. Stavba druhého gotického kostola sa predpokladá v polovici 15. storočia po prechode husitských vojsk Považím.

V druhej polovici 16. storočia za bytčianskeho zemepána Františka Thurzu kostol prešiel do rúk protestantov. Františkov syn Juraj Thurzo dal kostol prestavať a rozšíriť v renesančnom štýle. Stavebné práce talianskych majstrov viedol taliansky Ján Kilián. Podieľal sa na nich aj taliansky kamenársky majster Andrej Pocabello. Prestavba kostola veľmi rozsiahla. Zo starého kostola zostali len základy veže a južný bočný múr, na ktorom zamurovali gotické okno. Na južnej strane vystavali novú sakristiu a na západnej strane kostola vstavali murovaný chór podľa protestantskej požiadavky v tvare písmena U. V rámci prestavby bola pri kostole postavená zvonica. Práce sa skončili v roku 1590, o čom svedčí nápis nad hlavným vchodom do kostola. Thurzo zabezpečoval aj výmaľbu a vnútorné zariadenie kostola (toto zariadenie sa nezachovalo). Zväčšený kostol bol vo vlastníctve evanjelikov len 37 rokov.

Nový zemepán Mikuláš Esterházy dal zrekonštruovať a zbarokirovať zhorený kostol kremnickému staviteľovi Petrovi Heiplovi a v októbri 1628 ho dal katolíkom. Na základe uznesenia krajinského snemu roku 1647 sa kostol mal vrátiť evanjelikom, ale v tomto čase pod vplyvom pôsobenia jezuitov už v Bytči veľa evanjelikov nebolo.

Roku 1756 bytčiansky farár Mikuláš Hudek dal pred hlavných vchodom do kostola postaviť  nízku predsieň – žobračnicu (v nej sa modlievali chudobní, bola zbúraná po prestavbe roku 1937).

Ďalšie opravy bolo nutné realizovať po veľkom požiari, keď v roku 1761 vyhorela takmer celá Bytča. Za finančnej podpory Esterháziovcov bola v roku 1787 opravená strecha i ostatné časti kostola.

Obnovený kostol však v roku 1856 opäť zničil požiar a jeho ďalšia obnova bola realizovaná až v roku 1871 za dekana Jozefa Maločaja, o čom svedčí nápis na pravej strane klenby víťazného oblúka.

Výraznejšie zmeny nastali v rokoch 1937 – 1938, kedy bola nadstavaná veža a po jej stranách vybudované prístavby podľa projektu architekta Milana Harminca. Vtedy zbúrali aj renesančnú zvonicu stojacu neďaleko kostola a jej zvony prenisli na opravenú vežu.