Az iskolát 1946 őszén alapították Tatabánya Állami Gimnázium néven. A gimnáziumot a volt erdei iskolában helyezték el. Az épület 1920-ban készült TBC betegek részére, szanatórium céljából. 1938-tól a testileg gyenge, iskoláskorú gyermekek számára "Erdei iskolává" alakították át. Az épület Székely Jenő munkája. Az intézethez áthelyezett tanárok számára a MÁSZ Bányaigazgatóság lakásokat biztosított. Az előkészítő munkálatok után Nagy Miklós államtitkár a VKM. 103.928/1946. V. ü.o. számú rendelete alapján engedélyezte a "Tatabányai Állami Gimnázium" megnyitását az 1946/47. iskolai évvel.
Az intézményben nappali és esti, valamint levelező oktatás folyt. A gimnázium 1949-ben felvette Rákosi Mátyás nevét, amelyet 1956 októberéig viselt. 1957-től Tatabányai Állami Árpád Gimnázium, majd a hetvenes évektől - az óvónőképzés bevezetésétől - elnevezése az Óvónőképző Szakiskolával bővült. Az intézmény alapításakor Tatabánya-Óvárosban nyert elhelyezést, a Magyar Általános Kőszénbánya Rt. jogutódja, a Tatabányai Szénbányák Vállalat által rendelkezésre bocsátott erdei iskola épületében, amelyet az intézmény feladatainak növekedése miatt több alkalommal bővítettek.
1963-ban levált és önállósult az Oroszlányi gimnázium. 1966-ban Újvárosban megépült az Újvárosi Szakközépiskola, ahová gimnáziumi csoportokat és egy autószerelő szakközépiskolai osztályt is áthelyeztek. A Dolgozók Gimnáziuma 1964-ben önnálósult.
Az 1970-es évek elején az iskolában megnyílt az egészségügyi szakközépiskola első osztálya. 1971/72-es tanévre már 8 csoportot tett ki. Az iskola épületében 28 tanulócsoport 26 tanteremben működött, amelyek egy része szükségmegoldást képeztek (KISZ-klub, politechnikai műhely, ebédlő, fizikai előadóterem, kémiai előadóterem). 1972-ben a 8 szakközépiskolai osztályból egy új intézmény született: az Egészségügyi Szakközépiskola. Az 1974/75-ös tanévvel egy tanulócsoporttal megkezdték az óvónői szakközépiskolai képzést. A szakközépiskolai képzés mellett a gimnázium vállalkozott az intenzívebb képzés céljából a tagozatos osztályok beindítására — matematikából, fizikából, orosz-, francia-, és német nyelvből. 1978. márciusában átköltözött az iskola az Újvárosba, a volt Ipari és Kereskedelmi Szakközépiskola épületébe. A húsz tanulócsoport számára húsz tantermet sikerült kialakítani és néhány (5 db) szaktanterem is rendelkezésre állt. A 16 gimnáziumi osztályból csak négy osztály volt általános tantervű és 12 osztály tagozatosként működött. A gimnáziumi osztályok mellett 4 óvónői szakközépiskolai osztály is működött. 1974-ben az iskola részt vett a "családi életre nevelés" tantárgy országos kísérletében.
A középfokú oktatás iránti igények arra késztették a város vezetését, hogy egy új gimnázium megépítésére kerüljön sor az Óvárosban. így 1987 szeptemberében a tantestület egy részének a kiválásával és 2 tanulócsoport átköltözésével beindult a város második gimnáziuma: a Bárdos László Gimnázium.
A város első és sokáig egyetlen középiskolája igazi „alma mater"-ként működött, mivel az évtizedek során leváltak belőle és önállósodtak az iskola egyes oktatási szakfeladatai, pl. esti és levelező-képzés, közgazdasági, egészségügyi szakképzés stb.

Tatabánya önkormányzatának közgyűlése 1996-ban döntött, hogy 1996. július 1-jével bezárja az Arany János Általános Iskolát és az épületet használatba adja az alapítványi formában működő Modern Üzleti Tudományok Főiskolájának. Az alsó tagozatos osztályokat áthelyezték a város egy másik általános iskolájába, a felső tagozatos tanulók több oktatási intézménybe kerültek át.

A középkori oklevelekben először 1251-ben bukkan fel Galla neve. A török hódoltságot követő elnéptelenedés után, a 18. században kapott lendületet a fejlődés. Az új földbirtokos, gróf Eszterházy József főispán 1733. februárjában fogott neki az elnéptelenedett terület betelepítéséhez. Elzászból, Würzburgból és Bambergből jöttek német telepesek, akik hat évi adómentességet és szabad költözködési jogot kaptak. Kezük munkája alatt hamar termőre fordult a talaj, a település takaros kis faluvá fejlődött. 1851-re kiterjedése elérte a 2800 holdat, lakosságszáma pedig a 700 főt. A község élén a falu által választott bíró állt, akinek munkáját képviselőtestület segítette.
Újabb változást a bányászat megjelenése okozott, a MÁK Rt. ugyanis, az Eszterházy uradalomtól megvásárolta a szénkitermelés jogát. Alsógalla képviselőtestülete 1896. decemberében adta bérbe a határában lévő földeket a MÁK Rt-nek. A bányászkodás új betelepülőket hozott az egész Monarchia területéről, az 1920-as évektől a falu a vasút felé kezdett terjeszkedni. Alsógalla kisközségből nagyközség lett. Ebben az időszakban új községháza, plébánia és iskola épült.
A második világháborút követően a várossá válás a fejlődés és a városi élettel járó előnyök mellett több negatívumot is hozott. Alsógalla elvesztette falusias jellegét, a halottak az óvárosi temetőbe kerültek áttelepítésre, az iskolák megszűntek, a községháza helyett kirendeltség lett, sok iparos és kereskedő volt kénytelen visszaadni vállalkozását. A rendszerváltást követően indult újra az egyesületi élet, amely a hagyományok továbbvitelét és ápolását állítja középpontba.
Ma Alsógalla, Tatabánya legkisebb történelmi városrésze, mintegy 3000 fős lakossággal.

Tatabánya Város Tanácsa 1980-ban jóváhagyta az Ady Endre és József Attila Általános Iskolák 1980. augusztus 1. hatállyal történő szervezeti összevonását és az ezzel kapcsolatban megtett intézkedéseket. Az összevont intézmény József Attila Általános Iskola néven, az Ady Endre Általános Iskola jogutódjaként működik egy igazgatóval és két igazgatóhelyettessel. (27/1980. sz. határozat.)

Az Iskola 1952. szeptember 1-én a Munkaerő Tartalékok Hivatal (MTH) 314.sz. Építőipari Intézete néven kezdte meg működését. A képzés elsősorban az építőiparra koncentrálódott, kőműves, ács, vasbeton-szerelő tanulókat képeztek. 1955-ben bővül a szakmai képzés struktúrája, megjelennek a vas- és villamos ipari szakmák. Megszűnt a kizárólagos építő-ipari jelleg. 1959-ben tovább bővült a szakmák köre, 45 szakmában folyt képzés. A ’80-as évek végén, a ’90-es évek elején a gazdasági változások hatására az iskola stratégiai döntésre kényszerült, saját hatáskörbe vonta a gyakorlati képzést. Így került sor az építőipari tanműhely kialakítására. Az iskola tanműhelyén belül női ruhakészítő és fodrász tanműhelyt is kialakítottak. Az így létrehozott tanműhelyben a ’90-es évek elején közel 1000 tanuló szakképzését biztosította az iskola saját keretein belül. 1991-ben az iskola felvette a megyénkben alkotó nagy barokk építőmester nevét és Fellner Jakab Középfokú Iskola lett. Az 1996-os tanévre a korábbi 1400-as tanulólétszám lecsökkent 1100 főre. 2004-ben az iskola a megyei önkormányzattól Tatabánya Megyei Jogú Város fenntartásába került, egyidejűleg az oktatáspolitika integrációs céljainak megfelelően egyesült a volt Kossuth Lajos Általános Iskolával. A fenntartó így próbálta biztosítani az iskola folyamatos tanuló utánpótlását. 2005-ben az intézmény, több városi intézménnyel együtt a megalakuló Bánki Donát Térségi Integrált Szakképző Központ konzorciumi tagja lett. Ezzel új alapokra helyeződött a város, illetve a térség szakképző iskoláinak együttműködése. A 2009-es évben iskolánk újabb összevonások részese volt, az iskola a Péch Antal Műszaki Szakképző Iskola és Gimnáziummal és a városi Középfokú Kollégiummal összeolvadva a Tatabányai Általános Iskola, Szakképző Iskola és Középfokú Kollégium egyik feladat-ellátási helye lett. 2011-ben a törvényi változások miatt az intézmény általános iskolai része levált az iskoláról és felvette a Kandó Kálmán Szakiskola, Középiskola és Kollégium nevet.