Klub powstał przy Zambrowskich Zakładach Przemysłu Bawełnianego, przyjmując nazwę „Włókniarz”. W rok później założono sekcję piłkarską. Drużyna inauguruje swoje występy w 1955r. grą w B klasie (V liga), by po roku awansować do IV.


W latach 1955-57 w miescie obok Włókniarza istniał drugi klub o nazwie Start. W 1957 r. nastąpiło ich połączenie, w wyniku czego powstał Zambrowski Klub Sportowy (ZKS). Do roku 1976 drużyna futbolowa występowała w rozgrywkach BOZPN, zaliczając się do czołowych drużyn Okręgu (7 sezonów w III lidze, finał Pucharu Polski 59’). W 1965 r. zajął drugą lokatę z taką samą iloscią punktów co Włókniarz Białystok. W meczu o prawo walki o II ligę uległ mu 2:3. W latach 70. zespół pozbawiony został boiska i mecze rozgrywał w Łomży, co m.in. spowodowało jego spadek na niższy poziom ligowych rozgrywek. W 1957 r. klub przystąpił do budowy własnego boiska, a w roku następnym przyjął nazwę Olimpia i stał się klubem międzyzakładowym (MZKS). Autorem nazwy jest nauczyciel wychowania fizycznego – mgr Wiesław Słaby.


28 lutego 1992 r. podczas zebrania sprawozdawczo-wyborczego, licząc na wsparcie finansowe miasta, Olimpia stała się klubem miejskim. W październiku 1993 r. Rada Miejska oddała we władanie „olimpijczyków” stadion Miejskiego Osrodka Sportu i Rekreacji, co stworzyło piłkarzom lepsze warunki szkolenia i pozwoliło stopniową modernizację obiektu, m.in. wymianę drewnianych ławek na plastikowe.


Od 1976 r. klub startował już w barwach Łomżyńskiego OZPN, zaliczając się do najsilniejszych jego członków (7 sezonów gry w III lidze, dziewięciokrotny zdobywca Pucharu Polski).


Piłkarzy zambrowskich zawsze cechowała ogromna walecznosć i ambicja, czym zjednywali sobie uznanie kibiców i co pozwalało wielokrotnie zwyciężać teoretycznie silniejszych rywali. Do najsilniejszych wychowanków Olimpii zaliczają się: Mirosław Głębocki, Sławomir Głębocki, (występował w pierszoligowej Jagiellonii), Stanisław Kulesza, Zbigniew Kowalski, Albin Kuczałek, Janusz Cudnoch, Zbigniew Stańczyk, Sławomir Sasinowski i z najmłodszego pokolenia, drugoligowcy – Mariusz Uszakiewicz, Mirosław Matejko, oraz Krzysztof Brzózka, Robert Flery i Krzysztof Łągiewka.


Olimpia należy też do najlepiej pracujących z młodzieżą klubów Okręgu Łomżyńskiego, zdobywając tytuły mistrzowskie w różnych kategoriach wiekowych, startując w rozgrywkach makroregionalnych. Jej wychowankowie występowali licznie w reprezentacjach Okręgu i makroregionu.