Egy szegény református parasztcsaládban született, édesapja Galamb József földműves, édesanyja Putnoki Erzsébet háztartásbeli volt. A hét gyermekük között a második legidősebb volt. Elemi iskoláit és a gimnázium első négy osztályát szülővárosában végezte, amelynek költségeit az addigra befutott ügyvédként tevékenykedő bátyja fedezte, mert a családfenntartó édesapa korán meghalt. Szegeden az Állami Fa- és Fémipari Szakiskolában (ma Déri Miksa Szakközépiskola) folytatta tanulmányait. Itt legkedvesebb tanárai közé tartozott Csonka Ferenc vegyészmérnök, akinek bátyja Csonka János a magyar autó- és motorgyártás úttörője volt. Már itt felfigyeltek geometriai rajzaira, amik nagy kifejezőkézségről tanúskodtak. Ezután a Budapesti Állami Felsőipariskolának (ma Óbudai Egyetem, Bánki Donát Gépész és Biztonságtechnikai Mérnöki Kar) lett hallgatója. Innen 1901. júniusban távozott végbizonyítvánnyal. Tanárai között számos kiemelkedő szakember volt, úgy mint Lencz Ödön, Dömötör Pál és Jalsoviczky Géza. Három itt töltött éve alatt a gépész szakosztályon 24 tantárgyat tanult, és a gépszerkezettani gyakorlatokon kivétel nélkül jeles osztályzatot kapott. A főiskola után egy évet töltött gyakorlaton, ennek befejezése után a kovács, kútfúró, harangöntő, lakatos, rézöntő, réz- és bronzműves szakmákból képesítést szerzett, és elsajátította a lokomobilok, gőzkazánok és stabilgépek kezelését. Az iskolák elvégzésekor végleg elhatározta, hogy autót akar konstruálni – ez már a szegedi évek óta érlelődött benne.
Legelső munkahelye a diósgyőri Vasgyár volt, ahol rövid ideig dolgozott; műszaki rajzolóként tevékenykedett üzemmérnöki diplomával. Még 1901-ben bevonult a kötelező katonai szolgálatra Pólába a haditengerészethez. Itt – amellett hogy gépkezelői tanfolyamot végzett – megismerkedett Horthy Miklóssal, aki akkor a Kranlich torpedó-naszád parancsnoka volt. Horthy felfigyelt a tehetséges szakemberre. Galamb József egy év múlva leszerelhetett, szakaszvezetői rangban hagyta ott a katonaságot. Ezután dolgozott Hódmezővásárhelyen, Aradon és Békéscsabán, majd elnyerte a Magyar Automobil Rt. ösztöndíját, és Németországba utazhatott. Az ösztöndíj értéke 300 korona volt, amelyet tanulmányútra lehetett fordítani. Abban az esetben, ha a díjazott nem tér vissza a munkahelyére a tanulmányi idő letelte után, a pénzösszeget vissza kellett fizetni. 1903-ban kezdte meg külföldi útját, ellátogatott Drezdába, Hamburgba, Berlinbe és Brémába. Ez utóbbi helyen pénze elfogyott, ezért hajógyárimunkásnak állt. Dolgozott Düsseldorfban egy kisebb üzemben, majd a Daimler és a Benz gyáraiban. Ezután érkezett el Frankfurt am Mainbe, ahol az Adler Automobil Company alkalmazottja lett, motor összeszerelőként dolgozott.
Galamb József elhatározta, hogy eljut az Amerikai Egyesült Államokba, minden vágya volt, hogy megtekintse az 1904-es autó-világkiállítást St. Louisban. Útközben útba ejtette Hollandia és Belgium gyárait. Hamburgból New Yorkba hajózott és az Amerikai Egyesült Államokba 1903. október 6-án érkezett meg. Mivel pénzszűkében volt, a világvárosban azonnal munkát keresett; dolgozott egy dobozgyárban, majd a Thomson Leather Decoratin Company-nál, az Albany State House falburkolatának díszítésén munkálkodott. Hamarosan Pittsburghbe utazott, ahol szerszámkészítőként dolgozott a Westinghouse Műveknél. Napi 9-10 órát dolgozott 25 cent órabérért. Keresetéből végül el tudott jutni a világkiállításra. Eredeti tervei szerint visszatért volna az Adler-gyárba, de meggondolta magát és keletnek indult. Clevelandben a Stearn's Automobile Company alkalmazottja lett, karburátorokat készített. Ekkorra már elég jól elsajátította azangol nyelvet, ezért géptervezői állást keresett. Elsőként a Harris Automotive Press Company foglalkoztatta. A cég rotációs munkagépeket gyártott, heti fizetése 20 dollár volt. 1905 nyarán meglátogatta egyik detroiti barátját. A város - az autógyártás korabeli központja - annyira megtetszett Galambnak, hogy itt is telepedett le. Detroitban találkozott Henry Forddal is. 20 dolláros állást keresett, de a Cadillac-gyár csak 18-at ígért neki. Hogy megbizonyosodjanak gépészmérnöki tudásáról, lehetőséget adtak neki próbatervezésre. A bemutatkozás előtt szerencsét próbált Ford gyárában, ahol azonnal megkapta az igényelt heti fizetést, és tíz nap múlva munkába is állhatott. A próbatervezésen egy speciális fúrót tervezett, amelyet egy hátsó fékdob gyártáshoz lehetett használni. A két óra alatt elvégzett munkát a Cadillac állásajánlattal díjazta volna, de Galamb közölte a gyárral, hogy már Fordhoz szerződött. Ebédjét fogyasztva lépett oda hozzá egyik barátja, akivel együtt hajózott Németországból az Egyesült Államokba. Az anekdota szerint eképpen invitálta a mérnököt: „Gyere Jóska hozzánk állásba!” Galamb erre az eseményre visszaemlékezve később azt mondta: „Így esett hogy három órán belül három helyre mehettem volna dolgozni”.
Konstruktőrként a Ford Motor Companynál 1905. december 11-én kezdett dolgozni mint műszaki rajzoló. Ekkoriban a cég szinte semmit sem gyártott önállóan; az alkatrészeket a Dodge Brothers szállította. Áttervezte a Ford N-modell hűtőrendszerét, majd a gyár főkonstruktőre lett.
A szintén magyar Farkas Jenővel és az amerikai Childe Wills-szel együtt ő alkotta meg a híres Ford T-modell alkatrészeinek tervét. Ez egy egyszerűen kezelhető, olcsón előállítható autó volt. A szerkezeti tervek elkészítése során jelentős műszaki újításokat alkalmazott. Az ő találmánya volt az elsőként a T-modellnél alkalmazott bolygóműves sebességváltó és a levehető hengerfejű motor. 1913-ban Galamb vezetésével áttértek a mozgó összeszerelő szalagon történő sorozatgyártásra. E forradalmi újításnak köszönhetően a T-modell a világ első népautója lett. Húsz évig gyártották, közel 15 és fél millió darab készült belőle. 2000-ben 100 000 működőképes darab volt fellelhető a világon.
1911-ben, majd 1913-ban is hazalátogatott Makóra. A gyár főkonstruktőre, később főmérnöke és igazgatója lett. 1915-től Farkas Jenővel elkészítette a Fordson-traktor, az első sorozatgyártású mezőgazdasági jármű terveit. Elsősorban nőknek szánták, hogy férjük helyett dolgozhassanak a farmon, amíg azok a fronton szolgálnak. Belőle hat darabot küldött szülővárosába testvéreinek, akik nem csak dolgoztak vele, hanem egyúttal propagálták is a Ford-járműveket, és családi céget alapítottak. A telephely a Deák Ferenc utca sarkán állt (az épületet emléktáblával jelölte meg a makói városvezetés), autókat, traktorokat, alkatrészeket forgalmaztak, amik Fiumén keresztül érkeztek ide. A növekvő kereslet hatására később Békéscsabán is lerakatot alapítottak, ahol 35 szerelő dolgozott. Ugyanebben az évben kapta meg Galamb József az amerikai állampolgárságot. 1917-ben megnősült, Dorotty Beckhammel közös házasságukból két leány, Clair (*1918) és Gloria (*1927) született.
1921-ben ösztöndíjat alapított olyan makói, szegény sorsú diákoknak, akik felső ipari iskolában kívántak tanulni. Az első világháború alatt hadigépek szerkesztésével foglalkozott (tengeralattjáró keresővel, harckocsikkal, repülőgépmotorokkal), de sebesültszállító autók tervét is neki köszönhetjük. Részt vett a V-8 modell kialakításában, pályamunkás vagonokat és teherautókat is tervezett. A Ford máig használt márkafeliratát is ő rajzolta meg. Több alkalommal hazalátogatott Magyarországra, és előadásokat tartott a Magyar Mérnök és Építész Egyletben. Utoljára 1932-ben járt idehaza. A második világháború idején Ford ötletére hathengeres kiskocsit tervezett, amely 1942-ben készült el. Henry Ford megbecsülte tehetséges tervezőjét; Galamb évi fizetése 75 000 dollár volt - ennyit keresett az Egyesült Államok elnöke is.
Az 1940-es években a magyarországi politikai helyzet miatt már nem tarthatta családjával a kapcsolatot. Testvérei idehaza folyamatos zaklatásnak voltak kitéve, a makói lerakatot államosították, az ÁVO lefoglalta a tengerentúlról érkező pótalkatrészeket. Gyomorbántalmak, majd szívbetegség gyötörte. Egy szívrohamból felépülve 1944 márciusában az aktív munkától visszavonult, orvosai tanácsára kérte nyugdíjazását. Az amerikai autógyártás fellegvárában, Detroitban halt meg 1955-ben.
