Zsidók tulajdonképpen már a római korban is élnek hazánk területén. Amikor i. sz. 70-ben a rómaiak lerombolják a jeruzsálemi Templomot, megkezdődik a nagy diaszpóra, vagyis a zsidóság szétszóratása a föld minden tájára. Hazánk területének zsidó lakosságát egyrészt Rómából érkező zsidó kereskedők, hivatalnokok, iparosok, másrészt Júdea területéről idehurcolt rabszolgák alkotják. Ez utóbbiak azzal a három légióval érkeznek, akiket 132 és 135 között a Bar Kochba-féle szabadságharc leverésére vezényelnek innét Júdeába. A zsidó rabszolgákból verbuvált kisegítőegységek ezekkel a légiókkal térnek vissza Pannónia területére, egészen pontosan Aquincumba (Óbuda) és Savariába (Szombathely).
A zsidóknak hazánk területén való honfoglalás előtti jelenlétét, zsidó közösségek működését leletek tanúsítják. Az Intercisa nevű település (Dunaújváros/Dunapentele) maradványai közt például egy olyan fogadalmi táblát tártak fel, melyet 222-235 táján egy Cosmius nevű vámállomásfőnök (praepositus stationis) állított Alexander
Severus császár és anyja tiszteletére. Cosmius a tábla tanúsága szerint „a zsidók zsinagógájának elnöke". Aquincumból „Egy az Isten" felirattal, menórával és arcképes domborművel díszített családi sírkő, Savariából és más római településekről (például Pécs, Dombóvár) pedig menóradíszítésű lámpások, pecsétnyomók, egyéb tárgyak tanúskodnak hajdani zsidó gazdáikról. Sárváron (Vas megye) egy 4. századra datálható, zsidónak gondolható temetőt is feltártak. Egyes történészek szerint azonban az 5. század közepére a nagyobb számú zsidó jelenlét a barbár törzsek támadásai miatt a térségben megszűnik.