Frederick Douglass a marylandi Tuckahoe településen látta meg a napvilágot egy ültetvényes rabszolganő gyermekeként. „Nem tudom, pontosan hány éves vagyok, soha nem láttam semmilyen hivatalos dokumentumot, ami erről tanúskodna. A rabszolgák nagy része körülbelül annyit tud életkoráról, mint amennyit egy ló tud a sajátjáról, és tudtommal éppen ez a legtöbb gazda vágya: tudatlanságban tartani a rabszolgákat. Nem emlékszem, hogy találkoztam volna olyan rabszolgával, aki tudta, mikor van a születésnapja” – írja memoárjában.
A kis Frederick apját sem ismerte. Anyjával, egy különösen sötét bőrű nővel egész életében négy vagy öt alkalommal találkozott, a marylandi szokások szerint ugyanis tizenkét hónapos koruk előtt a fekete gyermekeket elszakították szüleiktől, és egy idős, már munkaképtelen asszony gondjaira bízták őket. A szóbeszéd szerint Douglass apja maga a fehér ültetvényes gazda volt, de biztos információt erről – akárcsak életkoráról – soha nem sikerült szereznie.
Életkörülményei következtében igen hamar szembesült az emberi kegyetlenséggel és brutalitással. Szülői szeretet helyett durva, véres jeleneteknek volt szem- és fültanúja. Egyik legmegrázóbb gyerekkori élménye volt, amikor megkötözött és meztelenre vetkőztetett nagynénjét a szeme láttára korbácsolták véresre.