1934 és 1963 között a San Francisco-i öbölben lévő Alcatraz-szigeten működött börtön a világ legbiztosabb büntetés végrehajtási intézete volt. A legveszélyesebb bűnözőket tartották itt fogva, többek közt Al Caponét is. Lehetetlen volt a Szikláról megszökni az öböl veszélyes áramlatai, a halálos örvények és a rendkívül hideg víz miatt. Szokták emlegetni a vérszomjas cápákat is, de arrafelé csak kisebb, dögevő cápák úszkálnak, amelyek nem veszélyesek az emberre. 

A börtön fennállása alatt összesen 14 szökési kísérlet volt, amelyekben 36 ember vett részt.  Huszonhármat elfogtak, hatot lelőttek, kettő megfulladt. Öt embernek nyoma veszett, akik valószínűleg szintén megfulladtak, de köztük volt az a három rab is, akiknek szökéséről a film is szólt, és akikről lehetségesnek tartják, hogy mégis túlélték. 

1962-ben június 11. éjszakáján Frank Morris, John és Clarance Anglin (gyaníthatóan) sikeresen megszöktek az Alcatrazból. Papírmasé bábukat helyeztek az ágyukba, majd kihegyezett kanalak segítségével eljutottak a szellőzőrendszerbe, kicselezték az őröket, és a mintegy félszáz esőkabátból készített tutajukkal elhajóztak a szigetről. Bár túlélési esélyük kicsi volt, egyes feltételezések szerint épségben kijuthattak a partra. (A szökés körülményeiről a Múlt-kor mesél egy érdekes cikkben.) 

Alig egy évre rá, 1963. március 23-án az utolsó rabokat is elszállították a szigetről, az Alcatraz bezárt. A hivatalos indoklás pénzügyi jellegű volt: az épület olyannyira leromlott. hogy olcsóbbnak találtak egy új börtönt építeni, mint azt felújítani, és a rabok ellátása is sokszorosába került más börtönökénél. 

Az üresen álló sziget hasznosítására több terv is felmerült, még egy nyugati parti szabadságszobor ötletét is felvetették. 1969-ben indiánok az 1868-as Fort Laramie egyezményre hivatkozva, az elhagyott területek birtokba vételének jogán elfoglalták a szigetet. Elég feszült lett a helyzet köztük és a hatóságok között, mert az indiánok a sziget átadását követelték. Egy tudományos-kulturális központot akartak ott létrehozni, ám nem sikerült, és az Alcatraz hamar a lezüllött őslakosok nyomortanyájává vált. 1971-ben végül kitoloncolták őket. (Forrás: wikipedia) 

Ez azért érdekes a film forgatásának szempontjából, mert az indiánok számos graffitit festettek az épület falaira, amelyet a későbbiekben, már a börtön múzeummá nyilvánításának idején, gondosan megőriztek. A filmet gyártó filmstúdió jelentős összeget költött arra, hogy a börtönt a 60-as évekbeli állapotnak megfelelően újítsák fel, így átmenetileg el kellett tüntetni a graffitiket is. A forgatás után szerencsésen el tudták róluk távolítani a festést.

Don Siegel (Piszkos Harry, A testrablók támadása) stábja főleg éjszaka dolgozhatott, mert a turisták a forgatás alatt is látogathatták a Sziklát. Ez nagyon megnehezítette a munkálatokat, különösen, hogy a nézelődök nem tudtak uralkodni magukon, amikor meglátták Clint Eastwoodot. A színész azzal vesztegette meg őket, hogy a jelenet végeztével autogramokat osztogat és szívesen elbeszélget velük. Eastwood a nyakas, jórészt nőkből álló műemlékvédelmiseket is megpuhította, mert a sármjával levette őket a lábukról.

De az eredeti helyszín komoly veszélyeket is rejtett magában: Clint Eastwood,  és a testvérpárt játszó Fred Ward és Jack Thibeau kaszkadőr nélkül másztak le a börtön falán. Olyannyira kockázatos mutatvány volt, hogy a rendező kétszer is azt hitte, hogy meg fognak halni.

 Az 1979-es bemutató után a szigetre látogató turisták leggyakoribb kérdése, hogy melyik volt Eastwood cellája.