Als sich seine Eltern scheiden liessen, lebte er  mit seiner Mutter in El Monte, doch als er gerade zehn Jahre alt war, wurde er durch einen harten Schicksalsschlag traumatisiert, als seine Mutter ermordet wurde.
Dies führte schliesslich zu einer schweren klinischen Depression, von der er sich nur schrittweise erholte.

Später verliess James Ellroy die Schule vorzeitig und ging für kurze Zeit zur Army. Doch der Weg zurück zur Normalität war schwer und er begann zu trinken, schliesslich war ein ein starker Alkoholiker und konsumierte nebenher auch noch Drogen.
In dieser Zeit war er obdachlos und er beging auch unzählige kleinere Straftaten und wurde immer wieder ins Gefängnis gesteckt. 
Als er eine schwere Lungenentzündung erlitt und bei der Untersuchung einen faustgrossen Abszess auf seiner Lunge fand, war dies die notwendige Initialzündung, um einen neuen Kurs in seinem Leben einzuschlagen.

1975 kam er vom Alkohol weg, zwei Jahre später stellte er auch den Konsum von Drogen ein. Er arbeitete als Caddy und begann nebenbei zu schreiben an.

1981 konnte er sein erstes Buch "Brown's Requiem" veröffentlichen und in ihm reifte der Ehrgeiz, der beste Krimi-Autor aller Zeiten zu werden.
Es folgten die Bücher "Clandestine" (82) und "Silent Terror" (86) - auch bekannt als "Killer on the Road", ehe er drei Bücher mit seiner Romanfigur "Lloyd Hopkins" verfasste - "Blood on the Moon" (84), "Because the Night" (84) und "Suicide Hill" (85).

Sein Schreibstil wird als unbarmherzig pessimistisch aber dennoch moralisch beschrieben. Eine dichte Handlung und die Verwendung einer lakonischen Sprache runden seinen Stil ab. Schliesslich erhielt er den Spitznamen "Demon Dog of American Crime Fiction".
Eines seiner Markenzeichen - verkürzte und markante Sätze - entstanden eher durch Zufall, als er vom Verleger aufgefordert wurde, sein Buch "White Jazz" (92) von 900 auf 350 Seiten zu reduzieren.
Da er sich nicht mit dem Gedanken anfreunden konnte, inhaltlich viel wegzulassen, begann er, Verben und andere Wörter zu streichen und verkürzte Sätze anzuwenden. Dies wurde schliesslich ein unverkennbares Merkmal seiner zukünftigen Arbeiten.

Das Buch "White Jazz" gehörte zum sogenannten L.A. Quartet bestehend aus vier Büchern, die restlichen drei waren "The Black Dahlia" (87), "The Big Nowhere" (88) und "L.A. Confidential" (90).
"The Black Dahlia" basiert auf einem wahren Mord, dem er sich emotional schon als Kind hingezogen fühlte, als er mit dem gewaltsamen Tod seiner Mutter klarkommen musste. Das Buch selbst reicherte er auch mit fiktionalen Elementen an.

1995 erschien mit "American Tabloid" das erste Buch einer neuen Trilogy, es folgten "The Cold Six Thousand" (01) und "Blood's a Rover" (09). Die Trilogie wurde mit "Underworld USA" tituliert.

Neben seinen Büchern schrieb James Ellroy auch Kurzgeschichten und Essays wie "Dick Contino's Blues" (94), "Crime Wave" (99) und "Destination: Morgue!" (04).

Als Mensch gilt er als jemand, der alle ethischen Wertvorstellungen verneint und sich nicht scheut, über sich selbst in den höchsten Tönen zu sprechen.
Ein gutes Beispiel ist sein Interview mit der New York Times, wo er sich folgendermassen beschrieb:
"Ich bin der Meister der Fiktion. Ich bin auch der grösste Romanautor, der je gelebt hat. Ich bin für die Kriminalliteratur das, was Tolstoy für die russische Literatur und Betthoven für die Musik ist".

Dazwischen schrieb James Ellroy seine Memoiren "My Dark Places" (96), wo er seine Erinnerungen an den Mord seiner Mutter und den später selbst getätigten aber erfolglos gebliebenen Nachforschungen nach dem Täter beschrieb. Später folgte ein weiteres autobiographisches Werk mit "The Hilliker Curse: My Pursuit of Women" (10).

Zu seinen jüngsten Plänen gehört das Verfassen eines neuen "L.A. Quartet", deren erstes Buch unter dem Titel "Perfidia" erscheinen soll.

Der grosse Erfolg seiner Bücher liess auch die Filmindustrie aufhorchen und mehrere seiner Romane wurden für die Kinoleinwand oder das Fernsehen adaptiert. 

James Ellroy war zweimal verheiratet, beide Ehen wurden geschieden.