McCarthy försökte under fredagskvällen lokal tid övertala tillräckligt många partikamrater och utlova eftergifter för att nå talmanspodiet. Men tydligen förgäves.
Bara en röst saknades efter den 14:e omröstningen.
Det amerikanska representanthuset röstar om att åter ajournerat det längsta talmansvalet på 164 år.
De hittills 14 omröstningarna visar på ett sargat parti där förre presidenten Donald Trumps anhängare skadskjutit Republikanerna inför en förvånad, förbryllad och smått road väljarkår.
Utbrytargruppen är för liten för att kunna välja en egen kandidat, men då republikanerna innehar en knapp majoritet i kammaren är de tillräckligt många för att stoppa McCarthy.
Republikanerna är sedan höstens mellanårsval i majoritet i representanthuset, som är den amerikanska kongressens underhus. En republikan ska således ersätta demokraten Nancy Pelosi på den viktiga talmansposten.