Mas foi no início dos anos 2000, quando suas ambições foram inicialmente frustradas, que ele perdeu para Angela Merkel em uma disputa pelo poder no partido. Merkel, a discreta química quântica do antigo leste comunista, e Merz, o advogado abertamente seguro de si do oeste, nunca chegaram a um acordo.
