Posteriormente, em 1990, foi um dos fundadores do Partido da Social Democracia Brasileira, o PSDB. Ainda em 1990, Alckmin foi reeleito deputado federal por São Paulo como o quarto mais votado.Em 1991, foi eleito presidente do PSDB paulista após forçar a desistência de Sérgio Motta (aliado de FHC). Saiu pelo interior fundando diretórios e atraindo aliados. Esse trabalho chamou a atenção de Covas, que em 1994 o escolheu para ser seu vice na disputa pelo governo de São Paulo.Em 2000, Alckmin tentou chegar à Prefeitura de São Paulo, o que não ocorreu. Em janeiro de 2001, o tucano assumiu interinamente o governo do Estado de São Paulo, após afastamento médico de Mário Covas. Nas eleições de 2002, com bons índices de aprovação à sua gestão (56% de aprovação em outubro de 2002), foi reeleito governador derrotando José Genoino (PT) no segundo turno com 12.008.819 votos (58,6% dos votos válidos).Em toda sua trajetória, Alckmin sempre teve amplamente, dentro e fora da campanha, o apoio da mulher, Maria Lúcia, mais conhecida apenas como Lu Alckmin. Eles se conheceram em um baile e casaram em 1979, após a anulação de um casamento anterior de Maria Lúcia.