Bem, minha tese é que esse parece ser um dos problemas dos filmes porque ocorreu de o diretor e produção comprimirem os fatos em poucas cenas para apresentarem um "Saruman descuidado" enquanto que nos livros ele é descrito como sendo mais sutil (e lento) na maturação e ponderação dos planos do que o que foi apresentado no conselho durante o filme do Hobbit.
Se formos de acordo com Tolkien, conforme se relata, durante a maior parte da missão Saruman se manteve ora fiel ora dissimulado (escondido) o bastante para estar acima de suspeitas comuns. E o mago manteve um agente camuflado direto em Rohan por anos sem que o reino dos cavaleiros tivesse forças para desbaratá-lo sendo que o trabalho mais ofensivo só começou a se mostrar com rastro de evidências nos poucos anos que precedem a guerra do anel.
Pessoalmente eu creio que o desenvolvimento do personagem devia ir além dos filmes do PJ sim. Eu tendo a pensar que o Cinzento, sendo Maia, com habilidades premonitórias, de ler sinais e de sonhos mais aguçadas que as de um elfo deve ter recebido certamente algumas “bad vibrations” em alguns pontos do contato com o Branco mas nada disso é mencionado pelo autor. Pela leitura só temos que o coração de um Maia é um enigma e que eles se irritam em quem interfere nos negócios deles, então penso que ninguém foi corajoso o bastante pra entrar nas suspeitas de Gandalf naqueles anos.
De fato, Gandalf certamente não detinha "olhos comuns" como humanos e elfos, mas mesmo sendo sábio nos livros se diz que quando a distância é muito grande os sábios também ficam cegos. Ou seja, seria possível Mithrandir receber premonição de vez em quando? Acredito que sim. Mas ficamos na especulação.
Pessoalmente algumas pessoas parecem ter uma intuição de que Gandalf era a melhor opção tanto em Aman quanto da parte de Galadriel, então creio que seres como Mandos ou Manwe sabiam bem mais do que deixaram revelar porque no Silma também se diz que pouca coisa surpreende os Poderes quando estão reunidos (Mandos, por exemplo, só chorou uma vez).