Não, não, Tolkien está correto, Um errão desses não passaria despercebido por ninguém. A festa de despedida de Bilbo ocorre no ano 3001, na cronologia das terras do oeste. Pode-se se ver isso nos anais no final do livro. Bem, no ano 3018 é que realmente ocorrem todas essas coisas, todos os acontecimentos do livro. Está lá no "Conto dos anos". Dê uma olhada.
O que acontece é que Tolkien quase não fala desses anos entre a partida de Bilbo e a partida de Frodo. Mas, se você ler bem, no capítulo "A sombra do passado", é dito várias coisas que Frodo fez enquanto Gandalf não vinha. Fala algo (pouco) sobre seus atos nos longos anos em que Gandalf ficou fora. Inclusive, Frodo atingiu o seu Qüinquagésimo aniversário.
Ou seja, está tudo lá...