Não seria necessário qualquer comportamento anormal de forças, ou mesmo uma força teleológica guardiã da coerência temporal, para que viagens no tempo ocorram daquela forma. Tudo ocorreria seria regido por leis físicas comuns. O fato é que simplesmente temos um dado 'experimental' - o avô está vivo no dia tal e no local tal - e qualquer configuração que contrarie esse dado é impossível. Isso não implica, entretanto, que outras configurações que preservem aquele dado (o avô está vivo) sejam impossíveis, mesmo que tais configurações incluem voltas no tempo. O erro está em pensar que "há viagens no tempo => é possível alterações no passado" o que não é verdade - inúmeras viagens no tempo imagináveis não têm essa característica, como o loop descrito no início do tópico.
Aquele caso é mais curioso, pois a partícula parece-me existir "para sempre" - é como se um homem desse dez passos, e voltasse no tempo no momento que ele iniciou a caminhada, para dar dez passos, voltar no tempo e ficar assim (do ponto de vista dele) eternamente, enquanto para nós a existência dele se resume aquele período temporal curto que ele dá dez passos. Isso só não seria possível do ponto de vista humano porque ele não tem como voltar do mesmo jeito, eventualmente ele envelheceria, e assim já houve mudança no passado.
Arrisco a dizer que alterar o passado seria tão absurdo quanto alterar o distante no presente (considerando espaço e tempo uma mesma estrutura, tanto o distante-presente, quanto o passado [distante ou não], são pontos que guardam relações parecidas com o aqui-agora). O que temos são diversos pontos espaços-temporais que são como são, o termo "alteração" provém da comparação de dois pontos (um posterior temporalmente ao outro). Mas não tem como alterar o ponto passado em si mesmo, pois a comparação seria com ele próprio, num "momento anterior". O que é absurdo, pois tal ponto representa a mesma coordenada temporal e espacial.
Isso não quer dizer, claro, que não haja outros motivos físicos. Uma viagem no tempo quebraria o 'determinismo' do universo, pois não teríamos sequer como estimar o futuro com base no que temos no presente, pois sem qualquer aviso prévio algo pode vir do futuro e estragar todas nossas previsões. Isso seria uma várzea - mas não sei até onde isso é um problema da Física e não apenas dos físicos. Em termos de literatura é algo ruim, como em HP3 - "Por que afinal Harry voltou do futuro, e simplesmente não fora derrotado pelos dementadores?". Não há porquê - o que ocorreu foi simplesmente a aparição daquela configuração bastante otimista, configuração que, por outro lado, em nada quebra as leis da física.
Mas seria igualmente bizarro se fossemos informados, no início do livro sete, que Harry voltou do futuro, destruiu todas as horcruxes e derrotou Voldemort. Harry ficaria feliz com a notícia, seria informado pelo seu eu-futuro da localização das horcruxes e como melhor encontrar Voldemort, treinaria durante anos e derrotaria Voldemort (e ainda estaria seguro para fazê-lo, afinal já o fizera).