Primeiramente, devemos recordar a origem dos "elfos" na literatura. Eles eram criaturas místicas da Mitologia Nórdica e do Paganismo Germânico, descritos como seres belos e luminosos, ou ainda seres semi-divinos, mágicos, semelhantes às fadas ou ninfas. Eram divindades menores da natureza e da fertilidade, de grande beleza, que habitavam as florestas do passado. Tolkien, quando criou os "elfos" da Terra-Média, baseou-se nessa teoria, modificando ligeiramente a aparência dos mesmos em alguns sentidos (altura por exemplo), mas certamente visualizava-os como seres mágicos, ligados à natureza.
Notem que as "magias élficas" normalmente estão ligadas à natureza (comunicação com animais, o controle das águas do Bruinen por Elrond, etc...) o que solidifica a idéia da ligação deles com a natureza (ou do poder deles estar de certa forma ligado à mesma). Outra teoria para comprovar a natureza mágica dos elfos (e sua habilidade de manipular a magia) seriam os Anéis de Poder. A magia dos anéis mantinha os reinos élficos eternamente belos, assim como "camuflados" da visão de Sauron e de seus servos (essa foi a razão de nunca terem sido recuperados pelo Senhor do Escuro, como ocorreu com os dos homens e anões). Portanto, se os anéis foram forjados pelos elfos em Eregion, e continham o poder (magia) de manter seus reinos "seguros" e belos, o poder contido neles teria de ter vindo dos elfos, eles teriam de ter sido encantados pelos mesmos, correto?
Um outro exemplo de magia élfica é o encantamento nos Portões de Mória. Sabemos que este foi colocado lá pelos elfos de Eregion, no tempo em que elfos e anões eram aliados e mantinham inclusive relações comerciais entre seus reinos (Eregion e Khazad-Dûm), novamente um exemplo de magia élfica. Além desses, existem diversos outros se observarmos detalhes da estória.
Concluíndo, acho que os elfos eram tanto seres muito experientes (longevidade) quanto mágicos, ligados à natureza e que utilizavam sua magia de forma "discreta" e mística (exatamente como as fadas). Nada de relâmpagos ou bolas de fogo, por exemplo, mas encantamentos ligados à natureza e ao conhecimento acumulado durante as Eras... bem, é mais ou menos isso...