Oi ROPS, tudo bem?
Em geral os dispositivos(Interface de rede) tem sua própria identificação de mac-address.
Na forma que você mencionou, está olhando no ponto de vista somente do PC/Servidor, mas cada interfaces de switch estabelece uma conexão física/elétrica com outro dispositivo de rede.
Em um ambiente de rede a relação origem e destino são fundamentais para uma entrega de dados bem sucedida. Lembrando também, que uma ou mais, das interfaces de um switch pode realizar um trunk ligando a outro switch e não somente a maquinas.
Com isso da mesma forma que você visualiza no switch diversos destino(mac-address), no PC/Servidor com o comando arp -a, também é possível fazer esta relação.
Caso queira aprofundar-se no tema, procure sobre: mapeamento camada2, spanning tree, layer 2 protocol e Modelo OSI.
Segue algumas sugestões:
http://compnetworking.about.com/od/networkprotocolsip/l/aa062202a.htm
http://under-linux.org/blogs/magnun/curso-de-redes-camada-de-enlace-parte-3-410/
http://standards.ieee.org/develop/regauth/tut/macgrp.pdf
Sds,
Marcelo Guerra