Pequeños ajustes en menu ya hecho

Buenas, he comenzado recientemente con esto del css. He hecho el siguiente menu, me ha costado mucho hacerlo, pero ya se comporta casi como quiero:



y quiero que los items que no estan hover queden alineados hacia abajo, es decir así:


Por mucho que le doy vueltas, no lo consigo, ni con padding ni con margin ni con position he conseguido hacer que los items en verde queden más abajo que los de blanco.

Aquí el css de mi menú:

Código :

/*menu*/
#menu ul {
padding: 14px 0 0 0;
background-color: #564a18;
display:block;
height:50px;
font-family: georgia, serif;
font-size: 9pt;
color: white;
font-weight:bold;
text-align: center;
list-style-type: none;
}
#menu ul li {
   margin: 0px 4px 0px 4px;
   float: left;
}
#menu ul li a {
padding: 14px 0 0 0;/*0.5em;*/
   display: block;
   width: 100px;
   height: 30px;
   text-decoration: none;
   color: white;
   border-width: 1px;
    border-color: #fff;
    border-style: solid;
   background: #857d2b;
}
#menu ul li a:hover {
   color:black;
   border-color: #fff;
    border-style: solid;
   background:white;
}
#menu ul li a.selected {
   padding: 6px;/*0.5em;*/
   display: block;
   width: 100px;
   height: 40px;
   color:#000000;
   background: white;
   margin-left:-4px;
}
#menu ul li.first {
   margin: 0px 0px 0px 4px;
   }

Gracias!

porque no pruebas con esto:

#menu ul li a:hover {
height: 50px;
}

a ver que tal

Este medidía lo pruebo, aunque creo que ya lo hice... Luego posteo que tal ha ido.
Gracias por la respuesta.

No ha funcionado... Tendría que hacer que los ul li a (no los hover) se hicieran más bajos (como en las imágenes) que los ul li a.selected.
¿Algún alma caritativa?

no se si te entendí bien...quieres hacer que al seleccionar una ficha el resto de las fichas se bajen?....no te resultaría mas fácil hacerlo al revés? que al seleccionar la ficha se alzara sobre el resto?

esto ultimo es lo que yo te propuse hacer, salvo que al sobrepasarlo en lugar de seleccionarlo

porque no dejas un enlace al menú para ver como funciona?

Aqui te dejo un enlace.
http://88.2.171.209/prueba/ejemplo.html

Creo que tienes razón pero no se la manera de hacerlo ¿Y como seria para ajustarlo hacia abajo sin que se me amplie el fondo del menu?
¿Me puedes indicar más o menos?

Muchísimas gracias.