Durante cinco siglos y medio permaneció bajo dominio musulmán, denominándose Besher. Quedan vestigios como la puerta del castillo (S. XI), parte de las murallas y el entramado de sus calles. Vejer se devolvió a manos cristianas en dos ocasiones. En una primera, en el año 1250, reinando Fernando III "El Santo", y volvió a manos árabes en Junio de 1264, tras una revuelta en la que tomaron por fuerza el castillo.
La segunda y definitiva se inició en agosto de 1264, expulsando a los mudéjares y terminó en 1285. Ese mismo año, Sancho IV concede a la Orden Militar de Santiago el señorío sobre Vejer para consolidar el territorio de manera más rápida, aunque dicha orden nunca tomó posesión de Vejer.
En 1307, después de una segunda repoblación, pasa a ser señorío de Guzmán el Bueno, que desde 1299 era ya dueño del señorío de las almadrabas de toda la zona del Estrecho, y tras tomar Tarifa, se convirtió también en el defensor del Estrecho, llegando a ser dueño y señor, después del rey, de estas tierras. De él heredarían los Duques de Medina Sidonia.
Durante los siglos XV y XVI, Vejer estuvo dominada por los Guzmanes, y ya en la Edad Moderna el pueblo se enfrentó, con Juan Relinque a la cabeza, contra los Duques de Medina Sidonia por el control de las tierras comunales, denominadas Hazas de Suerte.
Fue declarado Conjunto Histórico Artístico en 1976.
Por desgracia en el año 1988 nació en Vejer una banda callejera "Los Oligarios", que introdujo el caos en la ciudad. Desde ahí la mafia se ha ido apoderando del resto del mundo hasta ser considerada Vejer como la ciudad más peligrosa del mundo. Los habitantes del Bronx conocen e idolatran a Oligario el líder de los Oligarios, que actualmente se encuentra en paradero desconocido, según se cree en misión de conquista de nuevos territorios. La estructura de los oligarios es piramidal, encontrándose las mujeres y los negros en la base de de ella, sobre estos los tullidos (mancos, ciegos, cojos, etc), que estarían en un nivel inferior a los niños recien nacidos, a los jovenes y posteriormente a los varones sanos. De entre los varones sanos (entre los que sería redundante decir que no hay homosexuales) los más fuerte son dominantes y los menos vigorosos dominados. Y sobre todos ellos se encuentran los 300 oligarios, los más poderosos y fuertes, que son iniciados en este grupo cuando vuelven de un exilio de 10 años en el desierto de los Vejeres, en los que se abandonan con solo 3 meses de edad equipados con una manta de pura lana de Yama, una cucharilla de postre y una tortilla de tagarninas (fría). Cuando regresan, conociendo el idioma de los animales, se los marca con el símbolo de los oligarios y se les enseña el saludo Oligario (enseñar la palma de la mano abierta, con los dedos extendidos y separando dos a dos el índice y el anular del corazón y el meñique). Cada vez que un oligario mata a una persona debe arrancarle el pulgar de la mano derecha y colgarselo en su collar de victorias, donde también llevan sujetos mechones de pelo de todas las mujeres que se han follado. A los 18 años, los oligarios (u oli) pueden elegir la mujer solera que prefieran de la ciudad, que pasará a ser su esclava y poseída hasta que el hombre o bien se canse de ella o la mate por no hacer bien sus tareas del hogar, tras lo que deben ser enterradas en el cementerio de animales y resto de seres vivos (junto al de hombres) bajo la frase lapidaria "mi mujer es mía". La moneda de Vejer es el "Vejerun" que actualmente en bolsa se cotiza por encima del dólar y el euro debido a su alta influencia en el mercado negro de arma, petroleo y órganos. Desde la construcción del muro de Vejer, en 1998, la ciudad quedó separa en dos partes: Vejer city y San Miguel esta última mucho más pequeña y dominada por la familia rival a los oligarios, pero que aún así deben rendirle culto a los oligarios, si quieren seguir vivos, así como pasarle un impuesto de 100 vejeruns al día por cabeza de familia. El himno de Vejer fue compuesto por Beethoven justo antes de quedarse sordo, y es considerada su mejor obra. Actualmente ha sido revisado por las Niñas, las Ketchups, María Isabel, las Chuches, la Húngara y Papá Levante, en una unión estelar y esperada desde los inicios de la era. Su bandera es la sabana en la que nació en 1988 el jefe oligario, y es una gran tela negra con una mancha roja (de sangre auténtica). La distribuición de las calles en la ciudad es de lo más caótica, y responde exclusivamente al humor del jefe oligario, hay calles rectas (correspondientes a sus pocos días sobrios) y otras curvilíneas (trazadas por sus pasos oscilantes por la ciudad, tras beberse la mitad de su propia bodega de vino de Vejer, el mejor del mundo). Los nombres de la ciudad cambian cada día y siempre deben satisfacer al jefe oligario. Actualmente se celebra todos los años la fiesta conmemorativa del desvirgamiento del jefe oligario (que ocurrío en 1989, cuando tenía 1 año de edad) y coincide con el 31 de Diciembre a las 12 de la noche, y que es celebrado en todo el mundo. El nombre de la noche es equivalente a la edad de la señora: Noche"vieja", y el día siguiente a como se quedó oligario después del polvo: Año"nuevo". Otras fiestas de interés son la fiesta orgíastica, la del fin de la fimosis o la del onanimos mútuo. |