La aljama coincidía con el barrio de San Martín, fue motivo de pleito durante cinco siglos y expresión de una gran población judía que aún hoy hace al vulgo usar como insulto el epíteto “los rabudos”. También los habitantes de Amusco, utilizaban el término “judío” como insulto popular hacia los de Frómista. La Sinagoga de esta localidad, después de la expulsión de 1492, se convirtió en casa particular.