Esta villa fue un importante centro sefardí, hasta tal punto que en la segunda mitad del siglo XV esta localidad contaba con mayor número de judíos que de cristianos. La Sinagoga, en los bajos del edificio que hoy es el hotel “La Sinagoga”, felizmente recuperado por sus propietarios, se atribuye a Rabí Yuçe Milano, administrador del IX Señor de Amusco, Don Pedro Manrique. Está en un sótano debido a que las leyes de Castilla prohibían que las sinagogas sobrepasaran a las iglesias en altura o que pudieran lucir más que ellas.