Depende de donde vivas. En el código civil catalán por ejemplo existe la cuarta viudal y otras historias que protegen al viudo más que en el régimen civil general.
En el régimen general podría ser que sí, que pudiera tirarte de casa, aunque los hijos tienen obligación de alimentos hacia los padres y de alguna manera te tendría que ayudar si tú no pudieras mantenerte a ti mismo. Aunque en principio y en ausencia de testamento te correspondería un tercio del usufructo de sus bienes, y si no hay otros bienes de consideración en relación al valor de la vivienda sobre los que aplicar ese usufructo, tendrías un tercio del usufructo de la vivienda, por lo que no te podría tirar de casa, ni tú a él. Si tu mujer hiciera testamento y te dejara el usufructo íntegro sobre la vivienda en cambio sería tranquilamente para ti (el derecho de uso, nunca la propiedad, que por defecto al 100% y como mínimo en 2/3 si hace testamento, será siempre para vuestro hijo).