El romance más famoso que tuvo Albert Einstein fue con una supuesta espía rusa, Margarita Konenkowa. Por aquella época la confrontación entre Estados Unidos y Rusia hizo que el FBI empezara a vigilar a Albert, puesto que sospechaba que tenía contacto con la KGB, en esas circunstancias ocurrió su acercamiento con la espía rusa, pues no se resistía a entablar romances con mujeres hermosas. Se pensaba que Einstein poseía información para fabricar armas nucleares. La espía pronto se dio cuenta que Albert sólo era un científico con una vida apacible, que no poseía información que pusiera en peligro a los norteamericanos. De todo este tema existe un libro escrito por Fred Jerome titulado El expediente Einstein. Este libro establece que en 1998, periódicos de todo el mundo reprodujeron las cartas de amor que Albert Einstein habría escrito a Margarita Konenkowa, la supuesta espía rusa. Sin embargo, nunca se probó la supuesta vinculación de Albert con los rusos. Hasta en sus 75 años, se le reconoce un romance con Johanna Fantova.

No vamos a juzgar la vida privada de este gran científico, la reflexión es aprender a separar los logros científicos de una persona y sus debilidades humanas. Al fin y al cabo todo científico es un ser de carne y hueso, con talentos, potencialidades y debilidades. No es el único personaje de la historia científica cuya personalidad y actitudes fuera de los ámbitos de la ciencia son cuestionables. Pero su vida privada queda en ese ámbito y no es parte de la historia de la ciencia.

Cuando la separación entre el gran físico y su esposa Mileva fue irremediable, el acuerdo de divorcio estableció que Albert le daría la mitad de su sueldo a Mileva, además de la cantidad íntegra concedida al otorgarle el premio Nobel. Con este dinero, Mileva compró unos departamentos para vivir de ellos. Se quedó con toda la carga que significa criar dos hijos, uno de ellos con una enfermedad mental difícil de manejar y con odio contra su padre, actitud que dolió mucho a Albert, quien terminó alejándose de su familia para hacer una nueva vida junto a su prima Elsa.

En 1918, Albert Einstein se casó con Elsa, formando una familia junto a las dos hijas que Elsa tuvo en su matrimonio anterior. Antes de casarse, Albert había coqueteado con la hermana de Elsa, de tal forma que tuvo que decidir entre casarse con Elsa o con su hermana Ilse, quien recibía con agrado sus atenciones; finalmente, se decidió por Elsa, a quien consideraba la esposa perfecta: seria, madura; no sólo una buena ama de casa, también lo cuidaba totalmente, lo atendía como su secretaria privada, llevaba toda su agenda social (entrevistas, invitaciones, viajes, etc.) y científica (conferencias, papers, etc.). Para ese entonces, Albert Einstein era muy famoso y muchas chicas se le acercaban para conocerlo y admirarlo. De esto, Albert sacó el máximo provecho posible y Elsa tuvo que hacer oídos sordos de todas estas aventuras y coqueteos; como la esposa oficial, lo acompañaba en todas sus actividades académicas, sabía que Albert nunca la dejaría por una jovencita. Ambos se entendían bien, se notaban felices. 

En Estados Unidos, la familia Einstein se componía de sus hijastras Margot y Maja. De Helen Dukas, su secretaria privada, se dice que también tuvo un romance con Albert y le sabía todos sus secretos, a tal punto que fue clave para estudiar sus cartas y demás información científica que dejó Albert al fallecer. También se le conoce otro romance con Betty Neumann, otra secretaria, a quien Albert Einstein propuso vivir juntos, pero ella lo rechazó.

Otras aventuras o pecados de Albert Einstein: con la viuda rica Toni Mendel y con Ethal Michanowski, a quien llenaba de regalos. También se conoce un romance con Margarete Lebac, una rubia austriaca, con quien salía públicamente. Todas estas infidelidades tuvo que soportar Elsa, quien en algunos casos le reclamaba, pero finalmente terminaba aceptando la explicación de su marido.