Cuando James Garner vio a la aspirante a actriz Lois Clarke en un mitin para el candidato presidencial demócrata de 1956, Adlai Stevenson, se alegró de ver que ella también había llegado sin fecha. Se habían conocido unos días antes mientras estaban en la piscina en la barbacoa de un amigo. Garner lo calificó de amor a primera vista, diciendo que «flipó con esta chica. Era preciosa». Como no quería perder el tiempo, la invitó a cenar y salieron esa noche -y todas las noches siguientes- durante dos semanas hasta que se casaron en el juzgado de Beverly Hills el 17 de agosto de 1956.
Su familia estaba en contra del matrimonio, señalando lo diferentes que eran él y Clarke. Él era metodista, nacido y criado en Oklahoma; ella era judía y de toda la vida en Los Ángeles. «Pero ninguno de los dos fue nunca lo que se dice religioso, así que no fue un problema, al menos no para Lois y para mí», escribió Garner en sus memorias de 2012 The Garner Files. «Ninguno de los detractores se había parado a considerar que Lois y yo nos complementábamos. Lo que ellos veían como debilidades, nosotros lo veíamos como fortalezas».
Fue un segundo matrimonio para Clarke, que tuvo una hija, Kim. La pareja dio la bienvenida a su primer hijo en común, una niña a la que llamaron Gigi, dos años después. El nacimiento de Gigi y la adopción de Kim por parte de Garner consolidaron su familia.
Aunque su matrimonio finalmente duró 57 años hasta la muerte de Garner en 2014, no estuvo exento de pruebas. La pareja se separó durante tres meses en 1970, tras 14 años de matrimonio, y de nuevo en 1979. Esa separación duró 18 meses, durante los cuales Garner protagonizó la serie de televisión The Rockford Files y se rumoreó que salía con Lauren Bacall, estrella invitada en dos episodios. Garner siempre negó tales chismes. «Lois y yo nunca tuvimos problemas serios», dijo a People. «El 99% del problema eran las presiones de Rockford. No éramos nosotros, era yo que necesitaba alejarme para recomponer mi cabeza».»
«He trabajado con muchas actrices de gran apariencia, y me propongo no caer mal a ninguna de ellas», aclaró además. «También me propongo no enamorarme de ellas tampoco.»
Clarke soñó una vez con una carrera como actriz, pero con los años se dio cuenta de que la fama no era para ella. Como señaló People en un artículo de portada de 1985 sobre Garner, ella no quería «nada de la vida pública de su marido». La escritora Jane Hall describió su antigua residencia en Brentwood, California, como una «mansión con puertas de hierro… con vistas desde todas las habitaciones, pero con el mundo encerrado en el exterior»
Siguió siendo el firme sistema de apoyo de Garner, esperando entre bastidores. «Jim es un hombre bastante complicado y encubre muchas heridas. Al crecer sufrió abusos, soledad y privaciones», dijo Clarke a People, presumiblemente refiriéndose a la muerte de su madre, probablemente a causa de un aborto fallido, cuando tenía 4 años, y al abuso físico que sufrió a manos de su madrastra. Cuando su marido sufrió úlceras y depresión irritada por la tensión financiera en 1980, Garner dijo que «se quedó conmigo», y añadió: «Supongo que ella también es testaruda». En el apéndice de Clarke a las memorias de Garner, ésta calificó su larga unión como «un milagro»