Emmanuel e Lillian Joyce sono una coppia di mezz'età appartenente all'alta borghesia londinese ebraica e cosmopolita. Lui è un drammaturgo di successo, lei è una donna fragile, più giovane del marito, raffinata e mondana. A mediare tra i due, il manager tuttofare Jimmy Sullivan. I Joyce conducono una vita da girovaghi: Londra e New York per il lavoro di Emmanuel, ma anche frequenti vacanze in varie località sul Mediterraneo. Emmanuel tradisce Lillian con molta disinvoltura, con le giovani attrici e le segretarie che subiscono il suo carisma. Complice anche l'abile lavoro di Jimmy, Lillian ignora le infedeltà del marito e conduce una vita ovattata. Quando c'è bisogno di una nuova segretaria, entra in scena Alberta, una ragazza molto giovane e ingenua che proviene da una numerosa famiglia di campagna. Alberta si ritrova catapultata all'improvviso in un mondo a lei del tutto nuovo. Mentre i due uomini cominciano a subire il fascino semplice della ragazza e Lillian inizia a temere che Alberta diventi la prossima amante di suo marito, l'irrequieto quartetto si trasferisce su un'isola greca, dove le dinamiche fra i quattro personaggi prenderanno una piega inaspettata...
Londra, anni Sessanta. Sono trascorsi vent'anni da quando Julius è venuto a mancare, ma il suo ultimo gesto eroico ha lasciato un segno indelebile nelle vite di chi gli era vicino. Emma, la figlia minore, ventisette anni, lavora nella casa editrice di famiglia e non mostra alcun interesse verso il matrimonio. Al contrario, Cressida, la maggiore, è troppo occupata a struggersi a causa dei suoi amanti, spesso uomini sposati, per concentrarsi sulla carriera di pianista. Nel frattempo Esme, la vedova di Julius, ancora attraente alla soglia dei sessant'anni, rifugge la solitudine perdendosi nella routine domestica della sua bellissima casa color rosa pesca. E poi c'è Felix, ex amante di Esme e suo unico vero amore, che l'ha lasciata quando il marito è scomparso e torna in scena dopo vent'anni di assenza. E infine Dan, un estraneo. Le tre donne e i due uomini, legati da un filo che solca presente e passato, si ritrovano a trascorrere un fine settimana tutti insieme in campagna: caratteri e personalità, segreti e lati nascosti, emergeranno attimo dopo attimo in queste giornate intense, disastrose e rivelatrici, sulle quali incombe, prepotente, l'ombra di Julius.
E alla fine sono arrivati gli anni Cinquanta. Quando la Duchessa viene a mancare, porta via con sé gli ultimi frammenti di un mondo che sta scomparendo: quello della servitù in casa, della classe sociale, della tradizione. È il mondo in cui i Cazalet sono cresciuti. Louise, ormai divorziata, resta invischiata in una relazione pericolosa, mentre Polly e Clary faticano a conciliare il matrimonio e la maternità con le loro idee e ambizioni. Hugh e Edward, ormai sessantenni, si sentono mal equipaggiati per questo mondo moderno; mentre Villy, da tempo abbandonata dal marito, alla fine deve imparare a vivere in maniera indipendente. Ma sarà Rachel, che ha sempre vissuto per gli altri, a dover affrontare la sfida più difficile... A Natale tutte le vicende convergono, e una nuova generazione Cazalet si ritrova a Home Place. Solo una cosa è certa: niente sarà mai più lo stesso.
È il settembre del 1939, le calde giornate scandite da scorribande e lauti pasti in famiglia sono finite e l'ombra della guerra è sopraggiunta a addensare nubi sulle vite dei Cazalet. A Home Place, le finestre sono oscurate e il cibo inizia a scarseggiare, in lontananza si sentono gli spari e il cielo non è mai vuoto, nemmeno quando c'è il sole. Ognuno cerca di allontanare i cattivi pensieri, ma quando cala il silenzio è difficile non farsi sopraffare dalle proprie paure. A riprendere le fila del racconto sono le tre ragazze: Louise insegue il sogno della recitazione a Londra, dove sperimenta uno stile di vita tutto nuovo, in cui le rigide regole dei Cazalet lasciano spazio al primo paio di pantaloni, alle prime esperienze amorose, a incontri interessanti ma anche a una spiacevole sorpresa. Clary sogna qualcuno di cui innamorarsi e si cimenta nella scrittura con una serie di toccanti lettere al padre partito per la guerra, fino all'arrivo di una telefonata che la lascerà sconvolta. E infine Polly, ancora in cerca della sua vocazione, risente dell'inevitabile conflitto adolescenziale con la madre e, più di tutti, soffre la reclusione domestica e teme il futuro, troppo giovane e troppo vecchia per qualsiasi cosa. Tutte e tre aspettano con ansia di poter diventare grandi e fremono per la conquista della propria libertà. Insieme a loro, fra tradimenti, segreti, nascite e lutti inaspettati, l'intera famiglia vive in un clima sospeso mentre attende che la vita torni a essere quella di prima.