De Crawley familie behoort tot de elite van Engeland. De serie volgt hun leven en dat van hun dienaars. Het verhaal begint de dag nadat de bekende RMS Titanic zinkt. Hierbij komen de beide rechtmatige erven van hoofdpersonage Lord Grantham om het leven. Aangezien adellijke titels enkel kunnen worden overgedragen van man op man, komt zo een verre neef van Grantham, Matthew Crawley, in zicht als nieuwe erfgenaam van het familiefortuin. Matthew heeft echter geen blauw bloed en is een simpele middenklassejongen, een ambtenaar. Toch dringt zich nu een huwelijk met Lady Mary op, ook al kan Matthew haar aristocratische manier van leven maar weinig appreciëren. Ondertussen leren we ook het huispersoneel kennen. Hier ontstaat strijd tussen de oude en de nieuwe dienstbodes, John Bates en Thomas Barrow. Zij worden elkaars rivalen in de strijd voor controle over de onderverdiepingen. Matthew zelf lijkt ondertussen toch langzaam te smelten voor de charmes van Lady Mary, maar zij wijst zijn huwelijksvoorstel uiteindelijk af. Op deze en andere manieren geeft de serie een unieke inkijk in de Britse elite van voor de Eerste Wereldoorlog.
