.お茶は、イングランドで人気を呼んだ当初、とても高価な飲み物でした。（唯一のお茶の原産地であった）中国からの長く危険な航海を経て届けられるお茶の供給はいつも限られていて、たいてい需要を満たすものではありませんでした。当然、富裕層と貴族階級だけがこの希少な贅沢を味わうことができました。

当初、お茶はディナーの後に、応接間でお客様にすすめられる飲み物のうちのひとつとしてふるまわれていました。

午後の時間（アフタヌーン）に軽食といっしょにお茶を出す習慣は、7代目ベッドフォード公爵夫人アンナ(1788-1861)が1800年代初期にはじめたのがはじまりだと思われます。その当時のイングランドでは、伝統的に、食事は1日に2回だけでした。朝ごはんにビールとパンと牛肉を取ったあとは、夜の8時くらいにディナーのごちそうを取るまで何もありませんでした。

食事の間隔がこんなに長いと、夕暮れ時にもなると公爵夫人の気は滅入り、ディナーの前に何か食べるものがほしいと感じたのも無理はありません。そしてこの新しい食事と共にいただく飲み物として、当時イングランドで一番お洒落な飲み物であったお茶が選ばれたのです。

公爵夫人はウォバーン・アビーの彼女のお部屋に5時にアフタヌーンティーに友人たちを招待するようになりました。メニューは小さなケーキ、パンとバターのサンドイッチ、お菓子の盛り合わせ、そしてもちろんお茶、からなっていました。メニューにお茶が含まれていたことで彼女の招待は熱烈に受け入れられました。

彼女は、ウォバーンではBlue Drawing Room（ブルー・ドローウィング・ルーム）と呼ばれるお部屋で、ロンドンではベルグレイヴ・スクエアの自宅あるいは、ヴィクトリア女王に女官として仕えていたときにはその宮殿で、友人たちをもてなしました。

彼女は、夏の間ロンドンで「お茶と草原でのお散歩」へ友人たちを招待しています。（その当時はウエスト・エンドにまだ広い草原が開放されていました。）やがて他の交際家たちも彼女のアイデアを採り入れて友人たちを独自のアフタヌーンティーへ招待するようになりました。

公爵夫人がアフタヌーンティーをはじめたのがいつか正確には分かりませんが、その習慣は1840年代までには確立しています。

1841年、ウィンザー城から送られた手紙に公爵夫人はこう書いています。「私の旧友、エスターハージー王子を忘れておりました。先日の午後5時に私がお茶をご一緒させていただいたか、お城にお誘いした8人のご婦人方とご一緒にいらっしゃった方なのですが。」

女優のファニー・ケンブルは1842年3月27日に書いた手紙の注釈で、初めてのアフタヌーンティーの経験について、こう表しています。ラトランドのベルボア城にて、招待客には彼女のほかにベッドフォード公爵夫人がいました。「プライベートでとても不思議な、ベッドフォード公爵夫人のお部屋への招待状を何度かいただいていました。ご夫人は”少人数の選ばれた”お城の女性客の輪の中で、品の良いやかんを手にお茶を入れたり飲んだりと忙しくされていました。」彼女はさらにこう付け加えています。「今回のとてもプライベートなアフタヌーンティーのように今や広く開かれる人気の”5時のお茶”は、イングランドの文明史上なかったと思います。」

1840年代中頃までにはアフタヌーンティーはビュッフェテーブルに軽食と共に並べられるまでに素晴らしいものになりました。ケーキ、パンとバター、高級ビスケット、アイスクリーム、フルーツ、サンドイッチに、お茶、コーヒー、クラレットのワイン、シェリー酒、シャンパンが銀製の大きな容器から注がれました。ヴィクトリア時代初期、サンドイッチの具はハムかタンかビーフのみでした。きゅうりのサンドイッチがメニューに加えられお茶といっしょにいただく定番となるのは1870年代になってからのことです。

デューク公爵邸として現存するウォバーン・アビーのブルー・ドローウィング・ルームでは、今でもアフタヌーンティーをいただくことができます。多くの高級ホテルもまたこの伝統を取り入れていhttp://www.teamuseum-shop.jpます。特にロンドンのリッツホテルやクラリッジスホテルでは200年ほど前ベッドフォード公爵夫人が時を過ごした大邸宅を思わせる豪華さの中でアフタヌーンティーをいただくことができます。