Mot slutet av 1800-talet började en fransman vid namn Pierre de Coubertin att smida stora planer: han skulle återuppliva de olympiska spelen från det antika Grekland. Till en början var hans landsmän helt ointresserade av arrangemanget, men så småningom vann de Coubertin allt fler anhängare av idén. Till slut bestämdes det att tävlingarna skulle gå av stapeln i Aten 1896. Som en del av förberedelserna bildades IOK, Internationella olympiska komittén, vars medlemmar vid den här tiden bestod av 13 personer från lika många länder.
Invigningen hölls på Panathinaikostadion i Aten den 6 april 1896, på en arena som byggts nästan 1 500 år tidigare. De olympiska spelen i Aten 1896 liknade inte alls dagens moderna OS. Antalet sporter var betydligt färre än i dag, bara nio stycken. De grenar man tävlade i var friidrott, cykling, fäktning, gymnastik, skytte, simning, tennis, tyngdlyftning och brottning.
Maraton var en gren inom friidrott och den tävling som ådrog sig mest uppmärksamhet. Det var första gången ett internationellt maraton anordnades. Deltagarna sprang från Maraton till Aten, en sträcka på cirka 40 kilometer, och vann gjorde greken Spyridon Louis på tiden 2:58:50. Hundrametersfinalen brukar vara ett spännande event i dagens olympiska spel, men 1896 väckte grenen inte lika stor uppmärksamhet. Amerikanen Thomas Burke tog hem segern när han sprang sträckan på tolv sekunder. Han blev även först på 400 meter på tiden 54,2 sekunder. Det kan också nämnas att simtävlingarna utfördes på öppet vatten utanför hamnstaden Pireus, eftersom arrangörerna inte vill spendera pengar på att bygga en bassäng för detta ändamål. De olympiska spelen hölls på vårkanten, mellan 6 och 15 april 1896, och det var därför mycket kallt i vattnet för de tävlande.
Antalet deltagare var inte tillnärmelsevis så många som i dagens olympiska spel, endast 14 nationer. Bland annat skickade England fem deltagare, Danmark tre, Frankrike sju medan USA skickade 13 stycken. Den största truppen utgjordes av Tyskland, som deltog med 21 idrottare. Av totalt 260 deltagare kom endast cirka 80 från andra länder än Grekland. Inga kvinnor deltog i tävlingarna.
Sverige representerades i de första moderna olympiska spelen av endast en person, Henrik Sjöberg, vars klubb betalade en del av resan till Aten. Resten fick han betala själv. Sjöberg deltog i flera grenar: 100 meter, diskus, längdhopp, gymnastik och höjdhopp. Mest framgångsrik var han i grenen höjdhopp, där han slutade på fjärde plats med ett hopp på höjden 1,60 meter.
När olympiaden 1896 avslutades ansågs den ha blivit en stor succé. Det var första gången man hade samlat så många idrottspersoner från olika länder i en och samma tävling. Grekerna ville gärna att nästkommande OS återigen skulle gå av stapeln i Aten, men IOK och Coubertin hade redan bestämt platsen för 1900 års tävlingar, nämligen Paris. Och så blev det. Förutom de extrainsatta spelen i Aten 1906, som hölls för att fira tioårsjubileet av OS 1896, återvände inte de Olympiska spelen till Aten förrän 2004.