In november 2004 maakte Robben zijn debuut voor Chelsea. In het seizoen 2004 -2005 bewees Robben zijn waarde voor Chelsea. Hij werd dan ook uitgeroepen tot FA Premier League speler van de maand. Hij eindigde het seizoen met zeven doelpunten. Ook werd hij bijna uitgeroepen tot talent van het jaar, maar hij werd echter tweede achter Wayne Rooney. Robben raakte zwaar geblesseerd in de wedstrijd tegen Blackburn Rovers. Hij moest toezien hoe zijn team voor het kampioenschap streed. In het seizoen 2005 - 2006 was hij een vaste waarde aan de linkerkant. In 28 wedstrijden maakte hij zes doelpunten en won Chelsea voor de tweede keer op rij de Premier League. Robben werd bejubeld om rushes, techniek en snelheid, maar ook fel bekritiseerd vanwege zijn schwalbes. In Augustus 2007 bracht Real Madrid een bod uit op Robben waar Chelsea mee akkoord ging.