Rudd werd geboren in Diss en sloot zich op achtjarige leeftijd aan in de jeugdacademie van Norwich City. Op 26 september 2009 debuteerde hij in de League One tegen Gillingham, nadat Fraser Forster van het veld werd gestuurd.[3] In 2010 en 2011 promoveerde de doelman met The Canaries twee seizoenen op rij. Op 27 augustus 2011 maakte hij zijn opwachting in de Premier League op Stamford Bridge tegen Chelsea. Eerste doelman John Ruddy kreeg rood, waarna Rudd zijn plek overnam. Tijdens het seizoen 2012/13 en het seizoen 2013/14 werd hij verhuurd aan Preston North End, waarvoor hij 62 competitieduels speelde. Op 5 december 2015 kreeg Rudd in het uitduel tegen Watford van coach Alex Neil voor het eerst de voorkeur boven Ruddy in het doel bij Norwich City.[4]