De gladde slang is in het noordwestelijk deel van zijn verspreidingsgebied sterk gebonden aan droge, zonnige habitats waaronder heidevelden, rotswanden en stapelstenen muurtjes rond wijngaarden. Behalve in deze droge habitats wordt de soort ook in een aantal hoogveenrestanten in met name Nederland en Duitsland aangetroffen.

In Nederland komen hoogveen en heide duidelijk als voorkeurshabitat naar voren. Daarnaast komt de soort voor langs infrastructuur (weg- en spoorbermen). Soms worden ook ruderaal terrein (met name spoorwegemplacementen), bosranden/struweel en struweel gemeld. Er zijn sporadische waarnemingen bekend van stad en dorp, agrarisch gebied en van halfnatuurlijke graslanden. Vaak zijn deze vondsten gedaan rond de grotere kernpopulaties van deze soort in de hoogvenen en heidegebieden.

Het substraat in de Nederlandse leefgebieden bestaat uit zand of veen, nooit uit klei. Met name droge heideterreinen worden bewoond, maar ook open bossen en jonge aanplant op zandgrond.

Een verspreide begroeiing van bomen en struiken kan in het leefgebied aanwezig zijn, maar massale bosopslag wordt niet verdragen. De bodemvegetatie bestaat meestal uit structuurrijke, oude heide, maar vergraste terreindelen zijn ook zeer in trek. Dikke, vervilte vegetaties van bochtige smele en pijpenstrootje vormen een geschikt leefgebied. De overwinteringsplaatsen zijn relatief hoog en droog gelegen en worden vaak door opslag beschermd tegen te extreme weersinvloeden.