L'occupation humaine de Gergovie a commencé des milliers d'années avant les Gaulois. Les vestiges les plus anciens remontent en effet à la préhistoire et ont été laissés par les premiers agriculteurs.

 

Vers 5000 avant J.C. environ, des découvertes sporadiques sur le sommet et sur les versants, attestent de la présence des premiers occupants de Gergovie.

 

C'est à la période moyenne du néolithique, dite civilisation chasséenne, que les vestiges d'occupation se multiplient, mais la période du néolithique final est encore mieux représentée par un outillage lithique d'une grande diversité : lames, grattoirs, perçoirs, burins, poignards en silex, flèches à pédoncules et ailerons et de nombreuses haches polies en roches diverses. On trouve également des meules en pierres plates sur lesquelles on broyait les céréales à l'aide d'un galet. La céramique est également bien représentée.

​

En 1862, une découverte spectaculaire a été faite sur le versant est, près de la ferme Gergovia. Il s'agit d'une dalle de basalte de forme rectangulaire (1,50m X 1,40m) d'un poid de deux tonnes, reste d'un coffre mégalithique. Les haches polies découvertes en dessous permettent d'envisager une datation comprise entre 2500 et 2200 avant J.C..

 

De nombreux sites d'habitats ont été découverts sur les replats des versants du plateau. Sur le plateau même, la partie ouest est particulièrement riche en vestiges mais c'est sur l'emplacement du sanctuaire qu'ont été trouvés et fouillés les seuls restes connus d'habitation, ils appartiennent à la période chasséenne (fosse, trous de poteaux).

 

A l'extrême fin de la préhistoire on voit apparaître la métallurgie avec le cuivre, on parle alors de chalcolithique (du grec chalcos : cuivre et lithos : pierre). Une alêne bipointe a été découverte au pied de la colline de La Roche Blanche, elle présente un grand intérêt car elle est un des premiers objets en métal du Massif central.

 

Au niveau des céramiques un nouveau type de récipient, dit "campaniforme" fait son apparation. Un lot relativement important de tessons de ce type a été découvert sur le plateau.

​