山东自古以来就以地域辽阔，环境优美，历史悠久，文化发达而著称，境内拥有千年古县达75个，占现行的县（市、区）个的54%，在全国也是居数最多的省份。在如此众多的千年古县之中有春秋战国时期设置，而绝大部分是在秦代实行郡县制以后设置命名的。
山东最早的县兰陵县。春秋战国时期，楚、秦、晋等国为加强管理，在远离国都的边远地区设置县，作为行政管理机构。公元前多年，齐楚争霸，楚国势力日盛，北达鲁国南部，现在的兰陵县境至开阳、莒国（今莒县）大片土地尽为楚国东北边疆。公元前年，屈原深受楚怀王信任，担任左徒，为合纵连衡，先后两次出使齐国。屈原作为主管民政、外交事务的重臣，对东北边邑非常重视，将原属鲁国的次室改名兰陵。公元前年，楚北伐灭鲁，设置兰陵县，而以儒家思想集大成者荀子为首任县令。当时齐国、鲁国不置郡县，因此兰陵则成为山东最早的县。
秦汉时期是郡县制的初创阶段，当时在山东设置命名的县达数百个，沿用至今的仍有30多个。其中秦设置的即墨、任城、平原、定陶、成武、鄄城、高密、莒县、邹县、聊城、茌平、东滕县等。西汉设置的有平度、广饶、乐陵、巨野、东明、青州、寿光、临朐、临沂、蒙阴、费县、邹平、莱芜、宁阳、肥城、牟平、掖县、高唐、阳信等县。秦汉时期所设置的县名称多以自然地理实体和古国、古州、古城邑作为县的专名，说明以此作为政区名称有着很好的稳定性和生命力，以致使用两千多年而不衰。
隋朝的统治时间不长，但在隋文帝时期对各项政治制度进行大刀阔斧的改革，改变了南北朝以来的混乱局面，在地方行政建制上作了大的调整，设置了章丘、长清、平阴、德州、夏津、郓城、安丘、诸城、沂水、曲阜、泗水、无棣、莘县、阳谷等县。并多以山川、河流等自然地理实体名称命名县，没有迷信怪异色彩，可以看出隋文帝不愧是一个英明的君王。
金统治山东数十年，对地方建制作了较大调整，计有利津、济阳、齐河、宁津、日照、嘉祥、汶上、滨州、沾化、泰安、栖霞、招远等县。这些县名以吉祥嘉言占了多数，反映了金统治者希望长治久安的愿望。
近现代的抗日战争和解放战争时期，因斗争形势的需要，山东抗日根据地创建了数十个抗日民主政权，沿用至今的有沂源、沂南、莒南、临沭、莱西、垦利、乳山等县。解放战争时期的有胶南、龙口、五莲、高青、梁山等县。
在其他朝代，如唐、宋、元、明、清及年解放后，都对县级行政区域进行国设置、调整，但是总的来说，每个朝代和时期变动不是太大，此处不再鏖述。
山东共有千年古县75个（包括县级市和区），它们是：历下区、历城区、章丘区、长清区、平阴县、商河县、即墨区、平度市、胶州区、周村区、淄川区、临淄区、峄城区、滕州市、广饶县、牟平区、莱阳市、莱州市、蓬莱市、青州市、诸城市、寿光市、安丘市、高密市、昌邑市、昌乐市、临朐县、任城区、曲阜市、兖州区、邹城区、泗水县、鱼台县、金乡县、泰山区、新泰市、肥城市、宁阳县、东平县、文登市、莒县、莱芜区、兰陵县、沂水县、临沭县、郯城县、费县、蒙阴县、平邑县、德城区、乐陵市、禹城市、平原县、临邑县、夏津县、武城县、博兴县、邹平县、阳信县、无棣县、东昌府区、临清市、高唐县、茌平县、东阿县、阳谷县、莘县、冠县、鄄城县、巨野县、成武县、郓城县、单县、定陶县、东明县。