当前，我国的城乡二元结构不仅表现在城市与农村的差距上，而且表现在城市内部农民工与市民的差距上。农民工与市民的差距是城乡二元结构在城市的缩影。这种二元结构的背后，实际上是城乡分割的户籍制度。“农业户口”和“非农业户口”这两种不同的户籍，承担不同的义务，享受不同的权利，获得不同的待遇。如果我们处理不好这种二元结构问题，就会妨碍工业化、城镇化的健康发展，甚至有可能落入“中等收入陷阱”。从世界范围看，日本、韩国等国家之所以能够顺利地从中等收入迈向高收入，很重要的一个原因就在于注意理顺城乡关系，最大限度地缩小城乡差距；而拉丁美洲和东南亚的一些国家之所以陷入“中等收入陷阱”，很重要的一个原因就是其发展是建立在城乡差距扩大的基础上。正反两方面的经验教训提醒我们，必须加快改革户籍制度，推进农民市民化，努力消除城乡二元结构。
2001年以来，国务院有关户籍制度改革的文件多次提出地级市以下市区逐步放开户籍制度，但却迟迟落实不下去。虽然有许多地方也作了一些改革，但更多是停留在取消形式上的户籍差别，即仅仅在户籍登记上体现城乡统一，而依托在户籍身份上的一系列差别待遇，其改革进展甚为缓慢。其实，深化户籍制度改革的关键在于赋权和增利，即通过一系列制度改革，赋予农民与市民同等权利，分享同等利益，获得同等待遇，最终改变城乡居民的身份差别。户籍制度改革之所以特别敏感，就在于它是直接与就业、住房、医疗、教育、养老以及其他社会福利挂钩。也就是说，要把一个农民转变为名符其实的市民，政府要投入不少财力。根据我国许多城市的实际情况，要在不降低原有市民基本公共服务水平的前提下马上实现城镇基本公共服务常住人口全覆盖，是有难度的。
因此，改革户籍制度，变农民为市民，关键在于赋权和增利，使农民与市民享受相同的基本公共服务。通过户籍制度改革推进农民市民化，不仅取决于改革的力度，而且取决于发展的程度，即取决于各方面的承受能力。不顾基本公共服务的能力推进户籍制度改革，是不切实际的制度安排。在目前情况下，户籍制度改革较为切实的办法就是因地制宜、区别对待。具体路径可以是：一是放开小城市和小城镇的户籍落户限制。只要有合法稳定职业和合法稳定住所，就应当允许农民在小城市和小城镇落户，并享受当地市民的一切公共福利待遇。由于小城市和小城镇的公共服务水平较低，地方政府的负担较轻，这项政策要落实到位是比较容易的。二是逐步放开大中城市的户籍落户限制。具体而言，应该以农民主要是农民工的工作年限、居住条件、信用记录、专业技能、教育水平、社会贡献以及参加社会保障交费状况等，作为落户积分的标准，按分数高低，先后分期分批落户，循序渐进地推进农民工市民化。三是在尚不具备大规模放开户籍落户条件的大城市和特大城市，应当逐步改变以往按户籍人口配置公共资源的政策，着力改善农民工的公共服务待遇，逐步实现基本公共服务均等化。同时，加强对农民工的权益保护，着力推进社会公平，缓解市民与农民工之间的矛盾。
但是，上述的户籍制度改革路径只是基于现实国情的一种权宜之计，它在实践中会遇到一些难题。大城市和特大城市不仅就业机会多，而且公共服务水平高，深受农民喜爱，但大城市和特大城市的落户门槛很高，限制很严。小城市和小城镇普遍存在着产业集聚程度较低、就业机会较少、公共服务不完善的问题，对农民的吸引力不强，真正乐意到小城市和小城镇落户的农民不多。换言之，农民越想落户的城市，越难落户；农民越不想落户的城市，越容易落户。解决这一难题，需要把户籍制度改革作为一项系统工程。比如，要真正让农民愿意到小城市和小城镇落户，就必须增强小城市和小城镇的产业集聚功能、公共服务功能以及居住功能。这就要求通过合理的产业政策，引导产业在大中小城市之间合理布局，不断提高小城市和小城镇的公共服务水平。而从根本上说，必须积极创造条件缩小城乡户籍背后的公共福利差别，朝着基本公共服务均等化的方向努力。一旦实现了城乡基本公共服务均等化，城乡户籍差别就自然而然消失了，农民市民化问题解决起来就比较容易了。