Bản thân Những người khốn khổ có rất nhiều câu chuyện, nhân vật với những cuộc đời khác nhau, nhưng sợi dây nối những mảnh đời riêng biệt này lại là câu chuyện về Jean Valjean, người cựu tù khổ sai, người đang cố gắng sống vì một xã hội tốt đẹp nhưng lại không thể thoát khỏi quá khứ của mình. Sau 19 năm ngồi tù với số tù 24601 vì ăn cắp một mẩu bánh mì cho con của người chị gái, người nông dân Jean Valjean được thả. Tuy nhiên anh phải mang theo giấy thông hành vàng, dấu hiệu cho thấy người mang nó từng phạm tội, vì vậy Jean bị chủ quán trọ từ chối và buộc phải ngủ ngoài đường. May cho anh là Giám mục Myriel, một người nổi tiếng hay làm từ thiện đã cho Jean Valjean một chỗ nương náu. Khi mọi người đã ngủ, Jean lại ăn cắp mấy thứ đồ bạc của Giám mục và chạy trốn, anh bị bắt lại sau đó nhưng lại được ông Myriel cứu thoát khi nói với cảnh sát rằng đó là đồ ông tặng cho Valjean. Khi chia tay, vị Giám mục già nói với Jean Valjean rằng anh nhất định phải trở thành một người lương thiện và làm nhiều việc tốt cho mọi người.
Tám năm sau, Valjean, nay mang tên ông Madeleine, đã trở thành một chủ xưởng giàu có và là thị trưởng thành phố nhỏ nơi ông sinh sống, Valjean phải mang tên giả để tránh sự phát hiện của thanh tra Javert vẫn đang truy tìm ông ráo riết. Tuy nhiên số phận buộc Valjean phải để lộ danh tính của mình khi một người đàn ông khác bị nhầm là Jean Valjean và bị bắt đưa ra tòa. Cùng lúc này, Valjean gặp Fantine, một cô gái đang hấp hối sau khi bị đuổi việc khỏi công xưởng của ông và buộc phải làm nghề mại dâm để có tiền nuôi con gái Cosette, em đang phải sống với gia đình nhà Thénardier độc ác. Trước khi Fantine chết, Valjean hứa với cô sẽ chăm sóc Cosette cẩn thận, ông trả tiền cho lão chủ quán trọ Thénardier để giải phóng cho Cosette và cùng em chạy trốn lên Paris khỏi sự truy đuổi của Javert. Ở Paris, hai người trú trong một nhà tu kín mà Javert không được quyền khám xét, vì vậy họ tạm thoát khỏi sự truy lùng gắt gao của viên thanh tra.