Vào cuối thời Edo, xung đột giữa hai thế lực lớn trong triều đình Nhật Bản dần lên cao trào. Một bên là Mạc phủ Tokugawa, một bên là lực lượng phò trợ Thiên hoàng giành lại quyền lực. Kinh đô dần rơi vào hỗn loạn, tình hình trị an cũng ngày càng xấu đi.
Trước tình hình đó, Mạc phủ Tokugawa đã cho thành lập một đội quân gồm những tinh anh trong giới võ sĩ để bảo vệ tướng quân và lập lại trật tự cho kinh thành. Họ được gọi là Shinsengumi.
Vào cuối thời Edo (1603-1868), hạm đội tàu đen của Đô đốc Perry xuất hiện, buộc Nhật Bản phải chấm dứt chính sách bế quan tỏa cảng gần 250 năm. Lúc này, đất nước bắt đầu bị chia rẽ giữa hai luồng tư tưởng: mở cửa giao thương hay trục xuất người ngoại quốc. Kinh đô Kyoto lúc bấy giờ trở thành nơi hỗn loạn khi các phe phái theo phong trào Sonno Joi (尊皇攘夷 - Tôn Hoàng Nhương Di) liên tiếp gây rối, khiến lực lượng bảo vệ kinh đô không còn có thể kiểm soát tình hình trị an khu vực.
Các phe phái này muốn lật đổ Mạc phủ Tokugawa trên danh nghĩa giành lại quyền lực cho Thiên hoàng, và muốn trục xuất toàn bộ người nước ngoài ra khỏi đất nước. Vì vậy mà các cuộc ám sát quan chức Mạc phủ, người ngoại quốc và bạo loạn thường xuyên diễn ra tại kinh thành Kyoto.
Trong bối cảnh đó, khi Tướng quân Tokugawa Iemochi chuẩn bị từ Edo đến kinh đô Kyoto để hội đàm với triều đình, Mạc phủ đã tuyển mộ một đội vệ sĩ đi theo hộ tống. Đội quân này gồm 234 ronin - những samurai vô chủ, nên được gọi là Roshigumi (浪士組 - Lãng Sĩ Tổ) - tiền thân của đội quân Shinsengumi.
Sau khi hoàn thành nhiệm vụ tại Kyoto, thủ lĩnh của nhóm chọn theo phe Sonno Joi và tuyên bố chỉ phục vụ Thiên hoàng. Đội quân Roshigumi bắt đầu chia rẽ vì bất đồng tư tưởng, sau đó bị giải tán và được lệnh phải quay trở về Edo.
Một số võ sĩ chủ chốt của nhóm là Kondo Isami, Serizawa Kamo và Hijikata Toshizo đã lãnh đạo những người cùng chí hướng ở lại kinh thành Kyoto. Dưới sự bảo trợ của phiên Aizu, họ được giao nhiệm vụ giữ gìn trị an kinh đô.
Đến năm 1863, lực lượng này tham gia nhiều chiến dịch quân sự quét sạch phe ủng hộ Sonno Joi khỏi Kyoto. Nổi bật nhất là trong sự kiện Ikedaya (1864), nhóm đã thành công ngăn chặn một cuộc nổi loạn âm mưu đốt phá kinh thành và ám sát vị tướng quân kế nhiệm - Tokugawa Yoshinobu. Với những chiến công vang dội, họ được Mạc phủ Tokugawa thu nạp làm gia thần, được công nhận danh hiệu “samurai” và nhóm võ sĩ được ban tên “Shinsengumi” (新選組 - Tân Tuyển Tổ), mang ý nghĩa: đội võ sĩ mới của kinh đô gồm những tinh anh được tuyển chọn.
Dù tiếng tăm tăng cao sau chiến dịch, nhiệm vụ chính của Shinsengumi vẫn không thay đổi: tuần tra và bảo vệ trị an Kyoto, đóng vai trò tương tự như lực lượng cảnh sát hiện đại.
Nhắc đến Shinsengumi, nhiều người sẽ nhớ đến chiếc áo haori đồng phục màu xanh lục lam (asagi-iro - 浅葱色) và họa tiết răng cưa màu trắng tượng trưng cho dãy núi xếp liền kề nhau. Phía sau lưng áo được thêu chữ “誠 - Thành” (makoto), mang ý nghĩa thành thật, trung thành, được xem là tôn chỉ hoạt động và là lời thề danh dự của đội quân Shinsengumi. Chữ này còn được in trên cờ hiệu của đội, được xem là lời nhắc nhở các thành viên phải sống chân thật, giữ chữ tín, không lừa gạt người khác và phải trung thành với Mạc phủ.
Để giữ gìn tinh thần này, Shinsengumi đã lập ra một bộ luật nội bộ vô cùng nghiêm khắc, được gọi là 局中法度 (Kyokuchu Hoto - Cục trung pháp độ/Những điều luật trong Cục). Các điều luật ngăn cấm các thành viên:
Nếu các thành viên vi phạm Luật Cục, họ có thể bị phạt quản thúc tại gia hoặc nặng hơn là phải thực hiện nghi thức mổ bụng tự sát seppuku. Đây được xem là bộ “luật sắt” giữ cho hơn một trăm con người có xuất thân từ những võ sĩ “vô chủ” trở thành một đội quân thống nhất, đủ sức giữ yên kinh đô Kyoto trong thời loạn.
Sau sự kiện Đại Chính Phụng Hoàn (Taiseihoukan - 大政奉還) năm 1867, chế độ Mạc phủ sụp đổ, quyền lực thuộc về tay Thiên hoàng. Shinsengumi theo phe quân Mạc phủ tham gia cuộc chiến Toba-Fushimi nhưng thua trận. Sau đó, Shinsengumi nhận nhiệm vụ ngăn quân đội của Chính phủ mới tiến vào Kofu, nhưng tiếp tục thất bại tại trận Katsu-numa. Nội bộ bắt đầu chia rẽ thành nhiều hướng.
Kondo Isami sau đó bị bắt và xử trảm ở Itabashi, Okita Soji qua đời vì bệnh tật ở Edo. Các thành viên còn lại tiếp tục chống cự trong trận Hakodate tại pháo đài Goryokaku. Phó tướng của đội Hijikata Toshizo cũng trúng đạn và ngã xuống không lâu sau đó. Những thành viên còn lại buộc phải đầu hàng, khép lại trang lịch sử cuối cùng của một đội quân huyền thoại thời Mạt Mạc.
Tuy có xuất thân từ tầng lớp nông dân, nhưng Kondo Isami sớm đã bộc lộ tài năng kiếm thuật và được gia tộc Kondo - người đứng đầu trường phái kiếm thuật Tennen Rishinryu - nhận làm con nuôi. Sau khi Roshigumi tan rã, ông cùng nhiều võ sĩ đã thành lập Shinsengumi và ghi được nhiều chiến công, từ đó chính thức được giao phó vị trí cục trưởng. Trong sự kiện Ikedaya, Kondo đã trực tiếp tham chiến và đối đầu với hơn 20 đối thủ trong suốt 2 giờ mà không hề bị thương.
Luôn sát cánh cùng Kondo Isami là Hijikata Toshizo, phó cục trưởng Shinsengumi. Hijikata cũng có xuất thân nông dân và quen biết Kondo tại võ đường. Nổi tiếng bởi tính cách kỷ luật và cực kỳ nghiêm khắc đến mức được quân sĩ dưới trướng kinh sợ gọi là “Oni no Toshizo” - Ác quỷ Toshizo, ông không ngần ngại trừng phạt ngay cả những chỉ huy cấp cao trong đội khi họ phạm lỗi, góp phần tạo nên đội quân tinh nhuệ bậc nhất cuối thời Edo.
Trong chiến tranh Boshin, Hijikata chiến đấu đến cùng với quân đội Mạc phủ. Năm 1869, ông trúng đạn của quân chính phủ mới tại pháo đài Goryokaku (Hokkaido) và qua đời khi mới 35 tuổi.
Là đội trưởng đội số 1, Okita Soji được xem là kiếm thủ mạnh nhất Shinsengumi. Vốn xuất thân từ một gia đình võ sĩ của phiên Shirikawa (tỉnh Fukushima ngày nay), Okita Soji đã luyện kiếm từ năm 9 tuổi và đạt đến trình độ bậc thầy ở tuổi 19, nổi tiếng với những chiêu thức xuất kiếm nhanh đến mức mắt thường không thể nhìn kịp. Khi đang ở đỉnh cao sự nghiệp, Okita mắc bệnh lao phổi và buộc phải rời chiến tuyến. Ông trở về Edo để điều trị bệnh nhưng không qua khỏi và qua đời khi chỉ mới hơn 20 tuổi.
Xuất thân trong một gia đình võ sĩ tại phiên Matsumae (thuộc Hokkaido ngày nay), ông đã theo học kiếm thuật tại một võ đường danh tiếng từ năm 8 tuổi và không ngừng trau dồi kỹ năng. Là đội trưởng đội số 2, Nagakura Shinpachi được đánh giá là kiếm sĩ ngang tài với Okita và thường xuyên xung phong nơi tuyến đầu.
Sau chiến tranh Boshin, phần lớn thành viên Shinsengumi đã hy sinh, nhưng Nagakura là một trong số ít thành viên chủ chốt còn sống sót. Ông dành phần đời còn lại để tưởng niệm đồng đội và ghi chép lại lịch sử Shinsengumi, góp phần lưu giữ ký ức về tổ chức này.
Dù thất bại trong cuộc chiến tranh Boshin, Shinsengumi đã trở thành biểu tượng của lòng trung thành, tinh thần võ sĩ đạo và sẵn sàng sống chết vì lý tưởng. Đặc biệt từ sau Thế chiến II, nhà văn Shiba Ryotaro đã đưa các nhân vật Kondo Isami, Hijikata Toshizo vào các tiểu thuyết lịch sử. Từ đó, đội quân Shinsengumi tiếp tục trở lại với công chúng thông qua những tác phẩm văn học, phim truyền hình và nhiều loại hình nghệ thuật khác.
Ngày nay, Shinsengumi xuất hiện dày đặc trong các tác phẩm anime, manga, trò chơi điện tử và kịch sân khấu, trở thành nguồn cảm hứng quen thuộc của văn hóa đại chúng Nhật Bản thời hiện đại. Những tác phẩm manga anime như Rurouni Kenshin, Gintama hay Record of Ragnarok xây dựng nhân vật dựa trên các thành viên nổi tiếng của Shinsengumi như Isami Kondo, Okita Soji hay Nagakura Shinpachi.
Qua mỗi lần được kể lại, câu chuyện về đội quân huyền thoại Shinsengumi lại có thêm một góc nhìn mới, duy trì sức sống của họ trong dòng chảy lịch sử như một biểu tượng đầy sức sống của tuổi trẻ, lý tưởng và tinh thần võ sĩ đạo đầy bi tráng trong những năm cuối cùng của thời phong kiến Nhật Bản.