1947年（昭和22年）に、鉄道内の犯罪に対応する為に創設された。その後1949年（昭和24年）の日本国有鉄道発足に伴い、「鉄道公安職員の職務に関する法律」（昭和25年法律第241号）により鉄道公安制度が確立された。鉄道公安職員は、鉄道管理局及び主要駅に置かれた鉄道公安室に所属し、統括部署として日本国有鉄道本社の中に公安本部が置かれていた。人数はおおよそ3000人規模であった。
「鉄道公安職員の職務に関する法律」では「日本国有鉄道の施設内において公安維持の職務を掌る日本国有鉄道の役員又は職員で、法務大臣と運輸大臣が協議をして定めるところに従い、日本国有鉄道総裁の推薦に基づき運輸大臣が指名した者は、これを鉄道公安職員と称し、日本国有鉄道の列車、停車場その他輸送に直接必要な鉄道施設内における犯罪並びに日本国有鉄道の運輸業務に対する犯罪について捜査することができる」としていた。