“火箭”一词根据古书记载，最早出现在公元3世纪的三国时代，距今已有1700多年的历史了。当时在敌我双方的交战中，人们把一种头部带有易燃物、点燃后射向敌方、飞行时带火的箭叫做火箭。这是一种用来火攻的武器，实质上只不过是一种带“火”的箭，在含义上与我们现在所称的火箭相差甚远。唐代发明火药之后，到了宋代，人们把装有火药的筒绑在箭杆上，或在箭杆内装上火药，点燃引火线后射出去，箭在飞行中借助火药燃烧向后喷火所产生的反作用力使箭飞得更远，人们又把这种喷火的箭叫做火箭。这种向后喷火、利用反作用力助推的箭，已具有现代火箭的雏形，可以称之为原始的固体火箭。
无法确定火箭发明的确切时间。大部分专家认为中国人早在13世纪就研制出了实用的军用火箭。19世纪出现了几项重大技术进步：燃料容器的纸壳改为金属壳，延长了燃烧的持续时间；火药推进剂的配方标准化；制造出发射台；发现了自旋导向原理等等。19世纪末，火箭开始用于非军事目的，如用火箭携带救生索飞向海上遇难船只。19世纪末20世纪初美国科学家戈达德和其他几位专家奠定了现代火箭技术的基础，并发射了第一枚液体燃料火箭。
