其实题主口中的“战斗”是一个很窄的概念，我尝试换一个词，你就不会有疑问了。
无论是文学还是电影理论，都会强调“戏剧冲突”对剧情发展的推动作用，电子游戏是多种艺术形式的集合体，“战斗”即“冲突”，“对抗”，即使没有剧情，“冲突”也能带给我们最本源的欢愉感。
在电子游戏没有出现之前，游戏是什么？是棋牌、是弹珠、是拔河。
在现代城市没有出现之前，游戏是什么？是斗鸡斗牛，是罗马斗兽场。
在文明没有出现之前，游戏是什么？是嬉戏，是猎捕练习。
可以看出，战斗始终贯穿着人类的游戏活动，题主所谓的“游戏诞生之初”只是特指了电子游戏时代，而游戏作为一种可操作的娱乐类型，是不能拿电影来类比的，这也是为什么游戏有“游戏性”这一词语，而电影并没有“电影性”。
与其问“为什么战斗这一形式成为主要机制”，不如说“在战斗之外出现了越来越多的游戏类型”。世界上第一款家用电子游戏——《雅达利乓(Pong)》，就是简单的打乒乓球，而乒乓球=体育=冲突对抗。
其他诸如太空大战，坦克大战等游戏，内核都是简单的战斗。而随着图像显示技术的提高与存储技术的发展，游戏机能容纳更多东西之后，人们才开始考虑往电子游戏中加入对话剧情等元素，才开始赋予游戏内涵，游戏种类多样化，与传统美术电影音乐的界限愈发模糊，这也是游戏被称为“第九艺术”的原因。
但是，纵观各类游戏，我们会发现总少不了战斗机制，除了本身以对抗为内核的射击格斗横版闯关等游戏外，角色扮演有战斗，生存冒险有战斗，甚至galgame也存在战斗。这就要从“游戏性”的角度来解释了，即Owen Tsai提到的冲突，障碍和挑战。
不同于其他艺术形式，游戏作为一种操作性强的活动，如果失去了“操作”，那么就不能算是游戏，而冲突和挑战，恰恰能激发玩家的操作欲望，和电影音乐有高潮低谷一样，游戏会设计各种阻碍玩家前进的要素，不论是战斗还是解谜，求生，经营，其目的都是通过设置各个预期节点来实现其“游戏性”，说句题外话，为了难而难不是好游戏，通过合理的冲突阻碍实现玩家的成就感才是好游戏，成就感也是游戏独有的另一大要素。
于是你会看到像《阴阳师》这类卡牌游戏以战斗推动剧情，其目的就是激发玩家升级（pianke）卡牌的动力，扇你一巴掌，给你一颗糖就是游戏表达低谷与高潮的方式，也是制作游戏最基本的思路。
题主单指战斗，那么我也简单给出一个结论：因为战斗是最有效的游戏阻碍机制。