没有推荐书籍，只是个游戏开发入坑小提示。
游戏开发是一个很大的方向，其中可以细分很多领域，如果想自己一个人开发独立游戏，需要涉及到很多不同的领域。
如果想学习游戏开发，最好还是自己先定下一个专攻方向，人的精力是有限的，同时游戏开发中的分工也是很明确的，你只需要在你的专攻领域有很强的实力就行了。鉴于题主是数学专业，我觉得计算机图形学是个不错的选择（无责任推荐，关键还是看你自己）。
最后对于游戏开发的入门书籍，其他答案已经说的很详细了，我只简单的说一下自己的建议。
入坑的方向不同选择的书籍也不同，这也和你选择的第一个游戏引擎有很大关系，就拿现在独立游戏最火的Unity来说，C#的语法基础是必备知识，随便看一本《C#入门经典》基本就能开始使用引擎了。
而对于引擎的学习，如果只限于使用层面，没有必要看什么书了，实践才是第一。多练手，多看开源项目，获取知识和吸收知识的能力很重要。
然后就是熟练使用各种框架，比如目前比较火的ECS（ECS大法好），学习设计模式，计算机图形学这些老生常谈的东西，这部分学习可能会很枯燥，进步也会比以前慢很多，同时也是目前很多开发者难以逾越的鸿沟（比如我）。
最后，游戏开发最关键的一点：用心做游戏。