1.基础数学模型（TRPG的话就就从选骰子开始吧），当然题主说有了，那么就下一步。
2.决定对抗（战斗）体验，这应该是大多数TRPG最核心的问题，说白了就是你想要玩家怎么样扔骰子，在战斗中怎么样表现自己。往高了说就是表达你的哲学，往低了讲就是如何让别人不会弃坑。
根据我的经验，这个过程应该分为下面几个步骤：
a-确定掷骰与角色属性间联系
b-确定不同战斗强度下的伤害/生存能力期望
c-设计一些刚健朴实的能力（专长，特技）来测试
d-设计一些装逼酷炫的能力，这很重要。
e-如果可能，设计一些连击或者能力套路来让玩家挖掘。
g-弄一些看上去很吊，但实际上完成build难度很高的套路去激发玩家不切合实际的意淫
f-为每个能力和套路留下一点缺憾
这么一套流程下来，你就有了个可堪使用的基础规则。其中d～f可以在随后的测试中逐步完善，但a～c一般必须是由设计者自己独立完成的。
3.设计一些装备和道具，这些东西一般是用来弥补专长和能力的缺陷。换句话说，玩家需要这些东西来保证他们能活着放出必杀。
4.拉人测试了，测测改改，测测改改，估计在这个过程中你会被人喷，会有人觉得你的规则（或者你这个人）很沙雕，或者你的测试员们会突然集体出坑，总之是个痛苦的过程，但你得坚持。
跟你说个诀窍，嘴上把测试人员当上帝，心理面把他们当祭品就可以。
5.好了，在经过大量测试修修补补，外加吸收各种意见改进以后，你的规则终于差不多了，现在你有资格给她弄个世界观什么的包装一下，顺带设计一些好玩的，或者反逻辑的能力和物品来调剂一下规则本身。
一般来讲，到了这里，你就可以尝试考虑商业化了，或者可以先写个规则书，弄个网站，出几个原创模组。或者干脆拉扯一个爱好者群体做山大王，随你拉。