如果别人把自己的手机号错误地添加到了你的手机上，你可以按照以下步骤来退回或删除这个号码：

删除联系人：如果这个号码是作为一个联系人添加进来的，你可以直接打开手机的联系人应用，找到这个号码，然后删除它。

拒接来电和短信：如果这个号码仍然持续给你发送来电或短信，你可以选择拒接其来电，或者将其添加到手机的黑名单中，这样就不会再收到其来电或短信了。

联系对方：如果可能的话，你也可以联系对方，告诉他们他们的号码被错误地添加到了你的手机上，并请求他们更正。

检查账户设置：如果这个号码是与你的某个账户（如社交媒体、电子邮件等）相关联的，你也可以检查这些账户的设置，看看是否有地方可以删除或更改这个号码。

咨询运营商：如果以上方法都无法解决问题，你也可以咨询你的手机运营商，看看他们是否能提供任何帮助。

请注意，具体的操作步骤可能会因手机型号和操作系统的不同而有所差异。如果你不确定如何操作，可以查看手机的用户手册或在线搜索具体的操作方法。