一般来说判定系统的各种复杂运动出来有参数的分岔图外还应该看某一参数时系统的相图，庞加莱截面图，计算最大李雅普诺夫指数，计算功率谱图这几种方法。
1. 一般来说对于周期运动来说由分岔图，相图，庞加莱界面图就可以判定出来，周期运动在界面图上就是单个孤立的点。当然还可以计算功率谱图，周期运动的功率谱图应该是有单个几个峰值，比如周期一运动就对应一个峰值。
2.而对于分岔图中密布点的区域单从相图和庞加莱截面图上进行判定，一般认为庞加莱截面图上如果是封闭的曲线则是拟周期，而密布的点状是混沌，但有时拟周期运动和混沌运动很难庞加莱截面图分辨出来。为了确保判定正确还可以计算最大李雅普诺夫指数来判定，最大李雅普诺夫指数对于零应该可以判定为混沌。当然也采用功率谱判定，如果功率谱图是连续的峰值，就说明系统能量是分散的，也是可以判定为混沌。但个人不喜欢用功率谱图，原因还是不好分辨出拟周期运动。
这是我平时判定复杂运动时的常用步骤，可能不是很准确，给你参考吧，希望对你有帮助！。
下面是论坛上关于相关方法的讨论：
分岔图：
非自治系统分岔图绘制实例——有疑问的都到这里面来
http://www.chinavib.com/forum-viewthread-tid-61745-fromuid-77817.html
【再一次总结帖】怎么样才能绘制出最准确、最精确的分岔图？？
http://www.chinavib.com/forum-viewthread-tid-101072-fromuid-77817.html
庞加莱截面图：
【总结帖】分岔图绘制不同方法的总结、比较
http://www.chinavib.com/forum-viewthread-tid-60104-fromuid-77817.html
最大李雅普诺夫指数计算：
关于连续系统Lyapunov指数谱图怎么得出？？
http://www.chinavib.com/forum-viewthread-tid-100759-fromuid-77817.html
讨论最大李雅谱诺夫指数
http://www.chinavib.com/forum-viewthread-tid-86632-fromuid-77817.html

补充一个关于功率谱图计算资料：
参考《非线性动力学》- 刘秉正 传统分析诊断方法中功率谱一节