TUXEDO在线运行监控浅谈（一）：事件监控

从03年开始接触TUXEDO到现在已经有些年头，从开始的一知半解、略懂皮毛到现在的稍有小成，也算积累了一些知识和经验。之前一直想将一些知识和经验总结一下，但总是有想法没有动手，年底趁着有点空闲整理了几年来的知识，希望能跟大家一起探讨一下。
       由于我们的客户主要是电信，系统是7*24运行，不能间断，系统运行压力比较大，而且系统和很多外围系统存在着大量的接口，因此当客户端比较多或者是外围系统出现问题时，TUXEDO系统经常也会出现不稳定，例如客户端并发使用量比较大而导致系统性能下降时，会出现消息队列出现堵塞，客户端和服务端异常死亡，服务被清除，客户端连接数已经达到LICENCE最大连接数，进程数已经达到系统设置的最大的进程数等严重错误，出现这种错误时，往往无法立即知道情况，需要过一段时间从使用者才知道有问题发生，而且也不知道是何错误，需要从TUXEDO日志才能了解一些信息。如果是在深夜发生，那么维护是相当麻烦。
       因此当时便有写一个TUXEDO在线监控程序的想法，阅读了TUXEDO的官方文档，总算在文档中找到了一些TUXEDO��管理办法。TUXEDO的管理方法有几种，一种就是我们常用的命令行方式，用tmadmin,dmadmin,tmconfig等命令来查看TUXEDO系统状况。另一种就是通过设置服务的日志方式来记录执行情况。另外两种就是我下面重点介绍的事件通知和通过查询方式。
       TUXEDO提供了一个事件(event)监控（EventBroker）的机制，用我们熟悉的订阅/发布方式来提供事件发生通知。事件分为2种，一种是 TUXEDO提供的系统事件，例如服务异常死亡、消息队列堵塞等；另一种就是我们自己的编写发布的服务，在服务中通过tppost()通知订阅者。这两种方式的事件订阅方式都是一样，用tpsubscribe（）通知TUXEDO系统要订阅那些事件，对于系统事件来说，由TUXEDO自身通知订阅者，对于非系统服务来说，需要我们在服务中调用tppost()来通知订阅者。下面介绍一下如何订阅和接收事件。
      首先我们要编写一个服务，此服务用来接收TUXEDO系统的事件通知发布，只要我们订阅的事件有发生，那么TUXEDO就会调用这个服务，我们就可以根据事件来处理一些错误，例如服务异常死亡，那么我们可以自动将改服务重新启动。订阅的代码简单如下：

             userlog("订阅事件(%s)出错，错误信息：%s",t_subscribeEvent,tpstrerror(tperrno));

      从上面代码我们可以看到，订阅时间非常简单，剩下的事情就是接收事件，在我们自己编写的服务中处理。建议将需要监控的事件定义在数据库表中或者是配置文件中，这样我们可以写一个服务，在服务的tpsvrinit()中进行订阅，然后在tpsvrdone()中取消订阅。
    下面简单谈一下事件接收服务该如何写。
     事件接收服务跟我们平常写的服务一样，只不过是TUXEDO系统调用了这个服务而已，TUXEDO将EVENT的一些数据写在FML32数据区中。
         事件接收的代码简单如下：

       从上面代码可以看出，接收服务也很简单。
       从上面的例子我们可以看到，利用TUXEDO的事件监听机制，我们可以很好的监控到我们关心的事件，根据事件自动处理一些错误和异常，对于严重的错误，可以实时给系统管理员通过发短信、电话通知、邮件等方式来告警。对于一些我们自己编写的重要服务，我们也可以设立监控，实时监控流程的进行。当时笔者将这个事件监控加载到在线TUXEDO系统以后，系统的稳定性得到了很大的提高，维护工作量减少了很多，很多异常由监控程序自身完成。而且可以将维护工作交给系统管理员，由他们去做日常查看和维护工作。