JAVA + LR实现apache流媒体的性能测试

2018-11-27 10:17:00
CaliforniaDream
原创 28 投稿得红包


点击链接加入QQ群 522720170(免费公开课、视频应有尽有):https://jq.qq.com/?_wv=1027&k=5C08ATe



最近的一个项目,视频点播系统,使用apache实现的流媒体服务器。其实准确的说叫做伪流(HTTP Pseudo-Streaming),基本原理和概念自行了解吧。


让我简单的描述就是仍然是HTTP下载,播放器播放本地缓存。只不过它也实现了一些和正规流媒体服务类似的功能。视频点播类系统的性能测试,说简单了主要就是模拟大量用户去看视频。服务端监控整体性能,客户端关注各自表现。这里难点主要在于如何模拟大量用户观看视频?如何判断各客户端展现?


多客户端的模拟无外乎3种方法:
1.全公司总动员,一起看。
2.一台机器开多个播放页面(或者是一个页面上嵌入多个播放器),调用多台机器。
3.抛弃客户端的解码播放过程,直接想法下载视频文件。

第一种方法不用说,虽然最真实,但太原始没有技术含量,如果是小公司人还不一定够。
第二种方法在需要测试的用户数不大时还可以,否则会占用较多资源,而且技术含量也较低。这种方式,一台机器上能模拟的用户数很有限,因为CPU会很快成为瓶颈。
第三种方法最高效,在千兆网环境下,一台机器可以模拟很多路用户,此时网络带宽是瓶颈(如果带宽更大,估计硬盘IO就是瓶颈了)。但是没有解码和播放,如何判断客户端的效果呢?两种方式,一是对比下载速度和码率,理论上只要下载速度足够就可以了;二是测试过程中也可以打开几个真实的播放窗口来验证播放效果,因为压力在服务端,可以认为每个客户端都是等价的。


本文要讲的就是第三种测试方法。
以前还测过FMS的流媒体,网上可以找到现成的工具来实现本方法,只要调用就可以了。但HTTP的这次也搜了两天,好像还真没有,只好自己动手了。看来最高效的方法,实现起来却是最麻烦的。基本思路是JAVA实现下载功能,用LR的JAVA Vuser实现多用户的控制。动手前先给自己整理了一个需求

功能:
模拟下载√
播放列表√
下载速度记录:总平均速度、每秒速度√
*伪装成播放器进行连接
*客户端限速

测试结果:
apache限速
下载速度
文件完整

功能扩展
jar包或者exe文件传参(播放列表)

打对钩的是已经实现了,带星号的是未实现、也不一定需要实现的高级功能。通过测试程序,需要得到的结果是下载是否正确完成?下载速度是否足够?apache的限速模块是否起作用(如果开启)?这里可能会有个问题,如果下载程序突破了apache的限速,那有可能是测试程序的问题,这就引出了上面的高级功能“伪装成播放器”。


下面直接贴代码,说明尽量放到注释里。

下载类,提供静态方法。


package com.test;
import java.io.*;
import java.net.*;
import java.util.*;

public class DownloadFile {

    /*
     *下载指定URL的文件
     *userid是用于保存本地文件的标识
     **/
    public static int getHttpFileByUrl(String address, String userid) {
        int bufferSize = 1024;
        int size = 0;
        byte[] buf = new byte[bufferSize];
        
        /*
         *下载时间字符串
         *用于文件标识
         *格式201210260130
         **/        
        Date date = new Date();
        SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss");
        String downloadTime = formatDate.format(date);
        
         /*
          *计算下载速度相关
          */
        int totalDownloadSize = 0;
        int lastDownloadSize = 0;
        long lastCheckTime = 0;
        long startDownloadTime = 0;
        int sec = 0;
        
        /*
         *下载和计算过程
         */
        try {
            URL url = new URL(address);
            URLConnection conn = url.openConnection();
            BufferedInputStream bis = new BufferedInputStream(conn.getInputStream());
            FileOutputStream fos = new FileOutputStream("e:\test\testvideo" + "_" + downloadTime + "_" + userid); 
            
            System.out.println("File Size:" + conn.getContentLength()/1024 + "KB");
            
            startDownloadTime = System.currentTimeMillis();
            lastCheckTime = startDownloadTime;
            
            while ((size = bis.read(buf)) != -1)
            {
                fos.write(buf,0,size);
                totalDownloadSize += size;
                
                /*
                 *计算每秒下载速度
                 */
                if (System.currentTimeMillis() - lastCheckTime > 1000) {
                    System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB");
                    lastCheckTime = System.currentTimeMillis();
                    lastDownloadSize = totalDownloadSize;
                    sec++;
                }
            }
            
            System.out.println("Vuser " + userid + " Download Completed!");
            System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s");
            
            fos.close();
            bis.close();
            
        }catch (MalformedURLException e) {
            e.printStackTrace();
        }catch (IOException e) {
            e.printStackTrace();
        }
        
        return totalDownloadSize/1024;
    }    
}
测试驱动。



import com.test.*;
import java.util.*;
import java.io.*;

public class DownloadDrive {

    public static void main (String[] args) {
        
        //System.out.println("test");
        //DownloadFile.test();
        
        /*
         *调用者测量
         *自行实现
         */
        int DownLoadSize = 0;
        double DownLoadTime = 0;
        int Speed = 0;
                
        String url;
        ArrayList urlList = new ArrayList();

        /*
         *读取待下载的URL地址
         *保存到list中
         */
        try{
            BufferedReader br = new BufferedReader(new FileReader("url.txt"));
            while((url = br.readLine()) != null){
                urlList.add(url);
            }    
        }catch(IOException ie){
            ie.printStackTrace();
        }
        
        System.out.println("Total URLs: " + urlList.size());
        
        /*
         *依次下载list中的文件
         */
        for(int i = 0; i < urlList.size(); i++){
            url = (String)urlList.get(i);
            System.out.println(url);            
            //传入url和每个调用者的标识
            DownloadFile.getHttpFileByUrl(url, "1");
        }
    }    
    
}
将待下载的URL保存到url.txt中,每行一个地址。文件放到DownloadDrive.class同目录中。


到这,主要代码已经实现了。下一步需要做的是和LR整合,用LR的Java Vuser对下载功能进行控制,模拟多用户。其实也就是重写一个测试驱动,只不过这个驱动是需要LR内部方法了,应该没有什么技术上的难点了。


接下来,通过LoadRunner来实现多线程的模拟和控制。

新建LR的JAVA Vuser脚本,这里可以直接进行JAVA编码,又可以调用LR的内部方法,如事务、思考时间、集合点等等。到了这步已经没有任何难点了,开发人员只要花1个小时了解下LR的基本使用和常用方法即可,测试人员如果不会JAVA……那还是算了吧。

Action.java内容如下:

import lrapi.lr;
import com.test.*;
import java.util.*;
import java.io.*;

public class Actions
{

    public int init() throws Throwable {
        return 0;
    }//end of init


    public int action() throws Throwable {
        
        /*
        调用者测量
        */
        int downloadSize = 0;
        int downloadTime = 0;
        long startTime = 0;
        long endTime = 0;
        int speed = 0;

        int vid;
        vid = lr.get_vuser_id();

        /*
        从url文件生成arraylist
            */
        String url;
        ArrayList urlList = new ArrayList();

        try{        
                BufferedReader br = new BufferedReader(new FileReader("url.txt"));

             while((url = br.readLine()) != null){
               urlList.add(url);
        }
        }catch(IOException ie){
          ie.printStackTrace();
        }

        lr.enable_redirection(true);
        lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_OFF);

        System.out.println("Total URLs: " + urlList.size());

        for(int i = 0; i < urlList.size(); i++){
          url = (String)urlList.get(i);
          System.out.println(url);

          //事务名称
          String trxName = "URL" + (i+1);

          startTime = System.currentTimeMillis();

          lr.start_transaction(trxName);
          //传入url和每个调用者的标识
          downloadSize = DownloadFile.getHttpFileByUrl(url, Integer.toString(vid));
          lr.end_transaction(trxName, lr.AUTO);

          endTime = System.currentTimeMillis();
          downloadTime = (int)(endTime - startTime)/1000;
          speed = downloadSize / downloadTime;

          lr.output_message(trxName + ": completed");
          lr.output_message("time cost: " + downloadTime + "s");
          lr.output_message("average speed: " + speed + "KB/s");
          lr.output_message("");

        }

        lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_ON);

        return 0;
    }//end of action


    public int end() throws Throwable {
        return 0;
    }//end of end
}

所有以lr开头的方法都是LR内部方法,这里只用到了事务、日志等几个。

编译之前我们的JAVA下载代码,将包(com.test)放入LR脚本的目录中,如图:

打开LR脚本,运行试一下。

可以看到正常输出了日志,再验证一下下载到的文件是否完整,找到输出路径,如“h:testtestvideo_20121106194419_-1”,用播放器打开这个文件,正常播放。说明我们的脚本已经OK了,下面就要做多用户的测试了。

打开controller,设置同时运行2个VUSER(为了保证负载机的网络不成为瓶颈),运行场景。

可以看到,2个VUSER都按预期正常完成了。

从几个方面验证测试的有效性:
1是负载机的网络利用,上面单用户执行脚本时下载速度是5M/s(apache服务器做了限速),这次两个用户同时下载达到了10M。


2是每个VUSER的输出日志。
3是下载文件的完整性。


技术交流QQ群 522720170 小强加悦软件测试群

电影下载QQ群 533341883 XQ电影下载圈



技术交流QQ群 522720170 小强加悦软件测试群

电影下载QQ群 533341883 XQ电影下载圈

博客分类