近的一个项目,视频点播系统,使用apache实现的流媒体服务器。其实准确的说叫做伪流(HTTP Pseudo-Streaming),基本原理和概念自行了解吧。
让我简单的描述是仍然是HTTP下载,播放器播放本地缓存。只不过它也实现了一些和正规流媒体服务类似的功能。
视频点播类系统的性能测试,说简单了主要是模拟大量用户去看视频。
服务端监控整体性能,客户端关注各自表现。
这里难点主要在于如何模拟大量用户观看视频?如何判断各客户端展现?
多客户端的模拟无外乎3种方法:
1、全公司总动员,一起看。
2、一台机器开多个播放页面(或者是一个页面上嵌入多个播放器),调用多台机器。
3、抛弃客户端的解码播放过程,直接想法下载视频文件。
第一种方法不用说,虽然真实,但太原始没有技术含量,如果是小公司人还不一定够。
第二种方法在需要测试的用户数不大时还可以,否则会占用较多资源,而且技术含量也较低。这种方式,一台机器上能模拟的用户数很有限,因为CPU会很快成为瓶颈。
第三种方法高效,在千兆网环境下,一台机器可以模拟很多路用户,此时网络带宽是瓶颈(如果带宽更大,估计硬盘IO是瓶颈了)。但是没有解码和播放,如何判断客户端的效果呢?两种方式,一是对比下载速度和码率,理论上只要下载速度足够可以了;二是测试过程中也可以打开几个真实的播放窗口来验证播放效果,因为压力在服务端,可以认为每个客户端都是等价的。
本文要讲的是第三种测试方法。
以前还测过FMS的流媒体,网上可以找到现成的工具来实现本方法,只要调用可以了。
但HTTP的这次也搜了两天,好像还真没有,只好自己动手了。
看来高效的方法,实现起来却是麻烦的。
基本思路是JAVA实现下载功能,用LR的JAVA Vuser实现多用户的控制。
动手前先给自己整理了一个需求
功能: 模拟下载√ 播放列表√ 下载速度记录:总平均速度、每秒速度√ *伪装成播放器进行连接 *客户端限速
测试结果: apache限速 下载速度 文件完整
功能扩展 jar包或者exe文件传参(播放列表)
打对钩的是已经实现了,带星号的是未实现、也不一定需要实现的高级功能。
通过测试程序,需要得到的结果是下载是否正确完成?下载速度是否足够?apache的限速模块是否起作用(如果开启)?
这里可能会有个问题,如果下载程序突破了apache的限速,那有可能是测试程序的问题,这引出了上面的高级功能“伪装成播放器”。
下面直接贴代码,说明尽量放到注释里。
下载类,提供静态方法。
package com.test; import java.io.*; import java.net.*; import java.util.*; public class DownloadFile { /* *下载指定URL的文件 *userid是用于保存本地文件的标识 **/ public static int getHttpFileByUrl(String address, String userid) { int bufferSize = 1024; int size = 0; byte[] buf = new byte[bufferSize]; /* *下载时间字符串 *用于文件标识 *格式201210260130 **/ Date date = new Date();23 SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss"); String downloadTime = formatDate.format(date); /* *计算下载速度相关 */ int totalDownloadSize = 0; int lastDownloadSize = 0; long lastCheckTime = 0; long startDownloadTime = 0; int sec = 0; /* *下载和计算过程 */ try { URL url = new URL(address); URLConnection conn = url.openConnection(); BufferedInputStream bis = new BufferedInputStream(conn.getInputStream()); FileOutputStream fos = new FileOutputStream("e: est estvideo" + "_" + downloadTime + "_" + userid); System.out.println("File Size:" + conn.getContentLength()/1024 + "KB"); startDownloadTime = System.currentTimeMillis(); lastCheckTime = startDownloadTime; while ((size = bis.read(buf)) != -1) { fos.write(buf,0,size); totalDownloadSize += size; /* *计算每秒下载速度 */ if (System.currentTimeMillis() - lastCheckTime > 1000) { System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB"); lastCheckTime = System.currentTimeMillis(); lastDownloadSize = totalDownloadSize; sec++; } } System.out.println("Vuser " + userid + " Download Completed!"); System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s"); fos.close(); bis.close(); }catch (MalformedURLException e) { e.printStackTrace(); }catch (IOException e) { e.printStackTrace(); } return totalDownloadSize/1024; } }
测试驱动。
import com.test.*; import java.util.*; import java.io.*; public class DownloadDrive { public static void main (String[] args) { //System.out.println("test"); //DownloadFile.test(); /* *调用者测量 *自行实现 */ int DownLoadSize = 0; double DownLoadTime = 0; int Speed = 0; String url; ArrayList urlList = new ArrayList(); /* *读取待下载的URL地址 *保存到list中 */ try{ BufferedReader br = new BufferedReader(new FileReader("url.txt")); while((url = br.readLine()) != null){ urlList.add(url); } }catch(IOException ie){ ie.printStackTrace(); } System.out.println("Total URLs: " + urlList.size()); /* *依次下载list中的文件 */ for(int i = 0; i < urlList.size(); i++){ url = (String)urlList.get(i); System.out.println(url); //传入url和每个调用者的标识 DownloadFile.getHttpFileByUrl(url, "1"); } } }
将待下载的URL保存到url.txt中,每行一个地址。文件放到DownloadDrive.class同目录中。
运行测试,结果如图
Vuser 1 Download Completed! Average Download Speed: 116KB/s http://desktop.youku.com/youkuclient/youkuclient_setup.exe File Size:8970KB : 505KB : 253KB : 405KB : 210KB : 366KB : 325KB : 312KB : 352KB : 355KB : 288KB : 352KB : 185KB : 454KB : 341KB : 292KB : 354KB : 337KB : 379KB : 345KB : 194KB : 404KB : 281KB : 10KB : 511KB : 332KB : 258KB : 328KB Vuser 1 Download Completed! Average Download Speed: 299KB/s http://download.get.live.cn/components/pinyin/EngkooPinyinSetup_1.0.382.02.exe File Size:24290KB : 362KB : 273KB : 292KB : 329KB : 307KB : 325KB : 329KB : 295KB : 312KB : 295KB : 329KB : 332KB : 275KB : 271KB : 361KB : 313KB : 275KB : 372KB : 314KB : 369KB : 323KB : 350KB : 354KB : 340KB : 342KB : 349KB : 317KB : 354KB : 303KB : 345KB : 345KB : 354KB : 328KB : 330KB : 305KB : 304KB : 310KB : 352KB : 347KB : 286KB : 194KB : 292KB : 350KB : 286KB : 433KB : 330KB : 295KB : 319KB : 358KB : 301KB : 302KB : 304KB : 295KB : 312KB : 311KB : 280KB : 310KB : 304KB : 273KB : 320KB : 288KB : 294KB : 351KB : 354KB : 296KB : 354KB : 362KB : 361KB : 296KB : 329KB : 246KB : 411KB : 270KB : 327KB : 321KB Vuser 1 Download Completed! Average Download Speed: 299KB/s
Process completed.
到这,主要代码已经实现了。下一步需要做的是和LR整合,用LR的Java Vuser对下载功能进行控制,模拟多用户。
其实也是重写一个测试驱动,只不过这个驱动是需要LR内部方法了,应该没有什么技术上的难点了。
明天再补充。