example/diameter/pcapDecoder/tsharkDecoder.sh

   1 #!/bin/bash
   2
   3 # ANNA - Anna is Not Nothingness Anymore
   4 #
   5 # (c) Copyright 2005-2014 Eduardo Ramos Testillano & Francisco Ruiz Rayo
   6 #
   7 # http://redmine.teslayout.com/projects/anna-suite
   8 #
   9 # Redistribution and use in source and binary forms, with or without
  10 # modification, are permitted provided that the following conditions
  11 # are met:
  12 #
  13 #     * Redistributions of source code must retain the above copyright
  14 # notice, this list of conditions and the following disclaimer.
  15 #     * Redistributions in binary form must reproduce the above
  16 # copyright notice, this list of conditions and the following disclaimer
  17 # in the documentation and/or other materials provided with the
  18 # distribution.
  19 #     *  Neither the name of the copyright holder nor the names of its
  20 # contributors may be used to endorse or promote products derived from
  21 # this software without specific prior written permission.
  22 #
  23 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  24 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  25 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  26 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  27 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  28 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  29 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  30 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  31 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  32 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  33 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  34 #
  35 # Authors: eduardo.ramos.testillano@gmail.com
  36 #          cisco.tierra@gmail.com
  37
  38
  39 # Decoder version using tshark tool
  40
  41 #############
  42 # VARIABLES #
  43 #############
  44 tmpdir=$(mktemp -d)
  45 [ -z "$TSHARK_DECODER_NON_STANDARD_PORTS" ] && TSHARK_DECODER_NON_STANDARD_PORTS="13868"
  46
  47 #############
  48 # FUNCTIONS #
  49 #############
  50
  51 usage () {
  52   echo "Usage: $0 <pcap_file> [results_dir]"
  53   echo
  54   echo "       pcap_file:   pcap formatted file to be processed."
  55   echo "       results_dir: directory where results are stored."
  56   echo "                    By default, pcap file dirname is used."
  57   echo
  58   echo "       The utility, dumps the extracted hexadecimal content"
  59   echo "       and useful information as timestamps, source and"
  60   echo "       destination:"
  61   echo "          <results_dir>/<frame sequence>.hex"
  62   echo "          <results_dir>/<frame sequence>.metadata"
  63   echo
  64   echo
  65   echo "       TSHARK_DECODER_NON_STANDARD_PORTS: environment variable"
  66   echo "       defined as a space-separated list of ports which frames"
  67   echo "       will be decoded as diameter protocol. By default, \"13868\""
  68   echo "       is used when the variable has not been exported in shell,"
  69   echo "       in order to disect the Ericsson Sy variant."
  70   echo
  71   _exit
  72 }
  73
  74 _exit () {
  75   echo
  76   echo -e $1
  77   echo
  78
  79   # Cleanup
  80   rm -rf $tmpdir
  81
  82   rc=1
  83   [ -n "$2" ] && rc=$2
  84   exit $rc
  85 }
  86
  87
  88 #############
  89 # EXECUTION #
  90 #############
  91
  92 echo
  93 echo "============================================"
  94 echo "Diameter buffer extractor from PCAP raw file"
  95 echo "============================================"
  96 echo
  97
  98 # Usage:
  99 [ "$1" = "" ] && usage
 100
 101 # Pcap file:
 102 PCAP_FILE=$1
 103 [ ! -f $PCAP_FILE ] && _exit "Cannot found provided pcap file '$1' !!"
 104
 105 # Tshark available:
 106 which tshark >/dev/null
 107 [ $? -ne 0 ] && _exit "Missing 'tshark' tool !!"
 108
 109 # Optional result dir:
 110 RESULTS_DIR=`dirname $PCAP_FILE`
 111 [ "$2" != "" ] && RESULTS_DIR=$2
 112 [ ! -d $RESULTS_DIR ] && _exit "The results directory '$RESULTS_DIR' must exists !!"
 113
 114 # Get the frames with diameter content (take care about '-2' two-pass option and don't add it, because we need to get reassembled parts in their corresponding frames):
 115 # Fields needed (we won't need diameter.hopbyhopid & diameter.endtoendid to verify diameter message as hint patterns; length management will be enough):
 116 FIELDS_DIAMETER="-e diameter.cmd.code -e diameter.flags.request -e diameter.applicationId -e diameter.hopbyhopid -e diameter.endtoendid -e diameter.length"
 117 FIELDS="-e frame.number -e frame.time_epoch -e ip.src_host -e ip.dst_host $FIELDS_DIAMETER -e tcp.len -e frame.protocols -e tcp.segment"
 118 # Disect selectors for non-standard diameter ports:
 119 for port in $TSHARK_DECODER_NON_STANDARD_PORTS
 120 do
 121   DISECT_SELECTORS="$DISECT_SELECTORS -d tcp.port=$port,diameter"
 122 done
 123
 124 tshark -E separator="|" -r $PCAP_FILE -N mntC -Tfields $FIELDS $DISECT_SELECTORS 2>/dev/null | grep -i diameter > $tmpdir/diameter_frames
 125 # Example output:
 126 #                                                                               /length\
 127 # frame     timestamp        src     dst   code R  App-ID   HopByHop   EndToEnd DIAM TCP          protocol                         segments
 128 #   1|1427215933.697904000|gt_traf|vcbavipt|272|1|16777238|0x0004e6e6|0x000bd986|432|432|eth:ip:tcp:diameter:diameter:diameter3gpp|
 129 #   3|1427215934.449523000|vcbavipt|gt_traf|272|0|16777238|0x0004e6e6|0x000bd986|292|292|eth:ip:tcp:diameter:diameter:diameter3gpp|
 130 #   5|1427215934.456160000|gt_traf|vcbavipt|||||||1400|eth:ip:tcp:diameter|
 131 #   6|1427215934.456204000|gt_traf|vcbavipt|265|1|16777236|0x000c73c3|0x0004cee4|1972|572|eth:ip:tcp:diameter:diameter:diameter3gpp|5,6
 132 #   8|1427215935.123559000|vcbavipt|gt_traf|265|0|16777236|0x000c73c3|0x0004cee4|248|248|eth:ip:tcp:diameter:diameter:diameter3gpp|
 133 all_frames=( $(cat $tmpdir/diameter_frames | cut -d\| -f1) )
 134 needs_join=( $(cat $tmpdir/diameter_frames | cut -d\| -f13) )
 135 main_frames=( $(cat $tmpdir/diameter_frames | awk -F\| '{ if ($11 != "") print $1 }') )
 136
 137 # Reassemble procedure (using frame 1 as example):
 138 # (for non segmented frames, it is enough with tcp or diameter length within the frame content itself)
 139 # 1) Get the TCP length: 432 bytes. 432*2 = 864 characters per byte in hexadecimal string format
 140 # 2) Get the frame length: `wc -c $tmpdir/block.$frame` => 997
 141 # 3) Get 864 from the tail: `cat $tmpdir/block.$frame | cut -c133
 142
 143 # Dump the hex blocks for all the diameter frames:
 144 cat $PCAP_FILE | rawshark -s -r - -d proto:diameter -F data 2>/dev/null > $tmpdir/all_hex_data
 145 for frame in ${all_frames[@]}; do
 146   grep "^$frame " $tmpdir/all_hex_data | cut -d\" -f2 | sed 's/://g' > $tmpdir/block.$frame
 147   frame_info=$(grep "^${frame}|" $tmpdir/diameter_frames)
 148
 149   # Get the diameter part:
 150   tcp_len=$(echo $frame_info | cut -d\| -f11)
 151   frm_len=$(wc -c $tmpdir/block.$frame | awk '{ print $1 }')
 152   cut_len=$((frm_len-2*tcp_len))
 153   cat $tmpdir/block.$frame | cut -c${cut_len}- > $RESULTS_DIR/$frame.hex
 154   echo -n "Created $RESULTS_DIR/$frame.hex"
 155
 156   # Metadata:
 157   ts=$(echo $frame_info | cut -d\| -f2)
 158   date=$(date -d @$ts)
 159   src=$(echo $frame_info | cut -d\| -f3)
 160   dst=$(echo $frame_info | cut -d\| -f4)
 161   code=$(echo $frame_info | cut -d\| -f5)
 162   isreq=$(echo $frame_info | cut -d\| -f6)
 163   appid=$(echo $frame_info | cut -d\| -f7)
 164   hbh=$(echo $frame_info | cut -d\| -f8)
 165   e2e=$(echo $frame_info | cut -d\| -f9)
 166   # To decimal:
 167   hbh=$(printf "%d\n" $hbh)
 168   e2e=$(printf "%d\n" $e2e)
 169   echo "date=$date" > $RESULTS_DIR/$frame.metadata
 170   echo "timestamp=$ts" >> $RESULTS_DIR/$frame.metadata
 171   echo "src=$src" >> $RESULTS_DIR/$frame.metadata
 172   echo "dst=$dst" >> $RESULTS_DIR/$frame.metadata
 173   echo "code=$code" >> $RESULTS_DIR/$frame.metadata
 174   echo "isrequest=$isreq" >> $RESULTS_DIR/$frame.metadata
 175   echo "applicationid=$appid" >> $RESULTS_DIR/$frame.metadata
 176   #echo "sequence=${hbh}.${e2e}" >> $RESULTS_DIR/$frame.metadata
 177 #  echo "hopbyhop=$hbh" >> $RESULTS_DIR/$frame.metadata
 178 #  echo "endtoend=$e2e" >> $RESULTS_DIR/$frame.metadata
 179
 180   echo " and $RESULTS_DIR/$frame.metadata"
 181 done
 182
 183 # Join frames which need to be reassembled:
 184 for group in ${needs_join[@]}; do
 185   echo "Grouping frames $group ..."
 186   group_array=( $(echo $group | sed 's/,/ /g') )
 187   for frame in ${group_array[@]}; do
 188     cat $RESULTS_DIR/$frame.hex >> $tmpdir/diam.$group
 189   done
 190   cat $tmpdir/diam.$group | tr -d '\n' > $RESULTS_DIR/$frame.hex
 191 done
 192
 193 # Delete superfluous metadata:
 194 echo "Deleting superfluous buffers & metadata ..."
 195 segments=( $(cat $tmpdir/diameter_frames | awk -F\| '{ if ($10 == "") print $1 }') )
 196 for s in ${segments[@]}; do rm $RESULTS_DIR/$s.*; done
 197
 198
 199 _exit "Done!" 0
 200