example/diameter/pcapDecoder/tsharkDecoder.sh

   1 #!/bin/bash
   2
   3 # ANNA - Anna is Not Nothingness Anymore
   4 #
   5 # (c) Copyright 2005-2014 Eduardo Ramos Testillano & Francisco Ruiz Rayo
   6 #
   7 # http://redmine.teslayout.com/projects/anna-suite
   8 #
   9 # Redistribution and use in source and binary forms, with or without
  10 # modification, are permitted provided that the following conditions
  11 # are met:
  12 #
  13 #     * Redistributions of source code must retain the above copyright
  14 # notice, this list of conditions and the following disclaimer.
  15 #     * Redistributions in binary form must reproduce the above
  16 # copyright notice, this list of conditions and the following disclaimer
  17 # in the documentation and/or other materials provided with the
  18 # distribution.
  19 #     *  Neither the name of the copyright holder nor the names of its
  20 # contributors may be used to endorse or promote products derived from
  21 # this software without specific prior written permission.
  22 #
  23 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  24 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  25 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  26 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  27 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  28 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  29 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  30 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  31 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  32 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  33 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  34 #
  35 # Authors: eduardo.ramos.testillano@gmail.com
  36 #          cisco.tierra@gmail.com
  37
  38
  39 # Decoder version using tshark tool
  40
  41 #############
  42 # VARIABLES #
  43 #############
  44 tmpdir=$(mktemp -d)
  45 TSHARK=tshark
  46
  47 #############
  48 # FUNCTIONS #
  49 #############
  50
  51 usage() {
  52   echo
  53   echo "Usage: $0 [-h|--help] [-o|--other-ports <list>] [-d|--results-dir <dir>] [-s|--sids <file>] <pcap>"
  54   echo
  55   echo "       -h|--help:                this usage help."
  56   echo "       -o|--other-ports <list>:  space-separated list of ports which frames"
  57   echo "                                 will be decoded as diameter protocol although"
  58   echo "                                 not being standard. For example, we could use"
  59   echo "                                 \"13868\" to disect the Ericsson Sy variant."
  60   echo "       -d|--results-dir <dir>:   directory where results are stored."
  61   echo "                                 By default, pcap dirname."
  62   echo "       -s|--sids <file>:         file containing a list of Session-Id values"
  63   echo "                                 (one per line) to be taken into account."
  64   echo "                                 If missing, all the frames will be extracted."
  65   echo
  66   echo "       pcap:                     pcap formatted file to be processed."
  67   echo
  68   echo "       The utility, dumps the extracted hexadecimal content and useful information"
  69   echo "       (timestamps, source, destination, etc.) within a metadata file:"
  70   echo
  71   echo "          <results directory>/<frame sequence>.hex"
  72   echo "          <results directory>/<frame sequence>.metadata"
  73   echo
  74   _exit
  75 }
  76
  77 parse_arguments() {
  78   OTHER_PORTS=
  79   RESULTS_DIR=
  80   SIDS_FILE=
  81   PCAP_FILE=
  82
  83   while [ $# -gt 0 ]; do
  84     case $1 in
  85       -h|--help)
  86         usage
  87       ;;
  88
  89       -o|--other-ports)
  90         OTHER_PORTS="$2"
  91         [ -z "$OTHER_PORTS" ] && _exit "Missing non-standard ports list"
  92         shift
  93       ;;
  94
  95       -d|--results-dir)
  96         RESULTS_DIR=$2
  97         shift
  98       ;;
  99
 100       -s|--sids)
 101         SIDS_FILE=$2
 102         shift
 103       ;;
 104
 105       *)
 106         first=$(echo $1 | cut -c1)
 107         [ "$first" = "-" ] && _exit "Unsupported script option: $1. Type '$SCR_BN -h' (or --help) to print the available options."
 108         PCAP_FILE=$1
 109       ;;
 110     esac
 111     shift
 112   done
 113
 114   [ -z "$PCAP_FILE" ] && _exit "Missing pcap file"
 115   [ ! -f "$PCAP_FILE" ] && _exit "Cannot found provided pcap file '$PCAP_FILE' !!"
 116   [ -z "$RESULTS_DIR" ] && RESULTS_DIR=`dirname $PCAP_FILE`
 117   [ ! -d $RESULTS_DIR ] && _exit "The results directory '$RESULTS_DIR' must exists !!"
 118   if [ -n "$SIDS_FILE" ]
 119   then
 120     [ ! -f $SIDS_FILE ] && _exit "The Session-Id list file '$SIDS_FILE' provided, does not exist !!"
 121   fi
 122 }
 123
 124 _exit () {
 125   echo
 126   echo -e $1
 127   echo
 128
 129   # Cleanup
 130   rm -rf $tmpdir
 131
 132   rc=1
 133   [ -n "$2" ] && rc=$2
 134   exit $rc
 135 }
 136
 137
 138 #############
 139 # EXECUTION #
 140 #############
 141
 142 echo
 143 echo "============================================"
 144 echo "Diameter buffer extractor from PCAP raw file"
 145 echo "============================================"
 146 echo
 147
 148 # Arguments:
 149 [ "$1" = "" -o "$1" = "--help" -o "$1" = "-h" ] && usage
 150 parse_arguments "$@"
 151
 152 # Tshark available:
 153 which $TSHARK >/dev/null 2>/dev/null
 154 [ $? -ne 0 ] && _exit "Missing 'tshark' tool !!"
 155
 156 # Get the frames with diameter content (take care about '-2' two-pass option and don't add it, because we need to get reassembled parts in their corresponding frames):
 157 # Fields needed (we won't need diameter.hopbyhopid & diameter.endtoendid to verify diameter message as hint patterns; length management will be enough): see https://www.wireshark.org/docs/dfref/d/diameter.html
 158 FIELDS_DIAMETER="-e diameter.cmd.code -e diameter.flags.request -e diameter.applicationId -e diameter.hopbyhopid -e diameter.endtoendid -e diameter.Session-Id -e diameter.Origin-Host -e diameter.Subscription-Id-Data -e diameter.Subscription-Id-Type -e diameter.length"
 159 FIELDS="-e frame.number -e frame.time_epoch -e ip.src_host -e ip.dst_host $FIELDS_DIAMETER -e tcp.len -e frame.protocols -e tcp.segment"
 160 # Disect selectors for non-standard diameter ports:
 161 for port in $OTHER_PORTS
 162 do
 163   echo "Taking tcp port $port to be decoded as diameter protocol"
 164   DISECT_SELECTORS="$DISECT_SELECTORS -d tcp.port=$port,diameter"
 165 done
 166
 167 $TSHARK -E separator="|" -r $PCAP_FILE -N mntC -Tfields $FIELDS $DISECT_SELECTORS 2>/dev/null | grep -i diameter > $tmpdir/diameter_frames
 168 # Example output:
 169 #                                                                                                                            /length\
 170 # frame     timestamp        src     dst   code R  App-ID   HopByHop   EndToEnd Session-Id Origin-Host Subs-Data  Subs-Type  DIAM TCP          protocol                    segments
 171 #   1           2             3       4     5   6    7         8           9       10          11          12         13      14   15             16                          17
 172 #   1|1427215933.697904000|gt_traf|vcbavipt|272|1|16777238|0x0004e6e6|0x000bd986|xxxxxxx|xxxxxxxxxxxxx|xxxxxxxxxx|xxxxxxxxxxx|432|432|eth:ip:tcp:diameter:diameter:diameter3gpp|
 173 #   3|1427215934.449523000|vcbavipt|gt_traf|272|0|16777238|0x0004e6e6|0x000bd986|xxxxxxx|xxxxxxxxxxxxx|xxxxxxxxxx|xxxxxxxxxxx|292|292|eth:ip:tcp:diameter:diameter:diameter3gpp|
 174 #   5|1427215934.456160000|gt_traf|vcbavipt||||||||1400|eth:ip:tcp:diameter|
 175 #   6|1427215934.456204000|gt_traf|vcbavipt|265|1|16777236|0x000c73c3|0x0004cee4|xxxxxxx|xxxxxxxxxxxxx|xxxxxxxxxx|xxxxxxxxxxx|1972|572|eth:ip:tcp:diameter:diameter:diameter3gpp|5,6
 176 #   8|1427215935.123559000|vcbavipt|gt_traf|265|0|16777236|0x000c73c3|0x0004cee4|xxxxxxx|xxxxxxxxxxxxx|xxxxxxxxxx|xxxxxxxxxxx|248|248|eth:ip:tcp:diameter:diameter:diameter3gpp|
 177 all_frames=( $(cat $tmpdir/diameter_frames | cut -d\| -f1) )
 178 needs_join=( $(cat $tmpdir/diameter_frames | cut -d\| -f17) )
 179 main_frames=( $(cat $tmpdir/diameter_frames | awk -F\| '{ if ($15 != "") print $1 }') )
 180
 181 # Reassemble procedure (using frame 1 as example):
 182 # (for non segmented frames, it is enough with tcp or diameter length within the frame content itself)
 183 # 1) Get the TCP length: 432 bytes. 432*2 = 864 characters per byte in hexadecimal string format
 184 # 2) Get the frame length: `wc -c $tmpdir/block.$frame` => 997
 185 # 3) Get 864 from the tail: `cat $tmpdir/block.$frame | cut -c133
 186
 187 # Dump the hex blocks for all the diameter frames:
 188 cat $PCAP_FILE | rawshark -s -r - -d proto:diameter -F data 2>/dev/null > $tmpdir/all_hex_data
 189 for frame in ${all_frames[@]}; do
 190   grep "^$frame " $tmpdir/all_hex_data | cut -d\" -f2 | sed 's/://g' > $tmpdir/block.$frame
 191   frame_info=$(grep "^${frame}|" $tmpdir/diameter_frames)
 192
 193   # Get the diameter part:
 194   tcp_len=$(echo $frame_info | cut -d\| -f15)
 195   frm_len=$(wc -c $tmpdir/block.$frame | awk '{ print $1 }')
 196   cut_len=$((frm_len-2*tcp_len))
 197   cat $tmpdir/block.$frame | cut -c${cut_len}- > $RESULTS_DIR/$frame.hex
 198   echo -n "Created $RESULTS_DIR/$frame.hex"
 199
 200   # Metadata:
 201   ts=$(echo $frame_info | cut -d\| -f2)
 202   date=$(date -d @$ts)
 203   src=$(echo $frame_info | cut -d\| -f3)
 204   dst=$(echo $frame_info | cut -d\| -f4)
 205   code=$(echo $frame_info | cut -d\| -f5)
 206   isreq=$(echo $frame_info | cut -d\| -f6)
 207   appid=$(echo $frame_info | cut -d\| -f7)
 208   sid=$(echo $frame_info | cut -d\| -f10)
 209   oh=$(echo $frame_info | cut -d\| -f11)
 210   subscriber=$(echo $frame_info | cut -d\| -f12)
 211   subscribertype=$(echo $frame_info | cut -d\| -f13)
 212   [ "$subscribertype" = "0" ] && subscribertype=msisdn
 213   [ "$subscribertype" = "1" ] && subscribertype=imsi
 214
 215   #hbh=$(echo $frame_info | cut -d\| -f8)
 216   #e2e=$(echo $frame_info | cut -d\| -f9)
 217   # HBH and ETE To decimal:
 218   #hbh=$(printf "%d\n" $hbh)
 219   #e2e=$(printf "%d\n" $e2e)
 220   echo "date=$date" > $RESULTS_DIR/$frame.metadata
 221   echo "timestamp=$ts" >> $RESULTS_DIR/$frame.metadata
 222   echo "src=$src" >> $RESULTS_DIR/$frame.metadata
 223   echo "dst=$dst" >> $RESULTS_DIR/$frame.metadata
 224   echo "code=$code" >> $RESULTS_DIR/$frame.metadata
 225   echo "isrequest=$isreq" >> $RESULTS_DIR/$frame.metadata
 226   echo "applicationid=$appid" >> $RESULTS_DIR/$frame.metadata
 227   [ -n "$sid" ] && echo "sessionid=$sid" >> $RESULTS_DIR/$frame.metadata
 228   echo "originhost=$oh" >> $RESULTS_DIR/$frame.metadata
 229   if [ -n "$subscriber" ]
 230   then
 231     echo "subscriber=$subscriber" >> $RESULTS_DIR/$frame.metadata
 232     echo "subscribertype=$subscribertype" >> $RESULTS_DIR/$frame.metadata
 233   fi
 234   #echo "hopbyhop=$hbh" >> $RESULTS_DIR/$frame.metadata
 235   #echo "endtoend=$e2e" >> $RESULTS_DIR/$frame.metadata
 236
 237   echo " and $RESULTS_DIR/$frame.metadata"
 238 done
 239
 240 # Join frames which need to be reassembled:
 241 for group in ${needs_join[@]}; do
 242   echo "Grouping frames $group ..."
 243   group_array=( $(echo $group | sed 's/,/ /g') )
 244   for frame in ${group_array[@]}; do
 245     cat $RESULTS_DIR/$frame.hex >> $tmpdir/diam.$group
 246   done
 247   cat $tmpdir/diam.$group | tr -d '\n' > $RESULTS_DIR/$frame.hex
 248 done
 249
 250 # Delete superfluous metadata:
 251 echo "Deleting superfluous buffers & metadata ..."
 252 segments=( $(cat $tmpdir/diameter_frames | awk -F\| '{ if ($14 == "") print $1 }') )
 253 for s in ${segments[@]}; do rm $RESULTS_DIR/$s.*; done
 254
 255 # Detecting Session-Id values:
 256 grep ^sessionid= $RESULTS_DIR/*.metadata 2>/dev/null | cut -d= -f2- | sort -u > $RESULTS_DIR/session-ids
 257 if [ -s $RESULTS_DIR/session-ids ]
 258 then
 259   count=0
 260   while read -r line; do count=$((count+1)) ; echo "Detected Session-Id $count:  $line"; done < $RESULTS_DIR/session-ids
 261   rm $RESULTS_DIR/session-ids
 262 fi
 263
 264 # Detecting Origin-Host values:
 265 grep ^originhost= $RESULTS_DIR/*.metadata 2>/dev/null | cut -d= -f2- | sort -u > $RESULTS_DIR/origin-hosts
 266 if [ -s $RESULTS_DIR/origin-hosts ]
 267 then
 268   count=0
 269   while read -r line; do count=$((count+1)) ; echo "Detected Origin-Host $count: $line"; done < $RESULTS_DIR/origin-hosts
 270   #rm $RESULTS_DIR/origin-hosts
 271 fi
 272
 273 # Purge frames with Session-Id not wanted:
 274 if [ -n "$SIDS_FILE" ]
 275 then
 276   grep -l -w -f $SIDS_FILE $RESULTS_DIR/*metadata > $RESULTS_DIR/.wanted
 277   grep -l ^sessionid $RESULTS_DIR/*metadata > $RESULTS_DIR/.all
 278   for file in `grep -vf $RESULTS_DIR/.wanted $RESULTS_DIR/.all`
 279   do
 280     frm=$(basename $file | cut -d\. -f1)
 281     sid=$(grep ^sessionid= $file | cut -d= -f2-)
 282     echo "Purge results for frame $frm (Session-Id: '$sid') ..."
 283     rm $RESULTS_DIR/${frm}.*
 284   done
 285   rm $RESULTS_DIR/.wanted $RESULTS_DIR/.all
 286 fi
 287
 288 _exit "Done!" 0
 289