996b18f7a46800d7da2b8b1063b04f625af866ca
[anna.git] / example / diameter / launcher / resources / pcap2diameterHex.sh
1 #!/bin/bash
2
3 # ANNA - Anna is Not Nothingness Anymore
4 #
5 # (c) Copyright 2005-2014 Eduardo Ramos Testillano & Francisco Ruiz Rayo
6 #
7 # http://redmine.teslayout.com/projects/anna-suite
8 #
9 # Redistribution and use in source and binary forms, with or without
10 # modification, are permitted provided that the following conditions
11 # are met:
12 #
13 #     * Redistributions of source code must retain the above copyright
14 # notice, this list of conditions and the following disclaimer.
15 #     * Redistributions in binary form must reproduce the above
16 # copyright notice, this list of conditions and the following disclaimer
17 # in the documentation and/or other materials provided with the
18 # distribution.
19 #     *  Neither the name of the copyright holder nor the names of its
20 # contributors may be used to endorse or promote products derived from
21 # this software without specific prior written permission.
22 #
23 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
24 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
25 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
26 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
27 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
28 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
29 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
30 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
31 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
32 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
33 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
34 #
35 # Authors: eduardo.ramos.testillano@gmail.com
36 #          cisco.tierra@gmail.com
37
38
39 #############
40 # VARIABLES #
41 #############
42 tmpdir=$(mktemp -d)
43
44 #############
45 # FUNCTIONS #
46 #############
47
48 usage () {
49   echo "Usage: $0 <pcap_file> [results_dir]"
50   echo
51   echo "       pcap_file:   pcap formatted file to be processed."
52   echo "       results_dir: directory where results are stored."
53   echo "                    By default, pcap file dirname is used."
54   echo
55   echo "       The utility, dumps the extracted hexadecimal content"
56   echo "       and useful information as timestamps, source and"
57   echo "       destination:"
58   echo "          <results_dir>/<frame sequence>.hex"
59   echo "          <results_dir>/<frame sequence>.metadata"
60   echo
61   _exit
62 }
63
64 _exit () {
65   echo
66   echo -e $1
67   echo
68
69   # Cleanup
70   rm -rf $tmpdir
71
72   rc=1
73   [ -n "$2" ] && rc=$2
74   exit $rc
75 }
76
77
78 #############
79 # EXECUTION #
80 #############
81
82 echo
83 echo "============================================"
84 echo "Diameter buffer extractor from PCAP raw file"
85 echo "============================================"
86 echo
87
88 # Usage:
89 [ "$1" = "" ] && usage
90
91 # Pcap file:
92 PCAP_FILE=$1
93 [ ! -f $PCAP_FILE ] && _exit "Cannot found provided pcap file '$1' !!"
94
95 # Optional result dir:
96 RESULTS_DIR=`dirname $PCAP_FILE`
97 [ "$2" != "" ] && RESULTS_DIR=$2
98 [ ! -d $RESULTS_DIR ] && _exit "The results directory '$RESULTS_DIR' must exists !!"
99
100 # Get the frames with diameter content (take care about '-2' two-pass option and don't add it, because we need to get reassembled parts in their corresponding frames):
101 # Fields needed (we won't need diameter.hopbyhopid & diameter.endtoendid to verify diameter message as hint patterns; length management will be enough):
102 FIELDS="-e frame.number -e frame.time_epoch -e ip.src_host -e ip.dst_host -e diameter.applicationId -e tcp.len -e diameter.length -e frame.protocols -e tcp.segment"
103 tshark -E separator="|" -r $PCAP_FILE -N mntC -Tfields $FIELDS 2>/dev/null | grep -i diameter > $tmpdir/diameter_frames
104 # Example output:
105 #                                           /length\
106 # frame     timestamp        src     dst     App-ID  TCP DIAM          protocol                         segments 
107 #   1|1427215933.697904000|gt_traf|vcbavipt|16777238|432|432|eth:ip:tcp:diameter:diameter:diameter3gpp|
108 #   3|1427215934.449523000|vcbavipt|gt_traf|16777238|292|292|eth:ip:tcp:diameter:diameter:diameter3gpp|
109 #   5|1427215934.456160000|gt_traf|vcbavipt||1400||eth:ip:tcp:diameter|
110 #   6|1427215934.456204000|gt_traf|vcbavipt|16777236|572|1972|eth:ip:tcp:diameter:diameter:diameter3gpp|5,6
111 #   8|1427215935.123559000|vcbavipt|gt_traf|16777236|248|248|eth:ip:tcp:diameter:diameter:diameter3gpp|
112
113 #   1|1427215933.697904000|gt_traf|vcbavipt|432|432|eth:ip:tcp:diameter:diameter:diameter3gpp|
114 #   3|1427215934.449523000|vcbavipt|gt_traf|292|292|eth:ip:tcp:diameter:diameter:diameter3gpp|
115 #   5|1427215934.456160000|gt_traf|vcbavipt|1400||eth:ip:tcp:diameter|
116 #   6|1427215934.456204000|gt_traf|vcbavipt|572|1972|eth:ip:tcp:diameter:diameter:diameter3gpp|5,6
117 #   8|1427215935.123559000|vcbavipt|gt_traf|248|248|eth:ip:tcp:diameter:diameter:diameter3gpp|
118 all_frames=( $(cat $tmpdir/diameter_frames | cut -d\| -f1) )
119 needs_join=( $(cat $tmpdir/diameter_frames | cut -d\| -f9) )
120 main_frames=( $(cat $tmpdir/diameter_frames | awk -F\| '{ if ($7 != "") print $1 }') )
121
122 # Reassemble procedure (using frame 1 as example):
123 # (for non segmented frames, it is enough with tcp or diameter length within the frame content itself)
124 # 1) Get the TCP length: 432 bytes. 432*2 = 864 characters per byte in hexadecimal string format
125 # 2) Get the frame length: `wc -c $tmpdir/block.$frame` => 997
126 # 3) Get 864 from the tail: `cat $tmpdir/block.$frame | cut -c133
127
128 # Dump the hex blocks for all the diameter frames:
129 cat $PCAP_FILE | rawshark -s -r - -d proto:diameter -F data 2>/dev/null > $tmpdir/all_hex_data
130 for frame in ${all_frames[@]}; do
131   grep "^$frame " $tmpdir/all_hex_data | cut -d\" -f2 | sed 's/://g' > $tmpdir/block.$frame
132   frame_info=$(grep "^${frame}|" $tmpdir/diameter_frames)
133
134   # Get the diameter part:
135   tcp_len=$(echo $frame_info | cut -d\| -f6)
136   frm_len=$(wc -c $tmpdir/block.$frame | awk '{ print $1 }')
137   cut_len=$((frm_len-2*tcp_len))
138   cat $tmpdir/block.$frame | cut -c${cut_len}- > $RESULTS_DIR/$frame.hex
139   echo -n "Created $RESULTS_DIR/$frame.hex"
140
141   # Metadata:
142   ts=$(echo $frame_info | cut -d\| -f2)
143   date=$(date -d @$ts)
144   src=$(echo $frame_info | cut -d\| -f3)
145   dst=$(echo $frame_info | cut -d\| -f4)
146   appid=$(echo $frame_info | cut -d\| -f5)
147   echo -e "timestamp=$ts\ndate=$date\nsrc=$src\ndst=$dst\napplicationid=$appid" > $RESULTS_DIR/$frame.metadata
148   echo " and $RESULTS_DIR/$frame.metadata"
149 done
150
151 # Join frames which need to be reassembled:
152 for group in ${needs_join[@]}; do
153   echo "Grouping frames $group ..."
154   group_array=( $(echo $group | sed 's/,/ /g') )
155   for frame in ${group_array[@]}; do
156     cat $RESULTS_DIR/$frame.hex >> $tmpdir/diam.$group
157   done
158   cat $tmpdir/diam.$group | tr -d '\n' > $RESULTS_DIR/$frame.hex
159 done
160
161 # Delete superfluous metadata:
162 echo "Deleting superfluous buffers & metadata ..."
163 segments=( $(cat $tmpdir/diameter_frames | awk -F\| '{ if ($7 == "") print $1 }') )
164 for s in ${segments[@]}; do rm $RESULTS_DIR/$s.*; done
165
166
167 _exit "Done!" 0
168