Fix wrong xmltodict installation in latest nginx

Fix bug when removing test case keys

We need to store both key1 and key2, because when
both are found (sessionId and subscriber), only the
last processed was stored and then, it was the only
removed causing further contexts to have collision
with leftovers (the other key).

Allow to clear an specific test case

Allow to automatically reserve an FSM test id

We will allow to provide '0' as special value for test
identifier on test manager in order to reserve the id
as the current pool size plus 1. This is valid if previous
reservations were done in the same way, or starting from
the id=1 and monotonically increased without holes in the
sequence.

REST API now will return the response body with the response field
as the affected test id in order to know the one reserved just in
case 0 was provided instead of specific value.

Component tests have been adapted to the new feature.

Fix xml to json converter

When an array has a unique element, xmltodict does not
parse it as an array, but a single object. This causes
a problem in the diameter xml conversion because the
library for reverse conversion [0] won't follow the
diameter message dtd template.

Fortunately, xmltodict supports [1] force array for specific
node name, so we will force this for 'avp' which is the
one affected.

[0] https://github.com/testillano/json2xml
[1] https://stackoverflow.com/questions/37207353/xmltodict-does-not-return-a-list-for-one-element

Fix ADML component test

Recent ae-adml-http image refactoring changed the
entrypoint omitting ADML arguments, now passed at
ct script.

Also, nginx proxy will expose ipv6 on same admin port 8074.

Improve xml2json utility

Simplify ADML-HTTP image UX

Add more utilities for ADML-HTTP image

jq and decode helper are added

Add utilities to adml-http image

Add tshark decoder to adml-http image

Remove dynamic exceptions

Dynamic exceptions were deprecated at C++11
https://redmine.teslayout.com/issues/47

Remove warnings (work package 1)

Improve dynamic test provision

Complete actions with answers mocking on FIFO queue.

Fix testid flow POSTs in documentation

Miss identifier as part of POST URIs

Fix bug on regexp insertion for xml messages

We must check that the elements are found before
replacing items by [0-9]+.
This is because Origin-State-Id is not always sent.

Keep output being visible

also, pid must be obtained with pgrep_live
because 'echo $!' gets the tee PID.

Added helpers to pytest tests

New fixture 'saveB64Artifact' which decodes base64 for some responses
and write xml (if it is xml) to file and json equivalent representation.

Fix xml representations

< is not allowed (should be &lt). Changed to [ to avoid problems

Add CCA.xml example as reference for mocking dynamic operation

Fixed HELP.md documentation for dynamic operation arguments.

Make configurable the start arguments for ADML

You could select st mode (system test)

Implement dynamic procedure at REST interface

Allow separate stacks registration through services operation

Until now, stacks could not be delta-loaded. All the stacks might be
loaded in a unique single xml file (or xml representation through
rest api). This was due to counterscope initialization restriction:
once a counter was registered (due to event received), you could not
initialize more counter scopes.

We removed this restriction (now commented on initializeCountersScope).
New scopes() method to know current registered ones in order to put
the correct start point at services load procedure.

The services "node" nodes always could be loaded separately, so, no
impact on functional behaviour for this.

Fixed: https://redmine.teslayout.com/issues/48

Prepare basic hooks commented just in case they are used later

Ensure future names collision problem does not arise

Better to consider directories as packages, so pytest
will append package names to tests and you could have
tests with the same name along the tree.

although this seems not to be very probable in this
ADML testing, it is better to make this thing safer.

Remove mark as xfail for some tests

As we are launching pytest from ct.sh script, service is always
available when running the component tests. Then, these tests
are not going to fail.

Allow passing arguments to ADML-HTTP docker image entrypoint

Modify entrypoint/cmd on adml-http image to allow provide extra
arguments to the entrypoint. Also, the starter script will forward
de arguments $@ towards ADML start.sh script, so parameters like
'ft' or 'st' are now possible to specify on docker run statement
(ft by default).

Allow parametrize the build variant in ct.sh script. In this way
we could test  Release or Debug variant. The ADML start.sh argument
is set to 'st' to avoid trace generation and traffic log.
Rebuild question is now 'n' by default.
Docker tag will be suffixed with '-debug' for Debug, and unchanged
for Release. In the same way, the container name is changed to
to know easily what is being deployed. Anyway, nginx port will
collide and then both cannot be started expect if 8074 port is
changed in any of them.

When configuring services in ct.sh script, we will parse the response
to know the success state (true/false) in order to interrupt the
component test procedure in case of fail.

Also, in this script, a bug is fixed: pgrep is not being escaped, and
the $(pgrep ADML) is going to be evaluated on host.

Parametrize variants at build scripts

Also, renamed adml-http image to anna-adml-http:<version>
Version is also <version>-debug or <version> for Release
variant.

New script for image check and cleanup.

Improve dynlib update note to be no so specific

Some deployments are not using run.sh, but start.sh versions.

Add error condition when building image

Exit if any fail happens.

Add portability fixes

Add fourth work package for REST API implementation

Implementation completed with last FSM testing use cases

Avoid service overhead about checking netstat ports

CT script procedure starts the service and then check for
availability. This check was being hard (no sleep between
retries). Now, 1 second is lapsed in every check.

Dump output and hide from non-tty, the ADML stdout/stderr

Modify start script to dump output to file (ADML.output).
This output gather (for example) procedure outputs from
step-command threads.

Solve legacy problem with clear operation (coredump with running threads)

Modified the clear operation. Now is 'conditional', so, when is unsafe,
it will be ignored. A message on http interface advice about trying
later because some running threads could be ongoing (check test
summary to confirm). Sometimes, it could be due to stuck external
procedures. The user is responsible to kill those stuck procedures
or guarantee they are timedout (it is recommended to wrap procedures
into safe containers (subshells) if you don't trust too much those
procedures).

Normally, step commands are not so usual. ADML FSM (finite state
machine) is better used through REST API from other controllers
with their own FSM and interface endpoints (no need for ADML
dedicated command-step threads).

Add ct automation

Services including AF and local diameter server is now skipped as pytest test.
Another one was added as dummy services (stack 0 already loaded).

New ct script (CT automation) which needs 'netstat' tool in the ADML HTTP image.
This script:
* ask for re-build service image
* restart service container
* configure real services
* monitor service available
* ask for pytest global execution

New resources and examples needed are included.

Also fixed visilibity operation at SIGUSR2 interface: was returning
without updating response information.

Add third work package for REST API implementation

Start with FSM Testing

Add second work package for REST API implementation

Complete flow operations
Add updateOperatedOriginHostWithMessage and getOriginHost to
work with datablocks.
This improve also legacy code (sigusr2 interface is gaining
with this feature when managing operation which uses hexadecimal
messages

Codec engine implementation adds also a createMessage version
working with xml representation, not only with xml file.

Add pytest cache to gitignore

Add first work package for REST API implementation

INSTALL_ADML_HTTP.md documentation about:
 * New tools to generate ADML-HTTP deployment, which is an
   ADML with HTTP endpoint configured.
 * Docker image generation for ADML HTTP deployment together
   with an nginx configured as reverse proxy in order to
   offer an HTTP2 server. The HTTP2 requests will be proxied
   to native HTTP11 http server provided by ADML.
 * Instructions to start the docker container and execute
   the pytest component test

EventOperation classes which will centralize event operation
from Launcher.cpp and also from HTTP handler.

New XML dump operations from string (not only from file) at
Launcher.cpp.

Modify all deployment to remove legacy operation script for curl.
All of them will be based (specially "burst" dedicated deployment)
on signal USR2 management.

HELP.md for complete REST API documentation
Pytest component test structure, pending FSM testing and flow operations

New library (json to xml converter) is used to transform REST
operations into native xml language.

Add automation for ADML HTTP image creation

Also improve stuff to centralize build image procedure
and fix the shift issue for parameters passing.

New INSTALL_ADML_HTTP.md help for ADML HTTP deployment and
image creation/running.

Fix another two bugs in json to xml convert library

The first one: the third nested child in 'test.json' was being
considered 'grandchild', that is to say, stack pop was not
correctly managed. The problem arised when poping after a
nested previous array. Fixed with new control booleans.

Also, a problem to finish a parent node xml tag arised when
we had two consecutive nested levels. This is ensured and
tested with new 'test2.json'.

Improve dtd for ADML services

As ADML services loader is retrieving stacks and then nodes,
there is no need to fix strict order for those elements.
Dtd must be relaxed to accept nodes and then stacks.

This is necessary because some json to xml converters could
add xml elements in alphabetical order (and then, stacks is
after node).

Fix bug in json to xml convert library

Bad management for node-names stack (FIFO).
Both object and array shall push keys and also shall pop them
when entering/finishing the callbacks.
Also, new member key_ will store the key (and it won't be
pushed when detected, only when starting object/array).

Ensures normalization on waitfe/fc-xml operations

Normalize the xml representation for loaded messages,
and also the regular expression is adapted as usual,
regarding hop-by-hop, end-to-end and Origin-State-Id.

isLike is fixed to do there the full normalization,
including the removing of newlines.

isLike docygen documentation is also improved.

Also, move getContentFromFile to core::functions.

Allow diameter message & avp to normalize their xml representation

The method `asXMLString` for Message and Avp classes has now an
optional bool "sortAttributes" which defaults to `false` (previous
behaviour).

So, you could normalize by mean sorting attribute names for nodes
within xml. This does not affect to the structure because the
method asXMLString just generates the representations on-demand.

The new parameter is set to true when programming regexps and during
TestCondition comply for diameter messages received.

Normalize xml processing

Centralize indentation spaces for xml representation with
 define macro 'ANNA_XML_INDENTATION_SPACES' which is 3.

Add new working mode for xml Compiler: Sort. This one will
sort attribute names within nodes. This eases normalization
to match regexps based on xml diameter messages representation.
As this mode is based on bit mask, must be power of 2 and the
next free is 8.

Add sax converter from json to xml

This source is also published at github as:
https://github.com/testillano/json2xml

Exclude nlohmann json header from doxygen documentation

It is causing docygen to crash.

Open the suite from gpl3 to MIT license

This allows to create propietary (no open) software
based in this suite.

Fix start.sh script due to bad pid calculated

The .pid was having the eval process PID instead
of ADML's one.
We must to evaluate first, and then pass arguments
expanded to the ADML executable.

Add base64 encoder/decoder at anna core functions

Fix AOTS launcher menu: run operation added

Add new operation 'run' to test a specific test case

Not only updates iterator but also executes the case to
avoid that another operation changes the pointer.

Share http server endpoint to improve REST API performance

Add --httpServerShared to the executable arguments for ft and st.

Ease the ADML help for command line

Just ./start.sh help

Remove operation help.

Created a new version in file: HELP.md

Add nlohmann/json parser

New EventOperation class ready to translate json into piped string
for event operation.

Bug: Fix legacy loadXML to loadXMLFile

Improve xml parsing on diameter codec

loadXML is renamed to loadXMLFile to be more explicit.
Added loadXMLString to load an xml representation.
This will allow to interpret directly json values as base64 xml
encodings.

Enable xml parsing for DocumentMemory

ADML is not really an AOTS deployment but an simple ADML one

It has http support

Add instructions to deploy ADML AOTS Agent

Add deployment for ADML agent with http interface

Reuse ADML agent for aots-setup through symlink.
Centralize stacks with stacks examples. Some modifications
 needed in legacy scripts to reference new dictionary names.
Eval is needed in new start script in order to integrate
the httpServer calculation.

* Upgrade compiler to C++14 (to use std::quoted from iomanip)
* Improve HTTP handler to answer a json body with result (true/false)
  and data (description for the operation):
  {
    "result": "true",
    "data": "Success"
  }
* Fix core dump due to uninitialized 'sessionBasedModelsTypeEnum'
* New 'state' operation to now the state in real time for a test id.

Fix absolute path for build directory

Allow provide variant to builder with docker

Release by default, and also Debug are supported.

Speed up docker building procedure

Comment doxygen generation at entrypoint.
You could do natively (make doc), but the important
 thing is the source build, not the documentation.

Remove hint which has no sense

Ignore flags is not commandline configured now.

Changes to migrate to 32 bit arch (armv7l)

Build source with docker technology

Skip oracle and database build by mean cmake variable

You could avoid database resources compilation to ease the add of requirements:
   > cmake -DSKIP_DATABASE_BUILD=1 .

Improvements from anna fork

* Rename steps that are diameter-specific
  Diameter steps should be renamed to clarify the real context of use.

* Change ADML point of generation for launcher.traces

  Change from the physical executable location to the
  execution point (current working directory)

* Improve final detection algorithm

  Improves resolution to detect the end of the
  testing.
  Uses the number of finished test cases
  (success + failed) instead the initialized
  ones (which is less safer because initial
  conditions).

* Add dynamic ip-limit control

  Add the possibility to control de ip-limit from
  test case by mean a new generic action: ip_limit

* Manage terminate signal from ADML application

* Improve counters
  Implement signalTermination handler and force counter records.
  If counters dumps are disabled (--cntRecordPeriod 0) the file
  won't be created anyway.

  Also, improve the mask for counters file creation instead of
  modifying it on close (avoid possible stop problems). We set
  644 for counters.

* Implement junit report generation
  Add new methods and implement new asXML getter for junit report.

* AOTS (Agents-Oriented Testing Setup): evolution from original
  idea of diameter agents but extended to any kind of resource.

Change-Id: I4dc3ac41b86709439ffa2aa98aa011d956d8df2f

Fix README about oracle integration

Update tshark DNS resolution due to deprecated asynchronous flag 'C'

As tshark has been updated, the resolving flag 'C' for DNS (-N)
option has been deprecated. We will use 'd' and 'v' instead.

Update date in Doxyfile

test

Revert "Remove mysql and oracle resources for anna-ericsson project"

This reverts commit a3b95648bd76140ef55e0b5941d423eee6c3856f.

Remove mysql and oracle resources for anna-ericsson project

Add no-deprecated to warnings due to dynamic exceptions.

Also change clock monotonic constant.

Abstract testing a little more

New rxSimpleTest example

API-implemented example for RX simple test

Miss logic for wait for request data reference

When sending to client, the wait for request step
information was being ignored.

Fix answer condition from message

Answer was wrongly calculated from message, then
always answer was true when request, and false
when answer.

Also adds a trace to get the wait for request value.

Fix compilation error

Get an absolute path for traces in order to bypass possible change-dir operation

Fix registration bug

Fix ad-hoc cmake for install

Convert to warning

Allow to test special cases

Support for Multiple Peer deployments. Support for coexisting several ADMLS instances directories. Fix division by 0.

Help to check CEA received after run.sh

Improve flags uncertainty. Warning when provided with name attribute

Improve help

Minor fixes

Clarify

Core creation

Fix offset

Fixes and improvements

* Allow zeroed cntRecordPeriod as special case (no counters dump)
  instead of throwing exception for invalid time measure.
* Remove symlink to services_example in st client deployment and
  improve help to guide to correct configuration of services.
* Alert about restarting ADML processes when dynamic library has
  been updated/selected.
* Fixed ApplicationMessageOamModule key (eventId now includes
  %s_%s instead of %s%s to avoid possible ambiguity in a key
  definition from to values.
* Hide exception for non Result-Code in diameter answer,
  because this AVP is optional even in some answers.
* Initialize resultCode to -1 instead of 0 to avoid having a
  ResultCode0 as counter prefixes.
* Remove warning from OriginHostManager::getOriginHost when
  item is not found, because this is used also to discard
  redefinitions when something already exists in the map.
* CodecEngine getter has been fixed to cover the monostack
  case where the stack id does not correspond to the app id
  in the requests but the value of 0 (normally).
* Clarify MessageDeque warnings when answer is analyzed
  during configured from original request: this seems to
  be missing warnings from request message findings but
  that are coming from answer !

Niceness set to 5 for ADML

Auto-reset hard/soft for further cycles

If no timeout is configured for a TC, it could happen that next
cycle reach the same TC still in progress. Auto-reset is soft by
default, but you could configure for this kind of scenarios.

Then, auto-reset will hard reset the TC dumping a Failed report
(hint is about hard reset of in-progress TC) and then will be
initialized and started again.

App counters including message name and result code if proceed

OriginHostManager to abstract Procedure (dyamic) from knowing the OriginHost node