Merge remote branch 'origin/daniel/xavp'

* origin/daniel/xavp:
  pv: export new PV class $xavp(name)
  core: introducing xavp (eXtended AVP)
  tm: set/reset head of xavps on TM events
  pv: new pv class $xavp(...)
  core: destroy xavp list once sip msg processing is done

Conflicts:
modules/tm/h_table.c
modules/tm/t_reply.c
modules/tm/uac.c
modules_k/pv/pv.c

dispatcher(k): basic framework for load dispatching

- a lightweight system to do a fair distrubution based on load
- no dependency on dialog, by using an internal table of active calls
  with minimal info, to keep the module suitable for small devices and
  have good performances
- not completed, requires xavp support for a compact info structure to
  be carried in transaction for each failover step

dialog(k): init local parameter

- memset tm callback param to 0
- safety checks for MI cmd dlg match
- credits to Inaki Baz Castillo and Torben Friese

modules/mediaproxy: properly fix the IP in the RTCP line

- Properly fix the IP in the RTCP line (if present in the SDP). Patch
  provided by Saul Ibarra Corretge.

dispatcher(k): weight based distribution

- new algorithm 9 for weight based distribution
- new column to hold attributes per destination
- for weight based distribution you have to set for each address in
  destination set: weight=value, for example:

[setid address flags priority attributes]

2 sip:10.10.0.1:5080 0 2 weight=40
2 sip:10.10.0.2:5082 0 1 weight=60

- this will send 60% of the traffic to second address
- note that at startup the distribution is randomized, so traffic is
  directed to first or second desintation alternatively but keeping
  overall percentages

core: use the prev. via branch id if it's 3261

When computing the via branch value in syn_branch==0 mode, use the
previous via branch id and not the to_tag, from_tag, callid, ruri,
cseq number, via port and host, if the previous via branch id is
in rfc3261 format (begins with the magic cookie).
See  rfc3261/16.11 P116 for more informations.
To revert to the old behaviour, define BRANCH_IGNORE_3261_VIA.

core: include only from/to tags when computing via branch value

- use only the to & from tags when computing the via branch value
  in syn_branch==0 mode. This should improve interoperability with
  broken implementations that don't keep the from & to headers
  unchanged. Defining BRANCH_INCLUDE_FROMTO_BODY will revert to
  the old behaviour.
- moved char_msg_val from parser/msg_parser.h to its own file
 (it has nothing to do with parsing).

cfg.y: fix warnings introduced in previous commit
(cherry picked from commit 318ff6e6884641f3c9788b01e9ac3d859269be30)

core: added forward()

- aliased forward() to forward(uri:host, uri:port)
- k 1.5.x compatibility
(cherry picked from commit 50237e89964b4fc8a4c8775076c1b75a05ee5e73)

MEMDBG set to 1 (memory debugging on)

- default for devel version

Makefile: MEMDBG var to control mem debugging mode

- to compile with memory debugging
make MEMDBG=1 cfg; make ...

app_python: added skeleton for docs

- needs to be filled in

modules/lcr: added in docs missing install dependency on libpcre

- Credits to Kris Amy.

modules_k/permissions: group identifier must be positive integer

- Group Identifier in address permissions must have a positive integer
  value.
(cherry picked from commit c67e72eb16f277eeae16182e15e0e8ebf319dce0)

makefile: fixed parallel job support for several targets

Parallel job support (-jN) warning/support fixed for:
modules*-doc, modules*-readme, modules*-man, install-modules*.

makefile: clean-modules fix for cleaning modules*/*/doc

- fixed wrong test for the existence of $(module)/doc/Makefile

makefile.doc: be silent when cleaning

tm: t_suspend() fixes

- t_suspend() and t_continue() checks whether a CANCEL
  has been processed before the transaction is suspended
  and before it continues to make sure that the
  suspend/continue is not done needlessly.
- t_continue() verifies that the suspended branch has not
  timed out yet.
- t_cancel_suspend() function is introduced:
  It can be used for revoking the suspension of the transaction.
  Useful when any failure occures after the transaction has been suspended
  and it turns out that the transaction should not have been
  suspended.

tm: new select functions

New select functions have been introduced:
- @tm.uac.response_retransmission
Returns "1" if the response is a retransmission
otherwise "-1".
- @tm.uac.last_status
Returns the last saved status code of the current branch.
- @tm.uas.request.neg_ack_retransmission
Returns "1" if the negative ACK request is a retransmission
otherwise "-1".
Note: This select function can be used only for negative ACK messages
(ACK for >=300 responses), it should be enhanced in the future
to work on any type of requests.

tm: TMCB_E2EACK callback fix

TMCB_E2EACK_RETR_IN was called instead of TMCB_E2EACK_IN
for the initial e2e-ACK message.

xlog: API documentation added

xl-lib: shm memory support, regex back reference parsing, xbind

- xl-lib parser supports both pkg and shm memory
- new wrapper functions for the shm memory version:
    - xl_shm_parse_format()
    - xl_elog_shm_free_all()
- The parser can identify the regular expression back
  references (\1, \2, ...) and call a callback function
  to farther parse the back reference. Wraper functions
  for this:
    - xl_parse_format2()
    - xl_shm_parse_format2()
- xbind() module function has been introduced that
  can be used to bind to the xl API as opposed to
  search each exported function individually.

selects: shm_free_select wrapper added

shm_free_select() function is added that frees the select
parsed by shm_parse_select().

dns_cahce: add_record function exported

dns_cache_add_record() function has been separated
from the RPC interface so that it can be used also
from other places.

rename the 'class' variable -- reserved keyword in c++

Makefile:modules fixed usage of -jN flag for modules(_k,_s)

Removed the @for construct (launched a new shell) with a @foreach construct which does a textual expansion
of the block in question (loop unrolling)

debugger: removed completed task from to-do

- fixed the description of inner command for dbg.bp

debugger: more parameters exported to cfg

Makefile: core stats enabled for kamailio flavor

core: unlikely() to test ev SREV_CFG_RUN_ACTION

- test if the event is enabled before creating the parameter and
  executing the callback

core: events: new function to test event enabled

- sr_event_enabled(type) returns true if a callback has been registered
  for respective event type

mqueue: fixed c&p errors in docs

modules_k/siputils : Forgot to commit config.* files

I broke the build...

debugger: new module for interactive cfg debugging

- print config execution path of a SIP message to logs
- interactive debugging for config, similar to gdb
- step-by-step execution of each action in the config file
- the SIP router process stops at cfg actions and waits for RPC commands
  to go to next one, evaluate a pseudo-variable, continue execution, etc.
- see README for more details

core: new core event: SREV_CFG_RUN_ACTION

- it is fired for each action executed from configuration file
- parameters are current acction and sip message given as a void* array
  of two elements

core: fire core event on each executed cfg action

- used for cfg execution tracing and interactive debugging (the new
module debugger)

Merge remote branch 'origin/sr_3.0'

* origin/sr_3.0:
  core: new param to give outbut buffer size
  core: use one buffer for int2str
  core: use dlflags to load modules
  uac(k): use header types for detection
  uac(k): proper test for send failure
  uac(k): set type for tm callback
  modules/mediaproxy: take boundary string from Content-Type header.
  core: stats events cbs are called only if USE_CORE_STATS is defined
  update drp_reqs statistics
  update drp_rpls statistics
  update fwd_rpls statistics
  update err_reqs statistics
  update err_rpls statistics
  update bad_URIs statistics
  update bad_msg_hdr statistics
  core: update fwd_reqs stat
  kex: support to update core stats via core events
  core: added new event SREV_CORE_STATS

Merge remote branch 'origin/tmp/k3.0_sr_backports' into sr_3.0

statistics callback support (enabled only if compiled with
-DUSE_CORE_STATS) and latest kamailio 3.0 fixes

* origin/tmp/k3.0_sr_backports:
  core: new param to give outbut buffer size
  core: use one buffer for int2str
  core: use dlflags to load modules
  uac(k): use header types for detection
  uac(k): proper test for send failure
  uac(k): set type for tm callback
  core: stats events cbs are called only if USE_CORE_STATS is defined
  update drp_reqs statistics
  update drp_rpls statistics
  update fwd_rpls statistics
  update err_reqs statistics
  update err_rpls statistics
  update bad_URIs statistics
  update bad_msg_hdr statistics
  core: update fwd_reqs stat
  kex: support to update core stats via core events
  core: added new event SREV_CORE_STATS

core: new param to give outbut buffer size

- int2strbuf requires now outbut buffer size as parameter
- safer against misuses, suggested by Andrei Pelinescu-Onciul
- if size is less than INT2STR_MAX_LEN, return null pointer
(cherry picked from commit a765213ffa3769577dd7438c95737cb6b98bff74)

core: use one buffer for int2str

- static declaration inside ut.h function results in hard copy to many
  places, affecting acc detection of int to str conversions in buffer
- reported by Alex Balashov
(cherry picked from commit 229496c7170bcc85f517a4985f7ab4bad553c8d3)

core: use dlflags to load modules

- dlflags var used for dlopen function
(cherry picked from commit 055915a558a485cda17c9bb1c8e43aca12d116b5)

uac(k): use header types for detection
(cherry picked from commit 369d7598244c60c2c8e4d601e166a03cb211128c)

uac(k): proper test for send failure
(cherry picked from commit 1479cd808ea8e5025bfa8400a257e3f89db4ab68)

uac(k): set type for tm callback

- requires to be TMCB_LOCAL_COMPLETED
(cherry picked from commit f4f9207f77883efa4dab67b3afe7c693585dc32c)

modules_k/siptutils : Fixed small typo

test:unit Fixed unixodbc tests (tested with mysql connector)

Modules_k/siputils : config framework implementation start

Started for ring_timeout

debian: Module xmlrpc was moved to "modules".

Update the packaging scripts.

core: fix bogus gcc-4.4 warning

xlog(k): parameter to control printing cfg name

- long_format set to 1 makes xlogl() and xdbgl() to print config file
  name before line number (useful for usage of 'include_file')

mqueue: new module offering memory queues

- for usage in cfg file
- many queues can be defined
- one item in queue is a pair (key, value), both string
- functions to add and consume items in the queue
- fetching the oldest item makes it available to pseudo-variables
- example of usage: send tasks from SIP workers to a timer process
  (e.g., defined by rtimer module) that consumes them. Can be some time
  expensive operation, like email notification, etc.

core:forward.c Small typo regarding tested socket

core: fix missing close() in get_out_socket()

- errorpath for EISCONN missed close()-ing the sockets
- added unlikely() on all the error checks

modules/mediaproxy: take boundary string from Content-Type header.
(cherry picked from commit 2031721948bfa6b444d9b18f7e3f195cfd7e1427)

modules/mediaproxy: take boundary string from Content-Type header.

ser_mysql.sh: Switch to /bin/bash

The ser_mysql.sh script is probably not POSIX clean and currently does
not work with dash (the new default interpreter for /bin/sh in debian).

Switch back to /bin/bash, this makes the script work again across
distributions.

packaging: Make postinst scripts dash compatible

Debian Squeeze uses dash as the shell for systems scripts by default
and dash does not support the keyword "function" like bash does.

core: mhomed: fix fd leak on error, ipv6, fd no

- on error the cached fds were set to 0, without closing them. Now
  they are not overwritten anymore (opening another one would not
  help).
- try ipv6 only if USE_IPV6 is defined
- 0 is a valid value for a fd => changed the initial values and
  the comparisons to use -1 / <0
- if connect fails with EISCONN disable future caching of the
  socket (return to the old open new socket, connect(), close()
  mode). This way mhomed will work even in the unlikely case of
  an OS where connect()-ing multiple times the same udp socket is
  not allowed.

core: take into account mhomed when estimated max_fd_no

Since commit ead9f3f, mhomed might use 1 or 2 (IPV6 enabled) fds
per process for caching socket descriptors.

core: stats events cbs are called only if USE_CORE_STATS is defined

Use macros instead of triggering directly various SREV_CORE_STATS
callbacks. This way if compiled without core stats support
(USE_CORE_STATS), there will be no performance impact (the macros
will be empty). All the macros are defined in core_stats.h.

update drp_reqs statistics
(cherry picked from commit f4b64fc173c4ecc470346f05514af43adbda294a)

update drp_rpls statistics

(cherry picked from commit 770ced3)

update fwd_rpls statistics
(cherry picked from commit 058f978739d0642d3332301eb8f0a0cd2bc64f37)

update err_reqs statistics
(cherry picked from commit e524a9512dbd24b56713dcf8f0fce1d44b46ae0b)

update err_rpls statistics
(cherry picked from commit b542c1c71ed132e58d0d07d5ba66a241384ae6a2)

update bad_URIs statistics
(cherry picked from commit feef8d66b067e34459660be78b1f6b2625eaa533)

update bad_msg_hdr statistics
(cherry picked from commit 0c7926f1a854aed5af4541518bc0cacdf4fce7e7)

core: update fwd_reqs stat
(cherry picked from commit 6a84eeebc2575d90d5795abb95af33ab37407aef)

kex: support to update core stats via core events
(cherry picked from commit ea5ee19268c6a7e6f69df674b16fb19d2a2d6409)

core: added new event SREV_CORE_STATS

- to be used by Kamailio core statistics not included in stock SR core
(cherry picked from commit 47c89177ce276cdf8f6a2d06fdd3359ba283fe4c)

Merge remote branch 'origin/sr_3.0'

* origin/sr_3.0:
  tm: fix setting the pre-T callbacks
  drouting: register MI commands
  drouting(k): Makefile updated to link libs
  registrar(k): preserve old bflags upon lookup
  pv: fixed author name
  tm: set request and reply for TMCB_RESPONSE_SENT
  tm: run release function for tmcb parameters
  tm: t_on_xyz("0") fixup updates
  core: usage of drop in onsend_route for Kamailio compatibility
  core: exit() is now equivalent to exit 1
  core: drop reply ser compatibility
  core: drop reply in K compatible style
  sanity: fix include file due to previous re-location
  sanity: moved module from modules_s to modules

Merge remote branch 'origin/tmp/k3.0_sr_backports' into sr_3.0

* origin/tmp/k3.0_sr_backports:
  tm: fix setting the pre-T callbacks
  drouting: register MI commands
  drouting(k): Makefile updated to link libs
  registrar(k): preserve old bflags upon lookup
  pv: fixed author name
  tm: set request and reply for TMCB_RESPONSE_SENT
  tm: run release function for tmcb parameters
  tm: t_on_xyz("0") fixup updates
  core: usage of drop in onsend_route for Kamailio compatibility
  core: exit() is now equivalent to exit 1
  core: drop reply ser compatibility
  core: drop reply in K compatible style
  sanity: fix include file due to previous re-location
  sanity: moved module from modules_s to modules

tm: fix setting the pre-T callbacks

- introduced in the fix for uac module (affecting only uac)
- credits to Andrei Pelinescu-Onciul
(cherry picked from commit 32d3e9c98943ad298f09d26db83ecf4ce5c2cc0e)

drouting: register MI commands

- the module didn't register the MI commands in mod init
- reported by Denis Putyato
(cherry picked from commit f12562923e580644f20ae964264747be849d1ce9)
(cherry picked from commit c2f9d800c367d614411159c599f078fbcc0e311e)

drouting(k): Makefile updated to link libs

- fixed missing core libs in Makefile
- reported by Denis Pulyato
(cherry picked from commit f572564e862a56470ccb2bc2aa2b23fcbb5dd318)

registrar(k): preserve old bflags upon lookup

- lookup was resetting bflags value with what was retrieved from
  location table
- preserve now bflags set in config before
- reported by Ricardo Martinez
(cherry picked from commit e6eceeb8ccce8b37d09f5f69cafb97e007467d78)

pv: fixed author name

- forgotten when creating readme files starting from another module
  docbook files
(cherry picked from commit 45f76f44abca5d049c3d289a1f9d09c6821c92d9)

tm: set request and reply for TMCB_RESPONSE_SENT

- for some reason they were NULL
- affected was sip_trace
- credits to Nguyen Quang Tri fore report and troubleshooting
(cherry picked from commit 03ab185bca42e5788eeef5f5c13e02e547c524a1)

tm: run release function for tmcb parameters

- allow early registration of tm cb (in use by k uac module for example,
  reported by Vulpyne)
- release function calling was missing
(cherry picked from commit 68d63835c6ec1a3fa4984aa3eb3fcc081a4f1f86)

tm: t_on_xyz("0") fixup updates

- if parameter of t_on_reply, t_on_failure, t_on_branch is 0 do not call
  fix_routes and set the parameter value to 0
- resets previous calls of the function with non-zero value and does not
  print warning message at startup because the route is not found
(cherry picked from commit 53d7cb1dae02e4709a10f869e8ec748df73bec37)

core: usage of drop in onsend_route for Kamailio compatibility

- in K exit and drop have different behavior in some cases
- fr onsend_route exit means stop executing the actions and drop does in
  addition discard sending the message
(cherry picked from commit 8a43c6fcb21ff7aeb097b1d8791bfc3d8f020bcb)

core: exit() is now equivalent to exit 1

exit or exit() no longer drop messages by default. They now end
the script with return==1 (instead of 0).
Note that exit 0 is equivalent with DROP in non-kamailio mode and
in most routes, but this kind of usage is deprecated (use drop
instead of exit 0).

core: drop reply ser compatibility

- drop reply also if ret==0, not only on DROP
  (e.g. modules function returning 0). This preserves
  compatibility with old scripts.
- uncomment the onreply_route error handling. It was commented out
  by the last commit
  (0621319 core: drop reply in K compatible style). To disable it,
  define NO_ONREPLY_ROUTE_ERROR.

core: drop reply in K compatible style

- drop reply in default onreply_route when using 'drop'

sanity: fix include file due to previous re-location
(cherry picked from commit f771b05fe8f24bebe18962c4169176e47e099ef8)

sanity: moved module from modules_s to modules

- modules_k/sanity removed (it was an adapted version for k 1.5)
(cherry picked from commit 011cc3ffacfbc6faf65a879d3558cd789f101237)

app_lua: do basic Lua probing before fork

- check if Lua files given to load parameter exist

core: use dlflags to load modules

- dlflags var used for dlopen function

app_lua: function params can be dynamic strings

- all functions accept parameters with PVs that are evaluated at runtime
- new function lua_runstring() to run lua script in the context of
  loaded lua files at startup
- helper functions to return boolean to lua and print lua stack in c
  side

app_lua: added helper function to return bool

app_lua: exported sl get_reply_totag() to Lua

xlog(k): two new functions xlogl and xdbgl

- xlogl is similar to xlog, in adition prints the config line number at
  the beninning of message
- xdbgl is similar to xdbg, in adition prints the config line number at
  the beninning of message
- (c) updated to reflect current content
- handy for troubleshooting as same messages might be used across
  config, making easier to follow the execution path

Makefile: app_python added to exclude_modules

- depends on python devel libs

Revert "Revert "Add Python module, still WIP, but should be usable. No xml"."

This reverts commit e08eaddb181637f4fbb3a165fb0827b9a964f6bd.

Revert "Add Python module, still WIP, but should be usable. No xml".
Hopefully Gods of GIT will be more forgiving to poor me this time.

This reverts commit cfd0e860c912645708c7286f02d8fc92b2f1f61d.

Add Python module, still WIP, but should be usable. No xml
documentation yet, some notes can be found here:

http://www.b2bua.org/wiki/PythonSEROpenSIPSKamailio

If anybody wants to step in and lend me a helping hand with the
xml docs please be my guest.

Thanks to the Daniel-Constantin Mierla for the help with the
port.

pv: fix compile warning for snprintf

Merge remote branch 'origin/andrei/pointer_alias_warnings'

compile warning fixes

* origin/andrei/pointer_alias_warnings:
  rr(s): fix recently introduced avp_cookie name bug
  core: avp aliasing warning fixes
  group: fix pointer aliasing warnings
  rr: pointer aliasing warning fixes
  db_postgres: pointer aliasing warnings fixes
  core: pointer aliasing warnings fixed
  cfg: fixed pointer aliasing warnings

Conflicts:
cfg/cfg_ctx.h
route.c

rr(s): fix recently introduced avp_cookie name bug

- fix bug introduced in 34dc702 (while trying to fix pointer
  aliasing warnings)

core: avp aliasing warning fixes

- fixed bug introduced in e95c077.