Rename normal_* template to discard_*

Completion: add --template-path to bash completion for directory listing

Template: add session templates.

For now session type is cast in stone based on the passed template.

Docs: document new --default-output option of create command

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement --default-output option of create command

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: document create command --default-name option

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement create command --default-name option

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix format and variable name create.c

Fix: generate a full output configuration node

The lttng save --omit-output does not remove the destination node but the full
output node. Make sure to create a full one.

Fix: memory management in create.c

Fix: use temporary data for return of asprintf

Fix session-config: mem leak and uninitialized ret value

Create template: Allow empty destination and name

Allow template with empty name and no destination so create generate them.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Test: template on create session

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Man: create --template-path

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: use named enums

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: check return of parse_template

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: check return value of config_document_replace_element

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Create commands template feature.

Introduce a new option the create command: --template-path.

The template-path option take a path to a specific template file that follow the
saved sessions schema definition (src/common/config/session.xsd).

Other "create" options are still effective except the mode options for now.

Regular options have priority on the template values and overwrite the
values found in the template.

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Allow optional snapshot name and max_size

Generate a default name and give the default max size if not defined.

Fix: missing goto error on null pointer

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Config: utility functions for direct configurations element manipulations

Introduce two new config struct: config_document and config_element.

config_document represent an instance of a complete configuration (xmlDoc).
config_element represent an instance of a sub configuration element (xmlNode).

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Add error code related to templates handling

Doc: via -> using

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: clear error message

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix error message on asprintf

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix whitespace

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: make sure ctrl & data url are set for post creation configuration

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: comment for errors propagation

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Fix: use -1 for unknown values of enums

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

refactor: split create_session in 4 functions

validate_command: checks for invalid options configuration
create_session_basic: responsible for session creation and configuration
generate_output: responsible of outputting the info to the user

Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>

Docs: document new save command options (--omit-name/--omit-output)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Honor omit_name and omit_output options in sessiond save command

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Allow nameless sessions in session.xsd

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add --omit-name and --omit-output options to the save command

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sessiond ht_match_event() check if filter is NULL

It looks like an agent event's filter expression is NULL when
it's created with -a, for example:

    lttng enable-event -j -a

Since there's no check for this in ht_match_event(), strlen()
makes the session daemon segfault with this scenario:

    lttng create
    lttng enable-event -j -a
    lttng disable-event -j -a

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

configure.ac: fix --enable/disable-kmod option

Now all the following work as expected:

  * No option (defaults to --enable-kmod)
  * --disable-kmod
  * --enable-kmod
  * --enable-kmod=no
  * --enable-kmod=yes

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: spawn ht_cleanup thread in unit tests

Run the cleanup thread in the unit tests to ensure that the hash
tables are properly cleaned-up even in the context of tests. This
allows us to reliably check for memory leaks in the unit tests.

Lazily initialize max poll set size

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Revert "Assert that a valid clean-up pipe exists on ht_cleanup_push"

This reverts commit fc41443f7ee5fa95a942d0aedd61c75d622697b5.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

tests: test ust snapshot with discard buffers

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

tests: test kernel snapshot with discard buffers

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Allow channel mode override in snapshot sessions

Allow the lttng cmd line and liblttng-ctl users to override the channel
mode in snapshot sessions.

Note that liblttng-ctl users expecting that an "overwrite" mode
explicitly set at the value "0" (discard) for a snapshot session will
now create a channel in discard mode.

The DEFAULT_CHANNEL_OVERWRITE used by liblttng-ctl
lttng_channel_set_default_attr() is changed to "-1".

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: validate number of subbuffers after tweaking properties

There are properties that are tweaked by each of ust and kernel channel
create functions after a validation on the number of subbuffers for
overwrite channels. Move validation after those properties
modifications.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use bool type for save command options

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: harmonize popt option declarations in save.c

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: move mi_writer declaration with other declarations

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add name omission and output omission on save to lttng-ctl

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Express overwrite attribute as a byte in communication protocol

There is no need for 4 bytes to express a boolean state.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Assert that a valid clean-up pipe exists on ht_cleanup_push

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: do not refer to objects as .o

The extension of object files is platform dependant,
use $(OBJEXT) instead of .o when referring to objects.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: do not link against libtool .o objects

We should not link against libtool objects directly
since they have different names in static or shared
only build. Instead link on the full .la

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Define MANPATH in config.h

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Make warn_processes.sh more portable

Options to pgrep aren't standardised across coreutils
implementations, use a more common option.

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing script to dist

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: leak of UST app hash tables

The ht_cleanup thread is shut down before the queue of rcu
callbacks is emptied by the rcu_barrier(). Since callbacks added
by call_rcu can push hash tables through the ht_cleanup pipe, we run
into cases where the clean-up thread has been shutdown and
hash tables pushed through the clean-up pipe are leaked.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: leak of reply buffer on data pending check

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: call xmlCleanupParser to free global libxml2 allocations

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing "void" parameter of lib constructor and destructor

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: fix comment typos in lttng-sessiond's main.c

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lttng-relayd allow binding of privileged ports for non-root users

Non-root users could use authbind to bind to low-numbered ports.
Moreover, the check was inverted; !getuid() will only be true
for the root user.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

relayd: optimize receive throughput

For channels configured with large sub-buffer size, the relayd copies
the entire trace sub-buffer (trace packet) into a large buffer, and then
copies the large buffer to disk. It is inefficient from a point of view
of cache locality.

Use a 64k buffer on the stack instead, and move the data piece-wise.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: harmonize kernctl API error checking

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Introduce LTTNG_IOCTL_CHECK and LTTNG_IOCTL_NO_CHECK macros

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: enforce assumption that lttng-modules ioctl() return <= 0

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: reduce scope of kconsumer consumed_pos and produced_pos

The consumed_pos and produced_pos accesses are protected by the
stream mutex, which is fine as-is. However, consumed_pos is
passed to consumer_get_consume_start_pos() and is flagged by
Coverity as a possible use of a "stale" consumed_pos.

From an analyzer's standpoint, this makes sense since
both lttng_kconsumer_get_produced_snapshot() and
lttng_kconsumer_get_consumed_snapshot() could leave their output
parameter uninitialized and return 0 since they both  assume that
ioctl() will set errno if ret != 0.

IOCTL(3P) specifies that errno is only set if ret < 0.

A bug in lttng-modules could cause ioctl() to return a positive
value, leaving the errno variable unset. In such a case,
both functions would return 0, leaving the positions uninitialized.

A follow-up fix enforces this assumption (ret never > 0) as part
of the kernctl API.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: document safety of consumer_thread_is_ready access

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: unused ret values in thread_manage_health

Reported by Coverity as:
CID 1243014 (#1 of 15): Unused value (UNUSED_VALUE)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: remove dead code in sessiond's set_option()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: set the logger level to prevent unexpected level inheritance

BSF and other jars can ship with an embedded log4j.properties
file. This causes problem when launching an application with a general
class path (e.g /usr/share/java/*) since log4j will look for a
configuration file in all loaded jars. If any contains a directive for
the root logger, it will affect any logger with no level that are
directly under the root logger. This can result in an unexpected
behaviour (e.g no events triggered etc.).

Link: https://issues.apache.org/jira/browse/BSF-24
Signed-off-by: Jonathan Rajotte <jonathan.rajotte-julien@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Typo: Stoping -> Stopping

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Typo: occured -> occurred

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: only perform lttng_consumer_sync_trace_file() in local mode

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Make lttng_consumer_sync_trace_file static

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: don't negate posix_fadvise return value to check error

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix Solaris 10 build: use lttng_strnlen() wrapper

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Rename lttng_error_type to lttng_error_level

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup error.h __lttng_print() used for message printing

The loglevels have never really been a mask, and it is useless to try to
use them as masks, because the compiler statically knows the value of
the loglevel requested, and can therefore optimise away all the logic.

This takes care of Coverity warning about mixed bitwise and boolean
logic, which was technically correct, but more complex than needed.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Update coding style document for macro style

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: coding style document has erroneous semicolon at end of macro

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: add missing semicolons after MSG, DBG, ERR print macros

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: inverted condition in test_kernel_data

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

OOT build fix: asciidoc.conf is now a source file

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-create(1): use attributes for default ports

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-create(1): add xrefs to creation mode definitions

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-create(1): use the correct DATAPORT/CTRLPORT variables

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-create(1): use def list for net protocols

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

lttng-create(1): add relay mode

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

doc/man: put AsciiDoc attributes in their own file

This facilitates the generation of man pages using another
asciidoc.conf file, but keeping the same attributes, without
having to split the generated configuration file.

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

test: UST tracing destroy flush behavior with tracefile rotation

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

test: kernel tracing destroy flush behavior with tracefile rotation

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add environment variable to allow abort on error

The new environment variable LTTNG_ABORT_ON_ERROR allows each
lttng-tools program to call abort() on PERROR() and ERR() after the
error message has been printed to stderr.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: ust-consumer: flush empty packets on snapshot channel

Snapshot operation on a non-stopped stream should use a "final" flush to
ensure empty packets are flushed, so we gather timestamps at the moment
where the snapshot is taken. This is important for streams that have a
low amount of activity, which might be on an empty packet when the
snapshot is triggered.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: WARN() should print as WARN level, not ERR

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: error.h: add missing parenthesis around macro parameter

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: bogus mask on error.h PRINT types

PRINT_ERR maps to 0x1, PRINT_WARN maps to 0x2, which is fine so far to
use as masks, but PRINT_BUG maps to 0x3, which is the same as both
PRINT_ERR and PRINT_WARN, and does not make sense to use in masks with
__lttng_print:

  (type & (PRINT_WARN | PRINT_ERR | PRINT_BUG))

Fix this by ensuring PRINT_BUG has its own mask, and express all
constants as shifts to eliminate the risk of re-introducing a similar
bug in the future.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: kernel tracing: flush after stop

We should flush the last packet after stop, not before. Otherwise, we
may end up with events written immediately after the flush, which
defeats the purpose of flushing.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: UST should not generate packet at destroy after stop

In the following scenario:
- create, enable events (ust),
- start
- ...
- stop (await for data_pending to complete)
- destroy
- rm the trace directory

We would expect that the "rm" operation would not conflict with the
consumer daemon trying to output data into the trace files, since the
"stop" operation ensured that there was no data_pending.

However, the "destroy" operation currently generates an extra packet
after the data_pending check (the "on_stream_hangup"). This causes the
consumer daemon to try to perform trace file rotation concurrently with
the trace directory removal in the scenario above, which triggers
errors. The main reason why this empty packet is generated by "destroy"
is to deal with trace start/stop scenario which would otherwise generate
a completely empty stream.

Therefore, introduce the concept of a "quiescent stream". It is
initialized at false on stream creation (first packet is empty). When
tracing is started, it is set to false (for cases of start/stop/start).
When tracing is stopped, if the stream is not quiescent, perform a
"final" flush (which will generate an empty packet if the current packet
was empty), and set quiescent to true.  On "destroy" stream and on
application hangup: if the stream is not quiescent, perform a "final"
flush, and set the quiescent state to true.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: remove flaky '*' kernel wildcard test

The test case for '*', which enables all events, is flaky by its
nature since buffers may be filled by other kernel events preventing
the test script from finding the test event (it is often discarded).

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: bad file descriptors on close after rotation error

Ensure we don't try to close output stream file descriptors twice when a
trace file rotation error occurs (once at tracefile rotation, once when
closing the stream). Set the fd value to -1 after the first close to
ensure we don't try to close it again.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>