Use core/stats classes in IO analysis

Signed-off-by: Antoine Busque <abusque@efficios.com>

Initial core/stats module implementation

Signed-off-by: Antoine Busque <abusque@efficios.com>

Merge pull request #30 from jgalar/master

Add a LICENSE file and a stand-alone copy of the MIT license

Add a LICENSE file and a stand-alone copy of the MIT license

A LICENSE file is provided for all other LTTng projects. These
files are added to maintain uniformity among the projects'
organization.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Merge pull request #29 from mjeanson/master

Doc: Use git url for pip install in README

Doc: Use git url for pip install in README

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Merge pull request #28 from lttng/staging

Staging for 0.4

Merge pull request #27 from abusque/staging

Priority analysis and fixes

Fix: cputop: sort CPUs by ID instead of usage

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix: don't override prio value from statedump event

If a process already has a prio value, gathered from sched_* events,
don't override it with the value extracted from an
lttng_statedump_process_state event.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix: use path to kernel trace to look up tracer version

Currently, only the lttng-modules version is of use for the
analyses. However, multi-domain traces, combining UST and modules,
could lead to unpredictable results wherein the tracer_version was
erroneously identified as that of the userspace tracer, which was
problematic when its version differed from that of the kernel tracer.

Extracting the version directly from the kernel trace's metadata
corrects this issue.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add prio list to per-tid schedstats output

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix: sched: track prio at process creation

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix: sched: keep current prio for next analysis period

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix: compute correct prio value on older tracer versions

Versions of lttng-modules prior to 2.7.1 did not subtract the
MAX_RT_PRIO (whose value is 100) from the prio fields in
sched_wak{eup, eup_new, ing} events.

Now that we keep the tracer version information in the automaton,
compute the offset if necessary, depending on the version.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Read tracer version and keep it in the automaton

Signed-off-by: Antoine Busque <abusque@efficios.com>

Use version_utils for _MI_VERSION

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add version_utils modules in a new common package

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix: sched: sort procnames regardless of capitalization

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add support for different period begin/end keys, constant keys

This allows using differently named fields as a period key for begin
and end events. For instance, comparing the `tid` field from a
`sched_waking` event to that of `next_tid` in `sched_switch`.

This also adds support for constant or fixed key value. That is to
say, with the same TID example, one can specify a particular TID
value, and only periods for which the key matches this value will be
accounted for.

In both new features, the order of fields and values must be
consistent across all arguments for multi-field keys.

Signed-off-by: Antoine Busque <abusque@efficios.com>

PEP 8: place standard library imports first

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add current prio to proc state, track prio changes

This adds a prio field to the Process class from linuxautomaton, which
contains the process' current priority value. On priority change, a
notification is sent, allowing analyses to track priority
changes. Currently, the sched analysis tracks these priority changes
via a per-process PrioEvent list, formed by (timestamp, prio) tuples.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Allowing filename in IO analysis from statedump events

Signed-off-by: Antoine Busque <abusque@efficios.com>

Refactor state providers __init__ and process_event

This minor refactor minimises code duplication by removing identical
implementations of process_event in classes derived from
StateProvider, and also by moving duplicated parts of the __init__
methods in these class to the parent.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Implement sched latency frequency distribution

This includes MI and text output implementations, for total, per-tid,
and per-prio sched latencies.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add lttng-schedfreq wrapper script

Signed-off-by: Antoine Busque <abusque@efficios.com>

fix: missing wakeup/waking events

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: reset analysis when beginning a new period

Previously, the analysis was reset when a period ended. Although the
effect was strictly equivalent when using a single event to mark both
the beginning and end of the period, or a fixed length period, when
using distinct begin and end events the effect is quite different.

Resetting at the end of a period instead of the beginning had the
effect of accumulating analysis results during the periodless gap
before the next begin event and wrongly considering them as part of
the next period. Resetting at the beginning of the next period fixes
this issue.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Exit gracefully on SIGINT in run()

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix pylint issues

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix pep8 style issues

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add target CPU to sched analysis

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add scheduling latencies frequencies MI results

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

IRQ freq distribution: consolidate as series table

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

Output last process priority in cputop

Signed-off-by: Antoine Busque <abusque@efficios.com>

Implement uniform freq mode for IRQ analysis

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add duration property for IRQs

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add filtering by CPU ID to analyses

Signed-off-by: Antoine Busque <abusque@efficios.com>

Remove shebangs on non-executable modules

Signed-off-by: Antoine Busque <abusque@efficios.com>

Use TIDs for proc filtering, and filter in core

Signed-off-by: Antoine Busque <abusque@efficios.com>

Implement sched switch latency analysis

The sched switch latency analysis allows to measure latencies between
sched_wakeup or sched_waking events and their corresponding
sched_switch event.

It features log, top, and stats output modes.

Signed-off-by: Antoine Busque <abusque@efficios.com>

TMP: add MI test script

Use Babeltrace's dummy output to check lost events

Suggested-by: Antoine Busque <abusque@efficios.com>
Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

Add doc/mi.md

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

command.py: colored error if possible

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

cli: add copyright

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

cli: remove shebangs

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

Fix: extract_timerange(): always return a pair

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

Fix: analysis.py: use appropriate attributes

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

Fix: _process_date_args(): use appropriate attributes

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

automaton/mem: handle `kmem_` prefix

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

setup.py: add MI console scripts

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

setup.py: chmod +x

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

date_to_epoch_nsec(): support ns only

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

Implement MI mode

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

date_to_epoch_nsec(): fix and improve regexes

Signed-off-by: Philippe Proulx <eeppeliteloop@gmail.com>

Merge pull request #25 from abusque/periodic

Periodic analysis implementation

Allow user to specify fields forming the period marker key

Signed-off-by: Antoine Busque <abusque@efficios.com>

Prevent division by zero in core/cputop.py

When an extremely short period is generated (usually at the end of a
trace), there is a chance that the duration will be zero. Instead of
trying to divide by this value, set the usage percent for that
(degenerate) period to 0.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add support for periods with sub-second units

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add string to ns method and clean-up string to bytes method

Signed-off-by: Antoine Busque <abusque@efficios.com>

Initial implementation of periodic events analysis

Signed-off-by: Antoine Busque <abusque@efficios.com>

Merge pull request #24 from abusque/cli-refactor

Refactor and clean-up cli and core

Refactor and clean-up cli and core

This refactor mainly refactors modules within the cli package in order
to reduce the duplicated code between separate commands. This allows
for new analyses to be added in a much simpler fashion.

The second significant portion of the refactor is the removal of all
refresh/reset or otherwise analysis-state affecting code from the cli,
and its reimplementation within the analysis itself. The cli now
simply feeds events to the analysis (and state automaton), and
receives notifications to which it can react. For now, the only
notification type is received whenever an analysis period has ended,
in which case the default cli behaviour is to output the results.

Some other minor style clean-up is also performed where was deemed
necessary.

Signed-off-by: Antoine Busque <abusque@efficios.com>

Add lttng-iolog wrapper script

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix: remove superfluous disk name formatting in io.py

Signed-off-by: Antoine Busque <abusque@efficios.com>

Fix: prevent division by zero in cputop

Signed-off-by: Antoine Busque <abusque@efficios.com>

fix: filter also block requests

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

fix: tid is not necessarily available

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

fix: pip is not required if we install the distro packages

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Changelog for v0.3

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Merge pull request #23 from mjeanson/master

Refactor in a single package with subpackages

Convert README to reStructuredText

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Fix pep8 errors

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

Refactor in a single package with subpackages

Signed-off-by: Michael Jeanson <mjeanson@efficios.com>

fix: stats with 0 requests

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Check for babeltrace python package on installation

Define version once per package only

Add ChangeLog file

Merge pull request #22 from abusque/refactor-syscallstats

Refactor syscallstats and bump version

Bump version to 0.2

Refactor syscallstats script to use new analysis backend

Rename min/max attributes to avoid collision with built-ins

Merge pull request #21 from abusque/decouple-io

Refactor/Rewrite I/O state system and analysis

Implement check for --end argument before start of trace

Style: fix indentation in _get_io_requests

Fix: set pid correctly on FileStats init

Fix typo in _fix_context_pid

Fix: use TID instead of PID in file stats if PID is None

Refactor io latency freq output

Lint: remove unused import, fix 'dangerous' default args

Refactor io top and log views

Remove deprecated --extra argument

Fix: correct typo and existence test in fd getter

Fix: correct typo in ns_to_hour_nsec output

Style: fix pylint/pep8 style issues

Replace map() by list comprehension in disk latency stats

Refactor IO Latency stats output methods

Add generators to iterate over io requests

Add method to compare equivalent io operations