Always organize test artifacts in a directory hierarchy
[deliverable/binutils-gdb.git] / gdb / testsuite / Makefile.in
index 7a44660011a6586b6641f22d8555d32a5cd55204..38c30525ec920905d53298a42e61fa1f79df6e55 100644 (file)
@@ -1,5 +1,5 @@
 # Makefile for regression testing the GNU debugger.
-# Copyright 1992-2014 Free Software Foundation, Inc.
+# Copyright 1992-2016 Free Software Foundation, Inc.
 
 # This file is part of GDB.
 
@@ -21,6 +21,7 @@ srcdir = @srcdir@
 prefix = @prefix@
 exec_prefix = @exec_prefix@
 abs_builddir = @abs_builddir@
+abs_srcdir = @abs_srcdir@
 
 target_alias = @target_noncanonical@
 program_transform_name = @program_transform_name@
@@ -32,16 +33,18 @@ SHELL = @SHELL@
 EXEEXT = @EXEEXT@
 SUBDIRS = @subdirs@
 RPATH_ENVVAR = @RPATH_ENVVAR@
-ALL_SUBDIRS = gdb.ada gdb.arch gdb.asm gdb.base gdb.btrace gdb.cell gdb.cp \
-       gdb.disasm gdb.dlang gdb.dwarf2 gdb.fortran gdb.gdb gdb.go gdb.hp \
-       gdb.java gdb.linespec gdb.mi gdb.modula2 gdb.multi \
-       gdb.objc gdb.opencl gdb.opt gdb.pascal gdb.python gdb.server \
-       gdb.stabs gdb.reverse gdb.threads gdb.trace gdb.xml \
-       $(SUBDIRS)
 
-EXPECT = `if [ -f $${rootme}/../../expect/expect ] ; then \
-          echo $${rootme}/../../expect/expect ; \
-          else echo expect ; fi`
+EXTRA_RULES = @EXTRA_RULES@
+
+CC=@CC@
+
+EXPECT = `if [ "$${READ1}" != "" ] ; then \
+            echo $${rootme}/expect-read1; \
+          elif [ -f $${rootme}/../../expect/expect ] ; then \
+            echo $${rootme}/../../expect/expect ; \
+          else \
+            echo expect ; \
+          fi`
 
 RUNTEST = $(RUNTEST_FOR_TARGET)
 
@@ -84,7 +87,7 @@ TARGET_FLAGS_TO_PASS = \
         "RUNTEST=$(RUNTEST)" \
         "RUNTESTFLAGS=$(RUNTESTFLAGS)"
 
-all:
+all: $(EXTRA_RULES)
        @echo "Nothing to be done for all..."
 
 .NOEXPORT:
@@ -117,7 +120,7 @@ $(abs_builddir)/site.exp site.exp: ./config.status Makefile
        @echo "set target_alias $(target_alias)" >> ./tmp0
        @echo "set target_triplet ${target_canonical}" >> ./tmp0
        @echo "set build_triplet ${build_canonical}" >> ./tmp0
-       @echo "set srcdir ${srcdir}" >> ./tmp0
+       @echo "set srcdir ${abs_srcdir}" >> ./tmp0
        @echo "set tool gdb" >> ./tmp0
        @echo 'source $${srcdir}/lib/append_gdb_boards_dir.exp' >> ./tmp0
        @echo "## All variables above are generated by configure. Do Not Edit ##" >> ./tmp0
@@ -146,6 +149,9 @@ installcheck:
 check: all $(abs_builddir)/site.exp
        $(MAKE) $(CHECK_TARGET)
 
+check-read1:
+       $(MAKE) READ1="1" check
+
 # All the hair to invoke dejagnu.  A given invocation can just append
 # $(RUNTESTFLAGS)
 DO_RUNTEST = \
@@ -158,19 +164,42 @@ DO_RUNTEST = \
        if [ -f $${rootme}/../../expect/expect ] ; then  \
          TCL_LIBRARY=$${srcdir}/../../tcl/library ; \
          export TCL_LIBRARY ; fi ; \
-       $(RUNTEST)
+       $(RUNTEST) --status
+
+# TESTS exists for the user to pass on the command line to easily
+# say "Only run these tests."  With check-single it's not necessary, but
+# with check-parallel there's no other way to (easily) specify a subset
+# of tests.  For consistency we support it for check-single as well.
+# To specify all tests in a subdirectory, use TESTS=gdb.subdir/*.exp.
+# E.g., make check TESTS="gdb.server/*.exp gdb.threads/*.exp".
+@GMAKE_TRUE@TESTS :=
+@GMAKE_FALSE@TESTS =
+
+@GMAKE_TRUE@ifeq ($(strip $(TESTS)),)
+@GMAKE_TRUE@expanded_tests_or_none :=
+@GMAKE_TRUE@else
+@GMAKE_TRUE@expanded_tests := $(patsubst $(srcdir)/%,%,$(wildcard $(addprefix $(srcdir)/,$(TESTS))))
+@GMAKE_TRUE@expanded_tests_or_none := $(or $(expanded_tests),no-matching-tests-found)
+@GMAKE_TRUE@endif
+@GMAKE_FALSE@expanded_tests_or_none = $(TESTS)
+
+# Shorthand for running all the tests in a single directory.
+@GMAKE_TRUE@check-gdb.%:
+@GMAKE_TRUE@   $(MAKE) check TESTS="gdb.$*/*.exp"
 
 check-single:
-       $(DO_RUNTEST) $(RUNTESTFLAGS)
+       $(DO_RUNTEST) $(RUNTESTFLAGS) $(expanded_tests_or_none)
 
 check-parallel:
-       -rm -rf cache
+       -rm -rf cache outputs temp
        $(MAKE) -k do-check-parallel; \
+       result=$$?; \
        $(SHELL) $(srcdir)/dg-extract-results.sh \
          `find outputs -name gdb.sum -print` > gdb.sum; \
        $(SHELL) $(srcdir)/dg-extract-results.sh -L \
-         `find outputs -name gdb.log -print` > gdb.log
-       @sed -n '/=== gdb Summary ===/,$$ p' gdb.sum
+         `find outputs -name gdb.log -print` > gdb.log; \
+       sed -n '/=== gdb Summary ===/,$$ p' gdb.sum; \
+       exit $$result
 
 # Turn a list of .exp files into "check/" targets.  Only examine .exp
 # files appearing in a gdb.* directory -- we don't want to pick up
@@ -180,11 +209,15 @@ check-parallel:
 # them to the front of the list to try to lessen the overall time
 # taken by the test suite -- if one of these tests happens to be run
 # late, it will cause the overall time to increase.
+@GMAKE_TRUE@ifeq ($(strip $(TESTS)),)
 slow_tests = gdb.base/break-interp.exp gdb.base/interp.exp \
        gdb.base/multi-forks.exp
 @GMAKE_TRUE@all_tests := $(shell cd $(srcdir) && find gdb.* -name '*.exp' -print)
 @GMAKE_TRUE@reordered_tests := $(slow_tests) $(filter-out $(slow_tests),$(all_tests))
 @GMAKE_TRUE@TEST_TARGETS := $(addprefix check/,$(reordered_tests))
+@GMAKE_TRUE@else
+@GMAKE_TRUE@TEST_TARGETS := $(addprefix check/,$(expanded_tests_or_none))
+@GMAKE_TRUE@endif
 
 do-check-parallel: $(TEST_TARGETS)
        @:
@@ -193,40 +226,61 @@ do-check-parallel: $(TEST_TARGETS)
 @GMAKE_TRUE@   -mkdir -p outputs/$*
 @GMAKE_TRUE@   @$(DO_RUNTEST) GDB_PARALLEL=yes --outdir=outputs/$* $*.exp $(RUNTESTFLAGS)
 
+check/no-matching-tests-found:
+       @echo ""
+       @echo "No matching tests found."
+       @echo ""
+
+# Utility rule invoked by step 2 of the build-perf rule.
+@GMAKE_TRUE@workers/%.worker:
+@GMAKE_TRUE@   mkdir -p gdb.perf/outputs/$*
+@GMAKE_TRUE@   $(DO_RUNTEST) --outdir=gdb.perf/outputs/$* lib/build-piece.exp WORKER=$* GDB_PARALLEL=gdb.perf $(RUNTESTFLAGS) GDB_PERFTEST_MODE=compile GDB_PERFTEST_SUBMODE=build-pieces
+
+# Utility rule to build tests that support it in parallel.
+# The build is broken into 3 steps distinguished by GDB_PERFTEST_SUBMODE:
+# gen-workers, build-pieces, final.
+#
+# GDB_PERFTEST_MODE appears *after* RUNTESTFLAGS here because we don't want
+# anything in RUNTESTFLAGS to override it.
+#
+# We don't delete the outputs directory here as these programs can take
+# awhile to build, and perftest.exp has support for deciding whether to
+# recompile them.  If you want to remove these directories, make clean.
+#
+# The point of step 1 is to construct the set of worker tasks for step 2.
+# All of the information needed by build-piece.exp is contained in the name
+# of the generated .worker file.
+@GMAKE_TRUE@build-perf: $(abs_builddir)/site.exp
+@GMAKE_TRUE@   rm -rf gdb.perf/workers
+@GMAKE_TRUE@   mkdir -p gdb.perf/workers
+@GMAKE_TRUE@   @: Step 1: Generate the build .worker files.
+@GMAKE_TRUE@   $(DO_RUNTEST) --directory=gdb.perf --outdir gdb.perf/workers GDB_PARALLEL=gdb.perf $(RUNTESTFLAGS) GDB_PERFTEST_MODE=compile GDB_PERFTEST_SUBMODE=gen-workers
+@GMAKE_TRUE@   @: Step 2: Compile the pieces.  Here is the build parallelism.
+@GMAKE_TRUE@   $(MAKE) $$(cd gdb.perf && echo workers/*/*.worker)
+@GMAKE_TRUE@   @: Step 3: Do the final link.
+@GMAKE_TRUE@   $(DO_RUNTEST) --directory=gdb.perf --outdir gdb.perf GDB_PARALLEL=gdb.perf $(RUNTESTFLAGS) GDB_PERFTEST_MODE=compile GDB_PERFTEST_SUBMODE=final
+
+# The default is to both compile and run the tests.
+GDB_PERFTEST_MODE = both
+
 check-perf: all $(abs_builddir)/site.exp
        @if test ! -d gdb.perf; then mkdir gdb.perf; fi
-       $(DO_RUNTEST) --directory=gdb.perf --outdir gdb.perf GDB_PERFTEST_MODE=both $(RUNTESTFLAGS)
+       $(DO_RUNTEST) --directory=gdb.perf --outdir gdb.perf GDB_PERFTEST_MODE=$(GDB_PERFTEST_MODE) $(RUNTESTFLAGS)
 
 force:;
 
 clean mostlyclean:
        -rm -f *~ core *.o a.out xgdb *.x *.grt bigcore.corefile .gdb_history
-       -rm -f core.* *.tf *.cl *.py tracecommandsscript copy1.txt zzz-gdbscript
+       -rm -f core.* *.tf *.cl tracecommandsscript copy1.txt zzz-gdbscript
        -rm -f *.dwo *.dwp
        -rm -rf outputs temp cache
-       if [ x"${ALL_SUBDIRS}" != x ] ; then \
-           for dir in ${ALL_SUBDIRS}; \
-           do \
-                   echo "$$dir:"; \
-                   if [ -d $$dir ]; then \
-                           (cd $$dir; $(MAKE) clean); \
-                   fi; \
-           done ; \
-       else true; fi
+       -rm -rf gdb.perf/workers gdb.perf/outputs gdb.perf/temp gdb.perf/cache
+       -rm -f read1.so expect-read1
 
 distclean maintainer-clean realclean: clean
        -rm -f *~ core
        -rm -f Makefile config.status *-init.exp
        -rm -fr *.log summary detail *.plog *.sum *.psum site.*
-       if [ x"${ALL_SUBDIRS}" != x ] ; then \
-           for dir in ${ALL_SUBDIRS}; \
-           do \
-                   echo "$$dir:"; \
-                   if [ -d $$dir ]; then \
-                           (cd $$dir; $(MAKE) distclean); \
-                   fi; \
-           done ; \
-       else true; fi
 
 Makefile : Makefile.in config.status $(host_makefile_frag)
        $(SHELL) config.status
@@ -237,3 +291,27 @@ config.status: configure
 TAGS: force
        find $(srcdir) -name '*.exp' -print | \
            etags --regex='/proc[ \t]+\([^ \t]+\)/\1/' -
+
+# Build the expect wrapper script that preloads the read1.so library.
+expect-read1:
+       @echo Making expect-read1
+       @rm -f expect-read1-tmp
+       @touch expect-read1-tmp
+       @echo "# THIS FILE IS GENERATED -*- buffer-read-only: t -*- \n" >>expect-read1-tmp
+       @echo "# vi:set ro: */\n\n" >>expect-read1-tmp
+       @echo "# To regenerate this file, run:\n" >>expect-read1-tmp
+       @echo "#      make clean; make/\n" >>expect-read1-tmp
+       @echo "export LD_PRELOAD=`pwd`/read1.so" >>expect-read1-tmp
+       @echo 'exec expect "$$@"' >>expect-read1-tmp
+       @chmod +x expect-read1-tmp
+       @mv expect-read1-tmp expect-read1
+
+# Build the read1.so preload library.  This overrides the `read'
+# function, making it read one byte at a time.  Running the testsuite
+# with this catches racy tests.
+read1.so: lib/read1.c
+       $(CC) -o $@ ${srcdir}/lib/read1.c -Wall -g -shared -fPIC $(CFLAGS)
+
+# Build the read1 machinery.
+.PHONY: read1
+read1: read1.so expect-read1
This page took 0.03226 seconds and 4 git commands to generate.