xref: /OpenGrok/opengrok-indexer/src/main/jflex/util/LineBreakerScanner.lex (revision d219b4cea555a12b602d2d5518daa22134ad4879)
1*d219b4ceSAdam Hornacek /*
2*d219b4ceSAdam Hornacek  * CDDL HEADER START
3*d219b4ceSAdam Hornacek  *
4*d219b4ceSAdam Hornacek  * The contents of this file are subject to the terms of the
5*d219b4ceSAdam Hornacek  * Common Development and Distribution License (the "License").
6*d219b4ceSAdam Hornacek  * You may not use this file except in compliance with the License.
7*d219b4ceSAdam Hornacek  *
8*d219b4ceSAdam Hornacek  * See LICENSE.txt included in this distribution for the specific
9*d219b4ceSAdam Hornacek  * language governing permissions and limitations under the License.
10*d219b4ceSAdam Hornacek  *
11*d219b4ceSAdam Hornacek  * When distributing Covered Code, include this CDDL HEADER in each
12*d219b4ceSAdam Hornacek  * file and include the License file at LICENSE.txt.
13*d219b4ceSAdam Hornacek  * If applicable, add the following below this CDDL HEADER, with the
14*d219b4ceSAdam Hornacek  * fields enclosed by brackets "[]" replaced with your own identifying
15*d219b4ceSAdam Hornacek  * information: Portions Copyright [yyyy] [name of copyright owner]
16*d219b4ceSAdam Hornacek  *
17*d219b4ceSAdam Hornacek  * CDDL HEADER END
18*d219b4ceSAdam Hornacek  */
19*d219b4ceSAdam Hornacek 
20*d219b4ceSAdam Hornacek /*
21*d219b4ceSAdam Hornacek  * Copyright (c) 2020, Chris Fraire <cfraire@me.com>.
22*d219b4ceSAdam Hornacek  */
23*d219b4ceSAdam Hornacek 
24*d219b4ceSAdam Hornacek package org.opengrok.indexer.util;
25*d219b4ceSAdam Hornacek 
26*d219b4ceSAdam Hornacek import java.io.IOException;
27*d219b4ceSAdam Hornacek import java.util.List;
28*d219b4ceSAdam Hornacek %%
29*d219b4ceSAdam Hornacek %public
30*d219b4ceSAdam Hornacek %class LineBreakerScanner
31*d219b4ceSAdam Hornacek %char
32*d219b4ceSAdam Hornacek %unicode
33*d219b4ceSAdam Hornacek %type boolean
34*d219b4ceSAdam Hornacek %eofval{
35*d219b4ceSAdam Hornacek     return false;
36*d219b4ceSAdam Hornacek %eofval}
37*d219b4ceSAdam Hornacek %eof{
38*d219b4ceSAdam Hornacek     /*
39*d219b4ceSAdam Hornacek      * Following JFlexXref's custom, an empty file or a file ending with EOL
40*d219b4ceSAdam Hornacek      * produces an additional line of length zero. We also ensure there are two
41*d219b4ceSAdam Hornacek      * entries to describe the boundaries.
42*d219b4ceSAdam Hornacek      */
43*d219b4ceSAdam Hornacek     offsets.add(yychar);
44*d219b4ceSAdam Hornacek     length = yychar;
45*d219b4ceSAdam Hornacek %eof}
46*d219b4ceSAdam Hornacek %{
47*d219b4ceSAdam Hornacek     private long length;
48*d219b4ceSAdam Hornacek 
49*d219b4ceSAdam Hornacek     private List<Long> offsets;
50*d219b4ceSAdam Hornacek 
getLength()51*d219b4ceSAdam Hornacek     public long getLength() {
52*d219b4ceSAdam Hornacek         return length;
53*d219b4ceSAdam Hornacek     }
54*d219b4ceSAdam Hornacek 
55*d219b4ceSAdam Hornacek     /**
56*d219b4ceSAdam Hornacek      * Sets the required target to write, and adds a first offset of 0.
57*d219b4ceSAdam Hornacek      * @param offsets a required instance
58*d219b4ceSAdam Hornacek      */
setTarget(List<Long> offsets)59*d219b4ceSAdam Hornacek     public void setTarget(List<Long> offsets) {
60*d219b4ceSAdam Hornacek         this.length = 0;
61*d219b4ceSAdam Hornacek         this.offsets = offsets;
62*d219b4ceSAdam Hornacek         offsets.add(0L);
63*d219b4ceSAdam Hornacek     }
64*d219b4ceSAdam Hornacek 
65*d219b4ceSAdam Hornacek     /**
66*d219b4ceSAdam Hornacek      * Call {@link #yylex()} until {@code false}, which consumes all input so
67*d219b4ceSAdam Hornacek      * that the argument to {@link #setTarget(List)} contains the entire
68*d219b4ceSAdam Hornacek      * transformation.
69*d219b4ceSAdam Hornacek      */
consume()70*d219b4ceSAdam Hornacek     public void consume() throws IOException {
71*d219b4ceSAdam Hornacek         while (yylex()) {
72*d219b4ceSAdam Hornacek             //noinspection UnnecessaryContinue
73*d219b4ceSAdam Hornacek             continue;
74*d219b4ceSAdam Hornacek         }
75*d219b4ceSAdam Hornacek     }
76*d219b4ceSAdam Hornacek %}
77*d219b4ceSAdam Hornacek 
78*d219b4ceSAdam Hornacek %include ../analysis/Common.lexh
79*d219b4ceSAdam Hornacek %%
80*d219b4ceSAdam Hornacek 
81*d219b4ceSAdam Hornacek {EOL}    {
82*d219b4ceSAdam Hornacek     offsets.add(yychar + yylength());
83*d219b4ceSAdam Hornacek }
84*d219b4ceSAdam Hornacek 
85*d219b4ceSAdam Hornacek [^\n\r]    {
86*d219b4ceSAdam Hornacek }
87